要在iPhone上不用绿幕去除视频背景,就用一款有实时AI分割的应用来录制,并在按下录制之前选择虚化、抠图或一张替换图片。在iPhone上,这在你拍摄时于Neural Engine上运行,并直接录进视频里,所以什么都不上传。已经拍好的素材则需要在Mac上抠像。
多年来,去除视频背景意味着挂一块绿布,并把它均匀照亮。AI终结了这个要求。你的iPhone现在可以实时把你和身后的东西分离开,并换上更干净的背景。
设备端抠像是怎么工作的
应用会运行一个分割模型,在每一帧里找到人物,并生成一个遮罩:逐帧区分你和其他一切的轮廓。然后它保留你,丢弃、虚化或替换其余部分。在较新的iPhone上,这在Neural Engine上运行得足够快,可以实时预览,这就是为什么你在拍摄时就能看到新背景。
人脸感知重构基于Apple的Vision框架(英文),它在本地运行检测,所以裁切框能跟随说话的人,而不用往返云端。
Apple通过ReplayKit(英文)开放iPhone上的屏幕录制,它同时涵盖录制和直播。
录制时去除背景
最干净的流程是在拍摄时就搞定。在Zella for iPhone上,相机有一个实时背景,你可以在按下录制之前选择虚化、抠图或替换。所见即所得,之后没有单独的“去除背景”步骤。前置或后置摄像头,配合你的麦克风,全部在设备端完成。
- 在Zella里打开相机。
- 选择背景模式:blur、cut out,或者用一张图片或一种颜色replace。
- 录制。合成画面在你拍摄时就已经录进去了。
已经拍好的素材怎么办?
在iPhone上,Zella的背景工具在拍摄时工作:合成画面在你拍摄时就录进去了,之后在剪辑器里没有单独的“去除背景”步骤。对于你已有的片段,把项目发送到Zella for Mac,在那里的剪辑器中可以对已有素材抠像。参见iOS到Mac的交接文档(英文)和iOS AI指南(英文)。
为什么运动才是难点
一个在静止画面上看起来完美无瑕的遮罩,可能在你做手势的那一刻就崩掉,把一块墙连同你的手一起拖走。这就是演示片段和实用片段之间的区别。
Zella的iOS背景处理会运行两个设备端视觉模型,只有当两者一致时才信任一个像素,然后专门在发生运动的地方收紧边缘,所以挥一下手不会把房间抹花。去除背景后,默认背景是散景虚化,这是最宽容的选择,因为柔和的边缘能藏住小的遮罩错误;你还可以切换为硬抠图、透明背景、普通虚化,或任意一个40种内置背景。
规划时要注意一点:导出真正透明的背景是Pro功能。抠图、虚化、散景以及图片或颜色背景都可以在免费版中导出,无水印,最长2分钟,1080p。
为什么“无需绿幕”和“无需上传”都很重要
有两点决定了一款抠像工具是好用还是烦人:
- 无需绿幕意味着你在任何地方都能做:凌乱的房间、咖啡馆、酒店。AI不在乎你身后是什么。
- 无需上传意味着你的素材,以及原始背景里任何私密的东西,永远不会离开你的手机。大多数抠像应用会把你的视频发到服务器。Zella在Neural Engine上做分割,所以离线也能用,什么都不上传。
什么时候真正的绿幕仍然更好
老实说:对于几乎所有口播片段,AI分割都胜过绿幕,但不是所有情况。
| 场景 | 更好的方法 |
|---|---|
| 普通房间里的口播 | AI分割 |
| 在任何挂不了布的地方拍摄 | AI分割 |
| 快速的手部动作和手势 | AI分割,前提是模型能感知运动 |
| 透明或玻璃道具 | 真正的绿幕 |
| 繁杂、颜色相近的墙前的细碎头发 | 真正的绿幕 |
| 带道具的全身大全景 | 真正的绿幕 |
经验法则:分割的推理对象是你,所以当“你”变得模糊不清时它会吃力:透明的物体、快速手势边缘的动态模糊,或者一件和身后墙面颜色一样的外套。
你可以在身后放什么
一旦你被抠出来,背景就是一个选择,而不是一种限制。在Zella里,去除背景后的默认选项是散景虚化,这是最宽容的选项,因为它能藏住小的边缘错误。在此基础上,你可以切换为硬抠图、透明背景、普通虚化,或任意一个40种内置背景。
在规划镜头之前值得知道的一个限制:导出真正透明的背景是Pro功能。其他一切,包括抠图、虚化、散景、图片和颜色背景,都可以在免费版中导出,无水印,最长2分钟,1080p。
干净抠像的技巧
- 对比度有帮助。站得离背景稍远一点,并让背景的亮度和你的衣服、头发不同,遮罩会更清晰。
- 你身上的光要均匀。强烈的侧面阴影会让任何分割算法困惑。
- 避免复杂的边缘。毛躁的头发和细小的道具(手里的笔、麦克风网罩)是最难的情况,好的模型能处理手持物体,但越简单越稳妥。
- 拿不准时,虚化胜过替换。虚化的原始背景比硬切到一个完全不同的场景更能掩盖遮罩瑕疵。
常见问题
在iPhone上能免费去除视频背景吗? 能。Zella的免费版包含录制时的设备端实时抠像(免费导出无水印,最长2分钟)。Zella for iPhone已在App Store上架;Mac版现已在Mac App Store推出。一次Pro购买就能取消时长限制、增加4K,并且两端通用。
在iPhone上换视频背景需要绿幕吗? 不需要。AI分割完全取代了绿幕,这正是它的意义所在:上面那一节列出了真正的绿布仍然更好的少数几种镜头。拍摄前的设置方法见iPhone录制(英文)。
抠像会把我的视频上传到云端吗? 取决于应用。Zella在设备端完成,所以什么都不上传。云端工具会把你的素材发到服务器。
能只虚化背景而不去除它吗? 能,而且往往看起来更自然。参见如何在iPhone上给视频虚化背景。
相关文章