从视频中删除背景克登利夫是一款适用于 Linux、macOS 和 Windows 的免费开源视频编辑器,即将变得更加容易。
开发人员正在添加一个“现代背景去除工具”,该工具使用机器学习来创建对象蒙版,以便您可以“剪切”视频剪辑中的对象、人或项目。
实时背景删除功能在视频会议/聊天应用程序中很常见,例如松弛。它们允许用户用替代图像,有时甚至是视频剪辑来替换他们的实际背景(例如凌乱的厨房)。
GIMP 和 Photoshop 等图像编辑工具长期以来都能够“检测”对象以加快选择和遮罩速度。
视频编辑人员通常有类似的需求。他们可能需要隔离剪辑中的移动对象、物品、人物等以应用效果或色彩校正,或者“剪切”某些内容以将其添加到另一个视频剪辑中、为其设置动画等。
使用遮罩(以及遮罩剪辑内移动的对象、遮罩关键帧)即可实现这一切——Kdenlive(任何优秀的视频编辑器都应具备的功能)已经提供了这两个功能。
然而,掩蔽是一个耗时且乏味的过程。必须准确地描绘主题,使用钢笔工具添加点和曲线,和如果拍摄对象移动(在视频中,通常会这样做),则必须逐帧调整遮罩。
输入机器学习来加速这一过程。
今年苹果发布了Final Cut Pro 11与一个磁屏蔽功能消除屏蔽的单调性:分析剪辑,选择一个主题,机器学习将屏蔽和逐帧跟踪——用户可以选择进入并在之后收紧它。
奇妙的东西——Kdenlive 就是获得类似的功能它自己的!
Kdenlive 中的对象屏蔽利用 Meta分段任何模型 2(萨姆2)。这是专门为支持“图像和视频中的视觉分割”而设计的,这意味着它完美的用于掩盖视频中的对象。
一旦该功能落地,流程将如下所示:选择一个视频剪辑,选择一个要应用“背景删除”的区域,创建一个新的面具,选择要保留的对象(即剪切),然后单击生成掩码机器学习的神奇发生了。
结果是出奇很好,即使将主体与具有相似颜色的繁忙背景隔离开来,正如使用 Kdenlive 25.04 alpha 中的这一新功能制作的遮罩 GIF 所示:
你可以下载 Kdenlive alpha 版本立即尝试(请务必下载 25.04 alpha,而不是 24.05 RC)。预计会出现更多 alpha 预览版,因为此功能以及计划于 2025 年推出的其他新功能将得到完善、充实并为稳定使用做好准备。
除了它可能无法可靠地工作(目前)之外,Kdenlive 的新“背景去除”工具(我更喜欢“自动遮罩”这个术语)确实需要初始设置和下载模型(大小为几 GB)。
它可能在以下情况下效果最好(并且速度最快):体面的钻机。尝试在我的 CPU 和集成显卡较弱的慢速笔记本电脑上测试 alpha,当前的 Kdenlive alpha爬行的然后在使用对象屏蔽时崩溃。
但这是一个令人兴奋的发展。它展示了如何使用机器学习和“人工智能”来帮助人类创造力,而不是像越来越常见的那样取代它。