Meta 发布了一个可以利用 AI 自动剪辑视频的 Agents LAVE。
Meta 发布了一个可以利用 AI 自动剪辑视频的 Agents LAVE。
这玩意再加上 Sora 这样的视频生成模型，一些简单的短视频以及广告视频基本上就不需要人工介入了，大家以后刷的估计都是生成出来的视频了，想要啥有啥。
我下面会简单介绍一下这个剪辑工具的界面组成和 Agents 设计：
-工具界面及交互（图 1）-
A 区域主要是输入提示词以及展示 LLM 详细的剪辑逻辑。
B 区域是素材库，你可以鼠标 Hover 后获得 LLM 帮你总结的这段视频的内容，不需要播放查看， AI 也会自动生成的素材标题。
E 区域就是传统的视频时间轴，AI 剪辑的视频就在这里，你也可以手动调整。
-Agents 设计（图 2）-
1⃣系统提示前言：
角色分配：一个开场段指示Agents担任视频编辑助理，负责根据用户命令生成行动计划。
动作描述：在角色分配之后，描述了Agents可以执行的一系列动作。每个动作对应于LAVE支持的编辑功能。详细说明了每个动作的功能和用例，帮助Agents选择适当的响应以满足用户的命令。
格式指导：最后，指导Agents以一致的格式输出行动计划：首先确定用户的编辑目标，然后列出逐步计划，列举建议的行动以实现该目标。
其他系统提示：
在前言之后，附加了最近的对话历史，以及最新的用户输入。这种组合形成了发送给LLM以生成行动计划的完整提示。
2⃣制定行动计划后，将其提交给用户进行批准：
与批量批准不同，每个行动都由用户依次批准。这种方法允许用户执行一个行动，观察其结果，然后决定是否继续进行下一个行动。LAVE从行动计划中解析每个行动描述，并将其转化为相应的后端函数调用。
3⃣LAVE支持五种LLM功能：
1）素材概览，2）创意头脑风暴，3）视频检索，4）故事板，5）剪辑修剪。前四种功能可通过Agents访问，而剪辑修剪可通过双击编辑时间轴上的剪辑时出现的窗口进行。
其中，基于语言的视频检索是通过向量存储数据库实现的，而其余功能则是通过LLM提示工程实现的。所有功能都是基于自动生成的语言构建的。
