a16z的一篇文章，详细盘点了现在人工智能视频生成领域的现状，看完就可以对这个领域有个大概的了解，感兴趣可以看看。

a16z的一篇文章，详细盘点了现在人工智能视频生成领域的现状，看完就可以对这个领域有个大概的了解，感兴趣可以看看。他们列出了2023视频生成产品的时间表以及对应产品的详细信息。同时对视频生成目前需要解决的问题以及视频生成领域的ChatGPT时刻到来需要具备的条件进行了探讨。下面是主要内容，也可以去链接看全文翻译：AI视频领域目前需要解决的核心问题？控制：你能否控制场景中的事件以及“摄像机”的运动？对于后者，一些产品增加了可以让你进行缩放或平移摄像机，甚至添加特效的功能。至于前者—即动作是否如所描述的那样—这个问题更加棘手。这是一个关于基础模型质量的问题（模型是否能理解并执行你的提示）。时间连贯性：如何确保在视频的不同帧之间，角色、物体和背景的一致性，防止它们在画面中突变或扭曲？这是目前所有公开的模型普遍面临的问题。视频长度：如何制作时长超过几秒的视频片段？这个问题与时间连贯性密切相关。因为保持视频在几秒钟后仍具有一致性存在难度，许多公司限制了用户能生成的视频长度。AI视频领域的ChatGPT时刻何时到来，需要回答的几个问题？当前的扩散架构是否适合视频制作？目前的视频模型是基于扩散技术的：它们主要通过生成连续的帧并尝试创建时间上连贯的动画（采用多种策略实现）。这些模型没有对三维空间及物体间互动的内在理解，这就是扭曲或变形的原因。高质量的训练数据将从何而来？训练视频模型比训练其他内容模态更加困难，主要原因是缺乏足够的高质量、有标签的训练数据。这些用例将如何在不同平台或模型间区分开来？我们在几乎所有内容模态中观察到的现象是，没有一个模型能在所有用例中独占鳌头。谁将主导视频制作的工作流程？在目前的情况下，除了视频本身的生成，制作一段优质的视频或电影通常还需要进行编辑。我们预计视频生成平台将开始引入视频编辑需要的附加功能。翻译及原文链接：https://quail.ink/op7418/p/why-2023-ai-video-breakthrough-2024-outlook

盛趣游戏林蕤：对 AI 视频生成技术接入实际研发管线保持乐观

盛趣游戏林蕤：对AI视频生成技术接入实际研发管线保持乐观2月21日，盛趣游戏艺术专家委员会执行主席、美术中心美术总监林蕤对e公司记者表示，OpenAISora体现了继RunwayGen2、PikaLabs之后，AIGC文生视频工具的又一次进步，发布的视频在时长、一致性、稳定性、视角、物理等方面体现出较大的提升。Sora是体现ChatGPT大语言模型逻辑的“世界模拟器”，其潜力远超影片生成工具的范围。落地AI文生视频技术对于游戏研发团队来说是充满吸引力的选项，盛趣游戏从2023年开始就在努力推动AIGC视频生成工具在游戏过场动画、角色形象表现、风格转化、动效表现等方面的落地应用并为之建设对应的生产管线。团队关注它的持续进步，对AI视频生成技术接入实际研发管线保持乐观。

天娱数科：公司积极关注 AI 视频生成包括 Sora 在内的各种技术路线和生态演化

天娱数科：公司积极关注AI视频生成包括Sora在内的各种技术路线和生态演化天娱数科在互动平台表示，公司积极关注AI视频生成包括Sora在内的各种技术路线和生态演化，持续增强公司在虚拟人交互体验、数字内容制作效率等方面的生产能力，不断深化技术向产业的赋能应用。公司推出的AIGC短视频智能营销助手“魔方Mix”，是一款基于AIGC智能技术的短视频生产工具。元趣AI是公司的2D拟真数智人AI应用平台。

谷歌 DeepMind 开发新 AI 可为视频生成配乐和对白

谷歌DeepMind开发新AI可为视频生成配乐和对白近日，Google的人工智能研究实验室DeepMind表示，它正在开发为视频生成配乐的人工智能技术。DeepMind在其官方博客上发表文章称，它认为V2A（"视频到音频"的缩写）技术是人工智能生成媒体拼图中必不可少的一部分。虽然包括DeepMind在内的许多机构已经开发出了视频生成人工智能模型，但这些模型无法在生成视频时同步生成音效。

Sora：探索大型视觉模型的前世今生、技术内核及未来趋势 | blog

Sora：探索大型视觉模型的前世今生、技术内核及未来趋势Sora，一款由OpenAI在2024年2月推出的创新性文转视频生成式AI模型，能够依据文字说明，创作出既真实又富有想象力的场景视频，展现了其在模拟现实世界方面的巨大潜能。本文基于公开技术文档和逆向工程分析，全面审视了Sora背后的技术背景、应用场景、当前面临的挑战以及文转视频AI技术的未来发展方向。文章首先回顾了Sora的开发历程，探索了支撑这一“数字世界构建者”的关键技术。接着探讨了Sora在电影制作、教育、市场营销等多个领域内的应用潜力及其可能带来的影响。文章还深入讨论了为实现Sora的广泛应用需克服的主要挑战，例如保证视频生成的安全性和公正性。最后展望了Sora乃至整个视频生成模型技术未来的发展趋势，以及这些技术进步如何开创人机互动的新方式，进而提升视频创作的效率和创新性。

Generating audio for video：DeepMind视频音频生成技术，为无声创造同步音轨的创新工具，结合视

：DeepMind视频音频生成技术，为无声视频创造同步音轨的创新工具，结合视频像素和自然语言提示生成丰富的音景-DeepMind研发了视频到音频(V2A)技术，可以利用视频像素和文本提示生成与视频同步的丰富音轨。-V2A可与像Veo这样的视频生成模型配合使用，为视频添加戏剧性配乐、逼真音效或与视频角色和语气匹配的对话。-V2A也可以为各类传统镜头生成音轨，如档案素材、无声电影等，拓宽创作空间。-V2A支持无限生成音轨，允许定义正向和负向提示来指导生成所需的音频。-V2A使用基于扩散的方法，先编码视觉输入，然后模型逐步从随机噪声中提炼音频。这个过程同时利用视觉输入和文本提示进行指导。-为提高音频质量，训练中加入了AI生成的含音频详细描述和语音转录的注释信息。-V2A可理解原始像素，添加文本提示是可选的。它也无需人工调整生成音频与视频的对齐。-当前局限包括视频失真可影响音频质量，语音同步存在待改进之处。-DeepMind将采取负责任的方式开发和部署V2A，正在与顶级创作者合作改进技术，并加入合成识别工具SynthID以防范技术误用。-V2A正在进行安全评估，初始结果显示它是使生成视频栩栩如生的有前景技术。