OpenAI的Sora视频生成模型也能用来渲染游戏

OpenAI的Sora视频生成模型也能用来渲染视频游戏这篇题为《作为世界模拟器的视频生成模型》（Videogenerationmodelsasworldsimulators）的论文由多位OpenAI研究人员共同撰写，揭开了Sora架构关键方面的神秘面纱--例如，Sora可以生成任意分辨率和长宽比（最高1080p）的视频。根据论文所述，Sora能够执行一系列图像和视频编辑任务，从创建循环视频、向前或向后延伸视频到更改现有视频的背景。但最吸引笔者的还是Sora"模拟数字世界"的能力，OpenAI的合著者如是说。在一次实验中，OpenAI将Sora放到Minecraft上，让它在控制玩家的同时渲染世界及其动态（包括物理）。Sora在Minecraft中控制一名玩家，并渲染视频游戏世界，请注意，颗粒感是由视频到GIF的转换工具造成的，而不是Sora。图片来源：OpenAIOpenAI那么，Sora是如何做到这一点的呢？正如NVIDIA高级研究员JimFan（通过Quartz）所说，与其说Sora是一个创意引擎，不如说它是一个"数据驱动的物理引擎"。它不仅能生成单张照片或视频，还能确定环境中每个物体的物理特性，并根据这些计算结果渲染照片或视频（或交互式3D世界，视情况而定）。合著者写道："这些功能表明，继续扩展视频模型是开发物理和数字世界以及其中的物体、动物和人的高能力模拟器的一条大有可为的途径。"现在，Sora在视频游戏领域也有其通常的局限性。该模型无法准确模拟玻璃碎裂等基本互动的物理过程。即使在可以建模的互动中，Sora也经常出现不一致的情况，例如在渲染一个人吃汉堡时，却无法渲染汉堡上的咬痕。不过，如果我没看错的话，Sora似乎可以为更逼真（甚至可能是逼真）的程序生成游戏铺平道路。这既令人兴奋，又令人恐惧（考虑到Deepfake的影响）--这也许就是为什么OpenAI选择暂时将Sora关在一个非常有限的访问程序后面的原因。相关文章:OpenAI推出文本到视频人工智能模型SoraOpenAI首个视频生成模型发布能生成长达1分钟的高清视频...PC版：https://www.cnbeta.com.tw/articles/soft/1418461.htm手机版：https://m.cnbeta.com.tw/view/1418461.htm

下午察：Sora激起中国科技圈焦虑？

下午察：Sora激起中国科技圈焦虑？继生成式人工智能（AI）ChatGPT之后，美国AI巨头OpenAI在2月16日凌晨继续震动四方，凭借更逼真的视频生成技术再次出圈。在影视业人士担忧这项AI技术可能让自己失业的同时，中美科技博弈的紧迫感也在升级。Sora是OpenAI开发的首个AI视频生成模型，只要输入内容、提示词或图片，Sora就能在一秒内生成长达一分钟的高保真视频。没有导演、专业演员的参与，Sora的视频却能生成出高度细致的背景、复杂的多角度镜头及富有情感的角色。以往视频制作的选址、选演员、分镜构图，架设机位、后期制作等复杂流程，对Sora而言都只是一句话的功夫。2024年2月20日8:50PM

汤姆猫：正在推进申请接入 OpenAI 的 Sora 模型

汤姆猫：正在推进申请接入OpenAI的Sora模型汤姆猫在互动平台表示，公司正在推进申请接入OpenAI的Sora模型，并计划进行相关的素材制作的测试，目前暂未正式接入Sora。在生成视频领域，公司已利用Pika、Runway、StableDiffusion等工具制作了部分视频素材，探索该等素材在营销、动画制作领域的应用。目前公司在文生视频技术上的应用仍在探索阶段，相关技术的应用现阶段未对公司业绩产生重大影响。

生数科技联合清华发布视频大模型Vidu 全面对标Sora

生数科技联合清华发布视频大模型Vidu全面对标Sora据介绍，Vidu不仅能够模拟真实物理世界，还拥有丰富想象力，具备多镜头生成、时空一致性高等特点。Vidu是自Sora发布之后全球率先取得重大突破的视频大模型，性能全面对标国际顶尖水平，并在加速迭代提升中。与Sora一致，Vidu能够根据提供的文本描述直接生成长达16秒的高质量视频。值得一提的是，短片中的片段都是从头到尾连续生成，没有明显的插帧现象，从这种“一镜到底”的表现能够推测出，Vidu采用的是“一步到位”的生成方式，与Sora一样，文本到视频的转换是直接且连续的，在底层算法实现上是基于单一模型完全端到端生成，不涉及中间的插帧和其他多步骤的处理。...PC版：https://www.cnbeta.com.tw/articles/soft/1428888.htm手机版：https://m.cnbeta.com.tw/view/1428888.htm

OpenAI Sora：“原始版”世界模拟器 我们离黑客帝国还有多远？

OpenAISora：“原始版”世界模拟器我们离黑客帝国还有多远？Sora：大力出奇迹的产物刚刚发布Gemini1.5Pro的谷歌，没有尝到半点甜头。刚刚官宣更新几个小时，OpenAI就拿着Sora来炸场，和Gemini有关的消息，基本都被埋在了铺天盖地的Sora新闻流里。据一些观察人士推测，OpenAI可能早在去年3月就已经完成了Sora的开发，所以才能在公关战中稳稳占据主动权。Sora到底优秀在哪里？简单来说，它是一个“大力出奇迹”的产物。Sora结合了扩散模型（DALL-E3）和转换器架构（ChatGPT）。通过这种组合，该模型可以像ChatGPT处理文本一样处理视频（即图像帧的时间序列）。最令人印象深刻的特点是它能够逼真地模拟物理世界（OpenAI将其描述为“新兴的模拟能力”）。在此之前，还没有任何文字视频模型能与之相媲美。例如，Sora“可以在单个生成的视频中创建多个镜头，准确地体现人物和视觉风格”。它可以制作长达1分钟的视频，但你也可以随心所欲地制作短视频。可以制作不同分辨率的竖版、方形和水平视频。而且计算量越高，视频质量也会越高。AI科学家、创业者贾佳亚在社交媒体上表示：Sora基于视频的三维结构分解压缩，用不同分辨率，不同时长，不同场景的各类视频大量训练diffusionmodel。在学术界连VIT的256*256的分辨率都没法改的情况下，Sora直接用上了高清以及更大的分辨率，这没几千上万张H100都不敢想象如何开始这个项目。Sora能够学习真实世界的物理规则OpenAI表示，Sora不仅能理解提示中出现的风格、场景、角色、物体和概念等，还能理解“这些事物在物理世界中是如何存在的”。Sora通过海量视频，以梯度下降的方式在神经参数中隐含地学习物理引擎。Sora是一个可学习的模拟器，或称“世界模型”。亦即，Sora可能已经学会了一套隐含的物理规则，为视频生成过程提供信息。毫无疑问，这是AI理解世界的关键一步。OpenAI在博文的最后写道：Sora是能够理解和模拟现实世界的模型的基础，我们相信这种能力将成为实现AGI的重要里程碑。在OpenAI的Dalle-3图像生成器所使用的扩散模型版本和GPT-4基于变换器的引擎的支持下，Sora不仅能按照提示要求制作视频，而且还能显示出对电影技术的熟练掌握。这就是讲故事的天赋。在另一部根据“渲染华丽的珊瑚礁纸艺世界，到处都是五颜六色的鱼和海洋生物”的提示制作的视频中。该项目的另一位研究员BillPeebles指出，Sora通过拍摄角度和时机的选择，创造了一种叙事的推动力：实际上有多个镜头的变化——这些变化不是拼接在一起的，而是由模型一次性生成的。我们没有告诉它要这么做，它只是自动这么做了。Sora不仅能根据文本制作图像和视频，或将图像和视频转换为其他视频，而且还能以通用、可扩展的方式完成这些工作，这一点与竞争对手不同。这种通用性和可扩展性促使人们预测人工智能将颠覆好莱坞和整个电影制作。考虑到进步的速度，想象一下几个月后人工智能模型能够制作出长达5或10分钟的多场景、多角色复杂视频并不是什么疯狂的事情。目前Sora还在接受安全检查和对抗性测试，没有正式发布。OpenAI希望从“世界各地的政策制定者、教育工作者和艺术家”那里收集反馈意见。他们还在开发一种检测分类器来识别Sora制作的视频，并研究如何防止错误信息。要想让文字视频威胁到真正的电影制作，恐怕还需要很长一段时间。你不可能把120个一分钟长的Sora片段拼接成一部连贯的电影，因为模型不会以完全相同的方式对提示做出反应，因此无法确保输出视频的连续性。但时间限制并不妨碍Sora和类似的软件颠覆TikTok、Reel和其他短视频平台的生产方法。一位研究者表示：要制作一部专业电影，你需要大量昂贵的设备，这种模式将使在社交媒体上制作视频的普通人有能力制作出非常高质量的内容。...PC版：https://www.cnbeta.com.tw/articles/soft/1418735.htm手机版：https://m.cnbeta.com.tw/view/1418735.htm

Google Gemini 1.5 Pro 评价 OpenAI 最新 Sora 视频

GoogleGemini1.5Pro评价OpenAI最新Sora视频让GoogleGemini1.5Pro判断OpenAI在TikTok发布的最新Sora视频是否是AI生成的，有什么不合理的地方，它表示，这段视频是由人工智能生成的。视频中的蜜蜂飞得太快，而且不稳定，似乎能够瞬间改变方向。此外，蜜蜂的翅膀拍打方式也不真实。TikTok视频链接：https://www.tiktok.com/@openai/video/7345507213349408046via匿名标签:#Google#Gemini频道:@GodlyNews1投稿:@GodlyNewsBot