OpenAI 推出「文字生成影片」模型 – Sora

OpenAI推出「文字生成影片」模型–Sorahttps://abmedia.io/openai-text-to-video-model?utm_source=rss&utm_medium=rss&utm_campaign=openai-text-to-video-model&utm_source=rss&utm_medium=rss&utm_campaign=openai-text-to-video-model

震撼！牛逼！OpenAI 发布了 Sora，一种文字生成视频的技术，从演示看，效果还是相当不错的。

震撼！牛逼！OpenAI发布了Sora，一种文字生成视频的技术，从演示看，效果还是相当不错的。Sora的强大之处在于其能够根据文本描述，生成长达60秒的视频，其中包含精细复杂的场景、生动的角色表情以及复杂的镜头运动。目前，Sora已对网络安全的红队成员开放，以评估其可能存在的风险或潜在伤害。同时，OpenAI也邀请了视觉艺术家、设计师和电影制作人使用Sora，收集他们的反馈，以使模型更好地服务于创意行业。Sora能够创造出包含多个角色、特定动作类型以及与主题和背景相符的详细场景。这款模型不仅能理解用户的指令，还能洞察这些元素在现实世界中的表现。Sora对语言有着深刻的理解，能够精准地捕捉到用户的需求，并创造出充满生命力、情感丰富的角色。此外，Sora还能在同一视频中创造出多个画面，同时保持角色和视觉风格的一致性。当然，Sora还不是完美的。比如在模拟复杂场景的物理效应，以及理解某些特定因果关系时，它可能会遇到难题。举个例子，视频中的人物可能会咬一口饼干，但饼干上可能看不到明显的咬痕。在处理空间细节，比如分辨左右时，Sora也可能会出现混淆；在精确描述一段时间内发生的事件，如特定的摄影机移动轨迹时，也可能显得力不从心。—-视频二提示词：一位时髦的女士穿行在东京的街头，街道充满了温暖的霓虹灯光和动感的城市标志。她穿着一件黑色皮夹克，一条长红裙和黑色靴子，手拿一个黑色手提包。她戴着太阳镜和红色口红。她走路既自信又随意。街道潮湿且能反射，创造出彩色灯光的镜面效果。许多行人来来往往。产品地址：openai.com/sora

周鸿祎称Sora生成视频堪比CG：未做3D建模 只需文字就可逼真描绘

周鸿祎称Sora生成视频堪比CG：未做3D建模只需文字就可逼真描绘他认为，对比Pika和Runway是做不出这样效果的。Pika和Runbway实际上是基于图形图像本身的操作来进行生成。只是形成一种比较简单的计算机动画的效果。周鸿祎说：“即使是用常规呢计算机CG电影工业特效来看这三个画面，那也会非常难做，但是到了Sora这里，这些细节都会变得非常简单，只要给出一些文字的提示要求，就能逼真描绘出来”。他认为，Sora是没有做3D建模的。如果Sora也只是用3D建模再进行渲染，那么这和传统的电影工业走的是一样的路，这样就不具备颠覆性和革命性了。周鸿祎猜测Sora做到如此效果有三点原因：1、Sora模拟了人类观察、描绘、表现世界的方法。如果人类画师用笔画出来这三个场景，人类的大脑里不需要3D建模，因为人类对世界有基本认知。人类可以随意想象出自己要做的事，可以控制自己所想。2、Sora在学习的过程中，用了很多视频、电影的内容来作为训练输入。当输入一些画面，不仅要解读出画面的元素，还要解读出一些物理定律。openAI的论文中曾提到recaptioning技术，意思是对每一帧画面都能够用文字来描述。这点也正符合人类认知世界的方法。3、openAI产生了很多3D内容。不排除它用现在游戏引擎做了很多实时3D模型的渲染，再利用这些3D模型把更多的物理知识训练给Sora。周鸿祎表示，Sora是记录文生视频AIGC的工具，它反映了AI对世界的理解，是从文字进入图像，再从图像展示对这个世界3D模型的理解。...PC版：https://www.cnbeta.com.tw/articles/soft/1418931.htm手机版：https://m.cnbeta.com.tw/view/1418931.htm

OpenAI的Sora视频生成模型也能用来渲染游戏

OpenAI的Sora视频生成模型也能用来渲染视频游戏这篇题为《作为世界模拟器的视频生成模型》（Videogenerationmodelsasworldsimulators）的论文由多位OpenAI研究人员共同撰写，揭开了Sora架构关键方面的神秘面纱--例如，Sora可以生成任意分辨率和长宽比（最高1080p）的视频。根据论文所述，Sora能够执行一系列图像和视频编辑任务，从创建循环视频、向前或向后延伸视频到更改现有视频的背景。但最吸引笔者的还是Sora"模拟数字世界"的能力，OpenAI的合著者如是说。在一次实验中，OpenAI将Sora放到Minecraft上，让它在控制玩家的同时渲染世界及其动态（包括物理）。Sora在Minecraft中控制一名玩家，并渲染视频游戏世界，请注意，颗粒感是由视频到GIF的转换工具造成的，而不是Sora。图片来源：OpenAIOpenAI那么，Sora是如何做到这一点的呢？正如NVIDIA高级研究员JimFan（通过Quartz）所说，与其说Sora是一个创意引擎，不如说它是一个"数据驱动的物理引擎"。它不仅能生成单张照片或视频，还能确定环境中每个物体的物理特性，并根据这些计算结果渲染照片或视频（或交互式3D世界，视情况而定）。合著者写道："这些功能表明，继续扩展视频模型是开发物理和数字世界以及其中的物体、动物和人的高能力模拟器的一条大有可为的途径。"现在，Sora在视频游戏领域也有其通常的局限性。该模型无法准确模拟玻璃碎裂等基本互动的物理过程。即使在可以建模的互动中，Sora也经常出现不一致的情况，例如在渲染一个人吃汉堡时，却无法渲染汉堡上的咬痕。不过，如果我没看错的话，Sora似乎可以为更逼真（甚至可能是逼真）的程序生成游戏铺平道路。这既令人兴奋，又令人恐惧（考虑到Deepfake的影响）--这也许就是为什么OpenAI选择暂时将Sora关在一个非常有限的访问程序后面的原因。相关文章:OpenAI推出文本到视频人工智能模型SoraOpenAI首个视频生成模型发布能生成长达1分钟的高清视频...PC版：https://www.cnbeta.com.tw/articles/soft/1418461.htm手机版：https://m.cnbeta.com.tw/view/1418461.htm