OpenAI 发布文生视频模型 Sora

OpenAI 发布文生视频模型 Sora 2月16日凌晨，OpenAI再次扔出一枚深水炸弹，发布了首个文生视频模型。Sora可以直接输出长达60秒的视频，并且包含高度细致的背景、复杂的多角度镜头，以及富有情感的多个角色。 一位YouTube博主Paddy Galloway发表了对Sora的感想，他表示内容创作行业已经永远的改变了，并且毫不夸张。“我进入YouTube世界已经15年时间，但OpenAI刚刚的展示让我无言…动画师/3D艺术家们有麻烦了，素材网站将变得无关紧要，任何人都可以无壁垒获得难以置信的产品，内容背后的‘想法’和故事将变得更加重要。” 但Sora模型当前也存在弱点。OpenAI称它可能难以准确模拟复杂场景的物理原理，并且可能无法理解因果关系。例如，一个人可能咬了一口饼干后，饼干会没有咬痕，玻璃破碎的物理过程可能也无法被准确呈现。 频道：@kejiqu 群组：@kejiquchat

Sora官方发布首支MV《Worldweight》

Sora官方发布首支MV《Worldweight》 据了解，这首《Worldweight》的音乐是由艺术家August Kamp作曲；而MV的画面内容，正是他借助Sora来完成的。用August Kamp自己的话来说：“我心中的Worldweight，终于有了具象的视觉效果。”他回忆起两年前创作这首歌时的情景：当时我感受到了音乐的流淌，仿佛是我的心血和灵魂的流露。外面还下着雨，而我却幸运地能够将这些情感倾注到歌曲中，通过音乐将这些感觉保存下来。而现在随着Sora的出现，则成了一种将原本只存在于他闭眼时的想象，转化为可以与他人共享的艺术形式的方式。这并非是August Kamp第一次用AIGC技术来制作MV。早在上个月，他就在自己的Instagram账号中剧透了AI生成的MV片段：Current Time 0:00/Duration 0:27自动播放同样的，这支MV片段的每一帧画面，都是由Sora生成。很多网友们在看到Sora制作出来的MV之后可谓是感慨万千，有人评价道：Sora好像把一觉睡了300年所经历的梦给复刻出来了。也有人觉得Sora做的MV（比梦）更加神奇和梦幻：跨次元的“电缆”终于出现了。嗯，Sora的这一波操作可以说是又赢麻了。不过有一说一，虽说AIGC在Music Video的“video”中好评如潮，但在“music”这件事上，画风却并非如此。欧美天后们联名抗议AIGC没错，和当年画家们抵制AIGC一样，乐坛也出现了如出一辙的事情。完整名单如下：在这次联名抗议的名单中，很多人都是当今全球顶流麻辣鸡（Nicki Minaj）、水果姐（Katy Perry）、碧梨（Billie Eilish）等人都坐不住了。他们所签署的这封联名信是针对人工智能开发者、科技公司和数字平台，并要求：停止使用人工智能（AI）来侵犯和贬低人类艺术家的权利。艺术家们特别指出了目前存在一些问题，如：AI技术复制艺术家的声音未经补偿使用艺术家的作品来训练AI模型以及稀释支付给艺术家的版税池等等他们认为这些问题不仅损害了艺术家的经济利益，也对他们的创作自由和艺术价值构成了威胁。在这封信中，艺术家们呼吁科技和AI领域的合作伙伴们共同努力，建立一个负责任的市场环境，保持音乐的质量，而不是简单地用AI取代人类艺术家。艺术家们还强调，虽然人工智能在负责任的使用下可以促进人类的创造力，但目前一些平台和开发者的使用方式却是在破坏创造力和削弱艺术家、词曲作者、音乐家及其权利持有者的地位。例如在“AI复制艺术家声音”这件事上，现在只要在网上随便一搜，就能找到诸如下面这样的网站，可以轻松复刻水果姐的歌声：无独有偶，这种现象不仅是在国外，在国内也是频频发生。例如去年火上热搜的“AI孙燕姿”，就是典型的一个例子。除此之外，在做音乐这件最根儿上的事情，AI技术的发展也似乎给艺术家们带来了一定的冲击。例如前阵子爆火的音乐版ChatGPTSuno就被玩疯了。直接拿菜名“宫保鸡丁”用AI做个音乐剧，就能登上全球AI音乐热门榜前十。可以听听效果：就连说唱歌手Rabbitdog，在听了第一句Suno生成的AI版《Made in China》之后，都直接蚌埠住了：简直顶爆了，下课，明天视频不再更了……在操作上也极其的简单，只需要输入风格、主题就能生成；如果输入歌词，AI还能唱起来~而且AI写歌、唱歌这事不仅是国外的技术火了，国内的技术也在路上了。例如就昨天，昆仑万维的天工SkyMusic也开始内测，功能正式的上线应该也快了，感兴趣的小伙伴也是可以蹲一波。One More Thing最后，回到MV这件事。流行音乐之王迈克尔杰克逊在1982年开创了现代MV，把流行音乐的MV水平推向了新的高潮。这是属于人类在创造和创意上的高光时刻。而现在，Sora和Suno等AIGC工具却在以另一种“硅基”的生成方式，同样也投入到了创作之中。仅仅42年时间，这一实一虚之间的变化，是有点意思了。参考链接：[1] ... PC版： 手机版：

OpenAI CTO：Sora今年将发布 会添加语音功能

OpenAI CTO：Sora今年将发布 会添加语音功能 以下为翻译全文：某个清晨醒来时，你是否曾幻想过一头公牛在精致的瓷器店中悠然自得地行走的场景？要实现这一奇幻景象，你有三种途径：A）联系当地的动物驯养师以及知名家居品牌Crate & Barrel；B）雇请顶尖的好莱坞动画制作人；C）使用神奇的AI工具Sora，简单输入指令即可。欢迎进入人工智能的下一个“魔法世界”。在这里，你的语言能够化作逼真、流畅且细腻的视频画面。OpenAI计划在今年晚些时候向大众推出其文本到视频的转换工具Sora。尽管正式发布尚需时日，但OpenAI已经向我们揭示了这款工具的惊人潜力：仅需精心设计的文本指令，便可创造出几乎足以替代许多视频制作专业人员的作品。《华尔街日报》专栏作家乔安娜·斯特恩（Joanna Stern）向该公司提交了几条由她自己编写的提示，比如一条美人鱼和她的螃蟹伙伴评测智能手机，或是一头公牛在精致的瓷器店内自由漫步。斯特恩随后亲身体验了Sora的神奇之处，她利用这款工具制作了一段模拟对OpenAI首席技术官穆拉蒂进行虚拟视频采访的片段，两人深入剖析了这些有趣的问题，并对该技术的潜在问题进行了探讨。OpenAI在上个月首次展示了用其生成式人工智能工具制作的视频预览，整个互联网为之沸腾。与之前那些断断续续、分辨率低下的人工智能视频技术相比，Sora生成的内容无疑是一场视觉盛宴，堪比高品质的自然纪录片或大制作电影。与之前的人工智能技术相似，Sora首先让我们对其能力感到惊叹，随即又担忧其对社会的影响。面对斯特恩的担忧，穆拉蒂向她保证，OpenAI在发布这一强大工具时将采取慎重的步骤。但这并不意味着一切都将无忧无虑。这些超逼真视频真的是Sora生成的吗？斯特恩对Sora生成的视频感到深深震撼：从无人机视角拍摄的意大利阿马尔菲海岸的壮观景色，到手持自拍杆的柯基犬，再到冲浪板上活泼的动画水獭，这些画面无一不展示了Sora在创意和细节处理上的强大能力。她进一步挑战Sora，要求它生成更接近日常生活的场景：“两名30多岁、棕发的职业女性在一个明亮的演播室里坐下接受新闻采访。”Sora生成的视频中，两位女性的嘴唇和头发动作自然流畅，皮夹克的细节也清晰可见。穆拉蒂透露，这段20秒长、720P分辨率的视频仅用了几分钟就完成了生成，尽管目前还未加入声音。但她承诺，OpenAI正在计划为Sora增添语音功能。为了对比Sora与其他工具的区别，斯特恩也在另一个AI视频生成器Runway上输入了相同的提示。然而，得到的结果大相径庭，Runway生成的画面是两个模糊、幽灵般的女性形象，它们看起来像是直接从恶梦中走出来的，令人毛骨悚然。那么，Sora究竟是如何实现这一神奇转换的呢？尽管解释其内部工作原理可能比解释美人鱼的进化还要复杂，但简单来说，Sora背后的AI模型通过分析大量视频数据，学会了识别和理解各种物体与动作。输入文本提示后，模型能够迅速勾勒出整个场景的基本轮廓，并逐帧添加细节。行业观察人士和竞争对手，包括Runway的首席执行官，都认为OpenAI的这些显著成就归功于其巨大的计算资源和庞大的训练数据量。但OpenAI最近也面临着版权侵犯的指控，因未经授权使用大量在线内容训练其ChatGPT模型。当被问及OpenAI为训练Sora使用了哪些数据时，穆拉蒂表示：“我们主要使用了公开可获取的数据及已授权数据。”。当被进一步追问这些数据是否包括YouTube、Instagram和Facebook上的视频时，穆拉蒂表示她并不清楚具体细节，但后来确认，已授权的材料确实包含了知名版权图片网站Shutterstock上的内容。人工智能模型对普通用户来说往往是个神秘的黑匣子。我们看到的是输入和输出，而中间的处理过程则不得而知。因此，我们可能永远无法完全理解为何生成的内容展现出某些特定的风格或特征。例如，斯特恩提到的那条美人鱼身旁的甲壳类伙伴留着类似《海绵宝宝》中蟹老板的胡须，这是否是模型的创新还是某种偶然？穆拉蒂还告诉斯特恩，当前Sora生成视频的成本远高于该公司的图像生成器Dall-E。但她承诺，在Sora正式向公众发布前，团队将对其进行优化，以降低计算资源消耗。如何识别人工智能生成视频？在当前的早期阶段，人工智能生成的内容中还存在一些明显的瑕疵。例如，在Sora生成的采访视频中，一位浅发色女子的一只手似乎多出了五根手指。对此，穆拉蒂解释道：“准确再现手部运动真的很难。”在另一次测试中，斯特恩期望看到一个机器人从电影制片人手中夺走摄像机的场景。但Sora生成的是一位人类电影制片人突变成机器人，场面显得突兀且不自然。更有甚者，背景中的黄色出租车也不知怎的变成了银色轿车。穆拉蒂承认模型“在维持连贯性方面表现尚可，但并不完美”。这引出了一个深刻的议题：当这些缺陷得到修正，人工智能生成的视频愈发逼真时，我们如何区分真实与人工智能生成的视频？Sora生成的每个视频下方都会有一个水印。穆拉蒂解释说，最终这些视频还将包含元数据，以标示其生成方式和来源。此外，OpenAI设有一个名为“Sora红队”的安全测试小组。该团队的职责是提供各种提示，探索潜在的漏洞、偏见和其他可能的有害结果。穆拉蒂说：“这就是我们目前还没有广泛部署这些系统的原因。我们需要先弄清楚这些问题，然后才能放心地将其推向市场。”就Sora的提示词政策而言，穆拉蒂透露，它可能借鉴OpenAI的另一工具Dall-E的做法。例如，为了防止滥用和侵犯隐私，用户将无法使用Sora来生成公众人物的形象。当斯特恩试图输入“在任美国总统的电视新闻画面”时，Sora拒绝了这一请求。斯特恩也尝试让Sora生成“在东欧小镇上行走的士兵”的视频，但也遭到了拒绝。对于裸露等敏感内容的提示，穆拉蒂表示OpenAI正在与艺术家和专家紧密合作，共同探讨如何在不阻碍创意表现的同时，设立合理的“护栏和限制”。将与好莱坞合作随技术发展，像Sora这样的AI工具将变得更强大、更精细。这种进步可能会改变传统的工作方式，如无人机操作员或插画家的角色，引起好莱坞既期待又忧虑的反响。演员、电影制片人和工作室老板泰勒·佩里（Tyler Perry）表示，看到Sora的潜力后，他宣布暂停耗资8亿美元的工作室扩建计划。他认为这项技术能够削减布景和外景拍摄的成本，但同时也对电影行业和演员的未来抱有担忧。代表好莱坞和全美各地动画艺术家的动画协会主席珍妮特·莫雷诺·金（Jeanette Moreno King）也称，尽管艺术创作决策仍需人类参与和判断力，未来却是充满不确定性的迷雾。爱德华·萨奇（EdwardSaatchi）及其人工智能视频工作室Fable正梦想打造一个AI版Netflix：仅需输入一段文本提示，便可呈现完整的电视剧集。对于Sora对视频制作行业的潜在影响，穆拉蒂重申了OpenAI采取的缓步审慎策略。她表示，OpenAI正在与行业内部人士合作，进行早期的测试和反馈征集，希望全球的电影制作者和创作者能加入这一探索过程，共同促进电影产业的发展。如果将OpenAI比作一开始提到的那头在瓷器店里自由漫步的公牛，那么它目前可能需要小心行事。但最终，它可能不可避免地将带来一些破坏。 ... PC版： 手机版：

震撼！牛逼！OpenAI 发布了 Sora，一种文字生成视频的技术，从演示看，效果还是相当不错的。

震撼！牛逼！OpenAI 发布了 Sora，一种文字生成视频的技术，从演示看，效果还是相当不错的。 Sora 的强大之处在于其能够根据文本描述，生成长达 60 秒的视频，其中包含精细复杂的场景、生动的角色表情以及复杂的镜头运动。 目前，Sora已对网络安全的红队成员开放，以评估其可能存在的风险或潜在伤害。同时，OpenAI 也邀请了视觉艺术家、设计师和电影制作人使用Sora，收集他们的反馈，以使模型更好地服务于创意行业。 Sora能够创造出包含多个角色、特定动作类型以及与主题和背景相符的详细场景。这款模型不仅能理解用户的指令，还能洞察这些元素在现实世界中的表现。 Sora对语言有着深刻的理解，能够精准地捕捉到用户的需求，并创造出充满生命力、情感丰富的角色。此外，Sora还能在同一视频中创造出多个画面，同时保持角色和视觉风格的一致性。 当然，Sora还不是完美的。比如在模拟复杂场景的物理效应，以及理解某些特定因果关系时，它可能会遇到难题。举个例子，视频中的人物可能会咬一口饼干，但饼干上可能看不到明显的咬痕。 在处理空间细节，比如分辨左右时，Sora也可能会出现混淆；在精确描述一段时间内发生的事件，如特定的摄影机移动轨迹时，也可能显得力不从心。 - 视频二提示词：一位时髦的女士穿行在东京的街头，街道充满了温暖的霓虹灯光和动感的城市标志。她穿着一件黑色皮夹克，一条长红裙和黑色靴子，手拿一个黑色手提包。她戴着太阳镜和红色口红。她走路既自信又随意。街道潮湿且能反射，创造出彩色灯光的镜面效果。许多行人来来往往。 产品地址：

OpenAI Sora让创作者们工作轻松 他们还相信自己不会轻易被取代

OpenAI Sora让创作者们工作轻松 他们还相信自己不会轻易被取代 Sora以其独特的文本到视频转换技术而闻名，能够生成长达一分钟的高质量视频，其概念验证视频一经发布便在网络上引发了广泛的关注。然而，对于好莱坞的某些从业者来说，这种技术的出现无疑带来了某种程度的威胁。资深电影制作人泰勒·佩里（Tyler Perry）对Sora的出色表现印象深刻，但同时也感到一丝忧虑。他甚至因此暂停了原本计划投入8亿美元的工作室扩建计划，并呼吁好莱坞的工作人员团结起来，共同应对人工智能带来的挑战。尽管Sora尚未正式向公众发布，但已经有许多创意领域的工作者开始尝试使用它。他们纷纷表示，这款工具不仅让他们的工作更轻松，也没有让他们感觉自己可以被替代。相反，Sora帮助他们更加清晰地传达抽象的概念，激发了他们以新的方式将想法可视化的灵感，并且在一定程度上降低了生产成本。不过，他们也强调，目前的Sora仍然需要人类的监督和指导。品牌广告顾问夏洛特·班扬（Charlotte Bunyan）是参与测试的人员之一。她通过为一家“知名超市”制作广告来体验Sora的功能，并表示这款工具“有可能”成为她未来工作的得力助手。班扬参与了英国《金融时报》组织的一次对比测试，其中涉及了Sora与竞争对手Runway和Pika，后两家公司都声称只需几个提示词就能生成人工智能视频。在测试中，班扬直接为Pika和Runway提供了一个提示，而OpenAI则为Sora提供了经过修改的提示。班扬表示，相较于其他工具，Sora对提示内容的呈现更加“忠实”。不过，这三种工具都“能加快我们交流创意想法的方式，并使其更加具体化。”但她也提到，无论使用哪个工具，通过编辑工具生成的内容似乎都还需要加入一个“人类层面”的处理。其他人则指出，Sora在一致性方面的不足可能会带来新的创作机会。据报道，独立艺术家Washed Out的新歌《The Hardest Part》的MV是与Sora合作制作的最长作品。这段视频的导演保罗·特里罗（Paul Trillo）在X平台上的帖子中表达了他对Sora生成视频的独特感受。他“沉醉于幻觉、奇异的细节、梦幻般的运动逻辑、记忆的扭曲镜像，以及Sora和人工智能所独有的超现实品质中”。据悉，这段视频是由Sora根据详细的提示生成的55个片段拼接而成。但这些片段的连贯性并不总是完美无缺。在视频中，一对夫妇和他们的孩子的形象在不同片段中有所出入。然而，特里洛选择忽略这些差异，从某种意义上说，这些差异反而增强了视频的梦幻性质。他认为Sora能够补充创意过程，但不应成为主导工具。特里洛补充说：“你必须明白该在哪些方面与Sora较劲。在处理这件事时，你不得不放弃一点自由意志，你不得不接受它所带来的混乱和不确定性。” ... PC版： 手机版：

OpenAI的Sora视频生成模型也能用来渲染游戏

OpenAI的Sora视频生成模型也能用来渲染视频游戏 这篇题为《作为世界模拟器的视频生成模型》（Video generation models as world simulators）的论文由多位 OpenAI 研究人员共同撰写，揭开了 Sora 架构关键方面的神秘面纱例如，Sora 可以生成任意分辨率和长宽比（最高 1080p）的视频。根据论文所述，Sora 能够执行一系列图像和视频编辑任务，从创建循环视频、向前或向后延伸视频到更改现有视频的背景。但最吸引笔者的还是 Sora"模拟数字世界"的能力，OpenAI 的合著者如是说。在一次实验中，OpenAI 将 Sora 放到 Minecraft 上，让它在控制玩家的同时渲染世界及其动态（包括物理）。Sora 在 Minecraft 中控制一名玩家，并渲染视频游戏世界，请注意，颗粒感是由视频到 GIF 的转换工具造成的，而不是 Sora。图片来源：OpenAIOpenAI那么，Sora 是如何做到这一点的呢？正如 NVIDIA 高级研究员 Jim Fan（通过 Quartz）所说，与其说 Sora 是一个创意引擎，不如说它是一个"数据驱动的物理引擎"。它不仅能生成单张照片或视频，还能确定环境中每个物体的物理特性，并根据这些计算结果渲染照片或视频（或交互式 3D 世界，视情况而定）。合著者写道："这些功能表明，继续扩展视频模型是开发物理和数字世界以及其中的物体、动物和人的高能力模拟器的一条大有可为的途径。"现在，Sora在视频游戏领域也有其通常的局限性。该模型无法准确模拟玻璃碎裂等基本互动的物理过程。即使在可以建模的互动中，Sora 也经常出现不一致的情况，例如在渲染一个人吃汉堡时，却无法渲染汉堡上的咬痕。不过，如果我没看错的话，Sora 似乎可以为更逼真（甚至可能是逼真）的程序生成游戏铺平道路。这既令人兴奋，又令人恐惧（考虑到Deepfake的影响）这也许就是为什么 OpenAI 选择暂时将 Sora 关在一个非常有限的访问程序后面的原因。相关文章:OpenAI 推出文本到视频人工智能模型 SoraOpenAI首个视频生成模型发布 能生成长达1分钟的高清视频 ... PC版： 手机版：