您很快就能亲自尝试 OpenAI 的热门文本到视频生成器。OpenAI 首席技术官 Mira Murati 在接受《华尔街日报》

您很快就能亲自尝试 OpenAI 的热门文本到视频生成器。OpenAI 首席技术官 Mira Murati 在接受《华尔街日报》采访时表示，Sora 将于“今年”推出，“可能需要几个月”。 OpenAI 在二月份首次展示了 Sora，它能够根据文本提示生成超现实场景。该公司只向视觉艺术家、设计师和电影制作人提供该工具，但这并没有阻止一些 Sora 生成的视频进入 X 等平台。 Murati 表示，除了向公众提供该工具外，OpenAI 还计划“最终”整合音频，这有可能使场景更加真实。该公司还希望允许用户编辑 Sora 制作的视频中的内容，因为人工智能工具并不总是能创建准确的图像。“我们正在努力弄清楚如何使用这项技术作为人们可以编辑和创作的工具，”Murati 告诉《华尔街日报》。 当被问及 OpenAI 使用哪些数据来训练 Sora 时，Murati 没有说得太具体，并且似乎回避了这个问题。“我不会详细介绍所使用的数据，但它是公开可用或许可的数据，”她说。Murati 还表示，她不确定它是否使用了 YouTube、Facebook 和 Instagram 上的视频。她只向《华尔街日报》证实，Sora 使用的是来自 Shutterstock 的内容，而OpenAI 与 Shutterstock 建立了合作伙伴关系。 Murati 还告诉《华尔街日报》，Sora 的电力“昂贵得多”。OpenAI 正试图让该工具在向公众发布时“以类似的成本”与 DALL-E（该公司的人工智能文本到图像模型）一起使用。您可以在《华尔街日报》的报道中看到该工具可以制作的更多类型视频的示例，包括瓷器商店中的动画公牛和美人鱼智能手机评论员。 via 匿名 标签: #OpenAI 频道: @GodlyNews1 投稿: @GodlyNewsBot

奥尔特曼选取网友提示词 用OpenAI新款大模型Sora生成视频

奥尔特曼选取网友提示词 用OpenAI新款大模型Sora生成视频 一位时髦女士漫步在东京街头，周围是温暖闪烁的霓虹灯和动感的城市标志。一名年约三十的宇航员戴着红色针织摩托头盔展开冒险之旅，电影预告片呈现其穿梭于蓝天白云与盐湖沙漠之间的精彩瞬间，独特的电影风格、采用35毫米胶片拍摄，色彩鲜艳。竖屏超近景视角下，这只蜥蜴细节拉满：OpenAI表示，公司正在教授人工智能理解和模拟运动中的物理世界，目标是训练出能够帮助人们解决需要与现实世界互动的问题的模型。在此，隆重推出文本到视频模型Sora。Sora可以生成长达一分钟的视频，同时保证视觉质量和符合用户提示的要求。OpenAI创始人兼CEOSam Altman（奥尔特曼）太会玩了，让网友评论回复Prompt（大语言模型中的提示词），他选一些用Sora生成视频。截至发稿，奥尔特曼连发多条根据网友提示词生成的视频，包括不同动物在海上进行自行车比赛、发布自制面疙瘩烹饪教学视频的祖母、两只金毛犬在山顶做播客、日落时分火星上进行的一场无人机竞赛等。但这些视频时长为9秒至17秒不等。技术层面，Sora采用扩散模型（diffusion probabilistic models）技术，基于Transformer架构，但为了解决Transformer架构核心组件注意力机制的长文本、高分辨率图像处理等问题，扩散模型用可扩展性更强的状态空间模型（SSM）主干替代了传统架构中的注意力机制，可以使用更少的算力，生成高分辨率图像。此前Midjourney与Stable Diffusion的图像与视频生成器同样基于扩散模型。同时，Sora也存在一定的技术不成熟之处。OpenAI表示，Sora可能难以准确模拟复杂场景的物理原理，可能无法理解因果关系，可能混淆提示的空间细节，可能难以精确描述随着时间推移发生的事件，如遵循特定的相机轨迹等。根据OpenAI关于Sora的技术报告《Video generation models as world simulators》（以下简称报告），跟大语言模型一样，Sora也有涌现的模拟能力。OpenAI方面在技术报告中表示，并未将Sora单纯视作视频模型，而是将视频生成模型作为“世界模拟器”，不仅可以在不同设备的原生宽高比直接创建内容，而且展示了一些有趣的模拟能力，如3D一致性、长期一致性和对象持久性等。目前Sora能够生成一分钟的高保真视频，OpenAI认为扩展视频生成模型是构建物理世界通用模拟器的一条有前途的途径。报告指出，OpenAI研究了在视频数据上进行大规模训练的生成模型。具体而言，联合训练了文本条件扩散模型，该模型可处理不同持续时间、分辨率和长宽比的视频和图像。OpenAI利用了一种基于时空补丁的视频和图像潜在代码的变压器架构。最大的模型Sora能够生成一分钟的高保真视频。结果表明，扩展视频生成模型是构建通用物理世界模拟器的有前途的途径。报告重点介绍了OpenAI将各类型视觉数据转化为统一表示的方法，这种方法能够对生成模型进行大规模训练，并对Sora的能力与局限进行定性评估。先前的大量研究已经探索了使用多种方法对视频数据进行生成建模，包括循环网络、生成对抗网络、自回归转换器和扩散模型。这些研究往往只关注于狭窄类别的视觉数据、较短的视频或固定大小的视频。而Sora是一个通用的视觉数据模型，它能够生成跨越不同时长、纵横比和分辨率的视频和图像，甚至能够生成长达一分钟的高清视频。OpenAI从大型语言模型中汲取灵感，这些模型通过训练互联网规模的数据获得通用能力。LLM范式的成功在一定程度上得益于令牌的使用，这些令牌巧妙地统一了文本的不同模式代码、数学和各种自然语言。在这项工作中，OpenAI考虑视觉数据的生成模型如何继承这些优势。虽然LLM有文本令牌，但Sora有视觉补丁。之前已经证明，补丁是视觉数据模型的有效表示。补丁是一种高度可扩展且有效的表示，可用于在多种类型的视频和图像上训练生成模型。Sora支持采样多种分辨率视频，包括1920x1080p的宽屏视频、1080x1920的竖屏视频以及介于两者之间的所有分辨率。这使得Sora能够直接以原生纵横比为不同的设备创建内容。同时，它还允许在生成全分辨率内容之前，使用相同的模型快速制作较小尺寸的内容原型。 ... PC版： 手机版：

OpenAI Sora更强大功能曝光：可一次生成多个视频、拼接展示

OpenAI Sora更强大功能曝光：可一次生成多个视频、拼接展示 OpenAI研究科学家比尔·皮布尔斯(Bill Peebles)在X上发文称，Sora可以同时生成多个并排在一起的视频。根据他在推文中展示的动图，Sora生成了5个人们在下雪天漫步、玩雪的视频。皮布尔斯展示的Sora视频拼贴功能“这是Sora一次性生成的视频样本，并不是我们把5个视频拼接在一起。Sora决定同时拥有五个不同的视角！”皮布尔斯在推文中称。目前，OpenAI尚未向公众开放Sora。OpenAI称，该模型正在接受测试，只分享给了一批精选的研究人员和学者。他们将研究Sora，以寻找该模型被滥用的风险。 ... PC版： 手机版：

YouTube CEO表示OpenAI用其视频训练Sora将违反平台服务条款

YouTube CEO表示OpenAI用其视频训练Sora将违反平台服务条款 "从创作者的角度来看，当创作者将他们的辛勤劳动上传到我们的平台时，他们有一定的期望，"莫汉周四在接受彭博原创节目主持人艾米莉-张（Emily Chang）的采访时说，"其中一个期望就是要遵守服务条款。 它不允许下载文字稿或视频片段等内容，这明显违反了我们的服务条款。这些就是我们平台上内容的行事规则。"关于 OpenAI 使用什么材料来训练 ChatGPT 和 DALL-E 等流行内容创作产品的人工智能模型，公众一直争论不休。Sora 和其他生成式人工智能工具的工作原理是从网络上吸取各种内容，并将这些数据作为工具生成新内容（包括视频、照片、叙述性文字等）的基础。随着OpenAI、Google等公司竞相开发更强大的人工智能，它们正寻求尽可能多的内容来训练其人工智能模型，以获得更高质量的结果。Google和YouTube是Alphabet公司的子公司。微软公司支持的 OpenAI 没有立即回应置评请求。OpenAI 首席技术官米拉-穆拉提（Mira Murati）上个月在接受《华尔街日报》采访时说，她不确定 Sora 是否是在 YouTube、Facebook 和 Instagram 的用户生成视频上训练出来的。本周，《华尔街日报》援引熟悉此事的人士的话报道称，OpenAI 已经讨论过在转录 YouTube 公开视频的基础上训练其下一代大型语言模型 GPT-5。莫汉说，Google在决定是否使用平台上的视频来训练公司自己的强大人工智能模型"双子座"（Gemini）之前，会遵守 YouTube 与创作者签订的个人合同。"很多创作者在我们的平台上都有不同类型的内容授权合同。他说，虽然"YouTube语料库中的部分内容可能会被用于"训练Gemini等模型，但Google和YouTube会确保将这些视频用作Google人工智能的训练数据"符合该创作者事先签署的服务条款或合同"。 ... PC版： 手机版：

Sora 详细的技术报告发布了，相关从业者可能都需要看看。

Sora 详细的技术报告发布了，相关从业者可能都需要看看。 里面有 Open AI的训练思路以及 Sora 详细的技术特性，我从里面找了一些要点，详细的可以去看完整内容。 简单来说 Sora 的训练量足够大也产生了类似涌现的能力。 技术特点： 三维空间的连贯性：Sora可以生成带有动态相机运动的视频。随着相机移动和旋转，人物和场景元素在三维空间中保持连贯的运动。 模拟数字世界：Sora还能模拟人工过程，如视频游戏。Sora能够同时控制Minecraft中的玩家，并高保真地渲染游戏世界及其动态。通过提及“Minecraft”的提示，可以零样本地激发Sora的这些能力 长期连续性和物体持久性：对视频生成系统来说，Sora通常能够有效地模拟短期和长期的依赖关系。同样，它能在一个样本中生成同一角色的多个镜头，确保其在整个视频中的外观一致。 与世界互动：Sora有时能够模拟对世界状态产生简单影响的行为。例如，画家可以在画布上留下随时间持续的新笔触，或者一个人吃汉堡时留下咬痕。 训练过程： Sora 的训练受到了大语言模型（Large Language Model）的启发。这些模型通过在互联网规模的数据上进行训练，从而获得了广泛的能力。 Sora实际上是一种扩散型变换器模型（diffusion transformer）。 首先将视频压缩到一个低维潜在空间中，然后将这种表现形式分解成时空区块，从而将视频转换为区块。 训练了一个用于降低视觉数据维度的网络。这个网络以原始视频为输入，输出在时间和空间上都被压缩的潜在表示。Sora在这个压缩的潜在空间上进行训练，并在此空间中生成视频。还开发了一个对应的解码器模型，它能将生成的潜在表示映射回到像素空间。 对于给定的压缩输入视频，提取一系列时空区块，它们在变换器模型中充当标记（token）。这种方案同样适用于图像，因为图像本质上是单帧的视频。基于区块的表示方法使Sora能够针对不同分辨率、持续时间和纵横比的视频和图像进行训练。在推理过程中，可以通过在适当大小的网格中排列随机初始化的区块来控制生成视频的大小。 随着 Sora 训练计算量的增加，样本质量有了显著提升。 Sora训练时没有对素材进行裁切，使得Sora能够直接为不同设备以其原生纵横比创造内容。 针对视频的原生纵横比进行训练，还可以提高构图和取景的质量。

OpenAI CTO：Sora今年将发布 会添加语音功能

OpenAI CTO：Sora今年将发布 会添加语音功能 以下为翻译全文：某个清晨醒来时，你是否曾幻想过一头公牛在精致的瓷器店中悠然自得地行走的场景？要实现这一奇幻景象，你有三种途径：A）联系当地的动物驯养师以及知名家居品牌Crate & Barrel；B）雇请顶尖的好莱坞动画制作人；C）使用神奇的AI工具Sora，简单输入指令即可。欢迎进入人工智能的下一个“魔法世界”。在这里，你的语言能够化作逼真、流畅且细腻的视频画面。OpenAI计划在今年晚些时候向大众推出其文本到视频的转换工具Sora。尽管正式发布尚需时日，但OpenAI已经向我们揭示了这款工具的惊人潜力：仅需精心设计的文本指令，便可创造出几乎足以替代许多视频制作专业人员的作品。《华尔街日报》专栏作家乔安娜·斯特恩（Joanna Stern）向该公司提交了几条由她自己编写的提示，比如一条美人鱼和她的螃蟹伙伴评测智能手机，或是一头公牛在精致的瓷器店内自由漫步。斯特恩随后亲身体验了Sora的神奇之处，她利用这款工具制作了一段模拟对OpenAI首席技术官穆拉蒂进行虚拟视频采访的片段，两人深入剖析了这些有趣的问题，并对该技术的潜在问题进行了探讨。OpenAI在上个月首次展示了用其生成式人工智能工具制作的视频预览，整个互联网为之沸腾。与之前那些断断续续、分辨率低下的人工智能视频技术相比，Sora生成的内容无疑是一场视觉盛宴，堪比高品质的自然纪录片或大制作电影。与之前的人工智能技术相似，Sora首先让我们对其能力感到惊叹，随即又担忧其对社会的影响。面对斯特恩的担忧，穆拉蒂向她保证，OpenAI在发布这一强大工具时将采取慎重的步骤。但这并不意味着一切都将无忧无虑。这些超逼真视频真的是Sora生成的吗？斯特恩对Sora生成的视频感到深深震撼：从无人机视角拍摄的意大利阿马尔菲海岸的壮观景色，到手持自拍杆的柯基犬，再到冲浪板上活泼的动画水獭，这些画面无一不展示了Sora在创意和细节处理上的强大能力。她进一步挑战Sora，要求它生成更接近日常生活的场景：“两名30多岁、棕发的职业女性在一个明亮的演播室里坐下接受新闻采访。”Sora生成的视频中，两位女性的嘴唇和头发动作自然流畅，皮夹克的细节也清晰可见。穆拉蒂透露，这段20秒长、720P分辨率的视频仅用了几分钟就完成了生成，尽管目前还未加入声音。但她承诺，OpenAI正在计划为Sora增添语音功能。为了对比Sora与其他工具的区别，斯特恩也在另一个AI视频生成器Runway上输入了相同的提示。然而，得到的结果大相径庭，Runway生成的画面是两个模糊、幽灵般的女性形象，它们看起来像是直接从恶梦中走出来的，令人毛骨悚然。那么，Sora究竟是如何实现这一神奇转换的呢？尽管解释其内部工作原理可能比解释美人鱼的进化还要复杂，但简单来说，Sora背后的AI模型通过分析大量视频数据，学会了识别和理解各种物体与动作。输入文本提示后，模型能够迅速勾勒出整个场景的基本轮廓，并逐帧添加细节。行业观察人士和竞争对手，包括Runway的首席执行官，都认为OpenAI的这些显著成就归功于其巨大的计算资源和庞大的训练数据量。但OpenAI最近也面临着版权侵犯的指控，因未经授权使用大量在线内容训练其ChatGPT模型。当被问及OpenAI为训练Sora使用了哪些数据时，穆拉蒂表示：“我们主要使用了公开可获取的数据及已授权数据。”。当被进一步追问这些数据是否包括YouTube、Instagram和Facebook上的视频时，穆拉蒂表示她并不清楚具体细节，但后来确认，已授权的材料确实包含了知名版权图片网站Shutterstock上的内容。人工智能模型对普通用户来说往往是个神秘的黑匣子。我们看到的是输入和输出，而中间的处理过程则不得而知。因此，我们可能永远无法完全理解为何生成的内容展现出某些特定的风格或特征。例如，斯特恩提到的那条美人鱼身旁的甲壳类伙伴留着类似《海绵宝宝》中蟹老板的胡须，这是否是模型的创新还是某种偶然？穆拉蒂还告诉斯特恩，当前Sora生成视频的成本远高于该公司的图像生成器Dall-E。但她承诺，在Sora正式向公众发布前，团队将对其进行优化，以降低计算资源消耗。如何识别人工智能生成视频？在当前的早期阶段，人工智能生成的内容中还存在一些明显的瑕疵。例如，在Sora生成的采访视频中，一位浅发色女子的一只手似乎多出了五根手指。对此，穆拉蒂解释道：“准确再现手部运动真的很难。”在另一次测试中，斯特恩期望看到一个机器人从电影制片人手中夺走摄像机的场景。但Sora生成的是一位人类电影制片人突变成机器人，场面显得突兀且不自然。更有甚者，背景中的黄色出租车也不知怎的变成了银色轿车。穆拉蒂承认模型“在维持连贯性方面表现尚可，但并不完美”。这引出了一个深刻的议题：当这些缺陷得到修正，人工智能生成的视频愈发逼真时，我们如何区分真实与人工智能生成的视频？Sora生成的每个视频下方都会有一个水印。穆拉蒂解释说，最终这些视频还将包含元数据，以标示其生成方式和来源。此外，OpenAI设有一个名为“Sora红队”的安全测试小组。该团队的职责是提供各种提示，探索潜在的漏洞、偏见和其他可能的有害结果。穆拉蒂说：“这就是我们目前还没有广泛部署这些系统的原因。我们需要先弄清楚这些问题，然后才能放心地将其推向市场。”就Sora的提示词政策而言，穆拉蒂透露，它可能借鉴OpenAI的另一工具Dall-E的做法。例如，为了防止滥用和侵犯隐私，用户将无法使用Sora来生成公众人物的形象。当斯特恩试图输入“在任美国总统的电视新闻画面”时，Sora拒绝了这一请求。斯特恩也尝试让Sora生成“在东欧小镇上行走的士兵”的视频，但也遭到了拒绝。对于裸露等敏感内容的提示，穆拉蒂表示OpenAI正在与艺术家和专家紧密合作，共同探讨如何在不阻碍创意表现的同时，设立合理的“护栏和限制”。将与好莱坞合作随技术发展，像Sora这样的AI工具将变得更强大、更精细。这种进步可能会改变传统的工作方式，如无人机操作员或插画家的角色，引起好莱坞既期待又忧虑的反响。演员、电影制片人和工作室老板泰勒·佩里（Tyler Perry）表示，看到Sora的潜力后，他宣布暂停耗资8亿美元的工作室扩建计划。他认为这项技术能够削减布景和外景拍摄的成本，但同时也对电影行业和演员的未来抱有担忧。代表好莱坞和全美各地动画艺术家的动画协会主席珍妮特·莫雷诺·金（Jeanette Moreno King）也称，尽管艺术创作决策仍需人类参与和判断力，未来却是充满不确定性的迷雾。爱德华·萨奇（EdwardSaatchi）及其人工智能视频工作室Fable正梦想打造一个AI版Netflix：仅需输入一段文本提示，便可呈现完整的电视剧集。对于Sora对视频制作行业的潜在影响，穆拉蒂重申了OpenAI采取的缓步审慎策略。她表示，OpenAI正在与行业内部人士合作，进行早期的测试和反馈征集，希望全球的电影制作者和创作者能加入这一探索过程，共同促进电影产业的发展。如果将OpenAI比作一开始提到的那头在瓷器店里自由漫步的公牛，那么它目前可能需要小心行事。但最终，它可能不可避免地将带来一些破坏。 ... PC版： 手机版：