Jim Fan 详细介绍了一下 Sora 的实现原理,这不仅仅是一个视频生成模型这么简单,还是一个基于数据驱动的虚幻 5 引擎。

Jim Fan 详细介绍了一下 Sora 的实现原理,这不仅仅是一个视频生成模型这么简单,还是一个基于数据驱动的虚幻 5 引擎。 如果你以为OpenAI Sora只是一个像DALLE这样的创意小玩具,那你可要重新认识一下了。Sora实际上是一个基于数据驱动的物理引擎,能够模拟各种真实或奇幻的世界。这款模拟器能学会复杂的渲染技术、直观的物理规律、长期的逻辑推理以及语义理解,而这一切都是通过先进的去噪技术和梯度计算实现的。 我甚至猜测,Sora可能是通过使用Unreal Engine 5生成的大量合成数据来进行训练的。这听起来非常有可能! 下面我们来详细分析一段视频。这段视频的提示是:“一杯咖啡里,两艘海盗船相互战斗的逼真特写视频。” •视频中,模拟器创建了两艘装饰各异的精美海盗船的3D模型。Sora需要在其庞大的数据空间中隐式地完成从文本到3D模型的转换。 •这些3D模型的海盗船在航行中能够自然地动起来,它们在避开对方的同时,动作流畅协调。 •还有咖啡的流体动力学表现,包括船只周围形成的泡沫。流体模拟本身就是计算机图形学中一个复杂的分支,通常需要复杂的算法和方程式来实现。 •视频的光影效果逼真,几乎可以媲美光线追踪技术的渲染效果。 •模拟器还考虑到了杯子与海洋相比较小的尺寸,并运用了移轴摄影技术(Tilt-shift photography),为整个场景增添了一种微观世界的感觉。 •虽然视频中的场景在现实世界里找不到对应,但模拟器还是根据我们的期望,准确实现了物理规则。 接下来的步骤是:引入更多的模态和条件变量,我们就可以得到一个全面的、基于数据驱动的Unreal Engine。它将有望替代所有现有的手工设计图形处理流程。

相关推荐

封面图片

Jim Fan 详细介绍了一下 Sora 的实现原理,这不仅仅是一个视频生成模型这么简单,还是一个基于数据驱动的虚幻 5 引擎。

Jim Fan 详细介绍了一下 Sora 的实现原理,这不仅仅是一个视频生成模型这么简单,还是一个基于数据驱动的虚幻 5 引擎。 如果你以为OpenAI Sora只是一个像DALLE这样的创意小玩具,那你可要重新认识一下了。Sora实际上是一个基于数据驱动的物理引擎,能够模拟各种真实或奇幻的世界。这款模拟器能学会复杂的渲染技术、直观的物理规律、长期的逻辑推理以及语义理解,而这一切都是通过先进的去噪技术和梯度计算实现的。 我甚至猜测,Sora可能是通过使用Unreal Engine 5生成的大量合成数据来进行训练的。这听起来非常有可能! 下面我们来详细分析一段视频。这段视频的提示是:“一杯咖啡里,两艘海盗船相互战斗的逼真特写视频。” •视频中,模拟器创建了两艘装饰各异的精美海盗船的3D模型。Sora需要在其庞大的数据空间中隐式地完成从文本到3D模型的转换。 •这些3D模型的海盗船在航行中能够自然地动起来,它们在避开对方的同时,动作流畅协调。 •还有咖啡的流体动力学表现,包括船只周围形成的泡沫。流体模拟本身就是计算机图形学中一个复杂的分支,通常需要复杂的算法和方程式来实现。 •视频的光影效果逼真,几乎可以媲美光线追踪技术的渲染效果。 •模拟器还考虑到了杯子与海洋相比较小的尺寸,并运用了移轴摄影技术(Tilt-shift photography),为整个场景增添了一种微观世界的感觉。 •虽然视频中的场景在现实世界里找不到对应,但模拟器还是根据我们的期望,准确实现了物理规则。 接下来的步骤是:引入更多的模态和条件变量,我们就可以得到一个全面的、基于数据驱动的Unreal Engine。它将有望替代所有现有的手工设计图形处理流程。 Invalid media:

封面图片

苹果的"Ask"项目可能不仅仅是一个AI辅助支持工具

苹果的"Ask"项目可能不仅仅是一个AI辅助支持工具 这位泄密者声称,"Ask""并不像某些人认为的那样是一个 LLM 或其他生成式人工智能"。由于支持知识数据库以及面向支持成员的数据库前端都在不断发展,因此它的功能远不止于此,它的目的是成为一个高级自然语言搜索引擎,为支持用户提供帮助。这项技术的核心似乎是对未来一系列操作系统版本的明显补充。什么是 Apple Ask?苹果公司推出了一项试点计划,为特定的AppleCare支持顾问提供一种名为"Ask"的人工智能工具。该工具可根据苹果内部数据库中的信息,自动生成对技术问题的回复。简单的搜索工具每次都会根据相关性返回相同的结果,而"Ask"程序则不同,它会根据查询中提到的具体信息(如设备类型或操作系统)生成答案。顾问可以将这些答案标记为"有用"或"无用"。近来,聊天机器人开始从其他聊天机器人那里获取信息,它们往往会非常自信地胡编乱造。这就是所谓的"幻觉"对于为消费者提供帮助的苹果员工来说,这显然不是好事。"Ask"试图避免这种行为,因为它只在内部数据库中进行培训,并进行额外检查,以确保回复"真实、可追溯且有用"。这个被泄露的"Ask"工具很有可能就是之前泄露的"Ajax",或者是基于"Ajax"开发的。据称,这是一款被称为"AppleGPT"的内部工具。蒂姆-库克(Tim Cook)曾直接表示,苹果公司正在开发人工智能工具,可能会在 2024 年的某个时候发布。尽管目前尚未公布任何消息,但该公司很可能正在开发和测试许多依赖于生成模型的工具,这些生成模型与 ChatGPT 的运作方式类似。苹果对人工智能的推动及其对 iOS 18可能意味着什么,目前还没有明确的说法。6 月份的WWDC可能会有详细内容。 ... PC版: 手机版:

封面图片

zkera.fi 不仅仅是一个 $GMX 叉子。

zkera.fi 不仅仅是一个 $GMX 叉子。 我们还提供一些独特的功能: 提高整体表现 流动性多元化 Delta 中性策略 https://discord.com/invite/Bmtc466Rha

封面图片

"生活不仅仅是寻找爱情,

"生活不仅仅是寻找爱情, 而是在爱中成长、在生活中绽放。 错过的,都是风景; 遇见的,都是缘分。 珍惜每一次相遇, 用洒脱和真诚书写人生, 用勇敢和乐观面对挑战, 先让自己活得精彩,再去爱别人。" "Life is not just about finding love, but about growing in love and blooming in life. What you miss is scenery; what you meet is fate. Cherish every encounter, write your life with ease and sincerity, face challenges with courage and optimism, live a wonderful life first, then love others."

封面图片

Telegram 因“连接”错误而关闭,不仅仅是你的Telegram 宕机了。

Telegram 因“连接”错误而关闭,不仅仅是你的Telegram 宕机了。 根据Telegram志愿者社区反馈信息,数据中心可能是遭到了分布式的DDoS攻击,本次中断是在2024年4月27日0:00开始,亚洲区的服务器可能受到了影响,导致受影响的用户无法正常发送消息。 菲律宾,柬埔寨,泰国,阿联酋,一部分号码都转圈圈,DC5服务器连接中断。 主要影响地区: DC5,即亚太区域(新加坡机房) 主要影响范围:隶属于 DC5 的帐号、群组、频道和 bot。经过一个半小时的中断后,服务已恢复运行。 PS:你们的纸飞机都恢复正常使用了吗? 订阅东南亚:TG综合频道↓ 交流聊天:@occtv8 投稿爆料:@jpz8I8

封面图片

Telegram 因“连接”错误而关闭,不仅仅是你的Telegram 宕机了。

Telegram 因“连接”错误而关闭,不仅仅是你的Telegram 宕机了。 根据Telegram志愿者社区反馈信息,数据中心可能是遭到了分布式的DDoS攻击,本次中断是在2024年4月27日0:00开始,亚洲区的服务器可能受到了影响,导致受影响的用户无法正常发送消息。 菲律宾,柬埔寨,泰国,阿联酋,一部分号码都转圈圈,DC5服务器连接中断。 主要影响地区: DC5,即亚太区域(新加坡机房) 主要影响范围:群组、频道和 bot。经过一个半小时的中断后,服务已恢复运行。 订阅最顶频道 大事先知道↓ 订阅最顶频道:@baoliao111 最顶爆料讨论组: @xigang81 投稿与广告联系: @wanan668

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人