Emad关于Stable Diffusion 3的补充信息：

Emad关于Stable Diffusion 3的补充信息： 这项技术采用了一种新型的扩散变换器（Diffusion Transformer，类似于Sora），并结合了光流匹配（flow matching）及其他技术上的改进。 利用变换器（Transformer）的最新改进，这项技术不仅能够实现更广泛的应用范围，还能处理多种类型的输入数据（多模态输入）。 关于这项技术的更多技术细节，我们将很快对外公布。 来源：

北京大学Yuangroup团队发起了一个 Open-Sora计划，旨在复现OpenAI 的Sora模型。

北京大学Yuangroup团队发起了一个 Open-Sora计划，旨在复现OpenAI 的Sora模型。 通过视频VQ-VAE、Denoising Diffusion Transformer和条件编码器等技术组件，来实现Sora模型的功能。 它由以下组成部分组成。 1. Video VQ-VAE. 2. Denoising Diffusion Transformer. 3. Condition Encoder.

OpenAI 开源 Transformer Debugger

OpenAI 开源 Transformer Debugger OpenAI 开源了工具，该工具是由其 Superalignment 团队开发，用于支持对小语言模型特定行为的调查，组合了自动可解释性技术和稀疏自编码器。它可以用于回答“为什么模型对于这一提示输出了令牌 A 而不是令牌 B”之类的问题。Transformer Debugger 采用 MIT 许可证托管在上。OpenAI 之前曾被马斯克抨击不再共享和开源技术。来源， 频道：@kejiqu 群组：@kejiquchat

揭秘Sora：开发团队成立不到1年 核心技术曾因“缺乏创新”遭拒绝

揭秘Sora：开发团队成立不到1年 核心技术曾因“缺乏创新”遭拒绝 《每日经济新闻》记者查询这两项技术的原作论文发现，时空Patch的技术论文实际上是由GoogleDeepMind的科学家们于2023年7月发表的。DiT架构技术论文的一作则是Sora团队领导者之一William Peebles，但戏剧性的是，这篇论文曾在2023年的计算机视觉会议上因“缺少创新性”而遭到拒绝，仅仅1年之后，就成为Sora的核心理论之一。如今，Sora团队毫无疑问已经成为世界上最受关注的技术团队。记者查询OpenAI官网发现，Sora团队由Peebles等3人领导，核心成员包括12人，其中有多位华人。值得注意的是，这支团队十分年轻，成立时间还尚未超过1年。核心突破一：时空Patch，站在Google肩膀上此前，OpenAI在X平台上展示了Sora将静态图像转换为动态视频的几个案例，其逼真程度令人惊叹。Sora是如何做到这一点的呢？这就不得不提到该AI视频模型背后的两项核心技术DiT架构和Spacetime Patch（时空Patch）。据外媒报道，Spacetime Patch是Sora创新的核心之一，该项技术是建立在GoogleDeepMind对NaViT（原生分辨率视觉Transformer）和ViT（视觉Transformer）的早期研究基础上。Patch可以理解为Sora的基本单元，就像GPT-4 的基本单元是Token。Token是文字的片段，Patch则是视频的片段。GPT-4被训练以处理一串Token，并预测出下一个Token。Sora遵循相同的逻辑，可以处理一系列的Patch，并预测出序列中的下一个Patch。Sora之所以能实现突破，在于其通过Spacetime Patch将视频视为补丁序列，Sora保持了原始的宽高比和分辨率，类似于NaViT对图像的处理。这对于捕捉视觉数据的真正本质至关重要，使模型能够从更准确的表达中学习，从而赋予Sora近乎完美的准确性。由此，Sora能够有效地处理各种视觉数据，而无需调整大小或填充等预处理步骤。记者注意到，OpenAI发布的Sora技术报告中透露了Sora的主要理论基础，其中Patch的技术论文名为Patch n‘ Pack： NaViT， a Vision Transformer for any Aspect Ratio and Resolution。记者查询预印本网站arxiv后发现，该篇研究论文是由GoogleDeepMind的科学家们于2023年7月发表的。图片来源：arxiv.org图片来源：Google Scholar核心突破二：扩散型Transformer架构，相关论文曾遭拒绝除此之外，Sora的另一个重大突破是其所使用的架构，传统的文本到视频模型（如Runway、Stable Diffusion）通常是扩散模型（Diffusion Model），文本模型例如GPT-4则是Transformer模型，而Sora则采用了DiT架构，融合了前述两者的特性。据报道，传统的扩散模型的训练过程是通过多个步骤逐渐向图片增加噪点，直到图片变成完全无结构的噪点图片，然后在生成图片时，逐步减少噪点，直到还原出一张清晰的图片。Sora采用的架构是通过Transformer的编码器-解码器架构处理包含噪点的输入图像，并在每一步预测出更清晰的图像。DiT架构结合时空Patch，让Sora能够在更多的数据上进行训练，输出质量也得到大幅提高。OpenAI发布的Sora技术报告透露，Sora采用的DiT架构是基于一篇名为Scalable diffusion models with transformers的学术论文。记者查询预印本网站arxiv后发现，该篇原作论文是2022年12月由伯克利大学研究人员William （Bill） Peebles和纽约大学的一位研究人员Saining Xie共同发表。William （Bill） Peebles之后加入了OpenAI，领导Sora技术团队。图片来源：arxiv.org然而，戏剧化的是，Meta的AI科学家Yann LeCun在X平台上透露，“这篇论文曾在2023年的计算机视觉会议（CVR2023）上因‘缺少创新性’而遭到拒绝，但在2023年国际计算机视觉会议（ICCV2023）上被接受发表，并且构成了Sora的基础。”图片来源：X平台作为最懂DiT架构的人之一，在Sora发布后，Saining Xie在X平台上发表了关于Sora的一些猜想和技术解释，并表示，“Sora确实令人惊叹，它将彻底改变视频生成领域。”“当Bill和我参与DiT项目时，我们并未专注于创新，而是将重点放在了两个方面：简洁性和可扩展性。”他写道。“简洁性代表着灵活性。关于标准的ViT，人们常忽视的一个亮点是，它让模型在处理输入数据时变得更加灵活。例如，在遮蔽自编码器（MAE）中，ViT帮助我们只处理可见的区块，忽略被遮蔽的部分。同样，Sora可以通过在适当大小的网格中排列随机初始化的区块来控制生成视频的尺寸。”图片来源：X平台不过，他认为，关于Sora仍有两个关键点尚未被提及。一是关于训练数据的来源和构建，这意味着数据很可能是Sora成功的关键因素；二是关于（自回归的）长视频生成，Sora的一大突破是能够生成长视频，但OpenAI尚未揭示相关的技术细节。年轻的开发团队：应届博士带队，还有00后随着Sora的爆火，Sora团队也来到世界舞台的中央，引发了持续的关注。记者查询OpenAI官网发现，Sora团队由William Peebles等3人领导，核心成员包括12人。从团队领导和成员的毕业和入职时间来看，这支团队成立的时间较短，尚未超过1年。图片来源：OpenAI官网从年龄上来看，这支团队也非常年轻，两位研究负责人都是在2023年才刚刚博士毕业。William （Bill） Peebles于去年5月毕业，其与Saining Xie合著的扩散Transformer论文成为Sora的核心理论基础。Tim Brooks于去年1月毕业，是DALL-E 3的作者之一，曾在Google和英伟达就职。图片来源：William （Bill） Peebles个人主页团队成员中甚至还有00后。团队中的Will DePue生于2003年，2022年刚从密西根大学计算机系本科毕业，在今年1月加入Sora项目组。图片来源：Will DePue个人主页此外，团队还有几位华人。据媒体报道，Li Jing是 DALL-E 3 的共同一作，2014年本科毕业于北京大学物理系，2019年获得MIT物理学博士学位，于2022年加入OpenAI。Ricky Wang则是今年1月刚刚从Meta跳槽到OpenAI。其余华人员工包括Yufei Guo等尚未有太多公开资料介绍。 ... PC版： 手机版：

卧槽 Stability AI 还有货，发布了Stable Diffusion 3模型，多主题提示、图像质量和拼写能力方面的性能

卧槽 Stability AI 还有货，发布了Stable Diffusion 3模型，多主题提示、图像质量和拼写能力方面的性能得到了极大的提高。 Stable Diffusion 3 套模型目前参数范围从 800M 到 8B。 Stable Diffusion 3采用了和Sora一样的diffusion transformer 架构。 公告全文：

可扩展性是DiT论文的核心主题。首先，经过优化的DiT在每Flop的实际运行时间上比UNet要快得多。更重要的是，Sora证明了

可扩展性是DiT论文的核心主题。首先，经过优化的DiT在每Flop的实际运行时间上比UNet要快得多。更重要的是，Sora证明了DiT的扩展法则不仅适用于图像，现在也适用于视频Sora复制了在DiT中观察到的视觉扩展行为。 猜测：在Sora报告中，第一个视频的质量相当差，我怀疑它使用的是基础模型尺寸。粗略计算一下：DiT XL/2的GFLOPs是B/2模型的5倍，所以最终16倍计算模型可能是3倍DiT-XL模型的大小，这意味着Sora可能有约3亿参数如果这是真的，这并非一个不合理的模型大小。这可能意味着，训练Sora模型可能不需要像人们预期的那样多的GPU我预计未来的迭代速度会非常快。 关键的收获来自于“新兴模拟能力”部分。在Sora出现之前，人们不清楚是否可以自然形成长篇连贯性，或者是否需要复杂的以主题为导向的生成流程，甚至物理模拟器。OpenAI已经证明，尽管不完美，但这些行为可以通过端到端训练来实现。然而，有两个关键点尚未被讨论。 1. 训练数据：关于训练数据的来源和构建完全没有提及，这可能意味着数据很可能是Sora成功的关键因素。 猜测：关于来自游戏引擎的数据已有许多猜测。我也预计可能会包括电影、纪录片、电影长镜头等。质量非常重要。我非常好奇Sora从哪里获取这些数据的（肯定不仅仅是YouTube，对吧？）。 2.（自回归的）长视频生成：Sora的一大突破是能够生成非常长的视频。制作2秒视频和1分钟视频之间的差异是巨大的。 在Sora中，这可能是通过联合帧预测实现的，允许自回归采样，但一个主要的挑战是如何解决错误累积，并在时间上保持质量和一致性。是需要一个非常长的（并且是双向的）上下文来进行条件化？还是说仅仅通过扩大规模就可以减少问题？这些技术细节可能非常重要，希望未来能够被逐渐揭示。 扩散变换器（DiT）在Sora中的应用效果非常出色。我们纽约大学的团队最近发布了一款新的DiT模型，名为SiT。它保持了与DiT完全相同的架构，但在性能上有所提升，收敛速度更快。我对它在视频生成方面的表现也非常感兴趣！ DiT论文地址：