OpenDiT 一个专门用来加速类似Sora的DiT架构模型推理和训练的项目，GPU 加速高达 80%，内存减少 50%。

OpenDiT 一个专门用来加速类似Sora的DiT架构模型推理和训练的项目，GPU 加速高达 80%，内存减少 50%。 主要特点有： GPU 加速高达 80%，内存减少 50%，内核优化包括FlashAttention、Fused AdaLN、Fused Layernorm内核。 FastSeq：一种新颖的序列并行方法，专为激活大小较大但参数大小较小的类似 DiT 的工作负载而设计。 使用方便，通过一些生产线更改即可获得巨大的性能提升，用户不需要了解分布式训练的实现。 支持文本到图像和文本到视频生成的完整流程。 项目地址：

麻省理工学院研究人员开发出对图像质量影响最小的超快速图像生成方法

麻省理工学院研究人员开发出对图像质量影响最小的超快速图像生成方法 图像生成人工智能通常采用一种称为扩散的过程，通过几个采样步骤来完善视觉输出，以达到最终希望"逼真"的结果。研究人员表示，扩散模型可以生成高质量的图像，但需要数十次前向传递。Adobe 研究中心和麻省理工学院的专家们正在引入一种名为"分布匹配蒸馏"（DMD）的技术。这一程序将多步扩散模型简化为一步图像生成解决方案。由此产生的模型可以生成与Stable Diffusion 1.5 等"传统"扩散模型相当的图像，但速度要快上几个数量级。"我们的核心理念是训练两个扩散模型，不仅能估计目标真实分布的得分函数，还能估计假分布的得分函数。"研究人员称，他们的模型可以在现代 GPU 硬件上每秒生成 20 幅图像。上面的视频短片重点介绍了 DMD 与 Stable Diffusion 1.5 相比的图像生成能力。标清每幅图像需要 1.4 秒，而 DMD 只需几分之一秒就能生成类似的图像。虽然在质量和性能之间有所权衡，但最终结果仍在普通用户可接受的范围之内。该团队发表的关于新渲染方法的文章展示了使用 DMD 生成图像结果的更多示例。它比较了稳定扩散和 DMD，同时提供了生成图像的重要文字提示。主题包括通过虚拟数码单反相机镜头取景的一只狗、多洛米蒂山脉、森林中一只神奇的鹿、一只鹦鹉宝宝的 3D 渲染、独角兽、胡须、汽车、猫，甚至更多的狗。分布匹配蒸馏法并不是第一种用于生成人工智能图像的单步方法。Stability AI 公司开发了一种被称为逆向扩散蒸馏（ADD）的技术，用于实时生成 100 万像素的图像。该公司通过 ADD 训练其 SDXL Turbo 模型，在单个 NVIDIA A100 AI GPU 加速器上实现了仅 207 毫秒的图像生成速度。Stability 的 ADD 采用了与麻省理工学院的 DMD 类似的方法。 ... PC版： 手机版：

一个非常有意思的项目可以用 SD 直接生成透明的 PNG 图片，也可以直接生成带有透明度分层的图片。

一个非常有意思的项目可以用 SD 直接生成透明的 PNG 图片，也可以直接生成带有透明度分层的图片。 这个想象力很大能带来很多玩法。也可以使用现有的 SD 社区模型。 项目介绍： LayerDiffusion使得大型已经过预训练的潜在扩散模型（latent diffusion model）能够创造透明图像。 这项技术不仅可以生成单独的透明图像，还能生成多层透明图层。它通过一种被称为“潜在透明度”的方法，将透明度（即 alpha 通道）整合到预训练的潜在扩散模型的潜在结构中。 这样做的好处是，它通过以潜在偏移的形式加入透明度，几乎不改变模型原有的潜在分布，从而保持了模型的高质量输出能力。基于这种方法，任何一个潜在扩散模型都可以通过对潜在空间的微调，转化为透明图像生成器。 我们训练这个模型时，使用了一种涉及人机互动的方法，收集了一百万组透明图像层数据。 我们的研究显示，这种潜在透明技术不仅可以应用于不同的开源图像生成器，还可以适配多种条件控制系统，实现例如基于前景/背景条件的层生成、层的联合生成、对层内容进行结构控制等多种应用。 一项用户研究发现，大多数情况下（97%），相比于之前的临时解决方案（如先生成图像再进行抠图处理），用户更喜欢我们直接生成的透明内容。用户还表示，我们生成的透明图像在质量上可媲美真实的商业级透明素材，例如 Adobe Stock 提供的素材。 论文地址：

是一个多阶段的视频生成流程，将文本转图像、动作生成、参考图像嵌入和帧插值等模块集成到一个端到端的生成流水线中，能生成具有

是一个多阶段的视频生成流程，将文本转图像、视频动作生成、参考图像嵌入和帧插值等模块集成到一个端到端的视频生成流水线中，能生成具有出色保真度和流畅度的高分辨率视频。 MagicVideo-V2在美学质量和用户评估方面优于其他文本到视频系统。这一流程为从文本描述生成高质量视频提供了一种新的方法。

华为发布 DiT 架构的图像生成模型，可以直出 4K 分辨率图像。

华为发布 DiT 架构的图像生成模型，可以直出 4K 分辨率图像。 论文简介： 我们引入了 PixArt-\Sigma,一个能够直接生成 4K 分辨率图像的 Diffusion Transformer (Diffusion Transformer, DiT) 模型。相比其前身 PixArt-\alpha,PixArt-\Sigma 有了显著进步,提供了明显更高保真度的图像,并改进了与文本提示的一致性。 PixArt-\Sigma 的一个关键特点是其训练效率。借助 PixArt-\alpha 的基础预训练,它通过合并更高质量的数据,从"较弱"的基线演变为"较强"的模型,我们将这个过程称为"弱到强训练"。PixArt-\Sigma 的进步主要体现在两个方面: 高质量训练数据:PixArt-\Sigma 结合了更高质量的图像数据,与更精确和详细的图像标题配对。 高效的 Token 压缩:我们在 DiT 框架内提出了一个新的注意力模块,可以压缩键 (Key) 和值 (Value),显著提高效率,并促进超高分辨率图像生成。 得益于这些改进,PixArt-\Sigma 以显著较小的模型规模 (6 亿参数) 实现了优于现有文本到图像扩散模型 (如 SDXL (26 亿参数) 和 SD Cascade (51 亿参数)) 的图像质量和用户提示遵从能力。 此外,PixArt-\Sigma 生成 4K 图像的能力支持创建高分辨率海报和壁纸,有效地增强了电影和游戏等行业中高质量视觉内容的制作。 项目地址：

StoryDiffusion 是一个开源的图像和视频生成模型，它通过一致自注意力机制和运动预测器，能够生成连贯的长序列图像和

StoryDiffusion 是一个开源的图像和视频生成模型，它通过一致自注意力机制和运动预测器，能够生成连贯的长序列图像和视频。 这个模型的主要优点在于它能够生成具有角色一致性的图像，并且可以扩展到视频生成，为用户提供了一个创造长视频的新方法。该模型对AI驱动的图像和视频生成领域有积极的影响，并且鼓励用户负责任地使用该工具。 使用场景示例： 使用StoryDiffusion生成一系列漫画风格的图像。 创建一个基于文本提示的长视频，展示一个连贯的故事。 利用StoryDiffusion进行角色设计和场景布局的预可视化。 产品特色： 一致自注意力机制：生成长序列中的角色一致图像。 运动预测器：在压缩的图像语义空间中预测运动，实现更大的运动预测。 漫画生成：利用一致自注意力机制生成的图像，无缝过渡创建视频。 图像到视频的生成：提供用户输入的条件图像序列来生成视频。 两阶段长视频生成：结合两个部分生成非常长且高质量的AIGC视频。 条件图像使用：图像到视频模型可以通过提供一系列用户输入的条件图像来生成视频。 短视频生成：提供快速的视频生成结果。 |