Stability AI 发布了他们最强的图片生成模型 Stable Diffusion 3 的技术报告，披露了 SD3 的更多

Stability AI 发布了他们最强的图片生成模型 Stable Diffusion 3 的技术报告，披露了 SD3 的更多细节。 据他们所说，SD3 在排版质量、美学质量和提示词理解上超过了目前所有的开源模型和商业模型，是目前最强的图片生成模型。 技术报告要点如下： ◆根据人类偏好评估,SD3 在排版质量和对提示的理解程度上,均优于目前最先进的文本生成图像系统,例如 DALL·E 3、Midjourney v6 和 Ideogram v1。 ◆提出了新的多模态扩散 Transformer (Multimodal Diffusion Transformer,简称 MMDiT) 架构,其使用独立的权重集分别表示图像和语言。与 SD3 的先前版本相比,该架构改善了系统对文本的理解能力和拼写能力。 ◆SD3 8B 大小的模型可以在 GTX 4090 24G 显存上运行。 ◆SD3 将发布多个参数规模不等的模型方便在消费级硬件上运行，参数规模从 800M 到 8B 。 ◆SD3 架构以 Diffusion Transformer (简称"DiT",参见 Peebles & Xie,2023)为基础。鉴于文本嵌入和图像嵌入在概念上存在较大差异,我们为这两种模态使用了独立的权重集。 ◆通过这种方法,信息得以在图像 Token 和文本 Token 之间流动,从而提高了模型生成结果的整体理解力和排版质量。我们在论文中还讨论了如何轻松地将这一架构扩展至视频等多模态场景。 ◆SD3 采用了矫正流 (Rectified Flow,简称 RF) 的公式 (Liu et al.,2022;Albergo & Vanden-Eijnden,2022;Lipman et al.,2023),在训练过程中,数据和噪声被连接在一条线性轨迹上。这导致了更直的推理路径,从而可以使用更少的步骤进行采样。 ◆扩展矫正流 Transformer 模型：使用重新加权的 RF 公式和 MMDiT 主干网络,对文本到图像的合成任务开展了模型扩展研究。我们训练了一系列模型,其规模从 15 个 。Transformer 块 (4.5 亿参数) 到 38 个块 (80 亿参数) 不等。

相关推荐

封面图片

Stability AI 宣布 Stable Diffusion 3

Stability AI 宣布 Stable Diffusion 3 AI 创业公司 Stability AI 宣布其最新一代的文本图像模型 Stable Diffusion 3 开放预览。感兴趣的用户可以申请加入等候名单。Stability AI 称开放预览是为了在正式发布前收集与性能和安全性相关的用户反馈。Stable Diffusion 3 模型的参数规模从 8 亿 到 80 亿不等，其架构组合了 diffusion transformer 和 flow matching，技术报告将在晚些时候公布。来源， 频道：@kejiqu 群组：@kejiquchat
封面图片

卧槽 Stability AI 还有货，发布了Stable Diffusion 3模型，多主题提示、图像质量和拼写能力方面的性能

卧槽 Stability AI 还有货，发布了Stable Diffusion 3模型，多主题提示、图像质量和拼写能力方面的性能得到了极大的提高。 Stable Diffusion 3 套模型目前参数范围从 800M 到 8B。 Stable Diffusion 3采用了和Sora一样的diffusion transformer 架构。 公告全文：
封面图片

Stability AI发布最新图像生成模型Stable Diffusion XL 1.0

Stability AI发布最新图像生成模型Stable Diffusion XL 1.0 今天，Stability AI 宣布推出 Stable Diffusion XL 1.0，这是该公司迄今为止描述为“最先进”的文本到图像模型。Stable Diffusion XL 1.0 可在上以开源形式使用，并提供给 Stability 的和消费者应用程序和 。Stability 声称，与其前代产品相比，Stable Diffusion XL 1.0 提供了“更生动”和“更准确”的颜色，更好的对比度、阴影和照明效果。 在接受采访时，Stability AI 的应用机器学习负责人Joe Penna 指出，Stable Diffusion XL 1.0 包含 35亿个参数，可以“在几秒钟内”生成多种长宽比的 100万像素分辨率的完整图像。“参数”是模型从训练数据中学习到的部分，基本上定义了模型在解决问题上的技能水平。 上一代稳定扩散模型稳定扩散 XL 0.9 也可以生成更高分辨率的图像，但需要更多的计算能力。 、
封面图片

Stable Diffusion 3 大模型发布

Stable Diffusion 3 大模型发布 Stability AI 今天发布了 Stable Diffusion 3 的早期预览版，称该模型为其最强大的文本到图像模型，在多主题提示、图像质量和拼写能力方面的性能得到了极大提高。Stable Diffusion 3 模型套件目前的参数范围为 800M 到 8B。早期预览的候补名单也已经开放。
封面图片

Stability AI推出适用于普通电脑的文本生成图像模型SD3 Medium

Stability AI推出适用于普通电脑的文本生成图像模型SD3 Medium Stable Diffusion 系列文本生成图形模型开发商 Stability AI 今天宣布基于 SD3 推出了新版本 SD3 Medium 版，该版本尺寸体积非常小只有 2B 参数，因此适合在消费级笔记本电脑、台式机和企业级 GPU 上运行。和之前的 SD 系列模型一样，SD3 Medium 版也是免费提供的，属于开放但非开源的模型，如果需要商业性使用则应当购买授权。Stable Diffusion 3 Medium 版具有以下特点：参数规模仅为 20 亿照片级真实感：克服手部和面部常见的瑕疵，无需复杂的工作流程即可生成高质量图像遵守复杂的提示词：可以理解涉及空间关系、构图元素、动作和风格的复杂提示词内容排版：在 Diffusion Transformer 架构的帮助下，大幅度改进生成文本内容时的伪影和拼写错误问题高效利用资源：占用的显存非常小，非常适合在消费级 PC 和笔记本电脑上运行并且不会降低性能微调：能够从小数据集中吸收细微的细节，因此也适合进行定制哪些消费级显卡 / 企业级显卡支持 SD3 Medium 版：Stability AI 与英伟达和 AMD 合作，在部分消费级和企业级显卡上优化 SD3 Medium 的推理，其中还为英伟达推出了特别版本。支持的英伟达显卡主要是 NVIDIA RTX 系列，Stability AI 利用 RTX 显卡和 TensorRT 来提升性能，其中 TensorRT 优化版本提供更好的性能，用户可以下载英伟达专版的 SD3 Medium。AMD 方面支持 AMD 最新的 APU、消费级 GPU 和米兰 300X 系列企业级 GPU，经过 AMD 优化后也可以使用 SD3 Medium，不过性能方面可能要比英伟达专版的要低些。从哪里获取 SD3 Medium 版：其中英伟达专版的 TensorRT 版 SD3 Medium 可以在这里下载： AMD 的通用版本可以在这里下载： ... PC版： 手机版：
封面图片

该公司在二月份向少数开发者预览发布了“Stable Diffusion 3”。Stability AI 表示，“Stable D

该公司在二月份向少数开发者预览发布了“Stable Diffusion 3”。Stability AI 表示，“Stable Diffusion 3”在“排版和提示遵循”方面“等同于或优于”其他文本到图像生成器，如 OpenAI 的 DALL-E 3 和 Midjourney v6。该模型使用了一种名为多模态扩散变换器的架构，旨在改善文本理解和拼写。 标签: #StableDiffusion #AI 频道: @GodlyNews1 投稿: @GodlyNewsBot

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人