Stability AI发布最新图像生成模型Stable Diffusion XL 1.0

Stability AI发布最新图像生成模型Stable Diffusion XL 1.0 今天，Stability AI 宣布推出 Stable Diffusion XL 1.0，这是该公司迄今为止描述为“最先进”的文本到图像模型。Stable Diffusion XL 1.0 可在上以开源形式使用，并提供给 Stability 的和消费者应用程序和 。Stability 声称，与其前代产品相比，Stable Diffusion XL 1.0 提供了“更生动”和“更准确”的颜色，更好的对比度、阴影和照明效果。 在接受采访时，Stability AI 的应用机器学习负责人Joe Penna 指出，Stable Diffusion XL 1.0 包含 35亿个参数，可以“在几秒钟内”生成多种长宽比的 100万像素分辨率的完整图像。“参数”是模型从训练数据中学习到的部分，基本上定义了模型在解决问题上的技能水平。 上一代稳定扩散模型稳定扩散 XL 0.9 也可以生成更高分辨率的图像，但需要更多的计算能力。 、

Stability AI推出适用于普通电脑的文本生成图像模型SD3 Medium

Stability AI推出适用于普通电脑的文本生成图像模型SD3 Medium Stable Diffusion 系列文本生成图形模型开发商 Stability AI 今天宣布基于 SD3 推出了新版本 SD3 Medium 版，该版本尺寸体积非常小只有 2B 参数，因此适合在消费级笔记本电脑、台式机和企业级 GPU 上运行。和之前的 SD 系列模型一样，SD3 Medium 版也是免费提供的，属于开放但非开源的模型，如果需要商业性使用则应当购买授权。Stable Diffusion 3 Medium 版具有以下特点：参数规模仅为 20 亿照片级真实感：克服手部和面部常见的瑕疵，无需复杂的工作流程即可生成高质量图像遵守复杂的提示词：可以理解涉及空间关系、构图元素、动作和风格的复杂提示词内容排版：在 Diffusion Transformer 架构的帮助下，大幅度改进生成文本内容时的伪影和拼写错误问题高效利用资源：占用的显存非常小，非常适合在消费级 PC 和笔记本电脑上运行并且不会降低性能微调：能够从小数据集中吸收细微的细节，因此也适合进行定制哪些消费级显卡 / 企业级显卡支持 SD3 Medium 版：Stability AI 与英伟达和 AMD 合作，在部分消费级和企业级显卡上优化 SD3 Medium 的推理，其中还为英伟达推出了特别版本。支持的英伟达显卡主要是 NVIDIA RTX 系列，Stability AI 利用 RTX 显卡和 TensorRT 来提升性能，其中 TensorRT 优化版本提供更好的性能，用户可以下载英伟达专版的 SD3 Medium。AMD 方面支持 AMD 最新的 APU、消费级 GPU 和米兰 300X 系列企业级 GPU，经过 AMD 优化后也可以使用 SD3 Medium，不过性能方面可能要比英伟达专版的要低些。从哪里获取 SD3 Medium 版：其中英伟达专版的 TensorRT 版 SD3 Medium 可以在这里下载： AMD 的通用版本可以在这里下载： ... PC版： 手机版：

：Stability AI最新推出的高级文本到图像AI模型，适合在消费级PC、笔记本及企业级GPU上运行，有望成为文本到图像模型

：Stability AI最新推出的高级文本到图像AI模型，适合在消费级PC、笔记本及企业级GPU上运行，有望成为文本到图像模型的新标准 - Stability AI公开发布了Stable Diffusion 3 Medium图像生成模型，这是目前该公司最先进的开源文本到图像模型。 - Stable Diffusion 3 Medium是一个20亿参数量的模型，相比之前的模型有显著改进：整体图像质量和逼真度大幅提升，能够生成高质量的照片逼真图像；理解长难句子描述的能力增强；文字质量也有很大提升，减少拼写、字间距等错误。 - 该模型大小适中，非常适合在普通消费级PC和笔记本电脑上运行，也能在企业级GPU上充分发挥性能。它有望成为文本到图像模型的新标准。 - Stable Diffusion 3 Medium在Stability非商业研究社区许可证下对外开源。对于商业用途，鼓励使用新的Creator许可证。大规模商业使用还需联系Stability取得企业许可证。 - 用户可以通过Stability的API、Stable Assistant和Stable Artisan等渠道试用Stable Diffusion 3 Medium。 - Stability AI表示会根据用户反馈持续改进该模型，扩展其功能，提升性能。目标是为艺术创作和业余用户都设定一个新的标准。 - Stability AI坚持开放和负责任的AI实践，在模型的训练、测试、部署等各个阶段采取合理措施防止模型被恶意滥用。

Stable Diffusion 是人工智能公司 Stability AI 背后的文本到图像模型，于 2022 年 8 月发布。

Stable Diffusion 是人工智能公司 Stability AI 背后的文本到图像模型，于 2022 年 8 月发布。Stability AI 首席执行官 Emad Mostaque 表示，Stable Diffusion 在所有渠道拥有超过 1000 万用户。如果我们推断一下《Midjourney》的数据和趋势，就会发现，通过官方的 Stable Diffusion 渠道，用户每天会生成 200 万张图片，而在发布一年多的时间里，这个数字已经达到了 6.9 亿张图像。 如果加上其他流行模型（例如 Runway，我们单独统计）和 Stability AI 的官方渠道，使用 Stable Diffusion 创建的图像数量将增加到 125.9 亿张，占所有使用文本转文字创建的 AI 图像的 80%。 Adobe Firefly Adobe Adobe 推出了 Firefly，于 2023 年 3 月发布。上线 6 周内，用户创建了超过 1 亿资产。随着 Firefly 于 2023 年 5 月集成到 Adobe Photoshop，考虑到全球使用 Photoshop 的人数，图像数量呈指数级增长。 Adobe 在最新的新闻稿中分享了其 AI 图像统计数据：推出仅 3 个月，使用 Adobe Firefly 创建的图像数量就已达到 10 亿张。 使用 Stable Diffusion、Adobe Firefly、Midjourney 和 DALLE-2 总共生成了超过 150 亿张人工智能创建的图像。这比 Shutterstock 的整个照片、矢量图和插图库还要多，而且是 Instagram 上传的图片数量的三分之一。

Stability AI试图通过新的图像生成人工智能模型保持领先地位

Stability AI试图通过新的图像生成人工智能模型保持领先地位 Stable Cascade 可以生成照片，并对所创建的图片进行修改，或尝试提高现有图片的分辨率。其他文本到图片的编辑功能还包括内画和外画（模型只对图片的特定部分进行填充编辑），以及可视边缘（用户可利用现有图片的边缘制作新照片）。根据提示"一张拟人企鹅坐在咖啡馆里看书喝咖啡的电影照片"生成的Stable Cascade图像。新模型可在GitHub 上供研究人员使用，但不能用于商业用途。在Google甚至苹果等公司发布自己的图像生成模型时，新模型也带来了更多选择。与 Stability 的旗舰产品 Stable Diffusion 模型不同，Stable Cascade 并不是一个大型语言模型，而是三个不同的模型，它们都依赖于Würstchen 架构。Stable Cascade与其他模型的推理时间比较将请求分解成更小的比特后，请求所需的内存更少（在那些很难找到的 GPU 上训练的时间也更少），运行速度更快，同时在"提示对齐和美学质量"方面表现更佳。创建一幅图像大约需要 10 秒，而目前使用的 SDXL 模型需要 22 秒。Stability AI公司帮助普及了Stable Diffusion方法，同时也成为了几起诉讼的对象，这些诉讼指控Stable Diffusion公司在未经权利人许可的情况下对受版权保护的数据进行了训练 - Getty图片公司对Stability AI公司的诉讼将于 12 月开庭审理 。该公司于 12 月开始通过订阅的方式提供商业许可，并表示这是帮助其研究获得资金所必需的。 ... PC版： 手机版：

Stability AI 发布了他们最强的图片生成模型 Stable Diffusion 3 的技术报告，披露了 SD3 的更多

Stability AI 发布了他们最强的图片生成模型 Stable Diffusion 3 的技术报告，披露了 SD3 的更多细节。 据他们所说，SD3 在排版质量、美学质量和提示词理解上超过了目前所有的开源模型和商业模型，是目前最强的图片生成模型。 技术报告要点如下： ◆根据人类偏好评估,SD3 在排版质量和对提示的理解程度上,均优于目前最先进的文本生成图像系统,例如 DALL·E 3、Midjourney v6 和 Ideogram v1。 ◆提出了新的多模态扩散 Transformer (Multimodal Diffusion Transformer,简称 MMDiT) 架构,其使用独立的权重集分别表示图像和语言。与 SD3 的先前版本相比,该架构改善了系统对文本的理解能力和拼写能力。 ◆SD3 8B 大小的模型可以在 GTX 4090 24G 显存上运行。 ◆SD3 将发布多个参数规模不等的模型方便在消费级硬件上运行，参数规模从 800M 到 8B 。 ◆SD3 架构以 Diffusion Transformer (简称"DiT",参见 Peebles & Xie,2023)为基础。鉴于文本嵌入和图像嵌入在概念上存在较大差异,我们为这两种模态使用了独立的权重集。 ◆通过这种方法,信息得以在图像 Token 和文本 Token 之间流动,从而提高了模型生成结果的整体理解力和排版质量。我们在论文中还讨论了如何轻松地将这一架构扩展至视频等多模态场景。 ◆SD3 采用了矫正流 (Rectified Flow,简称 RF) 的公式 (Liu et al.,2022;Albergo & Vanden-Eijnden,2022;Lipman et al.,2023),在训练过程中,数据和噪声被连接在一条线性轨迹上。这导致了更直的推理路径,从而可以使用更少的步骤进行采样。 ◆扩展矫正流 Transformer 模型：使用重新加权的 RF 公式和 MMDiT 主干网络,对文本到图像的合成任务开展了模型扩展研究。我们训练了一系列模型,其规模从 15 个 。Transformer 块 (4.5 亿参数) 到 38 个块 (80 亿参数) 不等。