图像生成模型 Stable Diffusion XL 1.0 开源发布

图像生成模型StableDiffusionXL1.0开源发布SDXL1.0的性能5倍优于SD1.5(开源社区主流)，是开源世界最大参数的图像模型，也是StabilityAI最新&最先进的模型。现可通过Github、HuggingFace、API、AWS、Clipdrop、DreamStudio直接访问。SDXL1.0拥有3.5B参数的基础模型(可单独使用)和6.6B参数的专家混合管道(多了一个单独执行最终去噪的精炼模型)，精炼模型可以为基础模型的输出添加更准确的颜色、更高的对比度和更精细的细节。微调SDXL1.0的图像需求量也急剧下降，现在只需5到10张图像就可以快速微调出一个专门生成特定人物、事物的模型。投稿：@ZaiHuaBot频道：@TestFlightCN

Stability AI正式发布了我们期待已久的SDXL 1.0。下面是模型的介绍和使用方式。

StabilityAI正式发布了我们期待已久的SDXL1.0。下面是模型的介绍和使用方式。SDXL的特点：SDXL有两个模型组成第二个模型可以生成更鲜艳、更准确的颜色，并且比其前身具有更好的对比度、光照和阴影。SDXL1.0是所有开放获取图像模型中参数数量最多的模型之一，拥有3.5B参数基础模型和6.6B参数模型集成管道。如何使用SDXL1.0：首先你可以在Github上下载开源的模型文件，前几天WebUI已经支持了SDXL模型：https://github.com/Stability-AI/generative-models如果你想要立即体验的话可以在clipdrop线上尝试：https://clipdrop.co/stable-diffusion也可以在stabilityAPI调用相关接口：https://platform.stability.ai/docs/release-notes最后在dreamstudio也可以在线体验SDXL：https://dreamstudio.ai祝各位玩的愉快。期待大佬们的新丹和ControlNet的支持。

Stability AI 发布了他们最强的图片生成模型 Stable Diffusion 3 的技术报告，披露了 SD3 的更多

StabilityAI发布了他们最强的图片生成模型StableDiffusion3的技术报告，披露了SD3的更多细节。据他们所说，SD3在排版质量、美学质量和提示词理解上超过了目前所有的开源模型和商业模型，是目前最强的图片生成模型。技术报告要点如下：◆根据人类偏好评估,SD3在排版质量和对提示的理解程度上,均优于目前最先进的文本生成图像系统,例如DALL·E3、Midjourneyv6和Ideogramv1。◆提出了新的多模态扩散Transformer(MultimodalDiffusionTransformer,简称MMDiT)架构,其使用独立的权重集分别表示图像和语言。与SD3的先前版本相比,该架构改善了系统对文本的理解能力和拼写能力。◆SD38B大小的模型可以在GTX409024G显存上运行。◆SD3将发布多个参数规模不等的模型方便在消费级硬件上运行，参数规模从800M到8B。◆SD3架构以DiffusionTransformer(简称"DiT",参见Peebles&Xie,2023)为基础。鉴于文本嵌入和图像嵌入在概念上存在较大差异,我们为这两种模态使用了独立的权重集。◆通过这种方法,信息得以在图像Token和文本Token之间流动,从而提高了模型生成结果的整体理解力和排版质量。我们在论文中还讨论了如何轻松地将这一架构扩展至视频等多模态场景。◆SD3采用了矫正流(RectifiedFlow,简称RF)的公式(Liuetal.,2022;Albergo&Vanden-Eijnden,2022;Lipmanetal.,2023),在训练过程中,数据和噪声被连接在一条线性轨迹上。这导致了更直的推理路径,从而可以使用更少的步骤进行采样。◆扩展矫正流Transformer模型：使用重新加权的RF公式和MMDiT主干网络,对文本到图像的合成任务开展了模型扩展研究。我们训练了一系列模型,其规模从15个。Transformer块(4.5亿参数)到38个块(80亿参数)不等。

Stability AI 发布 Stable Video Diffusion

StabilityAI发布StableVideoDiffusionAI创业公司StabilityAI发布了它的视频生成模型StableVideoDiffusion，源代码采用MITLicense发布在上，权重发布在HuggingFace上。StableVideoDiffusion基于StableDiffusion，有两种输出形式，能以每秒3-30帧的定制帧速生成14和25帧。StabilityAI称其模型的表现好于私有模型。来源，频道：@kejiqu群组：@kejiquchat

Stability AI 推出 Stable Video Diffusion 模型，可根据图片生成视频

StabilityAI推出StableVideoDiffusion模型，可根据图片生成视频StableVideoDiffusion这款模型能够通过现有图片生成视频，是基于之前发布的StableDiffusion文本转图片模型的延伸，也是目前为止市面上少有的能够生成视频的AI模型之一。不过，这款模型目前并不是对所有人开放的。StableVideoDiffusion目前处于StabilityAI所谓的“研究预览”阶段。想要使用这款模型的人必须同意一些使用条款，其中规定了StableVideoDiffusion的预期应用场景（例如“教育或创意工具”、“设计和其他艺术过程”等）和非预期的场景（例如“对人或事件的事实或真实的表达”）()投稿：@ZaiHuaBot频道：@TestFlightCN

Stability AI正式发布了DeepFloyd IF图像生成模型，这是一个有文本编码器和三个级联的diffusion模块组

StabilityAI正式发布了DeepFloydIF图像生成模型，这是一个有文本编码器和三个级联的diffusion模块组合的模型。这个模型的效率要比原有的satblediffusion效率要高很多。我尝试了一下，看起来效果也比SD2.0强一些。划重点，这个模型是认字的生成出来的英文非常工整。文章链接：https://stability.ai/blog/deepfloyd-if-text-to-image-model可以在这里体验模型：https://huggingface.co/spaces/DeepFloyd/IFGithub：https://github.com/deep-floyd/IF模型网站：https://deepfloyd.ai/if