【好文推荐】《优化 Stable Diffusion XL 的终极指南》

【好文推荐】《优化 Stable Diffusion XL 的终极指南》 详细介绍和测试了 SDXL 的模型优化方式，可以让 SDXL 在低显存显卡上稳定运行。同时大幅提高生成速度降低图像质量的损失。 推荐有部署和优化 SDXL 需求的朋友收藏阅读，写的真的很好。 详细介绍- 该文详细介绍了如何优化Stable Diffusion XL (SDXL)以在任何显卡上获得最佳质量和性能。文章的核心目标是通过不同的优化技术，使SDXL能够在仅使用6GB内存的情况下生成图像，从而允许使用低端显卡。 作者使用Hugging Face的diffusers库进行脚本编写和开发，旨在让读者了解和应用这些优化技术，以便在各种应用中，如Automatic1111的Stable Diffusion web UI或特别是ComfyUI中，充分利用它们。 测试使用RunPod平台在Secure Cloud上生成了一个搭载RTX 3090显卡的GPU Pod进行。文章比较了不同优化技术的性能，包括感知图像质量、生成每张图像所需时间、以及使用的最大内存量。 优化技术包括CUDA和PyTorch版本选择、注意力机制优化、FP16、TF32、以及多种管道优化技术，如模型CPU卸载、批处理处理、Stable Fast、DeepCache和TensorRT。 文章的结论部分提供了一个表格，总结了所有测试的结果，并提供了在寻求质量、速度或在内存限制下运行推理过程时的建议。 例如，FP16优化通过使用半精度浮点格式显著降低了内存使用量并提高了计算速度，而Stable Fast项目通过运行时优化显著提高了推理速度。DeepCache通过使用缓存系统在保持较小的内存使用增加的同时，大幅减少了推理时间，但可能会略微降低图像质量。 总的来说，这篇文章为那些希望在不同硬件配置下优化Stable Diffusion XL性能的开发者提供了一份详尽的指南，展示了通过各种优化技术实现性能提升的可能性。 文章地址：

Stable Diffusion发布了新的图像模型SDXL 0.9

Stable Diffusion发布了新的图像模型SDXL 0.9 这是文本到图像模型的一项突破性发展，相比前身在图像构成和细节上有显著的改进。SDXL 0.9的应用超越了传统的边界，可以用于电影、电视、音乐和教学视频，以及设计和工业用途。 SDXL 0.9可以在消费级GPU上运行，只需要Windows 10或11，或Linux操作系统，16GB RAM，以及至少有8GB VRAM的Nvidia GeForce RTX 20显卡（或更高标准）。Linux用户也可以使用配备16GB VRAM的兼容AMD卡。 SDXL 0.9的功能不仅限于基本的文本提示，还提供了如图像到图像提示（输入一张图像以获取该图像的变体）、修复（重构图像的缺失部分）和扩展（创建现有图像的无缝扩展）等功能。#SD 来自：雷锋 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot

RT 归藏Stable Diffusion最新的模型 Stable Diffusion XL正式开放使用了。我也对其做了详细的测

RT 归藏 Stable Diffusion最新的模型 Stable Diffusion XL正式开放使用了。我也对其做了详细的测试。 这次没有在Stability AI自己的平台上而是在他们收购的clipdrop平台上，可能也觉得自己没有做产品的基因把，之前的体验真是一言难尽。这个模型的参数是SD2.1的2.5倍，完整模型是几乎不能在消费级设备上跑的。…

这个研究有点强的，我们可能获得了另外一种增强Stable Diffusion控制的方法，它允许你使用富文本书写提示词。

这个研究有点强的，我们可能获得了另外一种增强Stable Diffusion控制的方法，它允许你使用富文本书写提示词。 比如指定某个提示词的颜色，例如提示词中有长发这个单词，然后你把长发的文字颜色改成了粉色，那么生成图像的头发颜色就会变成粉色。不只是那种粗略的粉色哦，是带有精确色值的。 下面我们分别来看一下它支持的富文本格式和生效方式： 首先你可以通过字体颜色控制生成对象的颜色，比如下面这张图Hair头发的字体颜色被改成粉色的时候生成图像的头发颜色就会变为粉色。 然后你可以改变对应提示词单词的字体来赋予图像对应的风格，这个就有点意识流了，全看模型对这个字体的感知，比如下面这这张图的guitar吉他的字体如果是比较放松的就会生成彩色的吉他，如果是古朴的手写体吉他就比较有年代感。 最后你可以给对应提示词的单词增加注释对其进行补充说明，比如下方这个例子中的cat被加上了“一只戴着墨镜、脖子上围着头巾的猫。”这样的注释在不影响整体画面的情况下猫这个主体准确的生成了注释的内容。你也可以给多个单词都加上这样的注释。 下面看一下这个论文大概的原理： 简单来说他们用了一种方法获得了每一个提示词单词对生成图像影响区域的映射，然后用将富文本的属性拿出来单独针对每个影响的提示词单词的区域再进行降噪操作从而修改扩散模型第一次生成的图像。 好了介绍到这里就结束了，希望早日有大神可以将这种方法集成到SD里面，或者开发出更多地富文本格式。 这里是论文的介绍： 这里你可以试玩这个控制方法：

Stability AI试图通过新的图像生成人工智能模型保持领先地位

Stability AI试图通过新的图像生成人工智能模型保持领先地位 Stable Cascade 可以生成照片，并对所创建的图片进行修改，或尝试提高现有图片的分辨率。其他文本到图片的编辑功能还包括内画和外画（模型只对图片的特定部分进行填充编辑），以及可视边缘（用户可利用现有图片的边缘制作新照片）。根据提示"一张拟人企鹅坐在咖啡馆里看书喝咖啡的电影照片"生成的Stable Cascade图像。新模型可在GitHub 上供研究人员使用，但不能用于商业用途。在Google甚至苹果等公司发布自己的图像生成模型时，新模型也带来了更多选择。与 Stability 的旗舰产品 Stable Diffusion 模型不同，Stable Cascade 并不是一个大型语言模型，而是三个不同的模型，它们都依赖于Würstchen 架构。Stable Cascade与其他模型的推理时间比较将请求分解成更小的比特后，请求所需的内存更少（在那些很难找到的 GPU 上训练的时间也更少），运行速度更快，同时在"提示对齐和美学质量"方面表现更佳。创建一幅图像大约需要 10 秒，而目前使用的 SDXL 模型需要 22 秒。Stability AI公司帮助普及了Stable Diffusion方法，同时也成为了几起诉讼的对象，这些诉讼指控Stable Diffusion公司在未经权利人许可的情况下对受版权保护的数据进行了训练 - Getty图片公司对Stability AI公司的诉讼将于 12 月开庭审理 。该公司于 12 月开始通过订阅的方式提供商业许可，并表示这是帮助其研究获得资金所必需的。 ... PC版： 手机版：

大学教授让助理戴上倒立眼镜 10天后怪异的事情发生了

大学教授让助理戴上倒立眼镜 10天后怪异的事情发生了 换句话说，实际上我们的眼睛一直在给我们大脑提供一个倒立的像，只是我们大脑适应了这种，以至于我们感觉一切正常。那么有趣的问题是，如果我们通过一些技术让眼睛看到一个正常正立像会怎么样呢？还真有人做过这样的实验，20世纪中叶，一位奥地利教授将一个人的视力完全颠倒了。图：埃里斯曼教授和科勒因斯布鲁克大学的西奥多·埃里斯曼教授设计了这个实验，而接受挑战的人正是他的助理伊沃·科勒。科勒后来写了相关内容，他们两人还一起拍了一部纪录片，所以我们可以知道将世界倒立过来到底会怎么样。埃里斯曼教授设计了一副眼镜，这副眼镜的内部有一面镜子，它可以把光线翻转过来，让顶部变成了底部，底部变成了顶部。然后助理科勒戴上这副特殊的眼镜，根据科勒的描述，起初他在试图抓住递给他的物体时很困难，绕过椅子或走下楼梯时经常严重摔倒。当他端起茶杯来倒水时，因为看到水明显向上倾倒，于是不自觉得把茶杯倒过来。看到火柴升起的烟雾，或者气球在绳子上上下浮动的景象时，他会在某一个瞬间变得无法分辨方向。在实验中，科勒还测试了击剑运动，在一场简单的击剑比赛中，他会在低位攻击时将球杆举高，在高刺击时将球杆低位。但在接下来的一周里，科勒发现自己时断时续地适应着这些景象，然后更加一致，直到十天后，他已经完全习惯了这个永远颠倒的世界。矛盾而又令人高兴的是，他的感知中并不是一个颠倒的世界，而是正面朝上，一切对他来说似乎都是正常的。在十天后，科勒可以很好地完成公共场合的日常活动：沿着拥挤的人行道行走，甚至骑自行车。不过，街上的路人确实向这名男子投来了目光，因为从外面看，他的眼镜看起来很特别。在埃里斯曼和科勒之后，还有许多学者都做了相似的实验，所有人都得到了相似的结果，实验人员最终都能适应将眼睛看到的东西颠倒过来。不仅是上下颠倒，人也可以在短时间内适应左右颠倒的世界，在左右颠倒的实验中，实验对象可以在几周后骑着摩托车上路，不会有任何影响。虽然不是每个人都有过这样的测试，但大部分科学家都认为，或许我们所有人都可以做到这两点（调整左右颠倒和上下颠倒）。图：现在也有这种调整左右颠倒和上下颠倒的设备这种对视觉上奇怪的、自动且几乎毫不费力的适应是大脑所做的许多奇怪的事情之一，而科学家们目前根本无法理解。我们的视觉还有许多独特的东西，也是通过大脑修饰后才出现的。比如，我们的眼睛其实就是一部照相机，它得到只是一个二维图像而已，但就像你感受到那样，我们的世界是有深度的，它是三维的，这个也是大脑的功劳。相较于大脑如何将世界修饰为正常，它将2D变成3D的原因还是比较清楚的，主要有两种方式，一个是相对大小，还有一个就是双眼的合作。我们看到的深度是双眼视觉的结果，这个是事实，只有两只眼睛同时看一个景象时才会有深度感，这是因为每只眼睛都会从不同角度检测光线，而我们的大脑正是处理这两种视觉输入源以进行深度感知的。 ... PC版： 手机版：