麻省理工学院研究人员开发出对图像质量影响最小的超快速图像生成方法

麻省理工学院研究人员开发出对图像质量影响最小的超快速图像生成方法 图像生成人工智能通常采用一种称为扩散的过程，通过几个采样步骤来完善视觉输出，以达到最终希望"逼真"的结果。研究人员表示，扩散模型可以生成高质量的图像，但需要数十次前向传递。Adobe 研究中心和麻省理工学院的专家们正在引入一种名为"分布匹配蒸馏"（DMD）的技术。这一程序将多步扩散模型简化为一步图像生成解决方案。由此产生的模型可以生成与Stable Diffusion 1.5 等"传统"扩散模型相当的图像，但速度要快上几个数量级。"我们的核心理念是训练两个扩散模型，不仅能估计目标真实分布的得分函数，还能估计假分布的得分函数。"研究人员称，他们的模型可以在现代 GPU 硬件上每秒生成 20 幅图像。上面的视频短片重点介绍了 DMD 与 Stable Diffusion 1.5 相比的图像生成能力。标清每幅图像需要 1.4 秒，而 DMD 只需几分之一秒就能生成类似的图像。虽然在质量和性能之间有所权衡，但最终结果仍在普通用户可接受的范围之内。该团队发表的关于新渲染方法的文章展示了使用 DMD 生成图像结果的更多示例。它比较了稳定扩散和 DMD，同时提供了生成图像的重要文字提示。主题包括通过虚拟数码单反相机镜头取景的一只狗、多洛米蒂山脉、森林中一只神奇的鹿、一只鹦鹉宝宝的 3D 渲染、独角兽、胡须、汽车、猫，甚至更多的狗。分布匹配蒸馏法并不是第一种用于生成人工智能图像的单步方法。Stability AI 公司开发了一种被称为逆向扩散蒸馏（ADD）的技术，用于实时生成 100 万像素的图像。该公司通过 ADD 训练其 SDXL Turbo 模型，在单个 NVIDIA A100 AI GPU 加速器上实现了仅 207 毫秒的图像生成速度。Stability 的 ADD 采用了与麻省理工学院的 DMD 类似的方法。 ... PC版： 手机版：

Stability AI发布最新图像生成模型Stable Diffusion XL 1.0

Stability AI发布最新图像生成模型Stable Diffusion XL 1.0 今天，Stability AI 宣布推出 Stable Diffusion XL 1.0，这是该公司迄今为止描述为“最先进”的文本到图像模型。Stable Diffusion XL 1.0 可在上以开源形式使用，并提供给 Stability 的和消费者应用程序和 。Stability 声称，与其前代产品相比，Stable Diffusion XL 1.0 提供了“更生动”和“更准确”的颜色，更好的对比度、阴影和照明效果。 在接受采访时，Stability AI 的应用机器学习负责人Joe Penna 指出，Stable Diffusion XL 1.0 包含 35亿个参数，可以“在几秒钟内”生成多种长宽比的 100万像素分辨率的完整图像。“参数”是模型从训练数据中学习到的部分，基本上定义了模型在解决问题上的技能水平。 上一代稳定扩散模型稳定扩散 XL 0.9 也可以生成更高分辨率的图像，但需要更多的计算能力。 、

Stability AI 发布单幅图像生成 3D 对象的 Stable Zero123

Stability AI 发布单幅图像生成 3D 对象的 Stable Zero123 Stability AI 发布了能根据单幅图像生成对象各个角度视图的模型 Stable Zero123。Stable Zero123 是基于 Stable Diffusion 1.5，生成一个视图消耗的内存与 Stable Diffusion 1.5 相同，但如果要生成 3D 视图需要更多时间和更多内存，建议 24GB。Stable Zero123 目前只支持研究目的的非商业使用。代码和权重发布在上。来源 ， 频道：@kejiqu 群组：@kejiquchat

Stability AI推出Stable Diffusion 3 提示文本理解更好、图像质量更强

Stability AI推出Stable Diffusion 3 提示文本理解更好、图像质量更强 Stable Diffusion 3的参数在8亿80亿之间，也就是说Stable Diffusion 3可能是专为移动设备开发的，AI算力消耗将更低，推理速度却更快。目前，Stable Diffusion 3支持申请使用，未来会扩大测试范围。申请地址： Diffusion 3的技术内容，但指出其核心架构使用了Transformer和Flow FMatching（简称“FM”）。Transformer大家都很熟悉了，ChatGPT、T5 、BERT等很多著名模型都是基于该架构开发的。而FM是Meta AI和魏茨曼科学研究所在2022年10月发布的，一种全新高效建模、训练技术概念。Flow Matching论文地址： Matching简单介绍目前，很多文生图模型使用的是CNF（连续正规化流动）训练方法，主要使用常微分方程对流动进行建模，实现从一种已知分布到目标分布的平滑映射。但由于训练过程需要进行大量的微分方程模拟，会导致算力成本高、模型设计复杂、可解释性差等缺点。FM则是放弃微分方程的直接模拟,而是通过回归固定条件概率轨迹来实现无模拟训练。研究人员设计了条件概率分布与向量场的概念,利用边缘分布的结合可以建立总体目标概率轨迹与向量场,从而消除了模拟过程对梯度计算的影响。1）条件概率路径构建：FM需要给出一个目标概率路径,该路径从简单分布演变到逼近数据分布。然后利用条件概率路径构建了目标路径,这样每个样本有一个对应的条件路径。2）变换层：构成FM的基本单元，每个变换层都是可逆的。这意味着从输入到输出的每一步映射都可以精确地反转，从而允许从目标分布反推到原始分布。3）耦合层：将输入分成两部分，对其中一部分应用变换，而变换函数可以是任意的神经网络，其参数由另一部分决定，保证了变换的可逆性。目前，FM技术已在图像生成与超分辨率、图像理解、图像修复与填充、条件图像生成、图像风格迁移与合成、视频处理等领域得到广泛应用。Stable Diffusion 3案例展示本次的发布页面也是由Stable Diffusion 3生成的，提示词：史诗般的动漫艺术风格，一位巫师站在夜间的山顶上，向黑暗的天空施放咒语，上面写着由彩色能量生成的“Stable Diffusion 3”文字教室桌子上有一个红苹果，电影风格，背景的黑板上用粉笔写着“要么做大，要么回家”一名宇航员骑着一只穿着蓬蓬裙的猪，撑着一把粉色的伞，猪旁边的地上有一只戴着高帽的知更鸟，角落里写着"Stable Diffusion"的字样。一只变色龙，黑色背景，摄影风格。一辆跑车的夜间照片，侧面写有“SD3”字样，汽车在赛道上高速行驶，巨大的路标上写着“更快”的文字。波浪冲击苏格兰灯塔的鱼眼镜头照片，黑色波浪。 ... PC版： 手机版：

使用脑电波活动作为输入运行 Stable Diffusion 进行高分辨率图像重建

使用脑电波活动作为输入运行 Stable Diffusion 进行高分辨率图像重建 摘要 从人脑活动重建视觉体验为研究大脑如何表示世界、解释计算机视觉模型与我们的视觉系统之间关系提供了一种独特的方式。虽然近年来深度生成模型已被应用于此任务，但实现高语义保真度的真实图像重建仍是一个具有挑战性的问题。在本文中，我们提出了一种基于扩散模型（Diffusion Model，DM）的新方法，通过功能性磁共振成像（fMRI）获得的人脑活动来重建图像。我们依赖于一种名为 Stable Diffusion 的潜在空间扩散模型（Latent Diffusion Model，LDM）。该模型降低了扩散模型的计算成本，同时保持了其高生成性能。我们还通过研究LDM的不同组成部分（如潜在向量Z、条件输入C和去噪U-Net的不同元素）与不同的脑功能联系起来，表征了LDM的内部机制。我们展示了我们的方法可以简单地重建高保真度的高分辨率图像，无需进行任何额外的训练和微调复杂的深度学习模型。我们还从神经科学的角度提供了对不同LDM组件的定量解释。总体而言，我们的研究提出了一种有前景的从人脑活动恢复图像的方法，并为理解扩散模型提供了一个新的框架。 （摘要由 ChatGPT 翻译）

【引起轰动的日本AI"读脑术"：大脑视觉信号被Stable Diffusion复现图像】这项研究来自大阪大学，已被CVPR

【引起轰动的日本AI"读脑术"：大脑视觉信号被Stable Diffusion复现图像】这项研究来自日本大阪大学，已被CVPR 2023收录。模型依次从大脑早期（蓝色）和较高（黄色）视觉皮层内的fMRI信号中，解码出重建图像（z）和相关文本（c）的潜在表征。将这些潜在表征当作输入模型，得到最终复现出来的图像Xzc。 #抽屉IT