OpenDiT 一个专门用来加速类似Sora的DiT架构模型推理和训练的项目，GPU 加速高达 80%，内存减少 50%。#ai

OpenDiT一个专门用来加速类似Sora的DiT架构模型推理和训练的项目，GPU加速高达80%，内存减少50%。主要特点有：GPU加速高达80%，内存减少50%，内核优化包括FlashAttention、FusedAdaLN、FusedLayernorm内核。FastSeq：一种新颖的序列并行方法，专为激活大小较大但参数大小较小的类似DiT的工作负载而设计。使用方便，通过一些生产线更改即可获得巨大的性能提升，用户不需要了解分布式训练的实现。支持文本到图像和文本到视频生成的完整流程。项目地址：

麻省理工学院研究人员开发出对图像质量影响最小的超快速图像生成方法

麻省理工学院研究人员开发出对图像质量影响最小的超快速图像生成方法图像生成人工智能通常采用一种称为扩散的过程，通过几个采样步骤来完善视觉输出，以达到最终希望"逼真"的结果。研究人员表示，扩散模型可以生成高质量的图像，但需要数十次前向传递。Adobe研究中心和麻省理工学院的专家们正在引入一种名为"分布匹配蒸馏"（DMD）的技术。这一程序将多步扩散模型简化为一步图像生成解决方案。由此产生的模型可以生成与StableDiffusion1.5等"传统"扩散模型相当的图像，但速度要快上几个数量级。"我们的核心理念是训练两个扩散模型，不仅能估计目标真实分布的得分函数，还能估计假分布的得分函数。"研究人员称，他们的模型可以在现代GPU硬件上每秒生成20幅图像。上面的视频短片重点介绍了DMD与StableDiffusion1.5相比的图像生成能力。标清每幅图像需要1.4秒，而DMD只需几分之一秒就能生成类似的图像。虽然在质量和性能之间有所权衡，但最终结果仍在普通用户可接受的范围之内。该团队发表的关于新渲染方法的文章展示了使用DMD生成图像结果的更多示例。它比较了稳定扩散和DMD，同时提供了生成图像的重要文字提示。主题包括通过虚拟数码单反相机镜头取景的一只狗、多洛米蒂山脉、森林中一只神奇的鹿、一只鹦鹉宝宝的3D渲染、独角兽、胡须、汽车、猫，甚至更多的狗。分布匹配蒸馏法并不是第一种用于生成人工智能图像的单步方法。StabilityAI公司开发了一种被称为逆向扩散蒸馏（ADD）的技术，用于实时生成100万像素的图像。该公司通过ADD训练其SDXLTurbo模型，在单个NVIDIAA100AIGPU加速器上实现了仅207毫秒的图像生成速度。Stability的ADD采用了与麻省理工学院的DMD类似的方法。...PC版：https://www.cnbeta.com.tw/articles/soft/1425166.htm手机版：https://m.cnbeta.com.tw/view/1425166.htm

华为发布 DiT 架构的图像生成模型，可以直出 4K 分辨率图像。#ai画图#

华为发布DiT架构的图像生成模型，可以直出4K分辨率图像。论文简介：我们引入了PixArt-\Sigma,一个能够直接生成4K分辨率图像的DiffusionTransformer(DiffusionTransformer,DiT)模型。相比其前身PixArt-\alpha,PixArt-\Sigma有了显著进步,提供了明显更高保真度的图像,并改进了与文本提示的一致性。PixArt-\Sigma的一个关键特点是其训练效率。借助PixArt-\alpha的基础预训练,它通过合并更高质量的数据,从"较弱"的基线演变为"较强"的模型,我们将这个过程称为"弱到强训练"。PixArt-\Sigma的进步主要体现在两个方面:高质量训练数据:PixArt-\Sigma结合了更高质量的图像数据,与更精确和详细的图像标题配对。高效的Token压缩:我们在DiT框架内提出了一个新的注意力模块,可以压缩键(Key)和值(Value),显著提高效率,并促进超高分辨率图像生成。得益于这些改进,PixArt-\Sigma以显著较小的模型规模(6亿参数)实现了优于现有文本到图像扩散模型(如SDXL(26亿参数)和SDCascade(51亿参数))的图像质量和用户提示遵从能力。此外,PixArt-\Sigma生成4K图像的能力支持创建高分辨率海报和壁纸,有效地增强了电影和游戏等行业中高质量视觉内容的制作。项目地址：

麻省理工大学携手 Adobe 演示 DMD AI 技术：每秒可生成 20 幅图像

麻省理工大学携手Adobe演示DMDAI技术：每秒可生成20幅图像主流文生图模型固然已经能生成非常逼真的图片，但通常渲染时间非常缓慢。麻省理工大学携手Adobe公司近日研发了DMD方法，在尽量不影响图像质量的情况下，加快图像生成速度。DMD技术的全称是DistributionMatchingDistillation，将多步扩散模型简化为一步图像生成解决方案。团队表示：“我们的核心理念是训练两个扩散（diffusion）模型，不仅能预估目标真实分布（realdistribution）的得分函数，还能估计假分布（fakedistribution）的得分函数。”研究人员称，他们的模型可以在现代GPU硬件上每秒生成20幅图像。在上面的视频短片重点介绍了DMD与StableDiffusion1.5相比的图像生成能力。标清每幅图像StableDiffusion1.5需要1.4秒，而DMD只需几分之一秒就能生成类似的图像。来源，频道：@kejiqu群组：@kejiquchat

一个非常有意思的项目可以用 SD 直接生成透明的 PNG 图片，也可以直接生成带有透明度分层的图片。#ai画图#

一个非常有意思的项目可以用SD直接生成透明的PNG图片，也可以直接生成带有透明度分层的图片。这个想象力很大能带来很多玩法。也可以使用现有的SD社区模型。项目介绍：LayerDiffusion使得大型已经过预训练的潜在扩散模型（latentdiffusionmodel）能够创造透明图像。这项技术不仅可以生成单独的透明图像，还能生成多层透明图层。它通过一种被称为“潜在透明度”的方法，将透明度（即alpha通道）整合到预训练的潜在扩散模型的潜在结构中。这样做的好处是，它通过以潜在偏移的形式加入透明度，几乎不改变模型原有的潜在分布，从而保持了模型的高质量输出能力。基于这种方法，任何一个潜在扩散模型都可以通过对潜在空间的微调，转化为透明图像生成器。我们训练这个模型时，使用了一种涉及人机互动的方法，收集了一百万组透明图像层数据。我们的研究显示，这种潜在透明技术不仅可以应用于不同的开源图像生成器，还可以适配多种条件控制系统，实现例如基于前景/背景条件的层生成、层的联合生成、对层内容进行结构控制等多种应用。一项用户研究发现，大多数情况下（97%），相比于之前的临时解决方案（如先生成图像再进行抠图处理），用户更喜欢我们直接生成的透明内容。用户还表示，我们生成的透明图像在质量上可媲美真实的商业级透明素材，例如AdobeStock提供的素材。论文地址：

ML Blocks：无代码AI图像生成和分析工作流平台

MLBlocks：无代码AI图像生成和分析工作流平台它提供了一个拖放式的界面，允许用户轻松地创建复杂的图像处理工作流，无需编写任何代码。你只根据需要将不同的功能块（如图像编辑功能和AI模型）组合在一起，即可实现个性化的图像自动化处理。该工具主要解决在电商领域遇到的批量处理图片问题。MLBlocks允许用户创建可以处理多步骤图像生成或分析管道的自定义图像处理工作流，使用基于图的工作流。用户只需按顺序连接几个块，如去背景->裁剪->AI上采样，就可以在几分钟内得到完整的图像处理工作流。主要功能：生成图像：使用StableDiffusion等AI模型生成或绘制图像。编辑图像：提供编辑功能，如裁剪、调整大小、重新着色等，来修改图像。分析图像：利用检测或分割模型从图像中提取数据。实际应用示例：基于提示模糊图像特定区域：传统方法需要使用DINO模型生成提示中提到的对象周围的边界框，然后使用像SegmentAnything这样的分割模型生成这些区域的遮罩，最后使用Pillow或OpenCV库编写模糊功能来模糊遮罩区域。而使用MLBlocks，用户只需将分割、遮罩和模糊块连接起来，就能在2分钟内完成工作流程。你还可以自动生成博客帖子或推文的横幅图像、根据提示移除图像中的对象、去除背景并用AI创建新背景等多种工作流程。