华为发布 DiT 架构的图像生成模型，可以直出 4K 分辨率图像。#ai画图#

华为发布DiT架构的图像生成模型，可以直出4K分辨率图像。论文简介：我们引入了PixArt-\Sigma,一个能够直接生成4K分辨率图像的DiffusionTransformer(DiffusionTransformer,DiT)模型。相比其前身PixArt-\alpha,PixArt-\Sigma有了显著进步,提供了明显更高保真度的图像,并改进了与文本提示的一致性。PixArt-\Sigma的一个关键特点是其训练效率。借助PixArt-\alpha的基础预训练,它通过合并更高质量的数据,从"较弱"的基线演变为"较强"的模型,我们将这个过程称为"弱到强训练"。PixArt-\Sigma的进步主要体现在两个方面:高质量训练数据:PixArt-\Sigma结合了更高质量的图像数据,与更精确和详细的图像标题配对。高效的Token压缩:我们在DiT框架内提出了一个新的注意力模块,可以压缩键(Key)和值(Value),显著提高效率,并促进超高分辨率图像生成。得益于这些改进,PixArt-\Sigma以显著较小的模型规模(6亿参数)实现了优于现有文本到图像扩散模型(如SDXL(26亿参数)和SDCascade(51亿参数))的图像质量和用户提示遵从能力。此外,PixArt-\Sigma生成4K图像的能力支持创建高分辨率海报和壁纸,有效地增强了电影和游戏等行业中高质量视觉内容的制作。项目地址：

StableSR：提高任何大小图像的分辨率

：提高任何大小图像的分辨率该项目使用了一个预训练的扩散模型，这个模型已经学习了如何生成高分辨率的图像。通过这种方式，他们的方法可以从一个低分辨率图像生成一个高分辨率图像，而不需要任何关于图像内容的先验知识。非常适合用于真实世界的图像超分辨率任务。1、使用一个名为"时间感知编码器"的工具，这个工具可将低分辨率图像转换为一个特征表示。这个特征表示包含了图像的重要信息，但是它的大小是固定的，不受图像分辨率的影响在不改变预训练的合成模型的情况下，实现有前景的恢复结果，从而保留生成的先验并最小化训练成本。2、使用一个名为"特征包装模块"的工具，这个工具可以将特征表示转换为一个高分辨率图像。这个工具可以通过调整一个参数来平衡生成图像的质量和保真度。3、使用一个名为"渐进式聚合采样策略"的工具，这个工具可以生成任意大小的高分辨率图像。这个工具通过在不同的尺度上应用扩散模型，然后将结果聚合在一起，来生成高分辨率图像。