又一个Transformer架构的图像生成模型,FiT 专门为了生成不瘦分辨率和宽高比限制的图像制作的架构。

又一个Transformer架构的图像生成模型,FiT 专门为了生成不瘦分辨率和宽高比限制的图像制作的架构。 在模型的训练和推理都不需要专门适配对应的图片比例和分辨率。看演示的图像模型的美学表现也还行。 -项目简介- 推出了一种名为灵活视觉变换器(Flexible Vision Transformer,简称FiT)的新型变换器架构。它专门设计用于创造没有分辨率和宽高比限制的图像。不同于传统的将图像看作固定分辨率网格的方法,FiT将图像视为一系列可变大小的图像块( Token )。 这种独特的处理方式使得FiT能够在训练和应用过程中灵活适应不同的图像宽高比,提高了对不同分辨率的适应能力,并避免了由于裁剪图像而产生的偏差。FiT还通过精心设计的网络结构和一些不需要额外训练的技术,能够在图像分辨率的扩展方面展现出极大的灵活性。 通过一系列全面的实验,FiT证明了其在处理各种不同分辨率的图像方面具有卓越的性能,无论是在其训练的分辨率范围内还是超出这一范围,都表现出色。 项目地址:

相关推荐

封面图片

华为发布 DiT 架构的图像生成模型,可以直出 4K 分辨率图像。

华为发布 DiT 架构的图像生成模型,可以直出 4K 分辨率图像。 论文简介: 我们引入了 PixArt-\Sigma,一个能够直接生成 4K 分辨率图像的 Diffusion Transformer (Diffusion Transformer, DiT) 模型。相比其前身 PixArt-\alpha,PixArt-\Sigma 有了显著进步,提供了明显更高保真度的图像,并改进了与文本提示的一致性。 PixArt-\Sigma 的一个关键特点是其训练效率。借助 PixArt-\alpha 的基础预训练,它通过合并更高质量的数据,从"较弱"的基线演变为"较强"的模型,我们将这个过程称为"弱到强训练"。PixArt-\Sigma 的进步主要体现在两个方面: 高质量训练数据:PixArt-\Sigma 结合了更高质量的图像数据,与更精确和详细的图像标题配对。 高效的 Token 压缩:我们在 DiT 框架内提出了一个新的注意力模块,可以压缩键 (Key) 和值 (Value),显著提高效率,并促进超高分辨率图像生成。 得益于这些改进,PixArt-\Sigma 以显著较小的模型规模 (6 亿参数) 实现了优于现有文本到图像扩散模型 (如 SDXL (26 亿参数) 和 SD Cascade (51 亿参数)) 的图像质量和用户提示遵从能力。 此外,PixArt-\Sigma 生成 4K 图像的能力支持创建高分辨率海报和壁纸,有效地增强了电影和游戏等行业中高质量视觉内容的制作。 项目地址:

封面图片

:提高任何大小图像的分辨率

:提高任何大小图像的分辨率 该项目使用了一个预训练的扩散模型,这个模型已经学习了如何生成高分辨率的图像。 通过这种方式,他们的方法可以从一个低分辨率图像生成一个高分辨率图像,而不需要任何关于图像内容的先验知识。非常适合用于真实世界的图像超分辨率任务。 1、使用一个名为"时间感知编码器"的工具,这个工具可将低分辨率图像转换为一个特征表示。这个特征表示包含了图像的重要信息,但是它的大小是固定的,不受图像分辨率的影响 在不改变预训练的合成模型的情况下,实现有前景的恢复结果,从而保留生成的先验并最小化训练成本。 2、使用一个名为"特征包装模块"的工具,这个工具可以将特征表示转换为一个高分辨率图像。这个工具可以通过调整一个参数来平衡生成图像的质量和保真度。 3、使用一个名为"渐进式聚合采样策略"的工具,这个工具可以生成任意大小的高分辨率图像。这个工具通过在不同的尺度上应用扩散模型,然后将结果聚合在一起,来生成高分辨率图像。

封面图片

Final2x2^x 图像超分辨率,可以使用多个模型将图像超分辨率到任意大小,以提高图像的分辨率和质量,使其更清晰和更详细。目前

Final2x2^x 图像超分辨率,可以使用多个模型将图像超分辨率到任意大小,以提高图像的分辨率和质量,使其更清晰和更详细。目前,它支持这几个模型:RealCUGAN、RealESRGAN、Waifu2x和SRMD。 跨平台:适用于 Windows,MacOS,Linux。支持英文、中文和日文 链接: 标签:#图片处理 #无损放大 频道 | 网站 | 群聊 | 投稿

封面图片

字节发布ResAdapter,可以解决SD生成超大图片和非训练分辨率图片时的肢体异常以及画面崩坏问题。

字节发布ResAdapter,可以解决SD生成超大图片和非训练分辨率图片时的肢体异常以及画面崩坏问题。 同时可以与现有的IPadapter以及Controlnet模型兼容。 项目简介: 近期,像Stable Diffusion这样的文本到图像模型和DreamBooth、LoRA等个性化技术的发展,让我们能够创造出既高质量又充满创意的图像。但这些技术在生成超出它们训练时所用分辨率的图像时,往往会受到限制。 为了突破这一难题,我们推出了一种新型工具分辨率适配器(ResAdapter)。 它是一种专门为扩散模型(比如Stable Diffusion和个性化模型)设计的适配器,能够生成任何分辨率和长宽比的图像。与其它多分辨率生成方法不同,ResAdapter能直接生成动态分辨率的图像,而不是在后期处理中调整静态分辨率的图像。这种方法使得图像处理变得更加高效,避免了重复的去噪步骤和复杂的后期处理流程,显著缩短了处理时间。 在不包含任何训练领域风格信息的情况下,ResAdapter利用广泛的分辨率先验,即使只有0.5M的容量,也能为个性化扩散模型生成不同于原训练领域的高分辨率图像,同时保持原有风格。 大量实验显示,ResAdapter在提高分辨率方面与扩散模型配合得天衣无缝。此外,更多的实验表明,ResAdapter可以与ControlNet、IP-Adapter和LCM-LoRA等其他模块兼容,适用于创建不同分辨率的图像,也可以整合进如ElasticDiffusion这样的多分辨率模型中,高效生成更高清晰度的图像。 项目页面:

封面图片

是一个使用百万级动漫数据进行训练的,结构与 Waifu2x 兼容的通用图像超分辨率模型,支持 2x3x4x 倍超分辨率,其中

是一个使用百万级动漫数据进行训练的,结构与 Waifu2x 兼容的通用动漫图像超分辨率模型,支持 2x3x4x 倍超分辨率,其中 2 倍模型支持 4 种降噪强度与保守修复,3 倍/4 倍模型支持 2 种降噪强度与保守修复 这是哔哩哔哩弹幕网(B 站)最近在 GitHub 上线的一项全新的项目,其名为 Real-CUGAN 通用动漫图像超分辨率模型 ,可让老旧动漫画面变高清。 需要注意的是,该模型在 Windows 10 64 位系统中测试,以及 cuda10 以上,可生成“降噪版”“无降噪版”“保守版” 三种图像类型。 降噪版:如果原片噪声多,压得烂,推荐使用;目前 2 倍模型支持了 3 个降噪等级; 无降噪版:如果原片噪声不多,压得还行,但是想提高分辨率/清晰度/做通用性的增强、修复处理,推荐使用; 保守版:如果你担心丢失纹理,担心画风被改变,担心颜色被增强,总之就是各种担心 AI 会留下浓重的处理痕迹,推荐使用该版本。

封面图片

ClarityAI:开源 AI 图像增强和超分辨率工具

ClarityAI:开源 AI 图像增强和超分辨率工具 免费开源,能自行部署的话最好自行部署,使用现有的网站需要收费 标签:#AI #图像处理 #图像放大 #网站 链接: 频道 | 圈子 | 群聊 | 投稿

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人