又一个Transformer架构的图像生成模型,FiT 专门为了生成不瘦分辨率和宽高比限制的图像制作的架构。#ai画图#

又一个Transformer架构的图像生成模型,FiT专门为了生成不瘦分辨率和宽高比限制的图像制作的架构。在模型的训练和推理都不需要专门适配对应的图片比例和分辨率。看演示的图像模型的美学表现也还行。-----项目简介-----推出了一种名为灵活视觉变换器(FlexibleVisionTransformer,简称FiT)的新型变换器架构。它专门设计用于创造没有分辨率和宽高比限制的图像。不同于传统的将图像看作固定分辨率网格的方法,FiT将图像视为一系列可变大小的图像块(Token)。这种独特的处理方式使得FiT能够在训练和应用过程中灵活适应不同的图像宽高比,提高了对不同分辨率的适应能力,并避免了由于裁剪图像而产生的偏差。FiT还通过精心设计的网络结构和一些不需要额外训练的技术,能够在图像分辨率的扩展方面展现出极大的灵活性。通过一系列全面的实验,FiT证明了其在处理各种不同分辨率的图像方面具有卓越的性能,无论是在其训练的分辨率范围内还是超出这一范围,都表现出色。项目地址:

相关推荐

封面图片

华为发布 DiT 架构的图像生成模型,可以直出 4K 分辨率图像。#ai画图#

华为发布DiT架构的图像生成模型,可以直出4K分辨率图像。论文简介:我们引入了PixArt-\Sigma,一个能够直接生成4K分辨率图像的DiffusionTransformer(DiffusionTransformer,DiT)模型。相比其前身PixArt-\alpha,PixArt-\Sigma有了显著进步,提供了明显更高保真度的图像,并改进了与文本提示的一致性。PixArt-\Sigma的一个关键特点是其训练效率。借助PixArt-\alpha的基础预训练,它通过合并更高质量的数据,从"较弱"的基线演变为"较强"的模型,我们将这个过程称为"弱到强训练"。PixArt-\Sigma的进步主要体现在两个方面:高质量训练数据:PixArt-\Sigma结合了更高质量的图像数据,与更精确和详细的图像标题配对。高效的Token压缩:我们在DiT框架内提出了一个新的注意力模块,可以压缩键(Key)和值(Value),显著提高效率,并促进超高分辨率图像生成。得益于这些改进,PixArt-\Sigma以显著较小的模型规模(6亿参数)实现了优于现有文本到图像扩散模型(如SDXL(26亿参数)和SDCascade(51亿参数))的图像质量和用户提示遵从能力。此外,PixArt-\Sigma生成4K图像的能力支持创建高分辨率海报和壁纸,有效地增强了电影和游戏等行业中高质量视觉内容的制作。项目地址:

封面图片

StableSR:提高任何大小图像的分辨率

:提高任何大小图像的分辨率该项目使用了一个预训练的扩散模型,这个模型已经学习了如何生成高分辨率的图像。通过这种方式,他们的方法可以从一个低分辨率图像生成一个高分辨率图像,而不需要任何关于图像内容的先验知识。非常适合用于真实世界的图像超分辨率任务。1、使用一个名为"时间感知编码器"的工具,这个工具可将低分辨率图像转换为一个特征表示。这个特征表示包含了图像的重要信息,但是它的大小是固定的,不受图像分辨率的影响在不改变预训练的合成模型的情况下,实现有前景的恢复结果,从而保留生成的先验并最小化训练成本。2、使用一个名为"特征包装模块"的工具,这个工具可以将特征表示转换为一个高分辨率图像。这个工具可以通过调整一个参数来平衡生成图像的质量和保真度。3、使用一个名为"渐进式聚合采样策略"的工具,这个工具可以生成任意大小的高分辨率图像。这个工具通过在不同的尺度上应用扩散模型,然后将结果聚合在一起,来生成高分辨率图像。

封面图片

字节发布ResAdapter,可以解决SD生成超大图片和非训练分辨率图片时的肢体异常以及画面崩坏问题。#ai#

字节发布ResAdapter,可以解决SD生成超大图片和非训练分辨率图片时的肢体异常以及画面崩坏问题。同时可以与现有的IPadapter以及Controlnet模型兼容。项目简介:近期,像StableDiffusion这样的文本到图像模型和DreamBooth、LoRA等个性化技术的发展,让我们能够创造出既高质量又充满创意的图像。但这些技术在生成超出它们训练时所用分辨率的图像时,往往会受到限制。为了突破这一难题,我们推出了一种新型工具——分辨率适配器(ResAdapter)。它是一种专门为扩散模型(比如StableDiffusion和个性化模型)设计的适配器,能够生成任何分辨率和长宽比的图像。与其它多分辨率生成方法不同,ResAdapter能直接生成动态分辨率的图像,而不是在后期处理中调整静态分辨率的图像。这种方法使得图像处理变得更加高效,避免了重复的去噪步骤和复杂的后期处理流程,显著缩短了处理时间。在不包含任何训练领域风格信息的情况下,ResAdapter利用广泛的分辨率先验,即使只有0.5M的容量,也能为个性化扩散模型生成不同于原训练领域的高分辨率图像,同时保持原有风格。大量实验显示,ResAdapter在提高分辨率方面与扩散模型配合得天衣无缝。此外,更多的实验表明,ResAdapter可以与ControlNet、IP-Adapter和LCM-LoRA等其他模块兼容,适用于创建不同分辨率的图像,也可以整合进如ElasticDiffusion这样的多分辨率模型中,高效生成更高清晰度的图像。项目页面:

封面图片

武汉一号卫星成功发射 可生成0.5米分辨率市地图

武汉一号卫星成功发射可生成0.5米分辨率武汉市地图其中武汉一号卫星由武汉大学团队自主研制,又名珞珈三号科学试验卫星02星,是我国首颗城市专用光学卫星。据武汉大学介绍,武汉一号卫星重345公斤,采用530公里高太阳同步轨道,具有0.5米分辨率全色成像,10米分辨率高光谱成像,立体测绘、夜光成像等多种任务模式以及在轨智能图像处理等功能。这颗高性价比小卫星应用后,将对武汉都市圈进行持续观测,具备月度生产武汉市0.5米空间分辨率遥感影像一张图的能力。...PC版:https://www.cnbeta.com.tw/articles/soft/1431874.htm手机版:https://m.cnbeta.com.tw/view/1431874.htm

封面图片

慎用微软Edge超清分辨率功能

慎用微软Edge超清分辨率功能微软早前在MicrosoftEdge浏览器中增加了一项新功能:图像超分辨率,该功能可以自动调整图片清晰度并改进颜色、亮度和对比度等。在当前稳定版中用户可以在设置、隐私搜索和服务、服务、增强图像中了解该功能,而且按照微软的描述,该功能应该是在本地完成的,不涉及隐私问题。但在MicrosoftEdgeCanary116版中,微软默认开启了此功能,同时修改了描述:在MicrosoftEdge中增强图像:使用超分辨率功能在网上提高图片清晰度、亮度、对比图。图片URL将被发送给微软以提供超分辨率解决方案。你可以选择在哪些站点上启用该功能。按照微软的新描述,用户使用MicrosoftEdge访问的每一个网站中的每一张图片都可能会被发送到微软服务器进行处理,这显然存在着巨大的隐私问题,毕竟用户查看的图片并不一定都是公开的。比如使用MicrosoftEdge浏览某些私有图片,这些图片不是公开的但可以基于浏览器访问,那按微软说法这些图片也会被发送给微软。对用户来说这绝对不是好事情,毕竟微软也没提这些图片增强后的处理流程,增强后立即从服务器上删除还是可能会被拿来分析或训练AI之类的。

封面图片

Real-CUGAN 是一个使用百万级动漫数据进行训练的,结构与 Waifu2x 兼容的通用图像超分辨率模型,支持 2x3x

是一个使用百万级动漫数据进行训练的,结构与Waifu2x兼容的通用动漫图像超分辨率模型,支持2x3x4x倍超分辨率,其中2倍模型支持4种降噪强度与保守修复,3倍/4倍模型支持2种降噪强度与保守修复这是哔哩哔哩弹幕网(B站)最近在GitHub上线的一项全新的项目,其名为 Real-CUGAN通用动漫图像超分辨率模型 ,可让老旧动漫画面变高清。需要注意的是,该模型在Windows1064位系统中测试,以及cuda10以上,可生成“降噪版”“无降噪版”“保守版”三种图像类型。降噪版:如果原片噪声多,压得烂,推荐使用;目前2倍模型支持了3个降噪等级;无降噪版:如果原片噪声不多,压得还行,但是想提高分辨率/清晰度/做通用性的增强、修复处理,推荐使用;保守版:如果你担心丢失纹理,担心画风被改变,担心颜色被增强,总之就是各种担心AI会留下浓重的处理痕迹,推荐使用该版本。

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人