又一个Transformer架构的图像生成模型，FiT 专门为了生成不瘦分辨率和宽高比限制的图像制作的架构。#ai画图#

又一个Transformer架构的图像生成模型，FiT专门为了生成不瘦分辨率和宽高比限制的图像制作的架构。在模型的训练和推理都不需要专门适配对应的图片比例和分辨率。看演示的图像模型的美学表现也还行。-----项目简介-----推出了一种名为灵活视觉变换器（FlexibleVisionTransformer，简称FiT）的新型变换器架构。它专门设计用于创造没有分辨率和宽高比限制的图像。不同于传统的将图像看作固定分辨率网格的方法，FiT将图像视为一系列可变大小的图像块（Token）。这种独特的处理方式使得FiT能够在训练和应用过程中灵活适应不同的图像宽高比，提高了对不同分辨率的适应能力，并避免了由于裁剪图像而产生的偏差。FiT还通过精心设计的网络结构和一些不需要额外训练的技术，能够在图像分辨率的扩展方面展现出极大的灵活性。通过一系列全面的实验，FiT证明了其在处理各种不同分辨率的图像方面具有卓越的性能，无论是在其训练的分辨率范围内还是超出这一范围，都表现出色。项目地址：

字节发布ResAdapter，可以解决SD生成超大图片和非训练分辨率图片时的肢体异常以及画面崩坏问题。#ai#

字节发布ResAdapter，可以解决SD生成超大图片和非训练分辨率图片时的肢体异常以及画面崩坏问题。同时可以与现有的IPadapter以及Controlnet模型兼容。项目简介：近期，像StableDiffusion这样的文本到图像模型和DreamBooth、LoRA等个性化技术的发展，让我们能够创造出既高质量又充满创意的图像。但这些技术在生成超出它们训练时所用分辨率的图像时，往往会受到限制。为了突破这一难题，我们推出了一种新型工具——分辨率适配器（ResAdapter）。它是一种专门为扩散模型（比如StableDiffusion和个性化模型）设计的适配器，能够生成任何分辨率和长宽比的图像。与其它多分辨率生成方法不同，ResAdapter能直接生成动态分辨率的图像，而不是在后期处理中调整静态分辨率的图像。这种方法使得图像处理变得更加高效，避免了重复的去噪步骤和复杂的后期处理流程，显著缩短了处理时间。在不包含任何训练领域风格信息的情况下，ResAdapter利用广泛的分辨率先验，即使只有0.5M的容量，也能为个性化扩散模型生成不同于原训练领域的高分辨率图像，同时保持原有风格。大量实验显示，ResAdapter在提高分辨率方面与扩散模型配合得天衣无缝。此外，更多的实验表明，ResAdapter可以与ControlNet、IP-Adapter和LCM-LoRA等其他模块兼容，适用于创建不同分辨率的图像，也可以整合进如ElasticDiffusion这样的多分辨率模型中，高效生成更高清晰度的图像。项目页面：

StableSR：提高任何大小图像的分辨率

：提高任何大小图像的分辨率该项目使用了一个预训练的扩散模型，这个模型已经学习了如何生成高分辨率的图像。通过这种方式，他们的方法可以从一个低分辨率图像生成一个高分辨率图像，而不需要任何关于图像内容的先验知识。非常适合用于真实世界的图像超分辨率任务。1、使用一个名为"时间感知编码器"的工具，这个工具可将低分辨率图像转换为一个特征表示。这个特征表示包含了图像的重要信息，但是它的大小是固定的，不受图像分辨率的影响在不改变预训练的合成模型的情况下，实现有前景的恢复结果，从而保留生成的先验并最小化训练成本。2、使用一个名为"特征包装模块"的工具，这个工具可以将特征表示转换为一个高分辨率图像。这个工具可以通过调整一个参数来平衡生成图像的质量和保真度。3、使用一个名为"渐进式聚合采样策略"的工具，这个工具可以生成任意大小的高分辨率图像。这个工具通过在不同的尺度上应用扩散模型，然后将结果聚合在一起，来生成高分辨率图像。

Stability AI发布最新图像生成模型Stable Diffusion XL 1.0

StabilityAI发布最新图像生成模型StableDiffusionXL1.0今天，StabilityAI宣布推出StableDiffusionXL1.0，这是该公司迄今为止描述为“最先进”的文本到图像模型。StableDiffusionXL1.0可在上以开源形式使用，并提供给Stability的和消费者应用程序和。Stability声称，与其前代产品相比，StableDiffusionXL1.0提供了“更生动”和“更准确”的颜色，更好的对比度、阴影和照明效果。在接受采访时，StabilityAI的应用机器学习负责人JoePenna指出，StableDiffusionXL1.0包含35亿个参数，可以“在几秒钟内”生成多种长宽比的100万像素分辨率的完整图像。“参数”是模型从训练数据中学习到的部分，基本上定义了模型在解决问题上的技能水平。上一代稳定扩散模型稳定扩散XL0.9也可以生成更高分辨率的图像，但需要更多的计算能力。——、

Real-CUGAN 是一个使用百万级动漫数据进行训练的，结构与 Waifu2x 兼容的通用图像超分辨率模型，支持 2x3x

是一个使用百万级动漫数据进行训练的，结构与Waifu2x兼容的通用动漫图像超分辨率模型，支持2x3x4x倍超分辨率，其中2倍模型支持4种降噪强度与保守修复，3倍/4倍模型支持2种降噪强度与保守修复这是哔哩哔哩弹幕网（B站）最近在GitHub上线的一项全新的项目，其名为 Real-CUGAN通用动漫图像超分辨率模型 ，可让老旧动漫画面变高清。需要注意的是，该模型在Windows1064位系统中测试，以及cuda10以上，可生成“降噪版”“无降噪版”“保守版”三种图像类型。降噪版：如果原片噪声多，压得烂，推荐使用；目前2倍模型支持了3个降噪等级；无降噪版：如果原片噪声不多，压得还行，但是想提高分辨率/清晰度/做通用性的增强、修复处理，推荐使用；保守版：如果你担心丢失纹理，担心画风被改变，担心颜色被增强，总之就是各种担心AI会留下浓重的处理痕迹，推荐使用该版本。

字节跳动发布文生图开放模型 SDXL-Lightning，生成速度提升十倍

字节跳动发布文生图开放模型SDXL-Lightning，生成速度提升十倍字节跳动发布了文生图开放模型SDXL-Lightning。据悉，该模型能够在极短的时间内生成高质量和高分辨率的图像，是目前最快的文生图模型之一。目前，文生图领域的主流模型都采用了扩散过程的生成技术，即通过多次迭代，将噪声逐渐转化为图像。这种技术虽然能够生成逼真的图像，但是也存在着计算资源消耗大、生成速度慢的缺点。生成一张高质量图像，大约需要5秒。字节跳动的SDXL-Lightning模型则采用了一种渐进式对抗蒸馏的技术，实现前所未有的生成速度，该模型能够在2步或4步内生成极高质量和分辨率的图像，将生成速度加快十倍，是1024分辨率下速度最快的文生图模型，计算成本则降低为十分之一。该模型已经在AI开源社区HuggingFace上公开，跻身模型趋势榜，同时也成为上的热门模型。来源，频道：@kejiqu群组：@kejiquchat