Lora分层控制拯救了我之前做的废模型。一两个月前在调研虚拟人的Lora模型训练,提高下同事生产图片的效率。开始给到我的训练图片

Lora分层控制拯救了我之前做的废模型。一两个月前在调研虚拟人的Lora模型训练,提高下同事生产图片的效率。开始给到我的训练图片不多,而且当时训练也没做太多处理,导致当时做的Lora出图面部经常受到训练集图片里的一些乱七八糟元素的影响,而且模型泛化也不太好,背景经常会带上训练集里的背景。后来又优化了几版,后面也学到了用Lora分层控制来结合人物Lora、画风Lora、衣服Lora。想到应该可以用这个来拯救下之前觉得废弃的模型,还加上了一些优化的正负向text inversion embeddings,效果还不错,废片率大幅度下降。(调了下prompt让人物的特征和画风与训练用的虚拟人形象保持一定区别) 底模除了Chilloutmix之外,最近发现这个底模比较好用,模型页也没有明确的对商用场景的限制: 另外推荐一些优化任务的正负向的Text Inversion Embedding: pureerosface: ulzzang-6500: ng_deepnegative_v1_75t: easynegative: badhandv4:

相关推荐

封面图片

一个懒人 LoRA 制作指南,手把手教你用 OneTrainer 训练自己的 AI 绘画模型,无需深入理论,轻松掌握关键步骤。

一个懒人 LoRA 制作指南,手把手教你用 OneTrainer 训练自己的 AI 绘画模型,无需深入理论,轻松掌握关键步骤。 作者是用XL生成的图片,你可以用MIdjoureny生成效果比较好。 我完整翻译了内容,并且重新整理了适合推特阅读的版本,或者你可以在下面看完整翻译的内容: - 1⃣ LoRA 模型制作教程 作者作为一名 LoRA 模型制作的新手,通过自己的学习实践,总结了一份简明扼要的制作教程。 这份教程不涉及太多理论知识,而是直奔主题,手把手教初学者如何训练自己的 LoRA 模型。 作者坦诚分享了自己从最初尝试 Embedding 和 LoRA 时遇到的问题,以及后来找到的解决方法,为读者提供了宝贵的经验参考。 所需工具介绍 要制作 LoRA 模型,需要准备一些必要的工具。作者推荐使用自己喜欢的模型和图像生成工具,他个人使用的是 StableSwarmUI 和 GhostXL 模型。 此外,还需要一个训练工具,作者选择了 OneTrainer,因为有人说它比另一个常用的工具 Kohya 更易用。作者还提到,训练时如果需要将 SDXL 格式的图像转换为 SD 格式,需要在设置中开启分辨率覆盖选项。 2⃣ LoRA 模型制作步骤 作者将 LoRA 模型的制作过程分为三个主要步骤: 第一步是用现有的模型生成大量高质量的图像作为训练数据; 第二步是人工检查挑选图像,剔除所有质量不合格的; 第三步是使用 OneTrainer 进行训练,调整必要的参数设置。 作者还特别提到,在训练时如果需要将 SDXL 格式的图像转换为 SD 格式,一定要记得开启分辨率覆盖选项,否则训练会出问题。 训练参数调整心得 作为一名新手,作者在调整训练参数时主要参考了一份网上的指南。 他尝试调整了 Lora 设置中的 rank 参数,将其从默认的 16 改为 32,解决了模型训练中遇到的问题。作者分享了这份参数调整指南的链接,供其他学习者参考。 3⃣ 作者的训练数据集分享 为了帮助更多学习者,作者慷慨地分享了自己完整的训练图像数据集,其中还包含了他使用的 OneTrainer 配置文件。这些数据可供其他 LoRA 制作人下载参考和使用。数据集已经过作者的筛选,图像质量有保证。 4⃣ 训练成果展示

封面图片

:网易有道新推的一款主打虚拟人的口语练习App,搭载子曰教育大模型,其设计理念体现了大模型个性化服务的精髓:用户可以根据自己的口

:网易有道新推的一款主打虚拟人的口语练习App,搭载子曰教育大模型,其设计理念体现了大模型个性化服务的精髓:用户可以根据自己的口语水平和学习阶段,选择不同难度的练习,确保了各种水平的学习者都能得到适合的训练。 Hi Echo在内容层面也很出色,语料库非常丰富,使得与AI的对话几乎没有话题限制,相较于传统真人外教大幅拓宽了知识面。雅思考试已经和Hi Echo达成官方合作,也是对这款虚拟人AI产品能力的认可,标志着语言学习进入了一个新时代。 Hi Echo不仅仅是一款口语练习工具,更是对个性化学习的创新和探索,代表了AI在语言教育领域的前沿进展。 Hi Echo连续包月68元/月,年度会员698元/年,连续包年498元/年。这意味着,用户只需要一节外教课的费用,就可以利用Hi Echo练习一整年英语口语。

封面图片

Civitai终于上了免费的图片生成的功能,你现在可以直接在Civit上使用站内的CKPT模型和Lora模型,C站应该是现在

Civitai终于上了免费的图片生成的功能,你现在可以直接在Civitai上使用站内的CKPT模型和Lora模型,C站应该是现在SD模型最多的地方了一些简单的图可以直接去试试了。 目前应该是不支持SDXL的模型,也不支持ControlNet,图像分辨率是固定的三个。我下面简单介绍一下生成功能的用法: 你可以在页面右下角找到Create的按钮点击就可以打开创建的弹窗。 你可以点击“Add Model”添加CKPT模型基本上可以搜到站内所有的模型,但是目前不能添加SDXL模型。 接下来就是提示词和反向提示词的填写,“Mature content”开启后可以生成那啥内容。 最后可以选择生成图片的尺寸,然后点击“Advanced”的三角可以展开各种高级设置。然后点击Generate就可以生成图片了。 然后在“Queue”可以看到你图片生成的队列,在“Feed”里面可以看到所有生成过图片的大图。 教程基本就这些了,相较于国内那几个web UI套壳改的模型网站的生成功能Civitai的这个交互看起来还是做过优化有思考的,而且随便写一些提示词生成的效果也不错应该是有一些其他的优化。趁现在还免费可以先去试试:

封面图片

据彭博社报道,Adobe 正在使用 Midjourney 的图片,训练其文生图模型 Firefly。

据彭博社报道,Adobe 正在使用 Midjourney 的图片,训练其文生图模型 Firefly。 消息人士透露,关于使用 Midjourney 的 AI 生成图片来训练 Firefly 模型在 Adobe 内部一直存在非常大的分歧。即使在 Firefly 开发的早期阶段,一些员工也不同意 Adobe 将 AI 生成的图像纳入到Firefly 训练数据中。 在用于训练 Firefly 的 Adobe Stock 数据库中,有 5700 万条数据被标记为 AI 生成的,这约占数据库中图像总数的 14%。而此前 Adobe 发言人指出,用于训练 Firefly 的图像中只有 5% 来自其他平台创建的 AI 图像。 标签: #Adobe #AI 频道: @GodlyNews1 投稿: @Godlynewsbot

封面图片

用GaLore在消费级硬件上训练大模型 |

用GaLore在消费级硬件上训练大模型 | GaLore 是一种新的参数高效微调(Parameter Efficient Finetuning, PEFT)方法,可以在消费级GPU(如 RTX 3090)上高效训练大型语言模型。与其他PEFT方法(如LoRA、Prefix-Tuning等)相比,GaLore在保持性能的同时,显著降低了所需的内存和计算资源。 GaLore 的关键创新在于引入了一种新的参数分解方式,将模型参数分解为低秩和稀疏两部分,从而大幅减少需要微调的参数数量。GaLore使得在消费级GPU如RTX 4090上训练包含多达70亿参数的语言模型成为可能,这是通过显著减少优化器状态和梯度所需的内存实现的。 在 GPT-2 等基准测试中,GaLore 展现出与完整模型微调相当的性能,但仅需 1/10 的内存和计算资源。 GaLore 不仅适用于自然语言处理任务,对于计算机视觉等其他领域也具有广阔的应用前景。该技术有望推动大型模型的民主化,使更多个人研究者和小型机构能够在普通硬件上训练和部署这些模型。 点评: GaLore 的提出打破了人们对大型模型训练必须依赖昂贵硬件的传统观念,这一反常规的创新值得关注。 将模型参数分解为低秩和稀疏两部分的思路具有很高的创新性和独创性,体现了作者对问题的深入思考。 如果 GaLore 的性能优势得到进一步验证,它有望彻底改变大型模型训练的范式,推动 AI 民主化进程。 尽管取得了突破性进展,但 GaLore 在实际应用中可能还面临一些挑战,如泛化性能、训练稳定性等,需要持续优化和改进。 该技术的出现也引发了一些值得深思的问题,比如大型模型的能源消耗、隐私和安全性等,需要引起足够重视。

封面图片

字节发布ResAdapter,可以解决SD生成超大图片和非训练分辨率图片时的肢体异常以及画面崩坏问题。

字节发布ResAdapter,可以解决SD生成超大图片和非训练分辨率图片时的肢体异常以及画面崩坏问题。 同时可以与现有的IPadapter以及Controlnet模型兼容。 项目简介: 近期,像Stable Diffusion这样的文本到图像模型和DreamBooth、LoRA等个性化技术的发展,让我们能够创造出既高质量又充满创意的图像。但这些技术在生成超出它们训练时所用分辨率的图像时,往往会受到限制。 为了突破这一难题,我们推出了一种新型工具分辨率适配器(ResAdapter)。 它是一种专门为扩散模型(比如Stable Diffusion和个性化模型)设计的适配器,能够生成任何分辨率和长宽比的图像。与其它多分辨率生成方法不同,ResAdapter能直接生成动态分辨率的图像,而不是在后期处理中调整静态分辨率的图像。这种方法使得图像处理变得更加高效,避免了重复的去噪步骤和复杂的后期处理流程,显著缩短了处理时间。 在不包含任何训练领域风格信息的情况下,ResAdapter利用广泛的分辨率先验,即使只有0.5M的容量,也能为个性化扩散模型生成不同于原训练领域的高分辨率图像,同时保持原有风格。 大量实验显示,ResAdapter在提高分辨率方面与扩散模型配合得天衣无缝。此外,更多的实验表明,ResAdapter可以与ControlNet、IP-Adapter和LCM-LoRA等其他模块兼容,适用于创建不同分辨率的图像,也可以整合进如ElasticDiffusion这样的多分辨率模型中,高效生成更高清晰度的图像。 项目页面:

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人