Lora分层控制拯救了我之前做的废模型。一两个月前在调研虚拟人的Lora模型训练,提高下同事生产图片的效率。开始给到我的训练图片

Lora分层控制拯救了我之前做的废模型。一两个月前在调研虚拟人的Lora模型训练,提高下同事生产图片的效率。开始给到我的训练图片不多,而且当时训练也没做太多处理,导致当时做的Lora出图面部经常受到训练集图片里的一些乱七八糟元素的影响,而且模型泛化也不太好,背景经常会带上训练集里的背景。后来又优化了几版,后面也学到了用Lora分层控制来结合人物Lora、画风Lora、衣服Lora。想到应该可以用这个来拯救下之前觉得废弃的模型,还加上了一些优化的正负向text inversion embeddings,效果还不错,废片率大幅度下降。(调了下prompt让人物的特征和画风与训练用的虚拟人形象保持一定区别) 底模除了Chilloutmix之外,最近发现这个底模比较好用,模型页也没有明确的对商用场景的限制: 另外推荐一些优化任务的正负向的Text Inversion Embedding: pureerosface: ulzzang-6500: ng_deepnegative_v1_75t: easynegative: badhandv4:

相关推荐

封面图片

【会畅通讯:类GPT大模型对公司三维元宇宙和虚拟人产品加强作用】

【会畅通讯:类GPT大模型对公司三维元宇宙和虚拟人产品加强作用】 会畅通讯在互动平台表示,公司致力于以“AI+元宇宙”的视频通讯技术为垂直行业和大型头部企业提供三维云视讯产品和服务。未来的AI+视讯是基于客户场景的,公司在较早时间已落地基于知识图谱的AI2.0产品能力,覆盖混合办公,远程三维虚拟线上会议和活动多个场景。类GPT大模型对于公司三维元宇宙和虚拟人产品有至关重要的加强作用,公司对此已有相关预研和规划,考虑基于客户需求和场景适时接入,并基于客户专业数据调优。

封面图片

一个懒人 LoRA 制作指南,手把手教你用 OneTrainer 训练自己的 AI 绘画模型,无需深入理论,轻松掌握关键步骤。

一个懒人 LoRA 制作指南,手把手教你用 OneTrainer 训练自己的 AI 绘画模型,无需深入理论,轻松掌握关键步骤。 作者是用XL生成的图片,你可以用MIdjoureny生成效果比较好。 我完整翻译了内容,并且重新整理了适合推特阅读的版本,或者你可以在下面看完整翻译的内容: - 1⃣ LoRA 模型制作教程 作者作为一名 LoRA 模型制作的新手,通过自己的学习实践,总结了一份简明扼要的制作教程。 这份教程不涉及太多理论知识,而是直奔主题,手把手教初学者如何训练自己的 LoRA 模型。 作者坦诚分享了自己从最初尝试 Embedding 和 LoRA 时遇到的问题,以及后来找到的解决方法,为读者提供了宝贵的经验参考。 所需工具介绍 要制作 LoRA 模型,需要准备一些必要的工具。作者推荐使用自己喜欢的模型和图像生成工具,他个人使用的是 StableSwarmUI 和 GhostXL 模型。 此外,还需要一个训练工具,作者选择了 OneTrainer,因为有人说它比另一个常用的工具 Kohya 更易用。作者还提到,训练时如果需要将 SDXL 格式的图像转换为 SD 格式,需要在设置中开启分辨率覆盖选项。 2⃣ LoRA 模型制作步骤 作者将 LoRA 模型的制作过程分为三个主要步骤: 第一步是用现有的模型生成大量高质量的图像作为训练数据; 第二步是人工检查挑选图像,剔除所有质量不合格的; 第三步是使用 OneTrainer 进行训练,调整必要的参数设置。 作者还特别提到,在训练时如果需要将 SDXL 格式的图像转换为 SD 格式,一定要记得开启分辨率覆盖选项,否则训练会出问题。 训练参数调整心得 作为一名新手,作者在调整训练参数时主要参考了一份网上的指南。 他尝试调整了 Lora 设置中的 rank 参数,将其从默认的 16 改为 32,解决了模型训练中遇到的问题。作者分享了这份参数调整指南的链接,供其他学习者参考。 3⃣ 作者的训练数据集分享 为了帮助更多学习者,作者慷慨地分享了自己完整的训练图像数据集,其中还包含了他使用的 OneTrainer 配置文件。这些数据可供其他 LoRA 制作人下载参考和使用。数据集已经过作者的筛选,图像质量有保证。 4⃣ 训练成果展示

封面图片

:网易有道新推的一款主打虚拟人的口语练习App,搭载子曰教育大模型,其设计理念体现了大模型个性化服务的精髓:用户可以根据自己的口

:网易有道新推的一款主打虚拟人的口语练习App,搭载子曰教育大模型,其设计理念体现了大模型个性化服务的精髓:用户可以根据自己的口语水平和学习阶段,选择不同难度的练习,确保了各种水平的学习者都能得到适合的训练。 Hi Echo在内容层面也很出色,语料库非常丰富,使得与AI的对话几乎没有话题限制,相较于传统真人外教大幅拓宽了知识面。雅思考试已经和Hi Echo达成官方合作,也是对这款虚拟人AI产品能力的认可,标志着语言学习进入了一个新时代。 Hi Echo不仅仅是一款口语练习工具,更是对个性化学习的创新和探索,代表了AI在语言教育领域的前沿进展。 Hi Echo连续包月68元/月,年度会员698元/年,连续包年498元/年。这意味着,用户只需要一节外教课的费用,就可以利用Hi Echo练习一整年英语口语。

封面图片

作者展示了几张用自己训练好的 LoRA 模型生成的图像作为成果展示。这些图像的质量相当不错,证明作者的训练过程是成功的。作者表示

作者展示了几张用自己训练好的 LoRA 模型生成的图像作为成果展示。这些图像的质量相当不错,证明作者的训练过程是成功的。作者表示,训练好的模型可以根据输入的提示词和参数,生成特定风格和效果的图像。 完整教程:

封面图片

Civitai终于上了免费的图片生成的功能,你现在可以直接在Civit上使用站内的CKPT模型和Lora模型,C站应该是现在

Civitai终于上了免费的图片生成的功能,你现在可以直接在Civitai上使用站内的CKPT模型和Lora模型,C站应该是现在SD模型最多的地方了一些简单的图可以直接去试试了。 目前应该是不支持SDXL的模型,也不支持ControlNet,图像分辨率是固定的三个。我下面简单介绍一下生成功能的用法: 你可以在页面右下角找到Create的按钮点击就可以打开创建的弹窗。 你可以点击“Add Model”添加CKPT模型基本上可以搜到站内所有的模型,但是目前不能添加SDXL模型。 接下来就是提示词和反向提示词的填写,“Mature content”开启后可以生成那啥内容。 最后可以选择生成图片的尺寸,然后点击“Advanced”的三角可以展开各种高级设置。然后点击Generate就可以生成图片了。 然后在“Queue”可以看到你图片生成的队列,在“Feed”里面可以看到所有生成过图片的大图。 教程基本就这些了,相较于国内那几个web UI套壳改的模型网站的生成功能Civitai的这个交互看起来还是做过优化有思考的,而且随便写一些提示词生成的效果也不错应该是有一些其他的优化。趁现在还免费可以先去试试:

封面图片

用GaLore在消费级硬件上训练大模型 |

用GaLore在消费级硬件上训练大模型 | GaLore 是一种新的参数高效微调(Parameter Efficient Finetuning, PEFT)方法,可以在消费级GPU(如 RTX 3090)上高效训练大型语言模型。与其他PEFT方法(如LoRA、Prefix-Tuning等)相比,GaLore在保持性能的同时,显著降低了所需的内存和计算资源。 GaLore 的关键创新在于引入了一种新的参数分解方式,将模型参数分解为低秩和稀疏两部分,从而大幅减少需要微调的参数数量。GaLore使得在消费级GPU如RTX 4090上训练包含多达70亿参数的语言模型成为可能,这是通过显著减少优化器状态和梯度所需的内存实现的。 在 GPT-2 等基准测试中,GaLore 展现出与完整模型微调相当的性能,但仅需 1/10 的内存和计算资源。 GaLore 不仅适用于自然语言处理任务,对于计算机视觉等其他领域也具有广阔的应用前景。该技术有望推动大型模型的民主化,使更多个人研究者和小型机构能够在普通硬件上训练和部署这些模型。 点评: GaLore 的提出打破了人们对大型模型训练必须依赖昂贵硬件的传统观念,这一反常规的创新值得关注。 将模型参数分解为低秩和稀疏两部分的思路具有很高的创新性和独创性,体现了作者对问题的深入思考。 如果 GaLore 的性能优势得到进一步验证,它有望彻底改变大型模型训练的范式,推动 AI 民主化进程。 尽管取得了突破性进展,但 GaLore 在实际应用中可能还面临一些挑战,如泛化性能、训练稳定性等,需要持续优化和改进。 该技术的出现也引发了一些值得深思的问题,比如大型模型的能源消耗、隐私和安全性等,需要引起足够重视。

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人