最近和朋友七黔在琢磨基于 SDXL 训练的 AI 美甲工具,有两件让我特别兴奋的事情!

最近和朋友七黔在琢磨基于 SDXL 训练的 AI 美甲工具,有两件让我特别兴奋的事情! 第一是,除了穿戴甲 LoRA在 SDXL 上训练效果比1.5好了特别多以外,还可以通过训练 LoRA 直接实现美甲上手效果!!! 另一个是可以通过最新的 ControlNet 模型 IP-Adapter 根据参考图直接提取图像设计出美甲款式,这一点也太有想象空间了。 我们把 demo 部署了一下,如果感兴趣可以试试看: #AI工作流

相关推荐

封面图片

昨天的 line2normal 我在 ComfyUI 里搭出来了

昨天的 line2normal 我在 ComfyUI 里搭出来了 工作流在评论区,也可以在 OpenArt 上下载: 需要接对应的 LoRA 和 controlnet 模型: Line2Normal LoRA(权重1.2-1.5):https:// ControlNet-LoRA: ControlNet 的预处理器接 lineart 或者 canny 都可以,我觉得 lineart 效果更好。 我还接了一个 WD14 自动打标,因为发现效果和描述也有关系。 动画的底模效果也会更好,因为 LoRA 是 SDXL 上训练的,所以底模要用 XL 的,我用的 animagine xl 3.1 或者 realcartoonxl_v5

封面图片

总结一下我自己在做模型训练时关注到的一些很喜欢的 AI 前沿探索者,以及工具和资源。

总结一下我自己在做模型训练时关注到的一些很喜欢的 AI 前沿探索者,以及工具和资源。 1. Stable Diffusion 入门推荐: 腾讯技术工程《开源图像模型Stable Diffusion入门手册》 推荐理由:目前总结的最好的,没有花里胡哨的内容,信息量大且系统,很难相信是直接开源的文章分享,反复读的文章之一了。 2. LoRA 角色模型训练: YouTube 频道 @Bernard Maltais 推荐理由:Kohya 训练脚本的作者,上下两集共90分钟讲解了 Lora 模型的训练,从数据集收集到处理到训练参数。建议这种教程能看开发者做的就看开发者做的,很多追热点的 up 经常为了图快没玩明白就出攻略,我跟着很多油管的教程操作,常被带进坑里…… 3. 微调风格模型训练: Twitter @Nitrosocke 推荐理由:Nitro 训练过很多非常棒的模型,他的 GitHub 页面有详细讲风格模型怎么训练的教程。他自己本身是设计师出身,在去年年底微调了几个很厉害的风格模型后,现在被 StabilityAI 挖走了。 4. ControlNet 插件研发用户推荐 Twitter @toyxyz 推荐理由:他做了利用 Blender 来辅助 AI 出图的免费插件,打通工作流 3D 辅助 AI 的第一人哈哈。最近他在研究的方向是 ControlNet 动画,总之是厉害、前沿又无私的开发者。 5. AI 放大工具推荐 Topaz Gigapixel:用过最好用的,可以批量放大,基本所有图片训练前我都会用这个过一遍 Upscayl:会增加细节,但是只能给常见物体增加细节 Gigagan:还没出,但看效果挺值得关注 #AI工作流 #AI的神奇用法

封面图片

今天还有个事情我觉的不亚于GPTs也值得关注一下。

今天还有个事情我觉的不亚于GPTs也值得关注一下。 前段时间我一直在关注LCM(Latent Consistency Models)这个技术,它可以让SD的图片生成速度提高5倍左右,但是存在的一个问题就是模型需要单独训练,无法兼容现有模型,这就导致无法融入现有的生态。 今天这个状态改变了,他们把LCM变成了一个Lora模型,这个模型可以兼容现有的所有SD模型,不管是1.5的还是SDXL还是SSB-1B。 带来的后果就是大幅降低SD图片生成的硬件门槛,你现在甚至用CPU跑图的时间都可以接受了。 可以在更短的时间生成更多的图像,这在抽卡的时候很重要,大力出奇迹是能解决很多问题的。 SD图像生成服务的成本会大幅降低。 LCM Lora现在已经可以在Comfy UI上使用了,我自己测试了一下,1.5的模型使用LCM Lora大概比不使用快了4.7倍左右。下面几张图是对应的生成效果和时间。从生成质量上来看没有特别大的区别。

封面图片

一个懒人 LoRA 制作指南,手把手教你用 OneTrainer 训练自己的 AI 绘画模型,无需深入理论,轻松掌握关键步骤。

一个懒人 LoRA 制作指南,手把手教你用 OneTrainer 训练自己的 AI 绘画模型,无需深入理论,轻松掌握关键步骤。 作者是用XL生成的图片,你可以用MIdjoureny生成效果比较好。 我完整翻译了内容,并且重新整理了适合推特阅读的版本,或者你可以在下面看完整翻译的内容: - 1⃣ LoRA 模型制作教程 作者作为一名 LoRA 模型制作的新手,通过自己的学习实践,总结了一份简明扼要的制作教程。 这份教程不涉及太多理论知识,而是直奔主题,手把手教初学者如何训练自己的 LoRA 模型。 作者坦诚分享了自己从最初尝试 Embedding 和 LoRA 时遇到的问题,以及后来找到的解决方法,为读者提供了宝贵的经验参考。 所需工具介绍 要制作 LoRA 模型,需要准备一些必要的工具。作者推荐使用自己喜欢的模型和图像生成工具,他个人使用的是 StableSwarmUI 和 GhostXL 模型。 此外,还需要一个训练工具,作者选择了 OneTrainer,因为有人说它比另一个常用的工具 Kohya 更易用。作者还提到,训练时如果需要将 SDXL 格式的图像转换为 SD 格式,需要在设置中开启分辨率覆盖选项。 2⃣ LoRA 模型制作步骤 作者将 LoRA 模型的制作过程分为三个主要步骤: 第一步是用现有的模型生成大量高质量的图像作为训练数据; 第二步是人工检查挑选图像,剔除所有质量不合格的; 第三步是使用 OneTrainer 进行训练,调整必要的参数设置。 作者还特别提到,在训练时如果需要将 SDXL 格式的图像转换为 SD 格式,一定要记得开启分辨率覆盖选项,否则训练会出问题。 训练参数调整心得 作为一名新手,作者在调整训练参数时主要参考了一份网上的指南。 他尝试调整了 Lora 设置中的 rank 参数,将其从默认的 16 改为 32,解决了模型训练中遇到的问题。作者分享了这份参数调整指南的链接,供其他学习者参考。 3⃣ 作者的训练数据集分享 为了帮助更多学习者,作者慷慨地分享了自己完整的训练图像数据集,其中还包含了他使用的 OneTrainer 配置文件。这些数据可供其他 LoRA 制作人下载参考和使用。数据集已经过作者的筛选,图像质量有保证。 4⃣ 训练成果展示

封面图片

忍不住再推荐一次 Layer Diffusion,直接生成 PNG 素材真的对设计师太太太友好了~~~~~甚至能直接生成发丝和透

忍不住再推荐一次 Layer Diffusion,直接生成 PNG 素材真的对设计师太太太友好了~~~~~甚至能直接生成发丝和透明玻璃杯! 这工作流兼容 SDXL 系列的所有模型和 Lora,我用的模型是 DreamshaperXL Turbo,4~8步就能生成效果很好的素材,直接把生成速度压缩到秒级,见图1。 ▶ 插件安装和部署: ▶ DreamShaper XL 下载: 最近和@海辛Hyacinth 做的鸡尾酒单就是用它来加的装饰素材( 你甚至可以把整个流程反过来 给现成的 PNG 素材生成背景,工作流见图7。 这简直是所有产品展示场景的刚需! 最后补充一个冷知识:Layer Diffusion 的作者之一就是 Controlnet 的作者 Lvmin Zhang~! 谢谢,不愧是你! #AI绘画

封面图片

微软这个研究相当强啊,可以不经过训练直接融合多个 Lora 不损失效果,而且他们提出的通过 GPT-4V 评价图像质量的方法也很

微软这个研究相当强啊,可以不经过训练直接融合多个 Lora 不损失效果,而且他们提出的通过 GPT-4V 评价图像质量的方法也很有参考性。 项目介绍: 本项目旨在通过新的文本至图像生成方法,着重采用多重低秩适应(Low-Rank Adaptations, LoRAs)技术,创造高度个性化且细节丰富的图像。我们介绍了LoRA开关(LoRA Switch)与LoRA组合(LoRA Composite),这两种方式的目标是在精确度和图像质量上超越传统技术,特别是在处理复杂图像组合时。 项目特色: 免训练方法 LoRA开关和LoRA组合支持动态精确地整合多个LoRA,无需进行微调。 我们的方法不同于那些融合LoRA权重的做法,而是专注于解码过程,并保持所有LoRA权重不变。 ComposLoRA测试平台 这是一个全新的综合性测试平台,包含480套组合和22个在六大类别中预训练好的LoRA。 ComposLoRA专为评估基于LoRA的可组合图像生成任务而设计,支持定量评估。 基于GPT-4V的评估工具 我们提出采用GPT-4V作为评估工具,用以判定组合效果及图像质量。 该评估工具已证实在与人类评价的相关性上有更好的表现。 卓越性能 无论是自动化还是人类评价,我们的方法都显著优于现有的LoRA合并技术。 在生成复杂图像组合的场景中,我们的方法表现出更加突出的优势。 详尽分析 我们对每种方法在不同场景下的优势进行了深入的分析。 同时,我们还探讨了采用GPT-4V作为评估工具可能存在的偏差。 项目地址:

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人