最近和朋友七黔在琢磨基于 SDXL 训练的 AI 美甲工具,有两件让我特别兴奋的事情!

最近和朋友七黔在琢磨基于SDXL训练的AI美甲工具,有两件让我特别兴奋的事情!第一是,除了穿戴甲LoRA在SDXL上训练效果比1.5好了特别多以外,还可以通过训练LoRA直接实现美甲上手效果!!!另一个是可以通过最新的ControlNet模型IP-Adapter根据参考图直接提取图像设计出美甲款式,这一点也太有想象空间了。我们把demo部署了一下,如果感兴趣可以试试看:https://sdx1.yamin.eu.org/t#AI工作流

相关推荐

封面图片

总结一下我自己在做模型训练时关注到的一些很喜欢的 AI 前沿探索者,以及工具和资源。

总结一下我自己在做模型训练时关注到的一些很喜欢的AI前沿探索者,以及工具和资源。1.StableDiffusion入门推荐:腾讯技术工程《开源图像模型StableDiffusion入门手册》https://mp.weixin.qq.com/s/8czNX-pXyOeFDFhs2fo7HA推荐理由:目前总结的最好的,没有花里胡哨的内容,信息量大且系统,很难相信是直接开源的文章分享,反复读的文章之一了。2.LoRA角色模型训练:YouTube频道@BernardMaltaishttps://www.youtube.com/watch?v=N4_-fB62Hwk&t=338s推荐理由:Kohya训练脚本的作者,上下两集共90分钟讲解了Lora模型的训练,从数据集收集到处理到训练参数。建议这种教程能看开发者做的就看开发者做的,很多追热点的up经常为了图快没玩明白就出攻略,我跟着很多油管的教程操作,常被带进坑里……3.微调风格模型训练:Twitter@Nitrosockehttps://github.com/nitrosocke/dreambooth-training-guide推荐理由:Nitro训练过很多非常棒的模型,他的GitHub页面有详细讲风格模型怎么训练的教程。他自己本身是设计师出身,在去年年底微调了几个很厉害的风格模型后,现在被StabilityAI挖走了。4.ControlNet插件研发用户推荐Twitter@toyxyzhttps://toyxyz.gumroad.com/推荐理由:他做了利用Blender来辅助AI出图的免费插件,打通工作流3D辅助AI的第一人哈哈。最近他在研究的方向是ControlNet动画,总之是厉害、前沿又无私的开发者。5.AI放大工具推荐TopazGigapixel:用过最好用的,可以批量放大,基本所有图片训练前我都会用这个过一遍Upscayl:会增加细节,但是只能给常见物体增加细节Gigagan:还没出,但看效果挺值得关注#AI工作流#AI的神奇用法

封面图片

一个懒人 LoRA 制作指南,手把手教你用 OneTrainer 训练自己的 AI 绘画模型,无需深入理论,轻松掌握关键步骤。

一个懒人LoRA制作指南,手把手教你用OneTrainer训练自己的AI绘画模型,无需深入理论,轻松掌握关键步骤。作者是用XL生成的图片,你可以用MIdjoureny生成效果比较好。我完整翻译了内容,并且重新整理了适合推特阅读的版本,或者你可以在下面看完整翻译的内容:-----------------------------1⃣LoRA模型制作教程作者作为一名LoRA模型制作的新手,通过自己的学习实践,总结了一份简明扼要的制作教程。这份教程不涉及太多理论知识,而是直奔主题,手把手教初学者如何训练自己的LoRA模型。作者坦诚分享了自己从最初尝试Embedding和LoRA时遇到的问题,以及后来找到的解决方法,为读者提供了宝贵的经验参考。所需工具介绍要制作LoRA模型,需要准备一些必要的工具。作者推荐使用自己喜欢的模型和图像生成工具,他个人使用的是StableSwarmUI和GhostXL模型。此外,还需要一个训练工具,作者选择了OneTrainer,因为有人说它比另一个常用的工具Kohya更易用。作者还提到,训练时如果需要将SDXL格式的图像转换为SD格式,需要在设置中开启分辨率覆盖选项。2⃣LoRA模型制作步骤作者将LoRA模型的制作过程分为三个主要步骤:第一步是用现有的模型生成大量高质量的图像作为训练数据;第二步是人工检查挑选图像,剔除所有质量不合格的;第三步是使用OneTrainer进行训练,调整必要的参数设置。作者还特别提到,在训练时如果需要将SDXL格式的图像转换为SD格式,一定要记得开启分辨率覆盖选项,否则训练会出问题。训练参数调整心得作为一名新手,作者在调整训练参数时主要参考了一份网上的指南。他尝试调整了Lora设置中的rank参数,将其从默认的16改为32,解决了模型训练中遇到的问题。作者分享了这份参数调整指南的链接,供其他学习者参考。3⃣作者的训练数据集分享为了帮助更多学习者,作者慷慨地分享了自己完整的训练图像数据集,其中还包含了他使用的OneTrainer配置文件。这些数据可供其他LoRA制作人下载参考和使用。数据集已经过作者的筛选,图像质量有保证。4⃣训练成果展示

封面图片

可令 AI 模型“输入狗生成猫”,黑客展示为训练数据集“下毒”的 Nightshade 工具

可令AI模型“输入狗生成猫”,黑客展示为训练数据集“下毒”的Nightshade工具日前有黑客展示了一款名为Nightshade的工具,该工具可在不破坏观感的情况下轻微修改图片,若有AI模型在训练时使用了这些被“下毒”的图片,模型生图结果便会被毁坏。据悉,Nightshade工具是一种专从提示词入手的攻击手法,号称“手法相对目前‘在提示词中加入触发字’的后门攻击法更简单”,不需介入模型的训练及部署等过程。Nightshade工具的作用,主要是轻微修改图片内容,当这些被修改的图片内容成为 AI模型训练数据后,整个 AI 模型就有可能被彻底破坏。黑客选择了StabilityAI的StableDiffusionV2、SDXL及DeepFloyd验证攻击效果。测试显示,只需要少量“下毒样本”就扰乱AI模型的文生图模型。黑客使用不到100张经过修改的“狗的照片”,便污染了SDXL模型已经养成的“狗”概念,使该模型在接受外界输入“生成狗的图片”提示后,反而生成了猫的图片。此外,黑客声称经过Nightshade工具“下毒”的图片难以辨别,因为该工具主要影响训练数据集的“特征空间”。来源:https://www.ithome.com/0/727/542.htm投稿:@ZaiHuaBot频道:@TestFlightCN

封面图片

今天还有个事情我觉的不亚于GPTs也值得关注一下。

今天还有个事情我觉的不亚于GPTs也值得关注一下。前段时间我一直在关注LCM(LatentConsistencyModels)这个技术,它可以让SD的图片生成速度提高5倍左右,但是存在的一个问题就是模型需要单独训练,无法兼容现有模型,这就导致无法融入现有的生态。今天这个状态改变了,他们把LCM变成了一个Lora模型,这个模型可以兼容现有的所有SD模型,不管是1.5的还是SDXL还是SSB-1B。带来的后果就是大幅降低SD图片生成的硬件门槛,你现在甚至用CPU跑图的时间都可以接受了。可以在更短的时间生成更多的图像,这在抽卡的时候很重要,大力出奇迹是能解决很多问题的。SD图像生成服务的成本会大幅降低。LCMLora现在已经可以在ComfyUI上使用了,我自己测试了一下,1.5的模型使用LCMLora大概比不使用快了4.7倍左右。下面几张图是对应的生成效果和时间。从生成质量上来看没有特别大的区别。

封面图片

微软这个研究相当强啊,可以不经过训练直接融合多个 Lora 不损失效果,而且他们提出的通过 GPT-4V 评价图像质量的方法也很

微软这个研究相当强啊,可以不经过训练直接融合多个Lora不损失效果,而且他们提出的通过GPT-4V评价图像质量的方法也很有参考性。项目介绍:本项目旨在通过新的文本至图像生成方法,着重采用多重低秩适应(Low-RankAdaptations,LoRAs)技术,创造高度个性化且细节丰富的图像。我们介绍了LoRA开关(LoRASwitch)与LoRA组合(LoRAComposite),这两种方式的目标是在精确度和图像质量上超越传统技术,特别是在处理复杂图像组合时。项目特色:免训练方法LoRA开关和LoRA组合支持动态精确地整合多个LoRA,无需进行微调。我们的方法不同于那些融合LoRA权重的做法,而是专注于解码过程,并保持所有LoRA权重不变。ComposLoRA测试平台这是一个全新的综合性测试平台,包含480套组合和22个在六大类别中预训练好的LoRA。ComposLoRA专为评估基于LoRA的可组合图像生成任务而设计,支持定量评估。基于GPT-4V的评估工具我们提出采用GPT-4V作为评估工具,用以判定组合效果及图像质量。该评估工具已证实在与人类评价的相关性上有更好的表现。卓越性能无论是自动化还是人类评价,我们的方法都显著优于现有的LoRA合并技术。在生成复杂图像组合的场景中,我们的方法表现出更加突出的优势。详尽分析我们对每种方法在不同场景下的优势进行了深入的分析。同时,我们还探讨了采用GPT-4V作为评估工具可能存在的偏差。项目地址:

封面图片

忍不住再推荐一次 Layer Diffusion,直接生成 PNG 素材真的对设计师太太太友好了~~~~~甚至能直接生成发丝和透

忍不住再推荐一次LayerDiffusion,直接生成PNG素材真的对设计师太太太友好了~~~~~甚至能直接生成发丝和透明玻璃杯!这工作流兼容SDXL系列的所有模型和Lora,我用的模型是DreamshaperXLTurbo,4~8步就能生成效果很好的素材,直接把生成速度压缩到秒级,见图1。▶插件安装和部署:https://github.com/huchenlei/ComfyUI-layerdiffusion▶DreamShaperXL下载:https://civitai.com/models/112902/dreamshaper-xl最近和@海辛Hyacinth做的鸡尾酒单就是用它来加的装饰素材(https://m.okjike.com/originalPosts/65e34fee38849f879fc12483?s=ewoidSI6ICI2MzkwNTUwZTljMzFjOGZjMWM3NzIyMzIiCn0=)你甚至可以把整个流程反过来——给现成的PNG素材生成背景,工作流见图7。这简直是所有产品展示场景的刚需!最后补充一个冷知识:LayerDiffusion的作者之一就是Controlnet的作者LvminZhang~!谢谢,不愧是你!#AI绘画

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人