《耗时7天,终于把15种ControlNet模型搞明白了!》

《耗时7天,终于把15种ControlNet模型搞明白了!》 各位好,我是吴东子 这篇文章是SD三部曲的第三篇「ControlNet的终极攻略」 前面我们说到如果想真正把SD应用起来,最重要的两个功能是:Lora和ControlNet Lora负责把想要画面的“主体”或“场景”炼制成模型 ControlNet负责更好地“控制”这个“模型”或画面 Lora教程之前已经出了,感兴趣的朋友可以去翻看 ControlNet一共有15种模型,每种模型对应不同的采集方式,再对应不同的应用场景,每种应用场景又有不同的变现空间 我花了一周时间彻底把15种模型研究了一遍,跑了一次全流程,终于写完了本文 文章包含了ControlNet的功能介绍,安装方法,模型采集方式,实操案例,以及下面几个目前很好玩的功能 1.动漫转真人 2.真人转动漫 3.控制人物姿势、表情 4.线稿AI上色 5.固定主角 大家只要跟着一步一步操作,一定能学会 另外,需要用到的整合包和模型也都给大家打包好放在网盘(链接在文章末尾) 花了很多时间才整理出来,希望对你有帮助

相关推荐

封面图片

最近发现很多朋友学会了Stable Diffusion后,都是停留在“玩”的层面。但我觉得让大家“用”起来,才是关键

最近发现很多朋友学会了Stable Diffusion后,都是停留在“玩”的层面。但我觉得让大家“用”起来,才是关键 于是我思考了很久,找出了SD在“应用”层面,最重要的两个功能:Lora和ControlNet Lora负责把自己生活中有关联的人或物炼制成模型 详情戳 ControlNet负责更好地“控制”这个“模型” 两者结合,你就能真正把SD用起来,无论是定制自己的真人模特,还是给某个商业产品做成模型,都可以实现

封面图片

Stability AI产量很高啊,推出了一个新的 AI 图像生成模型Stable Cascade,还会发布对应的微调、Cont

Stability AI产量很高啊,推出了一个新的 AI 图像生成模型Stable Cascade,还会发布对应的微调、ControlNet 和 LoRA 训练的脚本。 这个模型基于Würstchen架构,可以显著降低模型训练的算力成本,比 SD2.1 的算力成本降低了 10 倍左右。另外推理速度会比现有的 SD 模型快一倍左右。 更多功能: 除了标准的文本到图像生成之外,Stable Cascade 还可以执行图像变化和图像到图像生成。 会跟随模型一起发布的 Controlnet: 局部重绘:输入与文本提示附带的蒙版配对的图像。该模型根据提供的文本提示填充图像的遮罩部分。 Canny Edge:通过跟踪输入到模型的现有图像的边缘来生成新图像。该测试也可以从草图进行扩展。 2x超分辨率:也可用于C阶段生成的潜在空间。 了解更多:

封面图片

《爆肝7天!AI艺术字终极攻略,光影、隐藏、嵌入、海报4种艺术字全拆解!》

《爆肝7天!AI艺术字终极攻略,光影、隐藏、嵌入、海报4种艺术字全拆解!》 各位好,我是吴东子 随着AIGC技术迭代,越来越多有趣的玩法也被逐渐挖掘了出来,像最近特别火的AI艺术字 我花了一周的时间把所有的玩法研究了一遍,整理出来一套完整的制作流程 文章包含了从制作底图、选大模型、写关键词和ControlNet参数四大步骤,你只需要一步一步跟着操作,也能做出同款的AI艺术字 1.光影文字 2.嵌入文字 3.隐藏文字 4.海报文字 每种都有对应的使用场景和变现方式,真正地帮助了生产者提高生产力以及拓宽了变现渠道 另外,文中需要用到的模型文件,也都给大家打包好放在末尾的网盘链接里,不需要大家再自己到处去找 花了很多时间才整理出来,希望对你有帮助 「图文版」 : 「视频版」:

封面图片

Civitai终于上了免费的图片生成的功能,你现在可以直接在Civit上使用站内的CKPT模型和Lora模型,C站应该是现在

Civitai终于上了免费的图片生成的功能,你现在可以直接在Civitai上使用站内的CKPT模型和Lora模型,C站应该是现在SD模型最多的地方了一些简单的图可以直接去试试了。 目前应该是不支持SDXL的模型,也不支持ControlNet,图像分辨率是固定的三个。我下面简单介绍一下生成功能的用法: 你可以在页面右下角找到Create的按钮点击就可以打开创建的弹窗。 你可以点击“Add Model”添加CKPT模型基本上可以搜到站内所有的模型,但是目前不能添加SDXL模型。 接下来就是提示词和反向提示词的填写,“Mature content”开启后可以生成那啥内容。 最后可以选择生成图片的尺寸,然后点击“Advanced”的三角可以展开各种高级设置。然后点击Generate就可以生成图片了。 然后在“Queue”可以看到你图片生成的队列,在“Feed”里面可以看到所有生成过图片的大图。 教程基本就这些了,相较于国内那几个web UI套壳改的模型网站的生成功能Civitai的这个交互看起来还是做过优化有思考的,而且随便写一些提示词生成的效果也不错应该是有一些其他的优化。趁现在还免费可以先去试试:

封面图片

试了一下lllyasviel的Web UI分支Forge,太强了。

试了一下lllyasviel的Web UI分支Forge,太强了。 在我的电脑上测试的时候图片生成速度快了一倍左右,Web UI需要3.7秒的图Forge只需要1.9秒。 而且lllyasviel还在Forge预装了很多非常有用的功能,比如提高图像质量的FreeU以及可以帮助SD1.5直接生成大图的Kohya的HRFix。 如果你平时就是用Web UI画画图不装一些奇怪复杂插件的话,或者你的显卡比较差,都推荐替换为Forge。 安装方式直接从下面链接替换整合包就行,如果你需要用你WebUI的模型文件的话可以鼠标右键用记事本打开web ui根目录的webui-user.bat文件。 把第二张图位置加上这段内容就行,文件夹目录改成你需要的目录(注意斜杠):ckpt-dir D:/sd/novelai-webui-aki-v2/models/Stable-diffusion vae-dir D:/sd/novelai-webui-aki-v2/models/VAE lora-dir D:/sd/novelai-webui-aki-v2/models/Lora gfpgan-models-path D:/sd/novelai-webui-aki-v2/models/GFPGAN esrgan-models-path D:/sd/novelai-webui-aki-v2/models/ESRGAN controlnet-dir D:/sd/novelai-webui-aki-v2/models/ControlNet 这里安装:

封面图片

Lora分层控制拯救了我之前做的废模型。一两个月前在调研虚拟人的Lora模型训练,提高下同事生产图片的效率。开始给到我的训练图片

Lora分层控制拯救了我之前做的废模型。一两个月前在调研虚拟人的Lora模型训练,提高下同事生产图片的效率。开始给到我的训练图片不多,而且当时训练也没做太多处理,导致当时做的Lora出图面部经常受到训练集图片里的一些乱七八糟元素的影响,而且模型泛化也不太好,背景经常会带上训练集里的背景。后来又优化了几版,后面也学到了用Lora分层控制来结合人物Lora、画风Lora、衣服Lora。想到应该可以用这个来拯救下之前觉得废弃的模型,还加上了一些优化的正负向text inversion embeddings,效果还不错,废片率大幅度下降。(调了下prompt让人物的特征和画风与训练用的虚拟人形象保持一定区别) 底模除了Chilloutmix之外,最近发现这个底模比较好用,模型页也没有明确的对商用场景的限制: 另外推荐一些优化任务的正负向的Text Inversion Embedding: pureerosface: ulzzang-6500: ng_deepnegative_v1_75t: easynegative: badhandv4:

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人