总结一下我自己在做模型训练时关注到的一些很喜欢的 AI 前沿探索者，以及工具和资源。

总结一下我自己在做模型训练时关注到的一些很喜欢的 AI 前沿探索者，以及工具和资源。 1. Stable Diffusion 入门推荐： 腾讯技术工程《开源图像模型Stable Diffusion入门手册》 推荐理由：目前总结的最好的，没有花里胡哨的内容，信息量大且系统，很难相信是直接开源的文章分享，反复读的文章之一了。 2. LoRA 角色模型训练： YouTube 频道 @Bernard Maltais 推荐理由：Kohya 训练脚本的作者，上下两集共90分钟讲解了 Lora 模型的训练，从数据集收集到处理到训练参数。建议这种教程能看开发者做的就看开发者做的，很多追热点的 up 经常为了图快没玩明白就出攻略，我跟着很多油管的教程操作，常被带进坑里…… 3. 微调风格模型训练： Twitter @Nitrosocke 推荐理由：Nitro 训练过很多非常棒的模型，他的 GitHub 页面有详细讲风格模型怎么训练的教程。他自己本身是设计师出身，在去年年底微调了几个很厉害的风格模型后，现在被 StabilityAI 挖走了。 4. ControlNet 插件研发用户推荐 Twitter @toyxyz 推荐理由：他做了利用 Blender 来辅助 AI 出图的免费插件，打通工作流 3D 辅助 AI 的第一人哈哈。最近他在研究的方向是 ControlNet 动画，总之是厉害、前沿又无私的开发者。 5. AI 放大工具推荐 Topaz Gigapixel：用过最好用的，可以批量放大，基本所有图片训练前我都会用这个过一遍 Upscayl：会增加细节，但是只能给常见物体增加细节 Gigagan：还没出，但看效果挺值得关注 #AI工作流 #AI的神奇用法

今天还有个事情我觉的不亚于GPTs也值得关注一下。

今天还有个事情我觉的不亚于GPTs也值得关注一下。 前段时间我一直在关注LCM（Latent Consistency Models）这个技术，它可以让SD的图片生成速度提高5倍左右，但是存在的一个问题就是模型需要单独训练，无法兼容现有模型，这就导致无法融入现有的生态。 今天这个状态改变了，他们把LCM变成了一个Lora模型，这个模型可以兼容现有的所有SD模型，不管是1.5的还是SDXL还是SSB-1B。 带来的后果就是大幅降低SD图片生成的硬件门槛，你现在甚至用CPU跑图的时间都可以接受了。 可以在更短的时间生成更多的图像，这在抽卡的时候很重要，大力出奇迹是能解决很多问题的。 SD图像生成服务的成本会大幅降低。 LCM Lora现在已经可以在Comfy UI上使用了，我自己测试了一下，1.5的模型使用LCM Lora大概比不使用快了4.7倍左右。下面几张图是对应的生成效果和时间。从生成质量上来看没有特别大的区别。

忍不住再推荐一次 Layer Diffusion，直接生成 PNG 素材真的对设计师太太太友好了~~~~~甚至能直接生成发丝和透

忍不住再推荐一次 Layer Diffusion，直接生成 PNG 素材真的对设计师太太太友好了~~~~~甚至能直接生成发丝和透明玻璃杯！ 这工作流兼容 SDXL 系列的所有模型和 Lora，我用的模型是 DreamshaperXL Turbo，4~8步就能生成效果很好的素材，直接把生成速度压缩到秒级，见图1。 ▶ 插件安装和部署： ▶ DreamShaper XL 下载： 最近和@海辛Hyacinth 做的鸡尾酒单就是用它来加的装饰素材（ 你甚至可以把整个流程反过来 给现成的 PNG 素材生成背景，工作流见图7。 这简直是所有产品展示场景的刚需！ 最后补充一个冷知识：Layer Diffusion 的作者之一就是 Controlnet 的作者 Lvmin Zhang~！ 谢谢，不愧是你！ #AI绘画

一个懒人 LoRA 制作指南，手把手教你用 OneTrainer 训练自己的 AI 绘画模型,无需深入理论,轻松掌握关键步骤。

一个懒人 LoRA 制作指南，手把手教你用 OneTrainer 训练自己的 AI 绘画模型,无需深入理论,轻松掌握关键步骤。 作者是用XL生成的图片，你可以用MIdjoureny生成效果比较好。 我完整翻译了内容，并且重新整理了适合推特阅读的版本，或者你可以在下面看完整翻译的内容： - 1⃣ LoRA 模型制作教程 作者作为一名 LoRA 模型制作的新手,通过自己的学习实践,总结了一份简明扼要的制作教程。 这份教程不涉及太多理论知识,而是直奔主题,手把手教初学者如何训练自己的 LoRA 模型。 作者坦诚分享了自己从最初尝试 Embedding 和 LoRA 时遇到的问题,以及后来找到的解决方法,为读者提供了宝贵的经验参考。 所需工具介绍 要制作 LoRA 模型,需要准备一些必要的工具。作者推荐使用自己喜欢的模型和图像生成工具,他个人使用的是 StableSwarmUI 和 GhostXL 模型。 此外,还需要一个训练工具,作者选择了 OneTrainer,因为有人说它比另一个常用的工具 Kohya 更易用。作者还提到,训练时如果需要将 SDXL 格式的图像转换为 SD 格式,需要在设置中开启分辨率覆盖选项。 2⃣ LoRA 模型制作步骤 作者将 LoRA 模型的制作过程分为三个主要步骤: 第一步是用现有的模型生成大量高质量的图像作为训练数据; 第二步是人工检查挑选图像,剔除所有质量不合格的; 第三步是使用 OneTrainer 进行训练,调整必要的参数设置。 作者还特别提到,在训练时如果需要将 SDXL 格式的图像转换为 SD 格式,一定要记得开启分辨率覆盖选项,否则训练会出问题。 训练参数调整心得 作为一名新手,作者在调整训练参数时主要参考了一份网上的指南。 他尝试调整了 Lora 设置中的 rank 参数,将其从默认的 16 改为 32,解决了模型训练中遇到的问题。作者分享了这份参数调整指南的链接,供其他学习者参考。 3⃣ 作者的训练数据集分享 为了帮助更多学习者,作者慷慨地分享了自己完整的训练图像数据集,其中还包含了他使用的 OneTrainer 配置文件。这些数据可供其他 LoRA 制作人下载参考和使用。数据集已经过作者的筛选,图像质量有保证。 4⃣ 训练成果展示

a16z近期公布了他们的开源 AI 资助计划第二期，主要关注两个领域：包括用于训练、托管和评估语言模型的工具以及围绕视觉人工智能

a16z近期公布了他们的开源 AI 资助计划第二期，主要关注两个领域：包括用于训练、托管和评估语言模型的工具以及围绕视觉人工智能构建的模型和社区。第二期有7 个项目： ：一个在任何云上运行LLMs、AI和批处理作业的框架，提供最大的成本节省、最高的GPU可用性和托管执行。 主要能力有：在任何云上启动作业和集群、排队并运行多个作业，自动管理、轻松访问对象存储、自动选择最便宜的云服务。 ：用于微调LLMs的工具，支持多种配置和架构。 工具支持：训练各种Huggingface模型，如llama、pythia等、支持全面微调、lora、qlora、relora和gptq多种训练方式、使用简单的yaml文件或CLI覆盖自定义配置等。还有很多其他特性。 ：开源模型、系统和评估平台。 开源了 LLM 用的数据集，还有一个 LLM 模型。最著名的还是通过 ELO 算法和机制评估 LLM 质量的项目，这种人工评分的机制比一些数据集的评价方法更加可以反应人类对于 LLM 质量的判断。 ：用于训练许多LLMs的开放网络爬取数据存储库。 这是一个从 2007 年就开始收集的互联网语聊数据库，他们会定期抓取，你可以免费下载所有数据用来训练模型。GPT-3 82%的训练语料来自这个项目。 ：开源多模态模型（语言和视觉）。 端到端训练的大型多模态模型，连接了一个视觉编码器和LLM，用于通用的视觉和语言理解。 现在最新的是LLaVA1.5 版本，只是对原始LLaVA进行简单修改，利用了所有公开数据，在单个8-A100节点上约1天内完成训练。 ：AI动画的平台和开源社区，是一种 AI 生成动画的方式。Deforum的 WebUI 插件和 Discord 社区都是他们在维护。 ：高影响力AI模型的开放实现。 Phil Wang，也以其在线昵称“lucidrains”而闻名，在AI和机器学习领域是一位杰出人物。以在PyTorch框架中实现各种有趣的AI模型和论文而闻名。他的工作包括Vision Transformer、DALL-E 2、Imagen和MusicLM等的实现。

麻省理工学院的AI突破：对抗MRSA的新型抗生素先锋

麻省理工学院的AI突破：对抗MRSA的新型抗生素先锋 利用一种被称为深度学习的人工智能，麻省理工学院的研究人员发现了一类化合物，这种化合物可以杀死一种耐药细菌，这种细菌每年导致美国一万多人死亡。在最近发表于《自然》（Nature）的一项研究中，研究人员发现这些化合物可以杀死在实验室培养皿中生长的耐甲氧西林金黄色葡萄球菌（MRSA），以及在两种 MRSA 感染小鼠模型中生长的耐甲氧西林金黄色葡萄球菌。这些化合物对人体细胞的毒性也很低，因此特别适合作为候选药物。这项新研究的一个关键创新点是，研究人员还弄清了深度学习模型在预测抗生素效力时使用了哪些信息。这些知识可以帮助研究人员设计出更多的药物，它们可能比模型识别出的药物效果更好。"我们的洞察力在于，我们可以看到模型学习到了什么，从而预测出某些分子会成为很好的抗生素。"麻省理工学院医学工程与科学研究所（IMES）和生物工程系的特米尔医学工程与科学教授詹姆斯-柯林斯（James Collins）说："我们的工作提供了一个框架，从化学结构的角度来看，它既省时、省资源，又具有机理上的洞察力。"这项研究是麻省理工学院"抗生素-人工智能项目"（Antibiotics-AI Project）的一部分，该项目由柯林斯领导。该项目是麻省理工学院抗生素-人工智能项目的一部分。该项目由柯林斯领导，其任务是在七年内发现针对七种致命细菌的新型抗生素。用人工智能应对 MRSA在美国，每年有超过 8 万人感染 MRSA，它通常会引起皮肤感染或肺炎。严重病例可导致败血症，这是一种可能致命的血液感染。在过去几年里，柯林斯和他在麻省理工学院阿卜杜勒-拉蒂夫-贾米尔健康机器学习诊所（Jameel Clinic）的同事们开始利用深度学习尝试寻找新的抗生素。他们的工作已经产生了针对鲍曼不动杆菌（一种常见于医院的细菌）和许多其他耐药细菌的潜在药物。这些化合物是利用深度学习模型确定的，该模型可以学习识别与抗菌活性相关的化学结构。然后，这些模型会筛选数百万种其他化合物，预测哪些化合物可能具有较强的抗菌活性。事实证明，这类搜索富有成效，但这种方法的一个局限是，模型是"黑盒子"，也就是说，无法知道模型是根据什么特征进行预测的。如果科学家们知道模型是如何做出预测的，他们就能更容易地找出或设计出更多的抗生素。黄说："我们在这项研究中要做的就是打开黑盒子。这些模型由大量模拟神经连接的计算组成，没有人真正知道这底下发生了什么"。提高人工智能的预测准确性首先，研究人员使用大幅扩展的数据集训练了一个深度学习模型。他们通过测试约 3.9 万种化合物对 MRSA 的抗生素活性生成了这些训练数据，然后将这些数据以及化合物的化学结构信息输入模型。Wong说："基本上可以将任何分子表示为化学结构，还可以告诉模型该化学结构是否具有抗菌性。这个模型是在许多这样的例子中训练出来的。如果你给它任何新的分子、新的原子和化学键排列，它就能告诉你该化合物被预测为抗菌的概率。"为了弄清该模型是如何做出预测的，研究人员采用了一种被称为蒙特卡洛树搜索的算法，这种算法已被用来帮助使其他深度学习模型（如AlphaGo）更易于解释。这种搜索算法不仅能让模型对每种分子的抗菌活性做出估计，还能预测该分子的哪些亚结构可能会产生这种活性。人工智能驱动的药物发现过程为了进一步缩小候选药物的范围，研究人员又训练了三个深度学习模型，以预测化合物是否对三种不同类型的人体细胞有毒。通过将这些信息与抗菌活性预测相结合，研究人员发现了既能杀死微生物，又能对人体产生最小不良影响的化合物。利用这组模型，研究人员筛选了大约 1200 万种化合物，所有这些化合物都可以在市场上买到。根据分子中的化学子结构，模型从这些化合物中识别出了五种不同类别的化合物，这些化合物预计对 MRSA 具有活性。有希望的成果和未来方向研究人员购买了大约 280 种化合物，并对它们进行了针对在实验室培养皿中生长的 MRSA 的测试，从而确定了同一类中的两种似乎非常有希望成为候选抗生素的化合物。在两种小鼠模型（一种是 MRSA 皮肤感染模型，另一种是 MRSA 全身感染模型）的测试中，每种化合物都能将 MRSA 的数量减少 10 倍。实验发现，这些化合物似乎通过破坏细菌在细胞膜上维持电化学梯度的能力来杀死细菌。许多关键的细胞功能都需要这种梯度，包括产生 ATP（细胞用来储存能量的分子）的能力。柯林斯实验室在 2020 年发现的一种候选抗生素Halicin似乎也是通过类似的机制发挥作用的，但它对革兰氏阴性细菌（细胞壁较薄的细菌）具有特异性。MRSA 是一种革兰氏阳性细菌，细胞壁较厚。Wong说："我们有相当有力的证据表明，这种新的结构类药物通过选择性地消散细菌中的质子动力，对革兰氏阳性病原体具有活性。这些分子选择性地攻击细菌细胞膜，而不会对人类细胞膜造成实质性损害。我们大幅增强的深度学习方法使我们能够预测这一类新结构的抗生素，并发现它对人类细胞没有毒性。"研究人员与Phare Bio 分享了他们的研究成果，Phare Bio 是柯林斯等人创办的非营利组织，也是抗生素人工智能项目的一部分。该非营利组织目前计划对这些化合物的化学特性和潜在临床用途进行更详细的分析。与此同时，柯林斯的实验室正在根据新研究的结果设计更多的候选药物，并利用这些模型寻找能杀死其他类型细菌的化合物。Wong说："我们已经在利用基于化学子结构的类似方法来重新设计化合物，当然，我们也可以随时采用这种方法来发现针对不同病原体的新型抗生素。"编译自:ScitechDaily ... PC版： 手机版：