新手LLM训练详细指南 | #指南

#指南-Transformer是训练语言模型最常用的架构。预训练再微调是训练语言模型的主要方法。-微调需要收集任务特定的数据集，一般大小在几十MB到几GB。-数据预处理非常重要，需要将数据清理成合适的格式，如JSONL。-主要的训练超参数包括batchsize、epoch数、学习率、梯度累积步数等。-LoRA是一种减少GPU内存占用的微调方法，QLoRA则通过量化进一步降低了内存需求。-学习曲线可以诊断模型的训练情况，判断是否欠拟合、过拟合或拟合良好。-模型量化可以降低模型大小，使大模型也能在低显存环境下使用。-模型适配器方法可以进行个性化微调而不加载整个模型。-模型融合可以组合多个模型的优势得到更优的单模型。-合理配置训练超参数以及诊断学习曲线对获得期望的模型至关重要。

麻了，ComfyUI链接万物了这下，有人推出了ComfyUI Lora训练节点。

麻了，ComfyUI链接万物了这下，有人推出了ComfyUILora训练节点。可以直接在ComfyUI中训练Lora模型。而且设置挺简单的，可以直接在comfyui里面手搓妙鸭了。训练结束后模型会保存在ComfyUIlora文件夹里面，训练后刷新就可以使用和测试。老哥甚至想在ComfyUI中集成Tensorboard。你可以在这里安装这个节点，里面也有作者的教程，非常详细：https://www.reddit.com/r/comfyui/comments/193vnxg/lora_training_directly_in_comfyui/

手把手教你训练你自己的AI歌手，最重要的一步来了。如何训练歌手的模型。这一步主要由两部分组成数据处理和模型训练。

手把手教你训练你自己的AI歌手，最重要的一步来了。如何训练歌手的模型。这一步主要由两部分组成数据处理和模型训练。感谢各位的支持，下面是具体步骤详细教程和文件下载可以看这里：https://mp.weixin.qq.com/s/IeeW1PbMUbxMlLl529JTYQ首先我们需要准备你训练的人的声音素材，尽量找质量比较高人声比较清晰的音频。歌手的声音素材是比较好找的，因为他们的歌就是天然的素材，我们在训练的时候最少要准备30分钟以上的人声素材，一般一个小时到两个小时最好。但是声音的质量大于时间长度，不要为了凑数搞一些质量不那么好的素材。在准备好足够的声音素材之后我们开始对素材进行处理，跟第一期一样，先把我们的素材转换为WAV格式，批量转换的话还是用格式工厂之类的本地软件比较快。获取到我们个WAV格式素材之后，继续进行跟上个教程一样的步骤利用UVR去掉我们素材的伴奏以及混响之类的声音，只留下单纯的人声。处理完成后扔掉分离出来的伴奏，只留下人声素材，整理好备用。类似我下图这样扔到一个文件夹里。接下来我们要对处理好的人声文件进行分割，因为如果训练的时候每段文件过长的话容易爆显存。这个时候就要用到下载文件里的【slicer-gui】这个软件了，它可以自动把声音素材分割成合适的大小。我们先打开slicer-gui，刚开始的参数按我的来就行。把你你准备好的人声素材拖到【TaskList】里面，在Output位置设置好输出文件夹的位置，然后点Start就可以开始分割了。处理好的文件，基本上就是下面这个文件的样子，处理完成后在输出文件夹把文件从大到小排序，看一下最大的文件时多长的，分割完的素材每一段尽量不要超过15秒。不然有可能会爆显存。如果你发现有几条素材比较大的话可以拖进slicer-gui里面重新分割一下，参数按我下面图片设置就行。所有数据处理好之后，我们准备开始训练了首先需要把准备好的素材移动到so-vits-svcdataset_raw这个文件夹下，注意不要直接把素材放在dataset_raw文件夹里，拿个文件夹装好放进去，所有的目录不要有中文字符。我们开始模型训练，运行so-vits-svc根目录的【启动webui.bat】打开WebUI界面，切换到训练Tab下面。然后点击识别数据集，这时候上面就会展示你数据集文件夹的名字，也会是你模型的名字。

答应大家的AI歌手教程来了，手把手教你训练你自己的AI歌手，主要分为使用模型和训练模型两部分，这里是第一部分如何使用模型生成音乐

答应大家的AI歌手教程来了，手把手教你训练你自己的AI歌手，主要分为使用模型和训练模型两部分，这里是第一部分如何使用模型生成音乐的部分，主要介绍了音源的处理，模型的使用和后期音轨的合成。看在藏师傅生病肝教程的份上希望各位多多支持，下面是具体步骤，图片顺序跟文字顺序对应详细教程和文件下载可以看这里：https://mp.weixin.qq.com/s/bXD1u6ysYkTEamt-PYI1RA要使用模型进行推理的话你首先需要一段已经演唱好的声音垫进去，所以我们需要先对你垫进去的声音进行处理。首先要安装UVR_v5.5.0，完成后我们需要给UVR增加一个模型解压UVR5模型文件将里面的两个文件夹粘贴到安装目录下的UltimateVocalRemovermodels就行。在处理之前你需要把你声音的格式转换成WAV格式，因为So-VITS-SVC4.0只认WAV格式的音频文件，现在处理了后面会省事点。可以用这个工具处理：https://www.aconvert.com/cn/audio/mp4-to-wav/处理完音频文件后我们就要开始利用UVR去掉背景音了，一共需要过两次，每次的设置都是不同的，下面两张图分别是两次的参数。接下来我们就要运行整合包的WebUI来推理声音了，如果你用的其他人的模型的话你需要先把模型文件放进整合包对应的文件夹下面：首先是模型文件夹下面后缀为pth和pt的两个文件放到整合包的logs44k文件夹下。之后是模型文件里那个叫config.json的json文件，放到整合包的configs文件夹下面。接下来我们就可以运行整合包的WebUI了，打开整合包根目录下的【启动webui.bat】这个文件他会自动运行并打开WebUI的网页，经常玩StableDiffusion的朋友肯定对这个操作不陌生。下面就是WebUI的界面我们使用模型的时候主要用的是推理这个功能。之后就是选择我们的模型，如果你刚才已经把模型放到合适的位置的话你现在应该能在下图的两个位置选择到你的模型和配置文件，如果有报错会在输出信息的位置显示。选择完模型之后我们需要点击加载模型，等待一段时间Loading之后模型会加载完成。OutputMessage这里会输出加载的结果。之后就是上传我们处理好的需要垫的音频文件了，把文件拖动到红框位置就行。

Meta 的 AI 图像生成器用了 11 亿 Instagram 和 Facebook 照片训练

Meta的AI图像生成器用了11亿Instagram和Facebook照片训练Meta发布了一个免费的文本图像生成网站(需要登陆)。它的图像生成器是基于其Emu图像合成模型，用了11亿Instagram和Facebook上公开可见的照片训练。你的Facebook或Instagram的公开照片很可能被用于训练Emu了，不想被训练的话可以将自己的照片设为私有。Instagram上每天上传的照片数以亿计，Meta只使用了很小一部分去训练其模型。在ImaginewithMetaAI上输入提示词，它会返回四张1280×1280像素的图像，可以以JPEG格式下载保存，图像左下方会打上水印ImaginedwithAI。来源，频道：@kejiqu群组：@kejiquchat

傻瓜式大语言模型微调训练教程_哔哩哔哩_bilibili

发现一个讲的很细的大语言模型微调教程，详细介绍了整个流程,包括数据准备、参数设置、资源监控等关键步骤。基本没有技术能力也可以完成微调。想要了解LLM原理的可以按这个实践一下。时间轴：0:00概念概览3:02自定义数据的准备8:17微调操作演示（T4版本）16:52微调操作演示（A100版本）19:13在HuggingFace上的保存与使用方法文字版整理：如何使用自己的数据对大语言模型进行微调(fine-tuning)：对大语言模型进行微调并不一定非常困难和昂贵。通过使用自己的数据集对预训练模型进行微调,可以让模型更好地适应特定的任务需求。微调过程能够在保留原模型语言理解能力的基础上,进一步提升其在特定领域或任务上的表现。使用HuggingFace模型库和Unslaw工具进行模型微调：HuggingFace提供了丰富的预训练语言模型资源,用户可以根据任务需求选择合适的模型作为基础进行微调。而Unslaw工具则提供了一套简单高效的微调流程,其优点包括出色的内存使用效率以及对扩展上下文窗口的支持。通过Unslaw,用户能够以较低的资源开销完成模型微调。在GoogleColab上使用免费/付费GPU资源进行微调：GoogleColab提供了免费和付费的GPU资源,用户可以根据任务的复杂程度选择使用T4或A100。对于大多数微调任务而言,免费的T4资源已经足够。但如果数据集较大或模型较为复杂,升级到A100可以获得更充裕的算力支持。Colab为用户提供了一个易于上手的模型微调环境。准备自定义的微调数据集：准备微调数据的过程并不复杂。用户可以直接使用纯文本文件作为数据来源,而无需进行额外的预处理。为了获得理想的微调效果,建议至少准备100-200个样本。在示例中,为了快速演示,仅使用了几个样本。通过一个简单的Python脚本,可以方便地将原始文本数据转换为微调所需的JSON格式。修改Colab笔记本中的参数设置：