发现了个好东西，这个老哥开源了一门课程《从头开始构建大型语言模型》，这门课程将一步步地指导你创建自己的LLM。#AI# #llm

发现了个好东西，这个老哥开源了一门课程《从头开始构建大型语言模型》，这门课程将一步步地指导你创建自己的LLM。#AI# #llm# 每个阶段都有清晰的文本、图表和实例来解释相关概念。 课程内容包括： 1. 从基础理解注意力机制 2. 构建并预训练一个类似于GPT的模型 3. 学习如何加载预训练的权重 4. 对模型进行分类任务的微调 5. 使用直接偏好优化进行指令微调模型 课程地址：

LLaV：一个拥有类似 GPT-4 的大语言+视觉模型

LLaV：一个拥有类似 GPT-4 的大语言+视觉模型 “使用机器生成的指令跟踪数据对大型语言模型 (LLM) 进行指令调优提高了新任务的零样本能力，但这一想法在多模式领域的探索较少。 所以，我们开始尝试使用纯语言 GPT-4 生成多模态语言图像指令跟踪数据。通过对此类生成的数据进行指令调整，并推出了 LLaVA：大型语言和视觉助手。 这是一种端到端训练的大型多模态模型，连接视觉编码器和 LLM 以实现通用视觉和语言理解。 早期实验表明，LLaVA 展示了令人印象深刻的多模型聊天能力，有时在看不见的图像 / 指令上表现出多模态 GPT-4 的行为，并且与合成多模态指令跟随数据集上的 GPT-4 相比，相对分数达到了 85.1%。 当在 Science QA 上进行微调时，LLaVA 和 GPT-4 的协同作用达到了 92.53%，这个准确率颇高。 因此，我们在 GitHub 正式开放 GPT-4 生成的视觉指令调整数据、模型和代码库。” |||||

| #指南LLMs，即大型语言模型（Large Language Models），是一种基于人工智能和机器学习技术构建的先进模型

| #指南 LLMs，即大型语言模型（Large Language Models），是一种基于人工智能和机器学习技术构建的先进模型，旨在理解和生成自然语言文本。这些模型通过分析和学习海量的文本数据，掌握语言的结构、语法、语义和上下文等复杂特性，从而能够执行各种语言相关的任务。LLM的能力包括但不限于文本生成、问答、文本摘要、翻译、情感分析等。 LLMs例如GPT、LLama、Mistral系列等，通过深度学习的技术架构，如Transformer，使得这些模型能够捕捉到文本之间深层次的关联和含义。模型首先在广泛的数据集上进行预训练，学习语言的一般特征和模式，然后可以针对特定的任务或领域进行微调，以提高其在特定应用中的表现。 预训练阶段让LLMs掌握了大量的语言知识和世界知识，而微调阶段则使模型能够在特定任务上达到更高的性能。这种训练方法赋予了LLMs在处理各种语言任务时的灵活性和适应性，能够为用户提供准确、多样化的信息和服务。

：用 PyTorch 轻松微调大语言模型

：用 PyTorch 轻松微调大语言模型 PyTorch发布了torchtune库的alpha版本，用于轻松微调大型语言模型。该库遵循PyTorch的设计原则，提供了组件化和模块化的构建块，以及易于扩展的微调示例，以在各种消费级和专业GPU上微调流行的大型语言模型。 torchtune支持从头到尾的完整微调工作流程，包括数据集和模型检查点的下载和准备、可组合的构建块进行训练自定义、训练过程的日志和指标记录、模型量化、在知名基准上的模型评估以及本地推理。 torchtune致力于易扩展性、让微调大众化、与开源生态系统的互操作性。未来几周将持续为库增加更多模型、特征和微调技术。 torchtune与Hugging Face Hub、PyTorch FSDP、Weights & Biases、EleutherAI的评估工具、ExecuTorch和torchao等开源生态系统的组件深度集成，为用户提供灵活性和控制力。

大语言模型（LLM）微调技术笔记 || #笔记

大语言模型（LLM）微调技术笔记 || #笔记 在预训练后，大模型可以获得解决各种任务的通用能力。然而，越来越多的研究表明，大语言模型的能力可以根据特定目标进一步调整。这就是微调技术，目前主要有两种微调大模型的方法 1：指令微调，目标是增强（或解锁）大语言模型的能力。 2：对齐微调，目标是将大语言模型的行为与人类的价值观或偏好对齐。

类似 ChatGPT 的系统如何工作？|

类似 ChatGPT 的系统如何工作？| 我们试图在下图中解释它是如何工作的。该过程可以分为两部分。 1. 培训。要训练 ChatGPT 模型，有两个阶段： - 预训练：在此阶段，我们在大量互联网数据上训练 GPT 模型（仅解码器变压器）。目标是训练一个模型，该模型可以以类似于互联网数据的语法正确且语义有意义的方式预测给定句子的未来单词。经过预训练阶段后，模型可以完成给定的句子，但无法回答问题。 - 微调：此阶段分为 3 个步骤，将预训练模型转变为问答型 ChatGPT 模型： 1).收集训练数据（问题和答案），并根据这些数据微调预训练模型。该模型将问题作为输入，并学习生成与训练数据类似的答案。 2).收集更多数据（问题、多个答案）并训练奖励模型，将这些答案从最相关到​​最不相关进行排序。 3).使用强化学习（PPO 优化）对模型进行微调，使模型的答案更加准确。 2. 回答提示 第 1 步：用户输入完整的问题“解释分类算法的工作原理”。 步骤 2：问题被发送到内容审核组件。该组件确保问题不违反安全准则并过滤不适当的问题。 步骤 3-4：如果输入通过内容审核，则将其发送到 chatGPT 模型。如果输入未通过内容审核，则直接进入模板响应生成。 步骤 5-6：模型生成响应后，它会再次发送到内容审核组件。这确保了生成的响应是安全的、无害的、公正的等。 步骤 7：如果输入通过内容审核，则会向用户显示。如果输入未通过内容审核，则会进入模板响应生成并向用户显示模板答案。