Google的教学视频《》，介绍了大型语言模型（Large Language Models，LLMs）的概念、使用场景、提示调整

Google的教学视频《》，介绍了大型语言模型（Large Language Models，LLMs）的概念、使用场景、提示调整以及Google的Gen AI开发工具。 大型语言模型是深度学习的一个子集，可以预训练并进行特定目的的微调。这些模型经过训练，可以解决诸如文本分类、问题回答、文档摘要、跨行业的文本生成等常见语言问题。然后，可以利用相对较小的领域数据集对这些模型进行定制，以解决零售、金融、娱乐等不同领域的特定问题。 大型语言模型的三个主要特征是：大型、通用性和预训练微调。"大型"既指训练数据集的巨大规模，也指参数的数量。"通用性"意味着这些模型足够解决常见问题。"预训练和微调"是指用大型数据集对大型语言模型进行一般性的预训练，然后用较小的数据集对其进行特定目的的微调。 使用大型语言模型的好处包括：一种模型可用于不同的任务；微调大型语言模型需要的领域训练数据较少；随着数据和参数的增加，大型语言模型的性能也在持续增长。 此外，视频还解释了传统编程、神经网络和生成模型的不同，以及预训练模型的LLM开发与传统的ML开发的区别。 在自然语言处理中，提示设计和提示工程是两个密切相关的概念，这两者都涉及创建清晰、简洁、富有信息的提示。视频中还提到了三种类型的大型语言模型：通用语言模型、指令调整模型和对话调整模型。每种模型都需要以不同的方式进行提示。

教你从零开始构建类似 ChatGPT 的大语言模型。

教你从零开始构建类似 ChatGPT 的大语言模型。 在 GitHub 上发现一本《Build a Large Language Model (From Scratch)》书籍。 作者将带你从头开始构建一个类似 GPT 语言模型，这过程让你了解如何创建、训练和微调大型语言模型 (LLMs)！ 书籍主要分为 8 大章节，如下： 第 1 章：了解大语言模型（LLM）解析 第 2 章：介绍文本数据处理技巧 第 3 章：通过编程实现注意力机制（Attention Mechanisms） 第 4 章：从零开始实现类似 GPT 模型 第 5 章：对未标注数据进行预训练 第 6 章：针对文本分类的模型微调 第 7 章：结合人类反馈进行模型微调 第 8 章：在实践中使用大语言模型 书籍前两章内容已出，剩下的会逐步放出。 |

| #指南 - Transformer是训练语言模型最常用的架构。预训练再微调是训练语言模型的主要方法。

| #指南 - Transformer是训练语言模型最常用的架构。预训练再微调是训练语言模型的主要方法。 - 微调需要收集任务特定的数据集，一般大小在几十MB到几GB。 - 数据预处理非常重要，需要将数据清理成合适的格式，如JSONL。 - 主要的训练超参数包括batch size、epoch数、学习率、梯度累积步数等。 - LoRA是一种减少GPU内存占用的微调方法，QLoRA则通过量化进一步降低了内存需求。 - 学习曲线可以诊断模型的训练情况，判断是否欠拟合、过拟合或拟合良好。 - 模型量化可以降低模型大小，使大模型也能在低显存环境下使用。 - 模型适配器方法可以进行个性化微调而不加载整个模型。 - 模型融合可以组合多个模型的优势得到更优的单模型。 - 合理配置训练超参数以及诊断学习曲线对获得期望的模型至关重要。

Watermarking Makes Language Models Radioactive |

Watermarking Makes Language Models Radioactive | 通过引入水印技术，有效提高了检测大型语言模型(LLM)生成文本被用作训练数据的能力，并且即使在微调数据中仅有少量水印文本存在时，也能以极高的置信度进行检测，这发现为数据版权和隐私保护提供了新的视角和工具。

Meta人工智能主管杨立昆：大型语言模型不会达到人类智能水平

Meta人工智能主管杨立昆：大型语言模型不会达到人类智能水平 Meta 的人工智能主管表示，为 ChatGPT 等生成式人工智能产品提供动力的大型语言模型永远无法实现像人类一样的推理和计划能力，他专注于一种激进的替代方法，即在机器中创造“超级智能”。该公司首席人工智能科学家杨立昆表示，LLM“对逻辑的理解非常有限……不理解物理世界，没有持久的记忆，不能按照任何合理的定义进行推理，也不能进行层次化的规划”。杨立昆说，LLMs的这种进化是肤浅和有限的，只有当人类工程师介入并根据这些信息进行训练时，模型才会学习，而不是像人类那样自然地得出结论。“在大多数人看来，这当然是推理，但主要是利用从大量训练数据中积累的知识。(LLM)尽管有局限性，但非常有用。” （ ）

Mistral Large 大语言模型发布

Mistral Large 大语言模型发布 Mistral Large 是 Mistral 新的尖端文本生成模型。它达到了顶级的推理能力，可用于复杂的多语言推理任务，包括文本理解、转换和代码生成。Mistral Large 在常用基准测试中取得了优异的成绩，使其成为世界上排名第二的可通过 API 普遍使用的模型（仅次于 GPT-4）。该模型也可以通过 Azure 直接调用。 Mistral Large 具有以下特点 - 支持英语、法语、西班牙语、德语和意大利语。 - 32K 标记上下文窗口。 - 精确的指令遵循使开发人员能够设计他们的审核策略。 - 原生支持函数调用。 Mistral 还发布了一个新的优化模型 Mistral Small，针对延迟和成本进行了优化，其性能优于 Mixtral 8x7B，并且延迟较低，这使其成为开源型号和旗舰型号之间的中间解决方案。