Databricks 发布开源指令微调大语言模型 Dolly 2.0

Databricks发布开源指令微调大语言模型Dolly2.0Databricks公司两周前发布了它的指令遵循（instruction-following）大语言模型Dolly，本周三它发布了——可授权商业使用的开源指令微调大语言模型。Dolly2.0有120亿参数，基于EleutherAIpythia模型家族，使用高质量的人类生成的指令遵循数据集进行微调。Databricks开源了Dolly2.0的整个系统，包括训练代码、数据集和模型权重，全都适合商业使用。而目前开源社区流行的LLaMA衍生模型使用的是非商业使用授权。来源，来自：雷锋频道：@kejiqu群组：@kejiquchat投稿：@kejiqubot

苹果发布 OpenELM 大语言模型，基于开源训练和推理框架的语言模型

苹果发布OpenELM大语言模型，基于开源训练和推理框架的语言模型在WWDC24之前，苹果在HuggingFace平台上发布了一个“具有开源训练和推理框架的高效语言模型”，名为OpenELM。苹果这次发布了完整的框架，包括数据准备、训练、微调和评估程序，以及多个预训练的checkpoint和训练日志，以促进开源研究。其源码及预训练的模型权重和训练配方可在苹果Github库中获取。

torchtune：用 PyTorch 轻松微调大语言模型

：用PyTorch轻松微调大语言模型PyTorch发布了torchtune库的alpha版本，用于轻松微调大型语言模型。该库遵循PyTorch的设计原则，提供了组件化和模块化的构建块，以及易于扩展的微调示例，以在各种消费级和专业GPU上微调流行的大型语言模型。torchtune支持从头到尾的完整微调工作流程，包括数据集和模型检查点的下载和准备、可组合的构建块进行训练自定义、训练过程的日志和指标记录、模型量化、在知名基准上的模型评估以及本地推理。torchtune致力于易扩展性、让微调大众化、与开源生态系统的互操作性。未来几周将持续为库增加更多模型、特征和微调技术。torchtune与HuggingFaceHub、PyTorchFSDP、Weights&Biases、EleutherAI的评估工具、ExecuTorch和torchao等开源生态系统的组件深度集成，为用户提供灵活性和控制力。

Google的教学视频《Introduction to Large Language Models | 大语言模型介绍》，介绍了

Google的教学视频《》，介绍了大型语言模型（LargeLanguageModels，LLMs）的概念、使用场景、提示调整以及Google的GenAI开发工具。大型语言模型是深度学习的一个子集，可以预训练并进行特定目的的微调。这些模型经过训练，可以解决诸如文本分类、问题回答、文档摘要、跨行业的文本生成等常见语言问题。然后，可以利用相对较小的领域数据集对这些模型进行定制，以解决零售、金融、娱乐等不同领域的特定问题。大型语言模型的三个主要特征是：大型、通用性和预训练微调。"大型"既指训练数据集的巨大规模，也指参数的数量。"通用性"意味着这些模型足够解决常见问题。"预训练和微调"是指用大型数据集对大型语言模型进行一般性的预训练，然后用较小的数据集对其进行特定目的的微调。使用大型语言模型的好处包括：一种模型可用于不同的任务；微调大型语言模型需要的领域训练数据较少；随着数据和参数的增加，大型语言模型的性能也在持续增长。此外，视频还解释了传统编程、神经网络和生成模型的不同，以及预训练模型的LLM开发与传统的ML开发的区别。在自然语言处理中，提示设计和提示工程是两个密切相关的概念，这两者都涉及创建清晰、简洁、富有信息的提示。视频中还提到了三种类型的大型语言模型：通用语言模型、指令调整模型和对话调整模型。每种模型都需要以不同的方式进行提示。

Pile-T5：更好的通用预训练语言模型

：更好的通用预训练语言模型Pile-T5通过在Pile数据集上预训练T5模型，并使用LLAMA分词器，改进了原始T5的编码能力。Pile-T5总体上明显优于原始T5v1.1模型，尤其在代码任务上的提升更大。这主要得益于Pile中包含代码数据以及LLAMA分词器包含编程常用字符。在多个下游任务的微调中，Pile-T5不同规模的模型表现优异，如在SuperGLUE、CodeXGLUE、MMLU和BigBenchHard上的结果。尽管与专门微调的Flan-T5相比略逊色，但Pile-T5仍优于T5v1.1，表明其预训练质量更高，更适合多任务微调。公开了Pile-T5模型在不同训练步长的中间检查点，这有利于模型演化和解释性研究。Pile-T5Large模型在某些任务上的表现不佳，可能存在bug，用户需谨慎使用。

教你从零开始构建类似 ChatGPT 的大语言模型。

教你从零开始构建类似ChatGPT的大语言模型。在GitHub上发现一本《BuildaLargeLanguageModel(FromScratch)》书籍。作者将带你从头开始构建一个类似GPT语言模型，这过程让你了解如何创建、训练和微调大型语言模型(LLMs)！书籍主要分为8大章节，如下：第1章：了解大语言模型（LLM）解析第2章：介绍文本数据处理技巧第3章：通过编程实现注意力机制（AttentionMechanisms）第4章：从零开始实现类似GPT模型第5章：对未标注数据进行预训练第6章：针对文本分类的模型微调第7章：结合人类反馈进行模型微调第8章：在实践中使用大语言模型书籍前两章内容已出，剩下的会逐步放出。