Databricks 5000名员工原创了15000个比GPT质量更好的数据集用于Dolly 2.0，并开源

Databricks 5000名员工原创了15000个比GPT质量更好的数据集用于Dolly 2.0，并开源 Databricks：我们正在开源整个 ，包括训练代码、数据集和模型权重，所有这些都适合商业用途。这意味着任何组织都可以创建、拥有和定制可以与人交谈的强大 LLM，而无需支付 API 访问费用或与第三方共享数据。 如何开始？ 要下载 Dolly 2.0 模型砝码，只需访问页面并访问上的 Dolly 存储库以下载 .并加入我们的，了解如何为您的组织利用LLM。来源 ， 来自：雷锋 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot

：赋予大型预训练语言模型遵循复杂指令的能力

：赋予大型预训练语言模型遵循复杂指令的能力 遵循指令的能力对大部分开源大语言模型来说是一个独特的挑战。该项目提出的解决方案是使用LLM本身来生成指令数据。 研究人员开发的Evol-Instruct方法随机选择不同类型的进化操作来将简单指令升级为更复杂的指令，或者创建全新的指令。然后使用进化的指令数据来微调LLM，从而创建WizardLM。

Databricks 发布最大开源大语言模型 DBRX

Databricks 发布最大开源大语言模型 DBRX 美国AI初创公司Databricks周三公布，该公司开发的通用大语言模型 DBRX将开源。DBRX在语言理解、编程、数学和逻辑方面轻松击败了Meta的Llama 2-70B、法国MixtralAI公司的Mixtral 和 马斯克旗下xAI开发的Grok-1这类当前流行的开源模型。DBRX 在 30多种不同的最先进模型(SOTA) 基准指标测试中，均优于前述三种大模型。 DBRX 使用混合专家架构(MoE) ，拥有16个专家模型，共1320亿参数。该模型使用 3072 英伟达 H100 GPU在12万亿个token的数据集上进行训练，最大支持32k 的上下文窗口。同时，Databrick 也开源了该模型经过指令微调（instruct finetune）的版本。 ,

开源DBRX高性能大语言模型

开源DBRX高性能大语言模型 DBRX是Databricks开发的开源通用语言模型，在多项标准基准测试上达到了当前开源语言模型的最高水平。DBRX在多项综合基准测试中表现最好，尤其在编程和数学推理方面优于其他开源模型。与开源模型相比，DBRX在MMLU数据集上的表现也是最好的。 根据测试，DBRX甚至超过了专门用于编程的CodeLLAMA-70B，并且与商业模型GPT-3.5相当甚至略胜。DBRX也与Gemini 1.0 Pro和Mistral Medium等商业模型有竞争力。 DBRX使用混合专家(MoE)架构，使其在训练和推理上更加高效。与类似参数量的非MoE模型相比，DBRX的推理吞吐量提高2-3倍。DBRX的整体训练效率比之前提高了近4倍，这得益于更好的数据、MoE架构以及其他改进。 DBRX已经在Databricks的GenAI产品中进行了集成，客户可以通过API使用该模型。DBRX的训练代码和模型也在Hugging Face平台上开源。DBRX证明了Databricks可以高效地训练世界级的基础语言模型，也为企业训练自己的基础模型提供了能力。DBRX只是Databricks协助客户训练定制语言模型的一个例子。

：用 PyTorch 轻松微调大语言模型

：用 PyTorch 轻松微调大语言模型 PyTorch发布了torchtune库的alpha版本，用于轻松微调大型语言模型。该库遵循PyTorch的设计原则，提供了组件化和模块化的构建块，以及易于扩展的微调示例，以在各种消费级和专业GPU上微调流行的大型语言模型。 torchtune支持从头到尾的完整微调工作流程，包括数据集和模型检查点的下载和准备、可组合的构建块进行训练自定义、训练过程的日志和指标记录、模型量化、在知名基准上的模型评估以及本地推理。 torchtune致力于易扩展性、让微调大众化、与开源生态系统的互操作性。未来几周将持续为库增加更多模型、特征和微调技术。 torchtune与Hugging Face Hub、PyTorch FSDP、Weights & Biases、EleutherAI的评估工具、ExecuTorch和torchao等开源生态系统的组件深度集成，为用户提供灵活性和控制力。

Google 发布开源大语言模型 Gemma

Google 发布开源大语言模型 Gemma 谷歌今天宣布推出 Gemma，这是一个新的轻量级开源大语言模型系列。 现在 Gemma 2B 和 Gemma 7B 两个模型已经可用，每个尺寸都发布了经过预训练和指令调整的变体。谷歌同时提供了多项工具以便快速部署该模型，包括开箱即用的 Colab 实例，可快速部署的容器镜像，以及和其它流行开发工具的集成。 Gemma 模型也能够直接在开发人员笔记本电脑或台式计算机上运行。根据谷歌的，该模型在多个测试中超越的 Llama 2 等开源模型。这些新模型“受到 Gemini 的启发”，使用与其相似的技术，并被许可用于商业和研究用途。 此外，谷歌还发布了一个新的负责任的生成式AI工具包，以提供“使用 Gemma 创建更安全的人工智能应用程序的指导和基本工具”以及调试工具。 , ,