现在发展到连 OpenAI 也要出开源的大语言模型了。

现在发展到连 OpenAI 也要出开源的大语言模型了。 这是很良性的竞争，让我们多支持下 OpenAI 以外的模型。 anton: Wait what. This is one of those big if true moments for LLMs

OpenAI 即将发布一款全新的开源大型语言模型

OpenAI 即将发布一款全新的开源大型语言模型 The Information 引用了一位了解该计划的人士的话说，OpenAI 正面临着来自开源AI模型的激烈竞争，例如 Meta 的 LLaMA 与它的衍生模型，OpenAI 目前正准备向公众发布一款全新的开源语言模型。报告还称，OpenAI 不太可能发布与 GPT-4 和 GPT-3.5 竞争的模型。

Google 发布开源大语言模型 Gemma

Google 发布开源大语言模型 Gemma 谷歌今天宣布推出 Gemma，这是一个新的轻量级开源大语言模型系列。 现在 Gemma 2B 和 Gemma 7B 两个模型已经可用，每个尺寸都发布了经过预训练和指令调整的变体。谷歌同时提供了多项工具以便快速部署该模型，包括开箱即用的 Colab 实例，可快速部署的容器镜像，以及和其它流行开发工具的集成。 Gemma 模型也能够直接在开发人员笔记本电脑或台式计算机上运行。根据谷歌的，该模型在多个测试中超越的 Llama 2 等开源模型。这些新模型“受到 Gemini 的启发”，使用与其相似的技术，并被许可用于商业和研究用途。 此外，谷歌还发布了一个新的负责任的生成式AI工具包，以提供“使用 Gemma 创建更安全的人工智能应用程序的指导和基本工具”以及调试工具。 , ,

开源DBRX高性能大语言模型

开源DBRX高性能大语言模型 DBRX是Databricks开发的开源通用语言模型，在多项标准基准测试上达到了当前开源语言模型的最高水平。DBRX在多项综合基准测试中表现最好，尤其在编程和数学推理方面优于其他开源模型。与开源模型相比，DBRX在MMLU数据集上的表现也是最好的。 根据测试，DBRX甚至超过了专门用于编程的CodeLLAMA-70B，并且与商业模型GPT-3.5相当甚至略胜。DBRX也与Gemini 1.0 Pro和Mistral Medium等商业模型有竞争力。 DBRX使用混合专家(MoE)架构，使其在训练和推理上更加高效。与类似参数量的非MoE模型相比，DBRX的推理吞吐量提高2-3倍。DBRX的整体训练效率比之前提高了近4倍，这得益于更好的数据、MoE架构以及其他改进。 DBRX已经在Databricks的GenAI产品中进行了集成，客户可以通过API使用该模型。DBRX的训练代码和模型也在Hugging Face平台上开源。DBRX证明了Databricks可以高效地训练世界级的基础语言模型，也为企业训练自己的基础模型提供了能力。DBRX只是Databricks协助客户训练定制语言模型的一个例子。

OpenAI CEO：大语言模型并非越大越好

OpenAI CEO：大语言模型并非越大越好 OpenAI 联合创始人兼 CEO Sam Altman 在麻省理工学院的活动上接受了媒体的采访时表示，大小并非衡量一个模型质量的正确方式，他还把LLM与芯片的发展速度进行了比较。他认为人们过于关注参数数量，也许参数数量肯定会增加。 就如同现在有些手机上运行着功能更强大的芯片，但用户大多数时候并不知道它们的速度有多快，只知道它们能很好地完成工作。 Altman认为，未来模型参数应该向更小的方向发展，或者以多个小模型协作的方式工作，参数数量应该随着时间的推移而减少，或者我们应该让多个模型一起工作。 如今，越来越多的科技公司提出为广大企业的特定需求打造专属大语言模型的战略，为智能聊天和客户支持、专业内容创作、数字模拟等任务构建专属的、特定领域的生成式AI应用。附： 来自：雷锋 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot