为什么连 Google 都开始害怕输给开源？这真的不是杞人忧天。来看看这周的开源三件套吧。

为什么连 Google 都开始害怕输给开源？这真的不是杞人忧天。来看看这周的开源三件套吧。 第一个 StarCoder，来自 huggingface，最先进的代码大语言模型。超过其他开源产品和CloseAI水平。 - 8k 上下文 - 不仅可以编程还可以作为技术助手解答问题 - 只有15B参数，效果却超过了很多大参数模型，见图…

通义千问开源千亿级参数模型

通义千问开源千亿级参数模型 通义千问开源1100亿参数模型Qwen1.5-110B，成为全系列首个千亿级参数开源模型。通义千问1100亿参数模型延续了Qwen1.5系列的Transformer解码器架构，采用了分组查询注意力方法(GQA)，使得模型在推理时更加高效。110B模型支持32K上下文长度，具备优秀的多语言能力，支持中、英、法、德、西、俄、日、韩、越、阿拉伯等多种语言。 来源：雪球7X24资讯

是一个15.5B参数模型，使用80多种编程语言的GitHub代码进行训练。

是一个15.5B参数模型，使用80多种编程语言的GitHub代码进行训练。 该模型采用了多查询注意力和8192个Token的上下文窗口，使用了1万亿个Token的填充中间目标进行训练。可用于生成代码片段，但生成的代码不保证有效、没有漏洞或不包含漏洞 |

IBM发布开源模型Granite Code 在编程任务中超过谷歌模型

IBM发布开源模型Granite Code 在编程任务中超过谷歌模型 IBM 最近发布了一组名为"Granite Code"的开源型，旨在帮助企业完成各种软件开发任务，并在基准测试中表现出色。这些模型不仅过了一些较大的开源竞争对手，而且在编程任务中展现出了强大的性能。Granite Code 型分为基础模型和指导模型，每种模型都有四个不同规模的变种，参数数量从30到340亿不等。这些模型的上下文窗口相对较短，例如，其中一个模型的上下文窗口只有128K，这限制了其在包含特定文档或自己的代码库等提示信息时的有效性。不过，IBM 目正在开发具有更大上下文窗口的版本。基础模型的训练分为两个阶段。第一阶段使用自116种编程语言的3-4万亿个标记进行训练，以建立广泛的理解能力。在第阶段，这些模型使用来自高质量代码和自然语言数据的5000亿个标记进行进一步训练，以强逻辑推理能力。指导模型是通过对基础模型进行改进而创建的，改进方法包括筛选提交记录、自然语言指令记录和合成生成的代码数据集。在包括代码合成、调试、解释、编辑、学推理等多个基准测试中，Granite Code 模型在各个规模和基准测试中表现出色，常常超过开源模型两倍以上的大小。例如，在 HumanEvalPack 基准测试中，Granite-8B-Code-Base 的平均得为33.2%，超过Google最佳表现的 CodeGemma-8B 模型的21.3%，尽管 Granite-8-Code-Base 所使用的标记数量明显较少。这些模型的大部分训练数据来自一个清理过的 GitHub 集 StarCoderData 和其他公开可用的代码库。这一点非常重要，因为目前有一些关于其他代码型（包括 GitHub 本身）涉嫌侵犯训练数据版权的诉讼。IBM 计划定期更新这些模型，很快将推出具有更大上下文窗口以及针对 Python 和 Java 的专业化版本。这些模型已经在 Hugging FaceGitHub 上可用，并且也是 IBM 的 watsonx 企业平台的一部分。IBM 的 Granite Code 是一专门用于编程的开源模型，它们在基准测试中表现优异，同时具有较少的参数数量。些模型的特点包括灵活的规模选择、基于广泛训练数据的逻辑推理能力和良好的性能未来，IBM 还计划不断改进和更新这些模型，以满足不同编程任务的需求。产品入口: ... PC版： 手机版：

通义千问70亿参数模型上线魔搭社区，开源免费可商用

通义千问70亿参数模型上线魔搭社区，开源免费可商用 AI模型社区魔搭ModelScope上架两款开源模型和，阿里云确认其为通义千问70亿参数通用模型和对话模型，两款模型均开源、免费、可商用。在多个权威测评中，通义千问7B模型取得了远超国内外同等尺寸模型的效果，成为当下业界最强的中英文7B开源模型。 Qwen-7B是支持中、英等多种语言的基座模型，在超过2万亿token数据集上训练，上下文窗口长度达到8k。Qwen-7B-Chat是基于基座模型的中英文对话模型，已实现与人类认知对齐。开源代码支持对Qwen-7B和Qwen-7B-Chat的量化，支持用户在消费级显卡上部署和运行模型。 来自：雷锋 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot

Databricks 发布最大开源大语言模型 DBRX

Databricks 发布最大开源大语言模型 DBRX 美国AI初创公司Databricks周三公布，该公司开发的通用大语言模型 DBRX将开源。DBRX在语言理解、编程、数学和逻辑方面轻松击败了Meta的Llama 2-70B、法国MixtralAI公司的Mixtral 和 马斯克旗下xAI开发的Grok-1这类当前流行的开源模型。DBRX 在 30多种不同的最先进模型(SOTA) 基准指标测试中，均优于前述三种大模型。 DBRX 使用混合专家架构(MoE) ，拥有16个专家模型，共1320亿参数。该模型使用 3072 英伟达 H100 GPU在12万亿个token的数据集上进行训练，最大支持32k 的上下文窗口。同时，Databrick 也开源了该模型经过指令微调（instruct finetune）的版本。 ,