Hugging Face 和 ServiceNow 发布免费代码生成模型 StarCoder

Hugging Face 和 ServiceNow 发布免费代码生成模型 StarCoder AI 创业公司 Hugging Face 和 ServiceNow 发布了免费的代码生成模型 。类似 DeepMind 的AlphaCode、亚马逊的 CodeWhisperer 和 GitHub 的 Copilot(基于 OpenAI 的 Codex)，StarCoder 使用 Apache License 2.0 许可证，允许任何人免费使用，但严格意义上不是开源模型，它禁止用户使用该模型生成或传播恶意代码。StarCoder 使用了开源代码数据集 The Stack 训练，有 150 亿参数。其数据集包括了逾 80 种不同编程语言和来自 github issues 和 commits 的文本。#AI 来源 ， 来自：雷锋 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot

北大推出“最强编程助手”：代码大模型 CodeShell-7B 开源

北大推出“最强编程助手”：代码大模型 CodeShell-7B 开源 10 月 19 日消息，北京大学软件工程国家工程研究中心知识计算实验室联合四川天府银行 AI 实验室，今天正式开源旗下 70 亿参数的代码大模型 CodeShell，号称“同等规模最强代码基座”。 官方已经在 GitHub 开源了模型、相关配套方案及 IDE 插件，支持商用。有兴趣的可以。 项目详情中介绍，CodeShell-7B 基于 5000 亿 Tokens 进行了冷启动训练，上下文窗口长度为 8192，架构设计上融合了 StarCoder 和 Llama 两者的核心特性。 官方声称，CodeShell 的原始训练数据基于自家爬取的 Github 数据、Stack 和 StarCoder 数据集，以及少量“高质量的中英文数据”，这些预训练数据均经过了“数据判重、数据过滤规则、数据质量模型一系列流水线”。

英伟达联合推出 StarCoder2 模型：生成、补全、调试代码一气呵成

英伟达联合推出 StarCoder2 模型：生成、补全、调试代码一气呵成 英伟达联合 Hugging Face 和 ServiceNow，发布了名为的 LLMs 系列模型，希望成为代码生成领域的新标准，具备性能、透明度和成本效益等诸多优势。 该系列模型包括一个由 ServiceNow 训练的 30 亿参数模型、一个由 Hugging Face 训练的 70 亿参数模型和一个由英伟达训练的 150 亿参数模型。这是通过使用名为 Stack v2 的新代码数据集实现的，该数据集比 Stack v1 大七倍；新的训练技术也意味着该模型可以更好地理解 COBOL 等低资源编程语言、数学和程序源代码讨论。 StarCoder2 经过 619 门编程语言培训，可以执行源代码生成、工作流生成、文本摘要等专业任务。英伟达表示，开发人员可以利用它进行代码补全、高级代码总结、代码片段检索等，从而提高工作效率。 StarCoder2 采用 BigCode Open RAIL-M 许可证，允许免版税访问和使用。 频道：@kejiqu 群组：@kejiquchat

：开源代码语言模型，包含了英语和中文两种语言版本的代码生成模型。

：开源代码语言模型，包含了英语和中文两种语言版本的代码生成模型。 模型经过大规模训练，训练数据中87%为代码数据，13%为自然语言数据。模型大小提供1B、5.7B、6.7B、33B等多个版本，满足不同需求。 模型在人工评估、多语言程序、MBPP、DS-1000等多个编程基准上均表现出色，在项目级代码补全、代码插入等任务有很好的效果。

IBM 开源 Granite 代码模型

IBM 开源 Granite 代码模型 IBM 开源了它用于辅助编程的代码模型，源代码托管在 GitHub 上，采用 Apache License 2.0 许可证，允许商业使用。与其它 AI 模型不同的是，IBM 致力于避免模型的版权问题，使用了开放数据集如 GitHub Code Clean、Starcoder、开放代码库和 GitHub issues 等进行训练。Granite 是 decoder-only 代码模型，可用于修 bug、解释代码和生成代码文档，使用了 116 种编程语言的代码进行训练，参数规模 30 亿、80 亿、200 亿和 340 亿。IBM 称测试显示 Granite 在开源代码模型中表现最出色。来源 ， 频道：@kejiqu 群组：@kejiquchat

昆仑万维开源了自己的Skywork大模型 | 本次开源的模型有Skywork-13B-Base模型、Skywork-13B-Ch

昆仑万维开源了自己的Skywork大模型 | 本次开源的模型有Skywork-13B-Base模型、Skywork-13B-Chat模型、Skywork-13B-Math模型和Skywork-13B-MM模型，以及每个模型的量化版模型，以支持用户在消费级显卡进行部署和推理。 Skywork开源项目的特点有： Skywork-13B-Base模型在高质量清洗过滤的3.2万亿个多语言（主要是中文和英文）和代码数据上进行预训练，它在多种评测和各种基准测试上都展现了同等规模模型的最佳效果。 Skywork-13B-Chat模型具备强大的对话能力，我们在文创领域进行了进一步的针对性增强。我们通过构建一万多条高质量指令数据集，在10个文创任务上进行了针对性微调，使我们的模型在文创任务中能够接近ChatGPT的效果。此外，我们开源了针对这10个文创任务上的大约500条样本组成的benchmark。 Skywork-13B-Math模型经过专门的数学能力强化训练。在13B参数规模下，我们的模型在GSM8K评测上得分第一，同时在MATH数据集以及CMATH上也表现优异，处于13B模型顶尖水平。 Skywork-13B-MM多模态模型支持用户输入图片信息进行问答，对话等任务。 Skywork/Skypile-150B数据集是根据我们经过精心过滤的数据处理流程从中文网页中筛选出的高质量数据。本次开源的数据集大小约为600GB，总的token数量约为150B，是目前开源最大中文数据集。 除此之外，我们还公开了训练Skywork-13B模型中使用的评估方法、数据配比研究和训练基础设施调优方案等信息。我们希望这些开源内容能够进一步启发社区对于大型模型预训练的认知，并推动人工智能通用智能（AGI）的实现。