北大推出“最强编程助手”:代码大模型 CodeShell-7B 开源

北大推出“最强编程助手”:代码大模型CodeShell-7B开源10月19日消息,北京大学软件工程国家工程研究中心知识计算实验室联合四川天府银行AI实验室,今天正式开源旗下70亿参数的代码大模型CodeShell,号称“同等规模最强代码基座”。官方已经在GitHub开源了模型、相关配套方案及IDE插件,支持商用。有兴趣的可以。项目详情中介绍,CodeShell-7B基于5000亿Tokens进行了冷启动训练,上下文窗口长度为8192,架构设计上融合了StarCoder和Llama两者的核心特性。官方声称,CodeShell的原始训练数据基于自家爬取的Github数据、Stack和StarCoder数据集,以及少量“高质量的中英文数据”,这些预训练数据均经过了“数据判重、数据过滤规则、数据质量模型一系列流水线”。——

相关推荐

封面图片

继 CodeLlama 开源之后,北大等机构正式开源了性能更强的代码基座大模型 CodeShell-7B 和代码助手 CodeS

继CodeLlama开源之后,北大等机构正式开源了性能更强的代码基座大模型CodeShell-7B和代码助手CodeShell-Chat。不仅如此,团队还把方便易用的IDE插件也开源了!今天,北京大学软件工程国家工程研究中心知识计算实验室联合四川天府银行AI实验室,正式开源70亿参数的代码大模型CodeShell,成为同等规模最强代码基座。与此同时,团队将软件开发代码助手的完整解决方案全部开源。CodeShell模型和插件的相关代码已经在Github发布,并严格遵循Apache2.0开源协议,模型在HuggingFace平台发布,支持商用。

封面图片

IBM 开源 Granite 代码模型

IBM开源Granite代码模型IBM开源了它用于辅助编程的代码模型,源代码托管在GitHub上,采用ApacheLicense2.0许可证,允许商业使用。与其它AI模型不同的是,IBM致力于避免模型的版权问题,使用了开放数据集如GitHubCodeClean、Starcoder、开放代码库和GitHubissues等进行训练。Granite是decoder-only代码模型,可用于修bug、解释代码和生成代码文档,使用了116种编程语言的代码进行训练,参数规模30亿、80亿、200亿和340亿。IBM称测试显示Granite在开源代码模型中表现最出色。来源,频道:@kejiqu群组:@kejiquchat

封面图片

腾讯混元文生图大模型开源训练代码

腾讯混元文生图大模型开源训练代码今日,腾讯混元文生图大模型(以下简称为混元DiT模型)宣布全面开源训练代码,同时对外开源混元DiTLoRA小规模数据集训练方案与可控制插件ControlNet。据腾讯混元方面介绍,这意味着,全球的企业与个人开发者、创作者们,都可以基于混元DiT训练代码进行精调,创造更具个性化的专属模型,进行更大自由度的创作;或基于混元DiT的代码进行修改和优化,基于此构建自身应用,推动技术的快速迭代和创新。(证券时报)

封面图片

北大推出“最强编程助手”:代码大模型CodeShell-7B开源https://www.bannedbook.org/bnews

封面图片

IBM发布开源模型Granite Code 在编程任务中超过谷歌模型

IBM发布开源模型GraniteCode在编程任务中超过谷歌模型IBM最近发布了一组名为"GraniteCode"的开源型,旨在帮助企业完成各种软件开发任务,并在基准测试中表现出色。这些模型不仅过了一些较大的开源竞争对手,而且在编程任务中展现出了强大的性能。GraniteCode型分为基础模型和指导模型,每种模型都有四个不同规模的变种,参数数量从30到340亿不等。这些模型的上下文窗口相对较短,例如,其中一个模型的上下文窗口只有128K,这限制了其在包含特定文档或自己的代码库等提示信息时的有效性。不过,IBM目正在开发具有更大上下文窗口的版本。基础模型的训练分为两个阶段。第一阶段使用自116种编程语言的3-4万亿个标记进行训练,以建立广泛的理解能力。在第阶段,这些模型使用来自高质量代码和自然语言数据的5000亿个标记进行进一步训练,以强逻辑推理能力。指导模型是通过对基础模型进行改进而创建的,改进方法包括筛选提交记录、自然语言指令记录和合成生成的代码数据集。在包括代码合成、调试、解释、编辑、学推理等多个基准测试中,GraniteCode模型在各个规模和基准测试中表现出色,常常超过开源模型两倍以上的大小。例如,在HumanEvalPack基准测试中,Granite-8B-Code-Base的平均得为33.2%,超过Google最佳表现的CodeGemma-8B模型的21.3%,尽管Granite-8-Code-Base所使用的标记数量明显较少。这些模型的大部分训练数据来自一个清理过的GitHub集StarCoderData和其他公开可用的代码库。这一点非常重要,因为目前有一些关于其他代码型(包括GitHub本身)涉嫌侵犯训练数据版权的诉讼。IBM计划定期更新这些模型,很快将推出具有更大上下文窗口以及针对Python和Java的专业化版本。这些模型已经在HuggingFaceGitHub上可用,并且也是IBM的watsonx企业平台的一部分。IBM的GraniteCode是一专门用于编程的开源模型,它们在基准测试中表现优异,同时具有较少的参数数量。些模型的特点包括灵活的规模选择、基于广泛训练数据的逻辑推理能力和良好的性能未来,IBM还计划不断改进和更新这些模型,以满足不同编程任务的需求。产品入口:https://top.aibase.com/tool/granite-code-models...PC版:https://www.cnbeta.com.tw/articles/soft/1430826.htm手机版:https://m.cnbeta.com.tw/view/1430826.htm

封面图片

Hugging Face 和 ServiceNow 发布免费代码生成模型 StarCoder

HuggingFace和ServiceNow发布免费代码生成模型StarCoderAI创业公司HuggingFace和ServiceNow发布了免费的代码生成模型。类似DeepMind的AlphaCode、亚马逊的CodeWhisperer和GitHub的Copilot(基于OpenAI的Codex),StarCoder使用ApacheLicense2.0许可证,允许任何人免费使用,但严格意义上不是开源模型,它禁止用户使用该模型生成或传播恶意代码。StarCoder使用了开源代码数据集TheStack训练,有150亿参数。其数据集包括了逾80种不同编程语言和来自githubissues和commits的文本。#AI来源,https://github.com/bigcode-project/starcoder来自:雷锋频道:@kejiqu群组:@kejiquchat投稿:@kejiqubot

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人