北大推出“最强编程助手”:代码大模型 CodeShell-7B 开源
北大推出“最强编程助手”:代码大模型CodeShell-7B开源10月19日消息,北京大学软件工程国家工程研究中心知识计算实验室联合四川天府银行AI实验室,今天正式开源旗下70亿参数的代码大模型CodeShell,号称“同等规模最强代码基座”。官方已经在GitHub开源了模型、相关配套方案及IDE插件,支持商用。有兴趣的可以。项目详情中介绍,CodeShell-7B基于5000亿Tokens进行了冷启动训练,上下文窗口长度为8192,架构设计上融合了StarCoder和Llama两者的核心特性。官方声称,CodeShell的原始训练数据基于自家爬取的Github数据、Stack和StarCoder数据集,以及少量“高质量的中英文数据”,这些预训练数据均经过了“数据判重、数据过滤规则、数据质量模型一系列流水线”。——