北大推出“最强编程助手”：代码大模型 CodeShell-7B 开源

北大推出“最强编程助手”：代码大模型CodeShell-7B开源10月19日消息，北京大学软件工程国家工程研究中心知识计算实验室联合四川天府银行AI实验室，今天正式开源旗下70亿参数的代码大模型CodeShell，号称“同等规模最强代码基座”。官方已经在GitHub开源了模型、相关配套方案及IDE插件，支持商用。有兴趣的可以。项目详情中介绍，CodeShell-7B基于5000亿Tokens进行了冷启动训练，上下文窗口长度为8192，架构设计上融合了StarCoder和Llama两者的核心特性。官方声称，CodeShell的原始训练数据基于自家爬取的Github数据、Stack和StarCoder数据集，以及少量“高质量的中英文数据”，这些预训练数据均经过了“数据判重、数据过滤规则、数据质量模型一系列流水线”。——

继 CodeLlama 开源之后，北大等机构正式开源了性能更强的代码基座大模型 CodeShell-7B 和代码助手 CodeS

继CodeLlama开源之后，北大等机构正式开源了性能更强的代码基座大模型CodeShell-7B和代码助手CodeShell-Chat。不仅如此，团队还把方便易用的IDE插件也开源了！今天，北京大学软件工程国家工程研究中心知识计算实验室联合四川天府银行AI实验室，正式开源70亿参数的代码大模型CodeShell，成为同等规模最强代码基座。与此同时，团队将软件开发代码助手的完整解决方案全部开源。CodeShell模型和插件的相关代码已经在Github发布，并严格遵循Apache2.0开源协议，模型在HuggingFace平台发布，支持商用。

Google推出以Gemini模型为基础的AlphaCode 2编程助手

Google推出以Gemini模型为基础的AlphaCode2编程助手据Google公司称，在Codeforces（一个编程竞赛平台）主办的编程竞赛子集中，AlphaCode2（使用Python、Java、C++和Go等语言编码）的平均表现优于约85%的竞争对手。相比之下，前代AlphaCode在同一子集上的平均成绩仅为50%。"我们选取了最近举行的12场有8000多人参加的竞赛，这些竞赛要么来自第二组，要么来自难度更大的'1+2'组。这使得我们总共解决了77个问题，"AlphaCode2的技术白皮书中写道。"AlphaCode2能在10次尝试内解决43%的问题，接近原版AlphaCode（25%）的两倍。AlphaCode2可以理解涉及"复杂"数学和计算机科学理论的编程难题。DeepMind研究科学家雷米-勒布隆德（RémiLeblond）在一段预先录制的视频中解释说，除其他相当复杂的技术外，AlphaCode2还能进行动态编程。AlphaCode2不仅知道何时正确实施这一策略，还知道在哪里使用它。Leblond说，AlphaCode2不仅知道何时正确实施这一策略，还知道在什么情况下使用这一策略。考虑到需要动态编程的编程问题是最初的AlphaCode的一大绊脚石，这一点值得注意。Leblond说："[AlphaCode2]需要显示一定程度的理解、一定程度的推理和代码解决方案的设计，然后才能实际执行，解决[一个]编码问题。它能在从未见过的问题上完成所有这些工作"。AlphaCode2解决问题的方法是，首先利用"策略模型"系列，为每个问题生成大量代码样本。不符合问题描述的代码样本会被过滤掉，而聚类算法会将"语义相似的代码样本"分组，以避免任何冗余。最后，AlphaCode2中的评分模型会从10个最大的代码样本"集群"中各选出一个最佳候选者，这就是AlphaCode2对问题的答案。现在，所有人工智能模型都有缺陷，AlphaCode2也不例外。根据白皮书，AlphaCode2需要大量的试验和错误，规模化运作的成本太高，而且在很大程度上依赖于能够过滤掉明显不好的代码样本。白皮书推测，迁移到功能更强的Gemini版本（如GeminiUltra）可能会缓解部分问题。DeepMind产品副总裁伊莱-柯林斯（EliCollins）在一次简报中暗示了这种可能性。柯林斯说："最新结果中最让我兴奋的一点是，当程序员与[由Gemini提供支持的AlphaCode2]协作时，通过定义代码所遵循的某些属性，[模型的]性能会变得更好。未来，我们将看到程序员利用高能力的人工智能模型作为协作工具，协助从推理问题到协助实施的整个软件开发过程。"...PC版：https://www.cnbeta.com.tw/articles/soft/1402551.htm手机版：https://m.cnbeta.com.tw/view/1402551.htm