北大推出“最强编程助手”：代码大模型 CodeShell-7B 开源

北大推出“最强编程助手”：代码大模型CodeShell-7B开源10月19日消息，北京大学软件工程国家工程研究中心知识计算实验室联合四川天府银行AI实验室，今天正式开源旗下70亿参数的代码大模型CodeShell，号称“同等规模最强代码基座”。官方已经在GitHub开源了模型、相关配套方案及IDE插件，支持商用。有兴趣的可以。项目详情中介绍，CodeShell-7B基于5000亿Tokens进行了冷启动训练，上下文窗口长度为8192，架构设计上融合了StarCoder和Llama两者的核心特性。官方声称，CodeShell的原始训练数据基于自家爬取的Github数据、Stack和StarCoder数据集，以及少量“高质量的中英文数据”，这些预训练数据均经过了“数据判重、数据过滤规则、数据质量模型一系列流水线”。——

腾讯混元文生图大模型开源训练代码

腾讯混元文生图大模型开源训练代码今日，腾讯混元文生图大模型（以下简称为混元DiT模型）宣布全面开源训练代码，同时对外开源混元DiTLoRA小规模数据集训练方案与可控制插件ControlNet。据腾讯混元方面介绍，这意味着，全球的企业与个人开发者、创作者们，都可以基于混元DiT训练代码进行精调，创造更具个性化的专属模型，进行更大自由度的创作；或基于混元DiT的代码进行修改和优化，基于此构建自身应用，推动技术的快速迭代和创新。(证券时报)

IBM 开源 Granite 代码模型

IBM开源Granite代码模型IBM开源了它用于辅助编程的代码模型，源代码托管在GitHub上，采用ApacheLicense2.0许可证，允许商业使用。与其它AI模型不同的是，IBM致力于避免模型的版权问题，使用了开放数据集如GitHubCodeClean、Starcoder、开放代码库和GitHubissues等进行训练。Granite是decoder-only代码模型，可用于修bug、解释代码和生成代码文档，使用了116种编程语言的代码进行训练，参数规模30亿、80亿、200亿和340亿。IBM称测试显示Granite在开源代码模型中表现最出色。来源，频道：@kejiqu群组：@kejiquchat

复旦大学开源国内首个类ChatGPT模型MOSS，支持插件增强

复旦大学开源国内首个类ChatGPT模型MOSS，支持插件增强4月21日消息，国内首个类ChatGPT模型MOSS已正式开源。该模型由复旦大学自然语言处理实验室开发，名字致敬于《流浪地球2》中的量子机器人MOSS。此前，在测试时曾发布在公开平台，但由于瞬间压力过大，导致服务器过载，学术团队也表示了道歉和承诺进一步优化。目前，MOSS模型已上线开源，相关代码、数据、模型参数已在Github和HuggingFace等平台开放，供科研人员下载。https://github.com/OpenLMLab/MOSShttps://moss.fastnlp.top/来自：雷锋频道：@kejiqu群组：@kejiquchat投稿：@kejiqubot

Databricks开源DBRX高性能大语言模型

开源DBRX高性能大语言模型DBRX是Databricks开发的开源通用语言模型，在多项标准基准测试上达到了当前开源语言模型的最高水平。DBRX在多项综合基准测试中表现最好，尤其在编程和数学推理方面优于其他开源模型。与开源模型相比，DBRX在MMLU数据集上的表现也是最好的。根据测试，DBRX甚至超过了专门用于编程的CodeLLAMA-70B，并且与商业模型GPT-3.5相当甚至略胜。DBRX也与Gemini1.0Pro和MistralMedium等商业模型有竞争力。DBRX使用混合专家(MoE)架构，使其在训练和推理上更加高效。与类似参数量的非MoE模型相比，DBRX的推理吞吐量提高2-3倍。DBRX的整体训练效率比之前提高了近4倍，这得益于更好的数据、MoE架构以及其他改进。DBRX已经在Databricks的GenAI产品中进行了集成，客户可以通过API使用该模型。DBRX的训练代码和模型也在HuggingFace平台上开源。DBRX证明了Databricks可以高效地训练世界级的基础语言模型，也为企业训练自己的基础模型提供了能力。DBRX只是Databricks协助客户训练定制语言模型的一个例子。

通义千问70亿参数模型上线魔搭社区，开源免费可商用

通义千问70亿参数模型上线魔搭社区，开源免费可商用AI模型社区魔搭ModelScope上架两款开源模型和，阿里云确认其为通义千问70亿参数通用模型和对话模型，两款模型均开源、免费、可商用。在多个权威测评中，通义千问7B模型取得了远超国内外同等尺寸模型的效果，成为当下业界最强的中英文7B开源模型。Qwen-7B是支持中、英等多种语言的基座模型，在超过2万亿token数据集上训练，上下文窗口长度达到8k。Qwen-7B-Chat是基于基座模型的中英文对话模型，已实现与人类认知对齐。开源代码支持对Qwen-7B和Qwen-7B-Chat的量化，支持用户在消费级显卡上部署和运行模型。https://modelscope.cn/models/qwen/Qwen-7B/summaryhttps://modelscope.cn/models/qwen/Qwen-7B-Chat/summaryhttps://github.com/QwenLM/Qwen-7B来自：雷锋频道：@kejiqu群组：@kejiquchat投稿：@kejiqubot