百度在 GitHub 开源了一整套 NLP 技术解决方案，通过结合 PaddleNLP 和 RocketQA 两个 GitHub

百度在GitHub开源了一整套NLP技术解决方案，通过结合PaddleNLP和RocketQA两个GitHub项目，快速实现检索、问答、情感分析等功能。以检索方案为例，具备了低门槛、高精度等特点，数据+代码+模型均已开源。开发者无需标注数据，也能够轻松构建一个检索系统。而问答系统，则可以采用来实现，作为首个开源的中文端到端问答模型，该项目预置了11种模型，让开发者仅需2行命令，即可搭建自己的问答系统。未来几天，他们将开放几场，主要讲解问答系统的技术原理、采用无监督数据快速搭建检索系统、观点抽取与情感分类模型介绍等内容。直播时间：12.28-12.30，每晚20:15-21:30

苹果发布 OpenELM 大语言模型，基于开源训练和推理框架的语言模型

苹果发布OpenELM大语言模型，基于开源训练和推理框架的语言模型在WWDC24之前，苹果在HuggingFace平台上发布了一个“具有开源训练和推理框架的高效语言模型”，名为OpenELM。苹果这次发布了完整的框架，包括数据准备、训练、微调和评估程序，以及多个预训练的checkpoint和训练日志，以促进开源研究。其源码及预训练的模型权重和训练配方可在苹果Github库中获取。

一个比较不错的中文大模型解决方案，代码完全开源，无商用限制。

一个比较不错的中文大模型解决方案，代码完全开源，无商用限制。近日，Colossal-AI团队充分利用了LLaMA-2的基础能力，采用高效的训练方法，仅使用约8.5Btoken数据、15小时、数千元的训练成本，成功构建了性能卓越的中文LLaMA-2，在多个评测榜单性能优越。相较于原始LLaMA-2，在成功提升中文能力的基础上，进一步提升其英文能力，性能可与开源社区同规模预训练SOTA模型媲美。该项目在GitHub完全开源了全套训练流程、代码及权重，无商用限制，并提供了一个完整的评估体系框架ColossalEval，以实现低成本的可复现性。不仅如此，相关方案还可迁移应用到任意垂类领域，以及从头预训练大模型的低成本构建。

Databricks 发布开源指令微调大语言模型 Dolly 2.0

Databricks发布开源指令微调大语言模型Dolly2.0Databricks公司两周前发布了它的指令遵循（instruction-following）大语言模型Dolly，本周三它发布了——可授权商业使用的开源指令微调大语言模型。Dolly2.0有120亿参数，基于EleutherAIpythia模型家族，使用高质量的人类生成的指令遵循数据集进行微调。Databricks开源了Dolly2.0的整个系统，包括训练代码、数据集和模型权重，全都适合商业使用。而目前开源社区流行的LLaMA衍生模型使用的是非商业使用授权。来源，来自：雷锋频道：@kejiqu群组：@kejiquchat投稿：@kejiqubot

北大推出“最强编程助手”：代码大模型 CodeShell-7B 开源

北大推出“最强编程助手”：代码大模型CodeShell-7B开源10月19日消息，北京大学软件工程国家工程研究中心知识计算实验室联合四川天府银行AI实验室，今天正式开源旗下70亿参数的代码大模型CodeShell，号称“同等规模最强代码基座”。官方已经在GitHub开源了模型、相关配套方案及IDE插件，支持商用。有兴趣的可以。项目详情中介绍，CodeShell-7B基于5000亿Tokens进行了冷启动训练，上下文窗口长度为8192，架构设计上融合了StarCoder和Llama两者的核心特性。官方声称，CodeShell的原始训练数据基于自家爬取的Github数据、Stack和StarCoder数据集，以及少量“高质量的中英文数据”，这些预训练数据均经过了“数据判重、数据过滤规则、数据质量模型一系列流水线”。——

IBM 开源 Granite 代码模型

IBM开源Granite代码模型IBM开源了它用于辅助编程的代码模型，源代码托管在GitHub上，采用ApacheLicense2.0许可证，允许商业使用。与其它AI模型不同的是，IBM致力于避免模型的版权问题，使用了开放数据集如GitHubCodeClean、Starcoder、开放代码库和GitHubissues等进行训练。Granite是decoder-only代码模型，可用于修bug、解释代码和生成代码文档，使用了116种编程语言的代码进行训练，参数规模30亿、80亿、200亿和340亿。IBM称测试显示Granite在开源代码模型中表现最出色。来源，频道：@kejiqu群组：@kejiquchat