苹果开源大模型OpenELM来了，可能用在下一代iPhone上

苹果开源大模型OpenELM来了，可能用在下一代iPhone上苹果最近在AI代码社区HuggingFace上发布了OpenELM大模型。该模型是一系列开源大型语言模型，具有不同的参数大小，可在端侧设备上运行。据了解，该系列模型包含4个不同参数版本，分别为2.7亿、4.5亿、11亿和30亿。由于参数较小，这些模型可以在端侧设备上独立运行，而无需连接云端服务器。总体而言，该系列包括4个预训练模型和4个指令调优模型。这些模型可以在笔记本电脑甚至智能手机上运行。苹果举例称，其中一款模型在MacBookPro上运行，配备了M2Max芯片和64GBRAM，操作系统为macOS14.4.1。来源：格隆汇

IBM 开源 Granite 代码模型

IBM开源Granite代码模型IBM开源了它用于辅助编程的代码模型，源代码托管在GitHub上，采用ApacheLicense2.0许可证，允许商业使用。与其它AI模型不同的是，IBM致力于避免模型的版权问题，使用了开放数据集如GitHubCodeClean、Starcoder、开放代码库和GitHubissues等进行训练。Granite是decoder-only代码模型，可用于修bug、解释代码和生成代码文档，使用了116种编程语言的代码进行训练，参数规模30亿、80亿、200亿和340亿。IBM称测试显示Granite在开源代码模型中表现最出色。来源，频道：@kejiqu群组：@kejiquchat

据苹果官方介绍，Apple Intelligence拥有两个基础模型：

据苹果官方介绍，AppleIntelligence拥有两个基础模型：本地模型：设备上约30亿参数的语言模型，测试得分高于诸多70亿参数的开源模型（Mistral-7B或Gemma-7B）；云上模型：可通过私有云计算并在Apple芯片服务器上运行的更大的基于服务器的语言模型；在指令跟踪评估(IFEval)测试中，本地模型性能优于包括Phi-3-mini、Mistral-7B和Gemma-7B等模型，且与DBRX-Instruct、Mixtral-8x22B和GPT-3.5-Turbo相比毫不逊色，同时效率很高；而云上模型水平基本与GPT-4-Turbo持平。关注频道@ZaiHuaPd频道爆料@ZaiHuabot

Meta 新语言模型能运行在单张显卡上

Meta新语言模型能运行在单张显卡上Meta上周宣布了一个新的大语言模型LLaMA-13B，称其参数规模更小但性能强于OpenAI的GPT-3模型，且它能运行在单张显卡上。语言模型的规模在从70亿到650亿参数，而OpenAIGPT-3模型有1750亿个参数。Meta使用CommonCrawl、维基百科和C4等公开数据集训练其模型，它有可能公开其源代码和权重。今天绝大部分最先进的语言模型都没有公开源代码。Meta称LLaMA为其基础模型，它将是未来该公司更先进模型的基础。它的LLaMA-13B模型在BoolQ、PIQA、SIQA、HellaSwag、WinoGrande、ARC和OpenBookQA等标准测试中的表现超过了GPT-3。GPT-3等衍生模型需要数据中心规模的计算能力进行处理，而LLaMA-13B能运行在单张显卡上，为在消费者硬件上实现类似ChatGPT的性能打开了大门。来源，来自：雷锋频道：@kejiqu群组：@kejiquchat投稿：@kejiqubot

基于 LLaMA 的 AI 聊天机器人开源实现

基于LLaMA的AI聊天机器人开源实现Meta的大语言模型LLaMA最近引起了广泛关注，它的一大优势是参数规模更小但性能强于OpenAI的GPT-3模型，而且能运行在单张显卡上，让普通消费者的硬件也有可能提供类似ChatGPT性能的AI聊天机器人。LLaMA是一组大语言模型的集合，其参数规模从70亿到650亿，它最新的LLaMA-13B模型有130亿个参数，不到GPT-3模型1750亿个参数的十分之一。现在AI推出了首个基于人类反馈强化学习的LLaMAAI聊天机器人开源实现。来源，前文：来自：雷锋频道：@kejiqu群组：@kejiquchat投稿：@kejiqubot

苹果公司发表四款开源新模型 有助于提高未来人工智能的准确性

苹果公司发表四款开源新模型有助于提高未来人工智能的准确性这些指导模型被称为开源高效LLMs或OpenELMs，托管在协作平台HuggingFace上。HuggingFace用于托管人工智能模型，以及对其进行训练和与他人合作改进。OpenELM是指一个开源库，它利用进化算法将多个大型语言模型(LLM)结合在一起。这四个OpenELM模型采用"分层缩放策略"，在变压器机器学习模型的各层中分配参数，以提高精确度。这些模型使用CoreNet库进行了预训练。苹果公司提供了使用2.7亿、4.5亿、11亿和30亿个参数的预训练和指令调整模型。预训练数据集由Dolmav1.6子集、RefinedWeb、重复PILE和RedPajama子集组合而成。这样得到的数据集约有1.8万亿个标记。在本周二发布的一篇相关论文中，该项目的研究人员表示，大型语言模型的可重复性和透明度"对于推进开放式研究至关重要"。它还有助于确保结果的可信度，并允许对模型偏差和风险进行调查。至于模型的准确性，据解释，在使用10亿个参数预算的情况下，OpenELM比OLMo的准确性提高了2.36%，而所需的预训练代币数量仅为OLMo的一半。模型和论文的作者包括SachinMehta、MohammadHosseinSekhavat、QingqingCao、MaxwellHorton、YanziJin、ChenfanSun、ImanMirzadeh、MahyarNajibi、DmitryBelenko、PeterZatloukal和MohammadRastegari。发布这些模型的源代码是苹果公司宣传其人工智能和机器学习发展成果的最新尝试。这并不是苹果公司第一次公开发布人工智能程序。今年10月，苹果分享了一个名为Ferret的开源LLM，它改进了模型分析图像的方式。今年4月，Ferret的新版本增加了解析应用程序截图中数据点的功能，并能大致了解应用程序的功能。此外，还发布了关于生成式人工智能动画工具和创建人工智能头像的论文。预计6月份的WWDC将包括苹果产品在人工智能方面的许多进展。...PC版：https://www.cnbeta.com.tw/articles/soft/1428512.htm手机版：https://m.cnbeta.com.tw/view/1428512.htm