：在本地启动并运行大语言模型 | #工具

：在本地启动并运行大语言模型 | #工具 Ollama 是一款命令行工具，可在 macOS 和 Linux 上本地运行 Llama 2、Code Llama 和其他模型。适用于 macOS 和 Linux，并计划支持 Windows。 Ollama 目前支持近二十多个语言模型系列，每个模型系列都有许多可用的 "tags"。 Tags 是模型的变体，这些模型使用不同的微调方法以不同的规模进行训练，并以不同的级别进行量化，以便在本地良好运行。量化级别越高，模型越精确，但运行速度越慢，所需的内存也越大。

苹果在 Hugging Face 上最新推出了 OpenELM 系列语言模型。

苹果在 Hugging Face 上最新推出了 OpenELM 系列语言模型。 OpenELM 总共有 8 个模型，包括 270M、450M、1.1B 和 3B 这四个参数规模（分为预训练版和指令微调版）。 它们使用了总计约 1.8 万亿个 token 的多个公共数据集。 目前，OpenELM 的代码、预训练模型权重以及训练和评估流程全部开放。 标签: #Apple #AI 频道: @GodlyNews1 投稿: @GodlyNewsBot

Google 宣布辅助编程用的开放大模型 CodeGemma

Google 宣布辅助编程用的开放大模型 CodeGemma Google 宣布了辅助编程用的开放大模型 ，模型权重可以在上下载。CodeGemma 是基于 Google 今年 2 月发布的轻量级开放大模型 Gemma，针对 Gemma 的两个不同参数规模的版本 Gemma 2B 和 Gemma 7B 发布了 CodeGemma 2B 和 CodeGemma 7B（有预训练和指令微调两种）。来源 ， 频道：@kejiqu 群组：@kejiquchat

复旦大学发布了一个引发轰动的大语言模型：这是一个支持中英双语和多种插件的开源对话语言模型，moss-moon系列模型具有160亿

复旦大学发布了一个引发轰动的大语言模型：这是一个支持中英双语和多种插件的开源对话语言模型，moss-moon系列模型具有160亿参数，在FP16精度下可在单张A100/A800或两张3090显卡运行，在INT4/8精度下可在单张3090显卡运行。MOSS基座语言模型在约七千亿中英文以及代码单词上预训练得到，后续经过对话指令微调、插件增强学习和人类偏好训练具备多轮对话能力及使用多种插件的能力。

AI 大事记：Apple 带来开源模型的运行软件框架MLX

AI 大事记：Apple 带来开源模型的运行软件框架MLX 今天由Apple 研究团队发布了MLX，一个高效的机器学习框架，专为苹果芯片（即M系列）设计。视频为 MLX 实现的 Llama v1 7B 模型，在 M2 Ultra 上运行。 参考要点 - Apple AI 研究科学家 Awni Hannum 提供了演示视频， MLX 有各种示例，包括支持训练Transformer大模型或使用 LoRA 进行微调；使用 Mistral 生成文本；利用Stable Diffusion 生成图像；使用 Whisper 进行语音识别。 - MLX 是 Apple 芯片上用于机器学习的阵列框架，由 Apple 机器学习研究团队提供。 - Jim Fan 评价为，这可能是苹果公司迄今为止在开源人工智能方面的最大举措。该版本在设计深度学习受众熟悉的 API 方面做得非常出色，并在大多数人关心的开放源码软件模型上展示了极简的示例：Llama、LoRA、Stable Diffusion 和 Whisper。 MLX Github地址： 文档齐全、独立的示例库： Invalid media:

分析师称苹果公司专注于本地AI模型和授权LLM可能是一个制胜组合

分析师称苹果公司专注于本地AI模型和授权LLM可能是一个制胜组合 根据摩根大通的一份说明，苹果在开发小型本地机型的同时，可能会与一家 LLM 提供商合作，这可能会帮助苹果领先于其他制造商。如果报道属实，苹果将专注于自己的强项，如设备上的处理，而不是建立专有的 LLM。最近有报道称，苹果公司正在与Google洽谈授权其 Gemini LLM 用于iPhone 的事宜。就在该报道发布的前一天，苹果公司发表了一篇关于 MM1 的研究论文，MM1 是一种较小的预训练模型，可以在用户的 iPhone 上本地运行。摩根大通的报道表明，苹果公司双管齐下的做法可能会让它占得先机。苹果可以专注于保护用户隐私的小型设备模型，而不是发布依赖于网络数据的有争议的 LLM，客户将获得两者的最佳利益。如果这听起来很熟悉，那么它很像苹果与Google达成的搜索协议。Google将成为默认的网络搜索引擎，而苹果则提供一个名为 Spotlight 的强大而私密的本地搜索工具。更多的证据证实了苹果公司的计划，有消息称苹果公司内部有一款名为 Ask 的工具，可以在本地知识数据库中进行训练。它比 LLM更具适应性，能灵活应对数据库的变化，而 MM1 模型应能胜任这些工作。该报告重点介绍了苹果公司采用这种方法取得的财务成功，认为这种方法节省了基础设施建设成本，并为消费者带来了更好的应用体验。摩根大通维持对苹果的增持评级，目标价为 215 美元。 ... PC版： 手机版：