面壁智能开源业内首个端侧大模型工具集 MobileCPM

面壁智能开源业内首个端侧大模型工具集 MobileCPM 7 月 5 日，在 WAIC2024 “模型即服务（Mass）加速大模型应用落地” 论坛上，面壁智能发布新一代高效稀疏架构大模型 MiniCPM-S。同时，面壁智能开源了业内首个端侧大模型工具集 “MobileCPM”，包含开源端侧大模型、SDK 开发套件以及翻译、摘要等意图，可降低开发门槛，更灵活定制大模型 App，帮助开发者提高集成大模型到 APP 的效率。目前，MobileCPM 已默认集成 MiniCPM-S。

苹果开源大模型OpenELM来了，可能用在下一代iPhone上

苹果开源大模型OpenELM来了，可能用在下一代iPhone上 苹果最近在AI代码社区HuggingFace上发布了OpenELM大模型。该模型是一系列开源大型语言模型，具有不同的参数大小，可在端侧设备上运行。据了解，该系列模型包含4个不同参数版本，分别为2.7亿、4.5亿、11亿和30亿。由于参数较小，这些模型可以在端侧设备上独立运行，而无需连接云端服务器。总体而言，该系列包括4个预训练模型和4个指令调优模型。这些模型可以在笔记本电脑甚至智能手机上运行。苹果举例称，其中一款模型在MacBookPro上运行，配备了M2Max芯片和64GBRAM，操作系统为macOS14.4.1。 来源：格隆汇

开放麒麟发布AIPC版本：支持端侧大模型

开放麒麟发布AIPC版本：支持端侧大模型 openKylin for AIPC版本与AI技术深度融合，提供了统一的AI接口能力，与桌面环境无缝集成，并推出包括AI助手、智能文生图、智能模糊搜索等在内的一系列智能化功能，有望极大提升用户在国产操作系统上的办公效率和创作体验。特别通过应用端侧大模型技术，将硬件和软件的深度集成，用户能够在本地独立运行复杂的AI任务无需依赖云端计算资源，从根本上改变和重塑用户体验。据悉，开放麒麟1.0版本在去年7月份正式发布，是我国首个开源桌面操作系统，标志着我国拥有了操作系统组件自主选型、操作系统独立构建的能力。系统适配支持X86、ARM、RISC-V三个架构的个人电脑、平板电脑及教育开发板。 ... PC版： 手机版：

昆仑万维宣布Opera浏览器接入端侧AI大模型

昆仑万维宣布Opera浏览器接入端侧AI大模型 昆仑万维表示，即日起，端侧AI大模型将被正式集成进Opera浏览器旗舰产品中，覆盖Windows、MacOS和Linux等全部设备。据介绍，2024年4月，Opera已通过AI Feature Drops计划，在Opera开发者版浏览器中引入了端侧AI访问功能，成为全球第一个引入本地AI模型访问功能的浏览器。此后，Opera在浏览器中陆续集成了超过60个大模型家族系列、超过2000个本地大型语言模型变体，让用户能够通过浏览器内置功能轻松访问和管理本地大模型。值得一提的是，本周起，Opera原生浏览器AI助手Aria将新增AI图像理解与图像问答功能。用户可在侧边栏聊天中上传图片给Aria，并向其询问有关图像的问题，Aria将理解图像内容，并围绕图像及相关背景信息为用户提供答案。相关文章:Opera的Aria人工智能助手现在可以在Android上总结网页内容Opera与Google达成合作 将Gemini人工智能引入其浏览器 ... PC版： 手机版：

端侧模型 + 硬件会是 AI 爆发的下一个机会吗？

端侧模型 + 硬件会是 AI 爆发的下一个机会吗？ 段小草的回答 我觉得端侧模型 + 硬件会是下一个机会。 首先还是澄清一下概念，端侧模型应该是相对于云端模型而言的，可以在硬件设备本地运行的模型。端侧模型不一定是开源模型，比如苹果在打算在 iPhone 上内置的 AI 模型 Apple Intelligence，就并不开源： 又或者谷歌在 Chrome 浏览器中内置的 Gemini-nano[1]： 当然，很多开源的小模型只要可以自行在消费级设备上部署，也可以看作端侧模型，比如面壁智能的可以在手机上运行的 MiniCPM。 AI 硬件，则是指广泛的消费级的硬件，而非专业的数据中心计算硬件。在我的理解上，AI 硬件大体上又可以分为 AI PC、AI 手机和其他新形态的 AI 硬件（比如一些可穿戴的、或者新交互方式的 AI 硬件）。比如这张图中所展示的[2]： 端侧模型和 AI 硬件结合在一起，我觉得主要有三方面优势： ● 隐私：隐私和数据安全显然是端侧模型最明显最直接的优势，特别是在个人信息、内部资料、数据分析方面，用户会倾向于使用可控的本地模型。 ● 成本：虽然现在很多 AI 应用都是免费的，但 API 并不免费，某种意义上讲，端侧模型激活了边缘算力，其实降低了 AI 调用的成本。 ● 普及：端侧模型 + AI 硬件的方式，有可能会给带来新的破圈的机会，让之前没有接触 AI 的普通人有机会用到 AI 工具和 AI 能力。 我甚至会觉得，第三点才是最重要的原因。我最近一段时间写 AI 话题，遇到最大的困扰就是，即便圈内已经非常火热的话题，在普通人眼中，要么是冷漠不关心，要么是质疑加嘲讽。 这里面当然有一部分人是了解过用过之后觉得空炒概念，但还有相当一部分人实际上没有自己用过，只是看了一些更反智和煽动的话语就给先入为主地觉得 AI 没有用。 对于这部分人来说，他们大概不会去主动注册或者使用 AI 应用，但如果 AI 润物无声地进入 PC、手机，提供更简洁方便的使用体验，相当于喂饭级功能，也许会大大增加 AI 的普及程度。 via 知乎热榜 (author: 段小草)