苹果要在iPhone上运行AI大模型?

苹果要在iPhone上运行AI大模型?https://www.sohu.com/a/746199195_222118https://arstechnica.com/apple/2023/12/apple-wants-ai-to-run-directly-on-its-hardware-instead-of-in-the-cloud/(英文)https://arxiv.org/pdf/2312.11514.pdf(英文)研究人员在一篇名为“LLMinaflash:EfficientLargeLanguageModelInferencewithLimitedMemory”论文中提到,闪存在移动设备中比传统上用于运行LLMs的RAM更丰富。

相关推荐

封面图片

苹果 “追赶” AI 热 寻求直接在 iPhone 上运行 AI

苹果“追赶”AI热寻求直接在iPhone上运行AI苹果最新发表的关于在智能手机上运行大型语言模型(LLM)的研究表明,它将专注于可以直接在iPhone上运行的人工智能,称“将为LLM在内存有限的设备上进行有效推理铺平了道路”。苹果在硅谷的竞争对手,微软和谷歌则主要专注于通过其庞大的云计算平台在互联网上提供聊天机器人和其他生成式人工智能服务。自从OpenAI推出突破性的聊天机器人ChatGPT以来,苹果在很大程度上被排除在了席卷硅谷的生成式人工智能热潮之外。

封面图片

AO 发布 “AI on AO” 计划,推出链上开源大语言模型

AO发布“AIonAO”计划,推出链上开源大语言模型AO生态系统发布“AIonAO”计划,推出链上开源大语言模型(LLMs),旨在将任何AI模型(不仅仅是LLMs)带到链上。基于ApusNetwork,利用Arweave的永久链上存储,构建一个去中心化、无信任的GPU网络,致力于为AI训练和推理提供可靠、高效和低成本的计算能力。AO上的AI数据可通过ArDrive上传到Arweave的模型。

封面图片

苹果正利用大语言模型改造Siri 无需联网本地运行

苹果正利用大语言模型改造Siri无需联网本地运行随着ChatGPT的兴起,不少大厂到开始自研AI大模型,苹果出于安全考虑禁止员工使用ChatGPT。不过,有苹果员工曾抱怨Siri工作效率低下,Siri之所以逐渐走向没落,是因为内部团队混乱、决策缓慢、代码笨重,导致在Siri和AI开发上受到严重阻碍。如今,苹果打算加码AI,想必也是不少人所期待的,升级后的Siri据说在本地运行响应时间更快、不需要网络连接,且更具隐私性。...PC版:https://www.cnbeta.com.tw/articles/soft/1395647.htm手机版:https://m.cnbeta.com.tw/view/1395647.htm

封面图片

AI iPhone 可行了?苹果发表论文,将大模型装进手机

AIiPhone可行了?苹果发表论文,将大模型装进手机苹果日前在arxiv发表论文,介绍了一种可以再超出可用DRAM容量的设备上运行LLM(大语言模型)的方法。论文称,LLM密集的计算量和内存要求对于DRAM容量来说是一大挑战,该论文构建了一个以闪存为基础的推理成本模型,将在两个关键领域进行优化:减少从闪存中传输的数据量、更多更流畅地读取数据块。这意味着,该项突破性研究扩大了LLM适用性和可及性,苹果将生成式AI集成到iOS18的计划或将加快推进。

封面图片

AI 大事记:Apple 带来开源模型的运行软件框架MLX

AI大事记:Apple带来开源模型的运行软件框架MLX今天由Apple研究团队发布了MLX,一个高效的机器学习框架,专为苹果芯片(即M系列)设计。视频为MLX实现的Llamav17B模型,在M2Ultra上运行。参考要点-AppleAI研究科学家AwniHannum提供了演示视频,MLX有各种示例,包括支持训练Transformer大模型或使用LoRA进行微调;使用Mistral生成文本;利用StableDiffusion生成图像;使用Whisper进行语音识别。-MLX是Apple芯片上用于机器学习的阵列框架,由Apple机器学习研究团队提供。-JimFan评价为,这可能是苹果公司迄今为止在开源人工智能方面的最大举措。该版本在设计深度学习受众熟悉的API方面做得非常出色,并在大多数人关心的开放源码软件模型上展示了极简的示例:Llama、LoRA、StableDiffusion和Whisper。MLXGithub地址:https://github.com/ml-explore/mlx文档齐全、独立的示例库:https://github.com/ml-explore/mlx-examplesInvalidmedia:

封面图片

Rabbit R1不像是iPhone杀手 因为它的AI应用也可以在苹果硬件上运行

RabbitR1不像是iPhone杀手因为它的AI应用也可以在苹果硬件上运行Flutterflow的威尔-霍比克(WillHobick)在周一的X条推文中表示,他将在本周晚些时候发布RabbitR1应用程序的"可克隆模板"。在周二的跟帖中,他演示了在iPhone上运行该应用程序的版本。基于应用程序的版本提供的核心功能与设备本身基本相同。一段视频显示,该应用回答了一个口头询问,并配有与实体版相同的动画。作者说,该应用程序可调用设备时间、电池寿命、触觉触摸、摄像头等功能。他只用了几个小时就完成了构建,并以PWA、IOS和Android的形式运行(参见主题)。该演示是使用@FlutterFlow制作的。这款应用还能调用线上的AI来回答视觉问题。在拍摄桌子上AirPods的照片并询问照片中的内容后,该应用程序就会给出准确的答复。虽然看起来很准确,但目前还不清楚该应用程序是否真的在运行RabbitR1的操作系统。但该应用程序被设计为使用各种现有库进行语音识别,并向ChatGPT等服务发送查询请求以获取答案,这倒是有可能的。据传,苹果公司正在努力创建一个人工智能应用商店,这是一个用于销售和分发人工智能应用的店面版本。如果成为现实,像基于PWA的演示这样的应用程序当然可以在店面中提供。相关文章:RabbitR1买家秀翻车:比Siri还磨叽、响应速度远不及发布RabbitR1AI数码设备被发现实际上只运行了一个Android应用爆火RabbitR1大翻车:被曝套壳安卓质疑者IP已遭屏蔽...PC版:https://www.cnbeta.com.tw/articles/soft/1429429.htm手机版:https://m.cnbeta.com.tw/view/1429429.htm

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人