苹果要在iPhone上运行AI大模型？

苹果要在iPhone上运行AI大模型？https://www.sohu.com/a/746199195_222118https://arstechnica.com/apple/2023/12/apple-wants-ai-to-run-directly-on-its-hardware-instead-of-in-the-cloud/（英文）https://arxiv.org/pdf/2312.11514.pdf（英文）研究人员在一篇名为“LLMinaflash:EfficientLargeLanguageModelInferencewithLimitedMemory”论文中提到，闪存在移动设备中比传统上用于运行LLMs的RAM更丰富。

Google 将缩减 AI 论文发表数量

Google通知员工将选择性的发表AI论文。Google最近合并了它的AI研究部门Brain和DeepMind，合并后的部门将会继续发表新AI研究，但对于什么能公开发表将会更具有选择性。GoogleAI部门资深高管JeffDean在今年2月向研究人员通知了新的论文发表政策，Dean此前像大学那样管理着AI部门，鼓励研究人员尽可能多的发表学术论文。自2019年以来Google研究人员发表了近500项研究。但OpenAIChatGPT的发布改变了这一切，而ChatGPT是基于Google关于Transformer的研究。所以Google决定改变它的政策，它计划只在AI变成产品之后才公开相关论文。搜索巨人一直被认为是AI研究领域的领导者，但它现在进入了防御模式，需要保护其核心的搜索业务抵御来自AI竞争对手的挑战。它现在将注意力集中在可以商业化的大语言模型和产品上。频道：@TestFlightCN

Apple发布大模型论文：多模式LLM预培训的方法、分析和见解

Apple发布大模型论文：多模式LLM预培训的方法、分析和见解2024年3月14日，苹果公司发布了自家的大型多模态基础模型MM1，该模型拥有高达300亿参数，并采用混合专家（MoE）架构。超过半数的论文作者是华人。MM1模型在多模态任务上显示出强大的性能，尤其是在少样本学习和上下文预测方面。研究团队通过对不同架构组件和数据选择的深入分析，提出了几条关键的设计准则。他们发现，图像分辨率、视觉编码器损失和容量，以及预训练数据的类型对模型性能有显著影响。MM1模型的开发，标志着苹果在生成式人工智能领域的重要进展。线索：@ZaiHuabot投稿：@TNSubmbot频道：@TestFlightCN

摩根大通推测苹果 AI 发展策略：立足本地小模型 管理大语言模型

摩根大通推测苹果AI发展策略：立足本地小模型管理大语言模型《科创板日报》20日讯，摩根大通近日发布投资备忘录，推测苹果的AI发展战略，认为苹果一方面专注于iPhone本地运行的小模型，另一方面通过和其它厂商合作引入大语言模型（LLM）。摩根大通认为相比较OpenAI的ChatGPT和谷歌的Gemini，苹果目前在大语言模型方面处于落后状态，苹果公司也深知这一点，因此将重心放在可以本地运行的小模型方面，从而更好地发挥自己的优势。

苹果公司发表四款开源新模型 有助于提高未来人工智能的准确性

苹果公司发表四款开源新模型有助于提高未来人工智能的准确性这些指导模型被称为开源高效LLMs或OpenELMs，托管在协作平台HuggingFace上。HuggingFace用于托管人工智能模型，以及对其进行训练和与他人合作改进。OpenELM是指一个开源库，它利用进化算法将多个大型语言模型(LLM)结合在一起。这四个OpenELM模型采用"分层缩放策略"，在变压器机器学习模型的各层中分配参数，以提高精确度。这些模型使用CoreNet库进行了预训练。苹果公司提供了使用2.7亿、4.5亿、11亿和30亿个参数的预训练和指令调整模型。预训练数据集由Dolmav1.6子集、RefinedWeb、重复PILE和RedPajama子集组合而成。这样得到的数据集约有1.8万亿个标记。在本周二发布的一篇相关论文中，该项目的研究人员表示，大型语言模型的可重复性和透明度"对于推进开放式研究至关重要"。它还有助于确保结果的可信度，并允许对模型偏差和风险进行调查。至于模型的准确性，据解释，在使用10亿个参数预算的情况下，OpenELM比OLMo的准确性提高了2.36%，而所需的预训练代币数量仅为OLMo的一半。模型和论文的作者包括SachinMehta、MohammadHosseinSekhavat、QingqingCao、MaxwellHorton、YanziJin、ChenfanSun、ImanMirzadeh、MahyarNajibi、DmitryBelenko、PeterZatloukal和MohammadRastegari。发布这些模型的源代码是苹果公司宣传其人工智能和机器学习发展成果的最新尝试。这并不是苹果公司第一次公开发布人工智能程序。今年10月，苹果分享了一个名为Ferret的开源LLM，它改进了模型分析图像的方式。今年4月，Ferret的新版本增加了解析应用程序截图中数据点的功能，并能大致了解应用程序的功能。此外，还发布了关于生成式人工智能动画工具和创建人工智能头像的论文。预计6月份的WWDC将包括苹果产品在人工智能方面的许多进展。...PC版：https://www.cnbeta.com.tw/articles/soft/1428512.htm手机版：https://m.cnbeta.com.tw/view/1428512.htm

分析师称苹果公司专注于本地AI模型和授权LLM可能是一个制胜组合

分析师称苹果公司专注于本地AI模型和授权LLM可能是一个制胜组合根据摩根大通的一份说明，苹果在开发小型本地机型的同时，可能会与一家LLM提供商合作，这可能会帮助苹果领先于其他制造商。如果报道属实，苹果将专注于自己的强项，如设备上的处理，而不是建立专有的LLM。最近有报道称，苹果公司正在与Google洽谈授权其GeminiLLM用于iPhone的事宜。就在该报道发布的前一天，苹果公司发表了一篇关于MM1的研究论文，MM1是一种较小的预训练模型，可以在用户的iPhone上本地运行。摩根大通的报道表明，苹果公司双管齐下的做法可能会让它占得先机。苹果可以专注于保护用户隐私的小型设备模型，而不是发布依赖于网络数据的有争议的LLM，客户将获得两者的最佳利益。如果这听起来很熟悉，那么它很像苹果与Google达成的搜索协议。Google将成为默认的网络搜索引擎，而苹果则提供一个名为Spotlight的强大而私密的本地搜索工具。更多的证据证实了苹果公司的计划，有消息称苹果公司内部有一款名为Ask的工具，可以在本地知识数据库中进行训练。它比LLM更具适应性，能灵活应对数据库的变化，而MM1模型应能胜任这些工作。该报告重点介绍了苹果公司采用这种方法取得的财务成功，认为这种方法节省了基础设施建设成本，并为消费者带来了更好的应用体验。摩根大通维持对苹果的增持评级，目标价为215美元。...PC版：https://www.cnbeta.com.tw/articles/soft/1424330.htm手机版：https://m.cnbeta.com.tw/view/1424330.htm