大型AI模型出现的不可预测的能力

大型AI模型出现的不可预测的能力 在去年组织的一次测试中，研究人员输入不同的提示去测试不同规模大语言模型的能力。其中之一是一个女孩和三条鱼的绘文字，询问它们描述了哪部电影。最小的模型产生了超现实的答案：“The movie is a movie about a man who is a man who is a man”。中等复杂度的模型猜测是《Emoji大电影》，最复杂的模型一锤定音《海底总动员（Finding Nemo）》。计算机科学家对大语言模型的表现非常吃惊。语言模型已经研究了几十年，五年前最强大的模型是基于递归神经网络，本质上是根据提供的文本字符串猜测下一个单词是什么，所谓递归是从输出中不断学习，利用反馈去改进性能。2017 年 Google Brain 的研究人员提出了被称为 transformer 的新型架构。递归网络是逐字分析句子，transformer 则是同时处理所有单词，它能并行处理大块文本。Transformers 能通过增加模型的参数快速扩展语言模型的复杂度。2020 年 OpenAI 的研究人员发现随着参数规模的增加语言模型改进了其能力和准确度。但大语言模型也同时带来了一些始料未及的东西。研究人员发现大语言模型产生了数以百计的“新”能力，这种行为被称为涌现。研究人员如今正努力去识别新的涌现能力，以及找出背后的原因本质上是去尝试预测不可预测性。了解涌现可揭示出 AI 和一般机器学习深层问题的答案，如复杂模型是真的在做新事情，还是极其擅长统计。它还可帮助研究人员去利用潜在的益处和减少涌现风险。来源 ， 来自：雷锋 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot

苹果有望牵手多家AI公司 打造“AI大模型商店”

苹果有望牵手多家AI公司 打造“AI大模型商店” 苹果正与多家人工智能公司谈合作两周前，苹果刚刚在年度全球开发者大会（WWDC）上公布了他们以人工智能为核心的一系列创新，包括与OpenAI构建合作伙伴关系，推出能够优先置顶推送、总结文本、生成图片的“Apple Intelligence”套件，更强大的Siri等。作为生成式人工智能领域的后来者，尽管苹果已经开发了自己的小型人工智能模型，但仍将求助于合作伙伴来完成更复杂或更具体的任务。根据苹果在WWDC上公布的信息，OpenAI的ChatGPT被宣布为该公司的第一个合作伙伴。“我们想从最好的开始，”苹果软件主管克雷格·费德里吉（Craig Federighi）表示，ChatGPT“代表了我们今天用户的最佳选择。”他在当时还透露，苹果也希望整合Google的Gemini。而最近的报道也表明，苹果所看重的合作伙伴，显然不止OpenAI一家。此前有报道称，苹果正在与长期搜索合作伙伴Google讨论结盟的可能性；同时，在中国等不同地区，苹果还将与其他人工智能公司讨论合作伙伴关系。而根据最新的报道，苹果正与Meta讨论合作。此外，人工智能初创公司Anthropic和Perplexity也在与苹果讨论，将其生成式人工智能引入 Apple Intelligence。合作模式类似于App Store？报道称，谈判合作的规模尚不清楚，但谈判涉及人工智能公司通过Apple Intelligence出售其服务的高级订阅。知情人士说，在与其他人工智能公司的谈判中，苹果并未要求任何一方向对方支付费用。相反，两者的合作模式有点像App Store：人工智能公司可以通过Apple Intelligence出售其服务的高级订阅服务，而苹果从其设备的订阅收入中抽取一部分。对于苹果而言，与越多公司合作，就越能为其用户提供更多潜在选择。苹果此前曾表示，如果与OpenAI以外的合作伙伴达成协议，苹果客户可以选择除了苹果内部系统之外他们想要使用的外部AI模型。而对于人工智能公司而言，假如能和苹果达成合作协议，将有助于人工智能公司借助苹果的强大平台获得更广泛的产品分销。不过，上述讨论尚未最终确定，可能会失败。同时，这种合作对于人工智能公司来说究竟有多大的好处，目前可能也很难说。深水资产管理公司(Deepwater Asset Management)资深苹果分析师、管理合伙人Gene Munster表示，虽然在与苹果合作后，ChatGPT的使用率预计将增加一倍，但OpenAI的基础设施成本预计也将增长30%至40%。蒙斯特表示：“分销渠道很难获得。苹果的美妙之处在于，它已经拥有了这种大规模分销渠道。”苹果在人工智能的技术探索道路上似乎仍在持续前进，这一进展也令苹果月初至今股价累涨近8%，一度超越微软重新成为全球最具价值的上市公司。这反映了金融市场对苹果AI愿景的认同，表明华尔街分析师也被苹果说服，相信苹果的AI新功能将刺激苹果用户换机。不过，苹果在AI道路上似乎正在面临监管政策的“拦路虎”。上周五，苹果声称，受限于欧盟的反垄断法《数字市场法案》（DMA），苹果无法在今年向欧盟用户发布个人智能化系统“Apple Intelligence”、Mac上的“iPhone镜像”和FaceTime通话中的“SharePlay Screen Sharing”功能。 ... PC版： 手机版：

马斯克预测：AI有望在明年超越最聪明的人类

马斯克预测：AI有望在明年超越最聪明的人类 当被问及通用人工智能（AGI）的发展时间表时，马斯克说：“如果把AGI定义为比最聪明的人类更聪明，我认为可能是在明年（实现），也就是两年内。”在过去18个月里，AI的发展取得了一系列突破，包括更强大的聊天机器人和视频生成工具，这些都推动AI以比预期更快的速度向前发展，人们开始畅想AGI何时能够实现。谷歌旗下的AI公司DeepMind联合创始人Demis Hassabis今年早些时候预测，AGI有望在2030年实现。由于训练AI模型的芯片供不应求，AI的发展速度有所放缓。马斯克透露，缺乏先进的芯片阻碍了Grok第二版模型的训练。Grok是马斯克麾下AI公司xAI于去年11月推出的聊天机器人。马斯克成立xAI是为了与Open AI展开竞争。据马斯克介绍，xAI正在训练2.0版本的Grok，这一版模型有望比Open AI的GPT-4更强大，预计将在5月前完成相关训练工作。马斯克表示，训练Grok 2模型需要大约2万块英伟达H100 GPU，而Grok 3模型及更高版本则将需要大约10万块英伟达H100 GPU。不过，马斯克补充称，尽管芯片短缺是迄今为止AI发展的一大制约因素，但在未来一两年，电力供应将至关重要。 ... PC版： 手机版：