郭明𫓹解密Apple Intelligence:端侧模型对DRAM需求约为2GB或更低

郭明𫓹解密Apple Intelligence:端侧模型对DRAM需求约为2GB或更低 郭明琪表示,M1的AI算力约为11 TOPS,低于A16的17 TOPS。但A16的DRAM为6GB,低于M1的8GB。因此,目前的Apple Intelligence装置端AI LLM对DRAM的需求约为2GB或更低。他进一步指出,Apple Intelligence采用端侧3B LLM(应为FP16,M1的NPU/ANE对FP16有很好的支持),经过压缩后(采用2-bit与4-bit的混合配置),随时需要预留约0.7-1.5GB DRAM来运作Apple Intelligence的端侧LLM。郭明琪的分析认为,对于现有的设备端应用,如果要通过AI进行增强,至少需要部署3B LLM。在此基础上,再根据压缩方式决定DRAM规格。(最有可能升级到7B LLM),届时需要更大DRAM才能运作。苹果是否会以此作为高低端机种的产品区隔策略值得观察。 ... PC版: 手机版:

相关推荐

封面图片

【赵明:今年荣耀能实现在12GB手机内存部署7B端侧AI大模型并保证体验流畅】

【赵明:今年荣耀能实现在12GB手机内存部署7B端侧AI大模型并保证体验流畅】 荣耀CEO赵明对华尔街见闻独家透露,2024年荣耀将能于12GB(RAM/运存)智能手机端侧部署参数规模为7B的AI大模型。赵明说,“荣耀平台级AI技术能将LLM大模型在端侧实现超高压缩率。7B模型能在12G设备上快速启动,同时保证用户常用应用体验不受影响。”一般来说,要在智能手机端侧部署7B参数规模的LLM大模型,需要24GB运存。12GB运存智能手机端侧实现7B大模型部署,同时还能保证用户的日常流畅应用,以荣耀平台级AI能力的底层技术特性,可大幅提升和扩展荣耀多价位智能手机的AI体验。(作者 周源)

封面图片

作为Apple Intelligence的补充 ChatGPT将于晚些时候免费登陆iOS 18

作为Apple Intelligence的补充 ChatGPT将于晚些时候免费登陆iOS 18 ChatGPT 将于 2024 年晚些时候在iOS 18、iPadOS 18 和 macOS Sequoia 中以免费的方式提供。尽管苹果已经推出了由Apple Silicon 支持的 Apple Intelligence 和服务器端 LLM,但公司还是为用户提供了使用 ChatGPT 的选项。例如,在向Siri提问或使用"写作工具"写作时,该选项就会出现。通过合作,用户可以免费使用 ChatGPT 的 4o 模式,至少在一定程度上是这样。用户还可以连接高级账户获得更多AI能力,而不是依赖 GPT 主应用程序。使用免费 ChatGPT 集成的用户无需担心隐私问题,因为所有的请求都不会被记录,用户数据也不会被保存。苹果公司还暗示,日后可能会整合其他型号的大模型,如Google Gemini。iOS 18、iPadOS 18 和 macOS Sequoia 已于周一向开发者测试者开放。ChatGPT 集成要到秋季操作系统公开发布后的某个时候才能使用。相关文章:苹果宣布与OpenAI达成合作 从GPT-4o开始集成ChatGPT ... PC版: 手机版:

封面图片

端侧模型 + 硬件会是 AI 爆发的下一个机会吗?

端侧模型 + 硬件会是 AI 爆发的下一个机会吗? 段小草的回答 我觉得端侧模型 + 硬件会是下一个机会。 首先还是澄清一下概念,端侧模型应该是相对于云端模型而言的,可以在硬件设备本地运行的模型。端侧模型不一定是开源模型,比如苹果在打算在 iPhone 上内置的 AI 模型 Apple Intelligence,就并不开源: 又或者谷歌在 Chrome 浏览器中内置的 Gemini-nano[1]: 当然,很多开源的小模型只要可以自行在消费级设备上部署,也可以看作端侧模型,比如面壁智能的可以在手机上运行的 MiniCPM。 AI 硬件,则是指广泛的消费级的硬件,而非专业的数据中心计算硬件。在我的理解上,AI 硬件大体上又可以分为 AI PC、AI 手机和其他新形态的 AI 硬件(比如一些可穿戴的、或者新交互方式的 AI 硬件)。比如这张图中所展示的[2]: 端侧模型和 AI 硬件结合在一起,我觉得主要有三方面优势: ● 隐私:隐私和数据安全显然是端侧模型最明显最直接的优势,特别是在个人信息、内部资料、数据分析方面,用户会倾向于使用可控的本地模型。 ● 成本:虽然现在很多 AI 应用都是免费的,但 API 并不免费,某种意义上讲,端侧模型激活了边缘算力,其实降低了 AI 调用的成本。 ● 普及:端侧模型 + AI 硬件的方式,有可能会给带来新的破圈的机会,让之前没有接触 AI 的普通人有机会用到 AI 工具和 AI 能力。 我甚至会觉得,第三点才是最重要的原因。我最近一段时间写 AI 话题,遇到最大的困扰就是,即便圈内已经非常火热的话题,在普通人眼中,要么是冷漠不关心,要么是质疑加嘲讽。 这里面当然有一部分人是了解过用过之后觉得空炒概念,但还有相当一部分人实际上没有自己用过,只是看了一些更反智和煽动的话语就给先入为主地觉得 AI 没有用。 对于这部分人来说,他们大概不会去主动注册或者使用 AI 应用,但如果 AI 润物无声地进入 PC、手机,提供更简洁方便的使用体验,相当于喂饭级功能,也许会大大增加 AI 的普及程度。 via 知乎热榜 (author: 段小草)

封面图片

苹果公司解释为何只有iPhone 15 Pro系列满足Apple Intelligence的要求

苹果公司解释为何只有iPhone 15 Pro系列满足Apple Intelligence的要求 这些新的人工智能功能需要苹果最新的 iPhone 15 Pro 和 iPhone 15 Pro Max 机型才能使用,而只有配备 M1 或更高芯片的 Mac 和 iPad 才能支持苹果智能。自从消息曝光后,很多用户都在询问截止日期的原因是什么。在《WWDC 2024 现场脱口秀》中,Daring Fireball 的约翰-格鲁伯(John Gruber)向苹果公司的人工智能/机器学习主管约翰-吉安南德雷亚(John Giannandrea)、市场营销主管格雷格-乔斯维克(Greg Joswiak)和软件工程主管克雷格-费德里吉(Craig Federighi)提出了这个问题,得到的答复是这样的。Giannandrea:"因此,这些模型在运行时称为推理,而大型语言模型的推理计算成本高得惊人。因此,设备的带宽、苹果神经引擎的大小、设备的性能都决定了这些模型的运行速度必须足够快。理论上,你可以在非常老旧的设备上运行这些模型,但速度会非常慢,以至于无法发挥作用。"格鲁伯:"所以这不是一个销售新款 iPhone 的计划?乔斯维克:"不,完全不是。否则,我们也会推广最新的 iPad 和 Mac,不是吗?"苹果公司的软件工程主管克雷格-费德里吉(Craig Federighi)说,该公司在推出任何新功能时,首先要做的是如何尽可能地将其恢复到旧设备上。但说到"苹果智能","这是它需要的硬件..."他补充说:"在 iPhone 上运行如此强大的模型是一件非常了不起的事情。"iPhone 15 Pro 机型使用的是 A17 Pro 芯片,它拥有 16 核神经引擎,比 iPhone 15 和 iPhone 15 Plus 的 A16 芯片快达 2 倍,每秒可执行近 35 万亿次运算。费德里吉暗示,内存也是新人工智能功能所需的系统的另一个方面,因此,所有兼容苹果智能系统的设备都拥有至少 8GB 的内存或许并非巧合。尽管截止日期已过,但在苹果即将推出的软件更新中,旧款 iPhone 的用户仍有很多值得期待的地方:iOS 18 除了苹果智能系统外,还拥有多项新功能,而且每款能运行 iOS 17 的 iPhone 都能兼容 iOS 18。这其中就包括 2018 年的 iPhone XR。如果你还想在口袋里装上苹果智能手机,但又没有 iPhone 15 或 iPhone 15 Pro,那么你可能要等到 iPhone 16 系列,预计它将在秋季 iOS 18 发布时推出。 ... PC版: 手机版:

封面图片

【周三 #美股 盘前你需要了解的全球 #要闻 】

【周三 #美股 盘前你需要了解的全球 #要闻 】 #美国 5月核心CPI同比降至三年低位,环比增速0.2%不及预期。 欧盟宣布将在7月初对自中国进口的电动汽车加征关税,中方已表示将采取措施维权。 IEA:本十年末全球石油将出现重大过剩,大幅下调今年需求增长预测至96万桶/日。 三星电子聘请 #苹果 Siri项目前负责人Murat Akbacak加入北美人工智能团队,成立新AI中心。 甲骨文美股盘前一度涨超9%,公司 #财报 逊色但和OpenAI及 #谷歌 达成合作。 台积电美股盘前涨近4%,报道称台积电南科嘉义园区新厂开始采购设备,冲刺CoWoS先进封装。 知乎美股盘前涨超3%,公司一季度总收入9.609亿元,超出市场预期。 蔚来全球业务大调整:新设八个部门,“出海老将”亲自抓中东。 极氪宣布,将新增16%营销服务人员,年内门店数量达520家 #特斯拉 官宣:已在工厂部署两个自动执行任务的Optimus机器人。 郭明𫓹:目前Apple Intelligence装置端AI大模型对DRAM的需求约为2GB或更低。 日经225指数收跌0.7%,沪指收涨0.31%, #恒生指数 收跌1.31%。

封面图片

三星电子迎接史上最大规模罢工 存储芯片涨价浪潮难停

三星电子迎接史上最大规模罢工 存储芯片涨价浪潮难停 据了解,这也是三星电子成立55年以来规模最大的罢工行动,三星电子乃全球存储芯片市场份额最高的领导者,此次罢工可能对全球存储芯片供应造成一定程度影响,自今年以来的这波DRAM与NAND存储芯片涨价浪潮可能停不下来。据了解,韩国最规模工会之一的三星电子工会(NSEU)大约3万名成员占三星电子韩国员工总数的约24%,该工会希望公司对于工会的员工给予更多的年假,并且希望改变员工奖金制度。然而,有分析师对此表示,低参与率和自动化生产规模意味着这一次大规模罢工不太可能对这家全球最大存储芯片制造商的产量产生重大性质的影响,但不排除存储芯片继续涨价趋势。此外,随着全球科技公司纷纷拥抱人工智能,在芯片行业的关键产能提升和创新时刻,这标志着三星电子员工忠诚度明显下降。上个月,工会进行了第一次劳工罢工行动,主要是协调更多的年假,有效地发动了大规模罢工。三星电子在当时表示,这一罢工行动对商业活动没有重大影响。但是该公司拒绝就周一的罢工置评。该工会没有透露上个月具体的工人罢工情况。该工会近日表示,本周将有6540名工人参加现场罢工集会,主要集中在三星电子的生产基地和产品开发部门,还包括监控自动化生产线和设备的工人,因此可能会影响正常的生产运营。周一,工人们聚集在首尔以南华城的三星总部附近。工会主席Son Woo-mok反驳了媒体关于低参与率的报道,他告诉媒体,这个五年前成立的新工会没有足够的时间来教育普通工会成员。“对工会成员和雇员们的工会教育还不够。但我不认为参与率低,因为我们的工会与其他工会相比还很年轻。”工会高级领导人Lee Hyun-kuk上周曾表示,如果这次的要求得不到满足,可能还会出现新一轮大规模罢工。这位高级领导人表示,三星方面的提议包括提高薪资和年假条件方面的灵活性,但并未满足工会增加薪资和更多休假的要求。此外,工会官员们坚称三星电子的奖金制度非常不公平,因为它是通过从营业利润中扣除资本成本来进行测算,而高管们的奖金则基于个人绩效目标。。自从这家韩国科技巨头在2020年承诺不再阻碍有组织劳工的发展以来,三星工会的成员人数大幅增加。有分析师表示,这一增长表明员工忠诚度下降,这是三星在人工智能(AI)应用芯片竞争中面临的除HBM认证资质以外的另一个难题。“我告诉人们,我为在三星电子工作而感到自豪,但事实并非如此,”20 岁的Park Jun-ha接受采访时说道。他是三星芯片先进封装线的一名重要工程师,于今年 1 月加入该公司。他还表示,自己对三星“不透明”的奖金计划感到不满。AI热潮刺激存储需求激增,三星电子Q2利润料迎来爆炸式增长上周五,三星电子预计第二季度营业利润将增长逾15倍,因为人工智能热潮推动HBM存储系统,以及更广泛的DRAM和NAND存储价格大幅反弹,提振了一年前较低的比较基数。尽管如此,其股价表现,以及HBM认证进度仍远远落后于同类型芯片的竞争对手SK海力士(SK Hynix)。三星电子公布了多年来最快的销售和利润增长速度,反映出随着全球人工智能发展加速,存储芯片需求呈现激增态势。在全球企业纷纷斥巨资布局AI的这股狂热浪潮中,存储需求可谓迈入迅猛增长阶段。这家全球最大规模存储芯片以及智能手机制造商上周五公布,截至6月30日的第二季度初步统计业绩显示,营业利润增长逾15倍,至10.4万亿韩元(合75亿美元),大幅超出市场预期。销售额增长约23%,是自2021年新冠疫情以来的最大增幅。三星电子将于7月31日公布包括各部门详细数据在内的最终业绩。随着人工智能技术发展迭代,全球企业对存储芯片需求激增。SK海力士已成为英伟达核心的HBM供应商,三星也在力争加入这一行列。在当前存储领域最为火热的HBM市场方面,截至2022年,三大原厂HBM市占率分别为SK海力士50%、三星电子约40%、美光约10%,由于SK海力士在HBM领域最早发力,早在2016年已涉足这一领域,因此占据着绝大多数市场份额。有业内人士表示,2023年SK海力士HBM市场份额分布将在55%左右,位列绝对主导地位。三星电子在存储芯片领域堪称最核心地位韩国是世界上最大规模两家存储芯片生产商SK海力士与三星的所在地,其中,全球HBM霸主SK海力士已经成为英伟达最核心的HBM供应商,英伟达H100 AI GPU所搭载的正是SK海力士生产的HBM存储系统。此外,英伟达H200 AI GPU以及最新款基于Blackwell架构的B200/GB200 AI GPU的HBM也将搭载SK海力士所生产的最新一代HBM存储系统HBM3E,另一大HBM3E供应商则是来自美国的存储巨头美光,美光HBM3E大概率将搭载英伟达H200以及最新推出的性能无比强劲的B200/GB200 AI GPU。另一大来自韩国的存储巨头三星,则是全球最大规模的DRAM与NAND存储芯片供应商,并且近期也在力争成为英伟达HBM以及更新一代的HBM3E供应商之一。三星在DRAM主流应用之一的DDR系列存储芯片领域(如DDR4、DDR5) 以及NAND存储主流应用之一的SSD,市场份额遥遥领先于其他存储芯片制造商。不同于HBM大规模应用于AI数据中心,DDR系列存储主要用于PC系统的主存储器,提供足够的内存容量和带宽,支持多任务处理和消费电子端数据集的处理,LPDDR(Low Power DDR)系列则应用于智能手机端。从上图能够看出,韩国企业在存储市场占据主导地位,三星电子和SK海力士占据全球存储芯片市场绝大多数份额,其中三星电子占比甚至接近50%。自从2023年以来席卷全球企业的AI热潮已带动AI服务器需求激增,戴尔科技(DELL.US)以及超微电脑(SMCI.US)等全球顶级数据中心服务器制造商在其AI服务器中通常使用三星与美光DDR系列产品,以及NAND存储主流应用之一的三星/美光SSD则大量用于计算系统的服务器主存储体系,而SK海力士HBM存储系统则与英伟达AI GPU全面绑定在一起使用。DRAM主要用于计算系统的主存储器,为CPU和GPU提供临时数据存储和中间计算结果,以及数据加载和预处理。虽然NAND存储的读写速度不如整个DRAM以及归属于DRAM细分领域的HBM,但其容量大、成本低,是长时间存储数据的理想选择,在生成式AI计算系统中,NAND通常用于保存规模庞大的训练/推理数据集和已训练模型,当需要进行训练或再推理负载时,将数据极速加载到DRAM或HBM中进行处理。这也是HBM存储系统,以及整个DRAM与NAND存储需求激增的重要逻辑。随着全球存储芯片持续复苏,主流存储芯片厂商已经率先开启了涨价模式,TrendForce集邦咨询最新调查显示,第二季度整个DRAM合约价格环比涨幅高达13%-18%。有业内人士表示,从2023年年底开始,全球半导体存储产业逐步进入上行周期,今年已多次收到上游存储芯片厂提高合约价的通知。服务器制造商戴尔近日预计DRAM和SSD价格将在下半年上涨15%至20%。此外,受AI数据中心对大容量NAND需求的推动,以及苹果Apple Intelligence所引领的端侧AI大模型融入消费电子端的热潮,也有望推动DRAM与NAND需求迈入激增阶段,近期三星电子和SK海力士已将NAND工厂的开工率由去年的20-30%升至70%以上。 ... PC版: 手机版:

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人