郭明𫓹解密Apple Intelligence:端侧模型对DRAM需求约为2GB或更低

郭明𫓹解密AppleIntelligence:端侧模型对DRAM需求约为2GB或更低郭明琪表示,M1的AI算力约为11TOPS,低于A16的17TOPS。但A16的DRAM为6GB,低于M1的8GB。因此,目前的AppleIntelligence装置端AILLM对DRAM的需求约为2GB或更低。他进一步指出,AppleIntelligence采用端侧3BLLM(应为FP16,M1的NPU/ANE对FP16有很好的支持),经过压缩后(采用2-bit与4-bit的混合配置),随时需要预留约0.7-1.5GBDRAM来运作AppleIntelligence的端侧LLM。郭明琪的分析认为,对于现有的设备端应用,如果要通过AI进行增强,至少需要部署3BLLM。在此基础上,再根据压缩方式决定DRAM规格。(最有可能升级到7BLLM),届时需要更大DRAM才能运作。苹果是否会以此作为高低端机种的产品区隔策略值得观察。...PC版:https://www.cnbeta.com.tw/articles/soft/1434478.htm手机版:https://m.cnbeta.com.tw/view/1434478.htm

相关推荐

封面图片

郭明𫓹:目前 Apple Intelligence 装置端 AI 大模型对 DRAM 的需求约为 2GB 或更低

郭明𫓹:目前AppleIntelligence装置端AI大模型对DRAM的需求约为2GB或更低跟踪苹果产业链多年的天风国际证券分析师郭明𫓹发布报告指出,从配备A16的iPhone15无法支持AppleIntelligence,但M1的机型可以支持,这推论出能否支持目前AppleIntelligence装置端模型的关键应该是DRAM大小,而较不是AI算力(TOPS)。M1的AI算力约为11TOPS,低于A16的17TOPS。但A16的DRAM为6GB,低于M1的8GB。因此,目前的AppleIntelligence装置端AILLM对DRAM的需求约为2GB或更低。

封面图片

天风国际分析师郭明分析认为,从配备A16的iPhone15无法支持AppleIntelligence,但M1的机型可以支持,这

天风国际分析师郭明𫓹分析认为,从配备A16的iPhone15无法支持AppleIntelligence,但M1的机型可以支持,这推论出能否支持目前AppleIntelligence装置端模型的关键应该是DRAM大小,而较不是AI算力(TOPS)。M1的AI算力约为11TOPS,低于A16的17TOPS。但A16的DRAM为6GB,低于M1的8GB。因此,目前的AppleIntelligence装置端AILLM对DRAM的需求约为2GB或更低。

封面图片

财通证券:维持兆易创新 “增持” 评级,端侧 AI 引领容量高需求

财通证券:维持兆易创新“增持”评级,端侧AI引领容量高需求财通证券研报指出,兆易创新(603986.SH)各产品线边际改善,端侧AI引领容量高需求。随着服务器和手机市场等的回暖,业内大厂商将部分产能向HBM和DDR5等转移,带来其晶圆价值量的提升,经过1-2个季度的传导涨价外溢到小容量和利基存储产品上。在2024Q1利基DRAM价格已经实现温和上涨,SLCNAND价格亦有温和上涨趋势。公司拟以自有资金15亿元人民币参与长鑫科技新一轮融资,有利于加深双方战略合作关系,提升DRAM市场份额,进一步打开市场空间。维持“增持”评级。

封面图片

昆仑万维宣布Opera浏览器接入端侧AI大模型

昆仑万维宣布Opera浏览器接入端侧AI大模型昆仑万维表示,即日起,端侧AI大模型将被正式集成进Opera浏览器旗舰产品中,覆盖Windows、MacOS和Linux等全部设备。据介绍,2024年4月,Opera已通过AIFeatureDrops计划,在Opera开发者版浏览器中引入了端侧AI访问功能,成为全球第一个引入本地AI模型访问功能的浏览器。此后,Opera在浏览器中陆续集成了超过60个大模型家族系列、超过2000个本地大型语言模型变体,让用户能够通过浏览器内置功能轻松访问和管理本地大模型。值得一提的是,本周起,Opera原生浏览器AI助手Aria将新增AI图像理解与图像问答功能。用户可在侧边栏聊天中上传图片给Aria,并向其询问有关图像的问题,Aria将理解图像内容,并围绕图像及相关背景信息为用户提供答案。相关文章:Opera的Aria人工智能助手现在可以在Android上总结网页内容Opera与Google达成合作将Gemini人工智能引入其浏览器...PC版:https://www.cnbeta.com.tw/articles/soft/1433001.htm手机版:https://m.cnbeta.com.tw/view/1433001.htm

封面图片

世界最强NPU:AMD锐龙AI 300系列发布 AI PC焕然一新

世界最强NPU:AMD锐龙AI300系列发布AIPC焕然一新2023年底的锐龙8040系列(代号HawkPoint),NPUAI算力一举提升了60%,达到约16TOPS,整体算力也提升至39TOPS。现在,StrixPoint终于登场了,官方命名为“锐龙AI300系列”,架构焕然一新,性能也再次飞跃,成为下一代AIPC的基石。CPU是全新的Zen5架构,GPU是升级版的RDNA3.5架构,NPU是全新的XDNA2架构,号称“面向下代AIPC/Copilot+PC的世界一流处理器”。只有制造工艺停留4纳米,毕竟非常成熟了。锐龙AI300系列首发只有两款型号,都定位高端市场。其中,“锐龙AI9HX370”是顶级旗舰,CPU部分拥有12核心24线程,多年来首次在这一定位上提供更多核心,相比锐龙8040系列增加了多达1/3。二级缓存还是每核心1MB,总容量自然增加到12MB。三级缓存终于打破了16MB的“禁锢”,增加了足足一半来到24MB。基准频率2.0GHz,最高主频5.1GHz,和现在倒是差不多。GPU部分不但升级架构,CU单元数量也从12个增至16个,命名为“Radeon890M”。NPU部分算力来到了50TOPS,增加了2倍有余,问鼎最强NPU的宝座。“锐龙AI9365”也是高端型号,10核心20线程,二级缓存10MB,三级缓存仍为24MB,最高频率达5.0GHz。NPU算力还是50TOPS,GPU部分精简为12个CU单元,改名为Radeon880M。TDP热设计功耗都是18W,可调范围18~54W。说了这么多,大家也看到了,AMD这一代移动处理器采用了全新的命名方式,不再是单纯的四位数字,而是将AI直接加入品牌名,地位之高前所未有。9HX、9都是代表产品级别,但注意这里的HX,和以往高端游戏本处理器用的HX(比如锐龙97945HX)不是一回事儿。数字编号采用300系列,代表从NPU单元的角度来看,这已经是第三代AIPC处理器。以上是一二代XDNANPU架构的对比图,可以看到整体布局基本一致,但规模大大扩充。AITile(初代叫AIETile)也就是核心的AI计算引擎模块,从之前的20个增加到32个,再加上本身的增强。MemTile也就是本地内存模块,从原来的5个增加到8个,可以更好地配合更大规模的本地调度、运算。另外,用于互连的交叉总线也从普通的DataFabric,升级为Zen/RDNA家族上无处不在的InfinityFabric,传输带宽和效率更高。AMD声称,XDNA2NPU的计算能力提升了多达5倍,多任务并行能力翻了一番,能效也提升了最多2倍。这里说的提升5倍,来自Llama270亿参数大模型的响应速度,从启动到获得第一个token,锐龙AI9HX370达到了锐龙98940HS的多达5倍。另外非常关键的一点,XDNA2首发引入了全新的BlockFP16浮点精度,也就是BFloat16、BF16。它在CPU、GPU上已经很常见,而在NPU上还是第一次。传统的FP8浮点格式性能高而精度不足,FP16浮点格式精度高而性能略逊,而将二者融合起来的BF16可以在精度、性能上达到较好的平衡,灵活性也更高。同时,大多数AI应用都采用了16位精度,因此有了BF16,不再需要量化为8位精度,减少了转换步骤,提高了执行效率。高通骁龙XEliteNPU的算力为45TOPS,Intel即将推出的下一代酷睿UltraLunarLakeNPU算力同样是45TOPS,锐龙AI300系列则一举超越二者,成为当今最强NPU。至于苹果,M4NPU的算力只有区区38TOPS,还不到Windows阵营这边Copilot+PC的最低算力需求门槛40TOPS。随着算力的大幅提升,NPU的应用也将不再局限于一些持续性低负载场景(比如视频会议),而是有了更多可能,一方面可以在更多场景中部分取代CPU、GPU,以更高的能效执行AI运算,大大提升笔记本的续航能力。另一方面,更强力的NPU配合更强力的CPU、GPU,可以在更多场景中部署端侧AI,进一步摆脱对云侧的依赖,最大好处就是可以避免隐私泄露和安全威胁。当然,硬件算力再强,也需要生态应用的落地配合。作为AIPC的先行者,AMD2024年内的ISV合作厂商将超过150家,既有Adobe、微软、TopazLabs这样的世界级大厂,也有百川智能、钉钉、、无问芯穹、有道这样的国内名企,前途不可限量。当然,新一代AIPC的最大亮点就是配合Windows,可以打造全新的Copilot+体验,比如历史回忆、视频会议实时录制与翻译、协同创作等。最后是一些官方性能对比,供参考。锐龙AI9HX370对比骁龙XElite,日常办公、生产力创作、多任务、图形等各方面都遥遥领先,尤其是图形计算,骁龙在移动端无敌,但是在AMD面前还是个弟弟。对比Intel目前最好的酷睿Ultra9185H,无论是日常应用还是游戏,都已经不在一个级别上,就看下一代LunarLake的表现了。苹果这边就更不够看了,尤其是多任务、3D图形性能,不在一个层次上。锐龙AI300系列的笔记本将从7月份起陆续上市,目前已有100多款设计,涵盖宏碁、华硕、戴尔、惠普、联想、微星等各大主要OEM品牌。华硕会在台北电脑展上宣布一系列配备锐龙AI300系列处理器的笔记本,其中轻薄本有16英寸的灵耀(ZenbookS)、14/15/16英寸的无畏(VivobookS),创作本有16和13英寸的ProArtP16/X13,游戏本有16英寸的ROG幻系列、14/16英寸的天选系列(TUFGAMINGA14/A16)。微星首批三款,都是16寸大屏机型,包括面向高端商务办公的SummitA16AI+,轻薄全能游戏型的绝影A16AI+、主打超薄商务与创作的尊爵A16AI+。芯片图赏:...PC版:https://www.cnbeta.com.tw/articles/soft/1433349.htm手机版:https://m.cnbeta.com.tw/view/1433349.htm

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人