郭明𫓹解密Apple Intelligence:端侧模型对DRAM需求约为2GB或更低
郭明𫓹解密AppleIntelligence:端侧模型对DRAM需求约为2GB或更低郭明琪表示,M1的AI算力约为11TOPS,低于A16的17TOPS。但A16的DRAM为6GB,低于M1的8GB。因此,目前的AppleIntelligence装置端AILLM对DRAM的需求约为2GB或更低。他进一步指出,AppleIntelligence采用端侧3BLLM(应为FP16,M1的NPU/ANE对FP16有很好的支持),经过压缩后(采用2-bit与4-bit的混合配置),随时需要预留约0.7-1.5GBDRAM来运作AppleIntelligence的端侧LLM。郭明琪的分析认为,对于现有的设备端应用,如果要通过AI进行增强,至少需要部署3BLLM。在此基础上,再根据压缩方式决定DRAM规格。(最有可能升级到7BLLM),届时需要更大DRAM才能运作。苹果是否会以此作为高低端机种的产品区隔策略值得观察。...PC版:https://www.cnbeta.com.tw/articles/soft/1434478.htm手机版:https://m.cnbeta.com.tw/view/1434478.htm
在Telegram中查看相关推荐
🔍 发送关键词来寻找群组、频道或视频。
启动SOSO机器人