郭明𫓹解密Apple Intelligence:端侧模型对DRAM需求约为2GB或更低
郭明𫓹解密Apple Intelligence:端侧模型对DRAM需求约为2GB或更低 郭明琪表示,M1的AI算力约为11 TOPS,低于A16的17 TOPS。但A16的DRAM为6GB,低于M1的8GB。因此,目前的Apple Intelligence装置端AI LLM对DRAM的需求约为2GB或更低。他进一步指出,Apple Intelligence采用端侧3B LLM(应为FP16,M1的NPU/ANE对FP16有很好的支持),经过压缩后(采用2-bit与4-bit的混合配置),随时需要预留约0.7-1.5GB DRAM来运作Apple Intelligence的端侧LLM。郭明琪的分析认为,对于现有的设备端应用,如果要通过AI进行增强,至少需要部署3B LLM。在此基础上,再根据压缩方式决定DRAM规格。(最有可能升级到7B LLM),届时需要更大DRAM才能运作。苹果是否会以此作为高低端机种的产品区隔策略值得观察。 ... PC版: 手机版:
在Telegram中查看相关推荐

🔍 发送关键词来寻找群组、频道或视频。
启动SOSO机器人