郭明𫓹解密Apple Intelligence：端侧模型对DRAM需求约为2GB或更低

郭明𫓹解密Apple Intelligence：端侧模型对DRAM需求约为2GB或更低 郭明琪表示，M1的AI算力约为11 TOPS，低于A16的17 TOPS。但A16的DRAM为6GB，低于M1的8GB。因此，目前的Apple Intelligence装置端AI LLM对DRAM的需求约为2GB或更低。他进一步指出，Apple Intelligence采用端侧3B LLM（应为FP16，M1的NPU/ANE对FP16有很好的支持），经过压缩后（采用2-bit与4-bit的混合配置），随时需要预留约0.7-1.5GB DRAM来运作Apple Intelligence的端侧LLM。郭明琪的分析认为，对于现有的设备端应用，如果要通过AI进行增强，至少需要部署3B LLM。在此基础上，再根据压缩方式决定DRAM规格。（最有可能升级到7B LLM），届时需要更大DRAM才能运作。苹果是否会以此作为高低端机种的产品区隔策略值得观察。 ... PC版： 手机版：

「Harmony」/「kieed」

「Harmony」/「kieed」 #女の子#女孩子#VOCALOID#初音ミク#初音未来#初音ミク生诞祭2020#初音未来生日祭2020#VOCALOID5000users入り#VOCALOID_5000收藏#金管楽器#ミクさんマジ天使#Miku_must_be_an_angel#ミクさんマジ女神 https://www.pixiv.net/artworks/84049832