荣耀CEO赵明：功耗是端侧大模型亟待解决的问题

荣耀CEO赵明：功耗是端侧大模型亟待解决的问题 对于未来端侧大模型的趋势，荣耀CEO赵明今天 (27日) 接受媒体采访时认为，大模型在手机上的落地会是恰到好处，不用刻意追求更大的模型，像ChatGPT这种能力未来在手机侧很难复刻，也不是核心应用场景。端侧AI是个人工具，要让个人在AI世界变得更强大，更好地管理和使用网络大模型。“目前，端侧70亿参数大模型还不能长期持久地使用。跑两小时，手机可能就没电了。低功耗的70亿参数大模型才是有价值的。未来随着端侧大模型逐步把能力构建起来，20亿模型就能实现70亿的效果。未来，大模型也会有不同的参数，比如10亿、20亿、30亿，而不是任何时候都用大参数的模型。”

相关推荐

封面图片

【荣耀赵明：即将推出自研70亿端侧AI大模型和全新云服务】

【荣耀赵明：即将推出自研70亿端侧AI大模型和全新云服务】 荣耀迎来品牌独立三周年。荣耀公司CEO赵明在个人微博表示，这三年最大的收获，就是团队的成长。他还透露，荣耀即将推出自研70亿端侧AI大模型和全新云服务，把智慧体验带给每位用户。
封面图片

【赵明：今年荣耀能实现在12GB手机内存部署7B端侧AI大模型并保证体验流畅】

【赵明：今年荣耀能实现在12GB手机内存部署7B端侧AI大模型并保证体验流畅】 荣耀CEO赵明对华尔街见闻独家透露，2024年荣耀将能于12GB（RAM/运存）智能手机端侧部署参数规模为7B的AI大模型。赵明说，“荣耀平台级AI技术能将LLM大模型在端侧实现超高压缩率。7B模型能在12G设备上快速启动，同时保证用户常用应用体验不受影响。”一般来说，要在智能手机端侧部署7B参数规模的LLM大模型，需要24GB运存。12GB运存智能手机端侧实现7B大模型部署，同时还能保证用户的日常流畅应用，以荣耀平台级AI能力的底层技术特性，可大幅提升和扩展荣耀多价位智能手机的AI体验。（作者 周源）
封面图片

荣耀CEO赵明：功耗是端侧大模型亟待解决的问题
封面图片

面壁智能开源业内首个端侧大模型工具集 MobileCPM

面壁智能开源业内首个端侧大模型工具集 MobileCPM 7 月 5 日，在 WAIC2024 “模型即服务（Mass）加速大模型应用落地” 论坛上，面壁智能发布新一代高效稀疏架构大模型 MiniCPM-S。同时，面壁智能开源了业内首个端侧大模型工具集 “MobileCPM”，包含开源端侧大模型、SDK 开发套件以及翻译、摘要等意图，可降低开发门槛，更灵活定制大模型 App，帮助开发者提高集成大模型到 APP 的效率。目前，MobileCPM 已默认集成 MiniCPM-S。
封面图片

【 #苹果 开源大模型OpenELM来了，它可能用在下一代iPhone上】

【 #苹果 开源大模型OpenELM来了，它可能用在下一代iPhone上】 据VentureBeat报道，苹果近日在AI代码社区Hugging Face上发布了OpenELM大模型。这是一个由不同参数大小构成的一系列开源大型语言模型，可运行在端侧设备上。据了解，该系列模型包含2.7亿、4.5亿、11亿和30亿共4个不同参数版本。基于较小的参数量，这些模型可在端侧设备上独立运行，而不必连接云端服务器。具体而言，其一共包括4个预训练模型和4个指令调优模型。这些模型可运行在笔记本电脑甚至智能手机上，苹果举例称，其中一台是配备M2 Max芯片、64GB RAM，运行macOS 14.4.1的MacBook Pro。（界面）
封面图片

【小米成为首家落地AI端侧大模型手机商】

【小米成为首家落地AI端侧大模型手机商】 高通骁龙将在 #美国 夏威夷时间10月24日发布最新一代高通骁龙Gen 3 5G AI移动平台。华尔街见闻独家获悉，这就意味着小米将是首家落地AI端侧大模型的终端公司。（作者 周源）

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人