上海交大发布大模型推理框架PowerInfer-2,手机可流畅运行

上海交大发布大模型推理框架PowerInfer-2,手机可流畅运行上海交大IPADS实验室推出了PowerInfer-2.0,一款面向智能手机的大模型推理引擎,显著提升了在内存有限的设备上运行大型语言模型的能力。该框架通过动态神经元缓存和以神经元簇为粒度的异构计算技术,实现了与开源推理框架相比高达29倍的推理速度提升。此外,团队还使用高质量、多样化的训练数据,让模型在稀疏化后更好地保持和提升性能。同时,该技术不仅适用于手机,还有望扩展到车载设备和智能家居等领域。上海交大IPADS团队已在Huggingface上开放了稀疏化的模型权重,预示着该技术有望从实验室走向实际应用。关注频道@ZaiHuaPd频道爆料@ZaiHuabot

相关推荐

封面图片

江泽民97岁冥寿 母校上海交大发诗疑似悼念

江泽民97岁冥寿母校上海交大发诗疑似悼念星期四(8月17日)是中共前总书记江泽民97岁的冥寿,他的母校上海交通大学当天在官方微博发唐朝诗人崔颢的诗《黄鹤楼》,似是表达怀念,并获得一些网民回应。上海交大星期四在微博中写道:昔人已乘黄鹤去,此地空余黄鹤楼。黄鹤一去不复返,白云千载空悠悠。晴川历历汉阳树,芳草萋萋鹦鹉洲。日暮乡关何处是?烟波江上使人愁。微博中还配有黄鹤楼图片。公开资料显示,江泽民于1926年8月17日出生于江苏扬州,于1947年从上海交通大学电机系毕业,与母校渊源深厚。江泽民因患白血病合并多脏器功能衰竭,于去年11月30日12时13分在上海逝世,享年96岁。许多网民在上海交大星期四的相关微博下留言:“缅怀”,“江淮之水泽于民”,“大江东去泽万民”等,表达对江泽民的怀念。

封面图片

中央广播电视总台与上海交大签约 深化人工智能领域合作

中央广播电视总台与上海交大签约深化人工智能领域合作4月20日,上海交通大学人工智能学院正式揭牌成立之际,中央广播电视总台与上海交通大学围绕人工智能领域签署了战略合作协议。根据协议,总台与上海交通大学以“央视听媒体大模型”与人工智能学院为依托,在科研创新与技术开发、人才领域、资源支持等方面进一步深化人工智能领域的全面战略合作。促进技术成果的转化和人才的培养,共同提升双方在全球智能媒体领域的竞争力和影响力。(央视新闻)

封面图片

上海交大陆铭教授的经济学思维课

名称:上海交大陆铭教授的经济学思维课描述:把经济学300年的精华浓缩到30期课程链接:https://www.aliyundrive.com/s/7TKnhbdcsjR大小:未知标签:#知识#学习#上海交大陆铭教授的经济学思维课来自:雷锋版权:频道:@shareAliyun群组:@aliyundriveShare投稿:@aliyun_share_bot

封面图片

苹果发布 OpenELM 大语言模型,基于开源训练和推理框架的语言模型

苹果发布OpenELM大语言模型,基于开源训练和推理框架的语言模型在WWDC24之前,苹果在HuggingFace平台上发布了一个“具有开源训练和推理框架的高效语言模型”,名为OpenELM。苹果这次发布了完整的框架,包括数据准备、训练、微调和评估程序,以及多个预训练的checkpoint和训练日志,以促进开源研究。其源码及预训练的模型权重和训练配方可在苹果Github库中获取。

封面图片

上海交大的数学猜想讲堂课程

名称:上海交大的数学猜想讲堂课程描述:上海交大的数学猜想讲堂课程是一门专注于探索数学领域重要猜想的课程。学生将深入研究各种著名猜想,并学习它们对数学发展的影响。通过理论讲解和实例分析,学生将提高数学思维能力和问题解决技巧。这门课程将挑战学生的数学素养和创新能力,培养其成为未来的数学家和领袖。建议先收藏保存,不定时失效。链接:https://pan.quark.cn/s/f3d8b313e431大小:NG标签:#quark#学习#资源#课程#数学频道:@yunpanshare群组:@yunpangroup

封面图片

上海交大一个月内成立三所新学院 人工智能学院今日成立

上海交大一个月内成立三所新学院人工智能学院今日成立继集成电路学院、心理学院之后,上海交通大学在近一个月内成立了第三所新学院——上海交大人工智能学院。上海交通大学人工智能未来科技对话会暨人工智能学院成立揭牌仪式20日在徐汇校区举行。上海交大介绍,人工智能学院将坐落于徐汇校区,以“用人工智能变革世界,用人才变革人工智能”为愿景,致力于与企业深度合作解决关键核心技术“卡脖子”难题,构建全链条创新体系,产出具有前瞻性、颠覆性的原始科技成果,打造人工智能领域的“黄埔军校”。

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人