通过4bit量化的模型压缩,OPPO的AlBoost推理引擎优化,以及与芯片厂家联合深度优化等多项举措,让70亿参数大模型真正地

通过4bit量化的模型压缩,OPPO的AlBoost推理引擎优化,以及与芯片厂家联合深度优化等多项举措,让70亿参数大模型真正地装进手机,并实现内存和存储空间的进一步优化,为端侧AI的性能与精度实现更好平衡。OPPO自主训练的大模型——AndesGPT,具有“个性专属、对话增强、端云协同”三大技术特征。坚持端云协同部署的AndesGPT,覆盖十亿至千亿以上多种不同参数规模,可通过分工、互补、协作的方式,根据不同场景的用户需求实现智能调度。通过独创的SwappedAttention技术,AndesGPT还解决了长期记忆带来首字推理延迟问题。

相关推荐

封面图片

阿里通义千问开源 320 亿参数模型

阿里通义千问开源320亿参数模型4月7日,阿里云通义千问开源320亿参数模型。通义千问此前已开源5亿、18亿、40亿、70亿、140亿和720亿参数6款大语言模型。此次开源的320亿参数模型,将在性能、效率和内存占用之间实现更理想的平衡。例如,相比通义千问14B开源模型,32B在智能体场景下能力更强;相比通义千问72B开源模型,32B的推理成本更低。通义千问团队希望32B开源模型能为企业和开发者提供更高性价比的模型选择。目前,通义千问共开源了7款大语言模型,在海内外开源社区累计下载量突破300万。来源,频道:@kejiqu群组:@kejiquchat

封面图片

OPPO 2022未来科技大会举办 发布多项重磅科技成果

OPPO2022未来科技大会举办发布多项重磅科技成果OPPO副总裁、研究院院长刘畅表示:“在这个充满挑战与不确定性的变革时代,OPPO始终坚持技术投入,坚持科技致善,践行作为一家科技公司的创新本分。依托马里亚纳、潘塔纳尔、安第斯三大计划,OPPO希望最终实现‘芯云一体,多端融合’。这既是OPPO布局三大核心技术的顶层战略牵引,也是实现万物互融的必然路径。“OPPO副总裁、研究院院长刘畅发表大会主题演讲 马里亚纳MariSiliconY发布,OPPO自研芯片能力更进一步继首颗自研影像专用NPU芯片马里亚纳MariSiliconX之后,此次大会期间OPPO正式发布第二颗自研芯片——马里亚纳 MariSiliconY。OPPO 芯片产品高级总监姜波表示:“马里亚纳MariSiliconY 是OPPO 的第二颗自研芯片,标志着OPPO 自研芯片能力的再进一步。作为一颗技术超前的旗舰芯片,我们期待这颗芯片的关键技术,能够解决用户音频体验中‘音质’与‘智能’的关键问题,为下一代旗舰蓝牙音频设备,提供芯片动力。”OPPO芯片产品高级总监姜波发布马里亚纳MariSiliconY作为OPPO自主研发的首款旗舰蓝牙音频SoC芯片,马里亚纳MariSiliconY通过全球最快的12Mbps蓝牙速率,首次实现192kHz/24bit无损音频的蓝牙无线传输,达到蓝牙音质巅峰;首次集成专用NPU 单元,马里亚纳MariSiliconY为快速发展的计算音频提供高达590GOPS的超前AI 算力,并首次在耳机端侧实现了声音分离技术,带来更具个性化的聆听体验;率先应用全球最先进的N6RF工艺制程,马里亚纳MariSiliconY 能够兼具超前的高性能与旗舰续航体验。云化终端、数智万物,安第斯智能云加速端云融合2019年开始,OPPO布局自研芯片、软件系统和智能云三大技术,分别实施马里亚纳、潘塔纳尔和安第斯计划,构建技术护城河,支撑万物互融新生态。继马里亚纳自研芯片和潘塔纳尔智慧跨端系统相继亮相之后,安第斯智能云也在本次大会上正式发布。OPPO数智工程事业部总裁刘海峰表示:“在硬件和软件之后,云正成为泛终端的全新生产力。端云加速融合,势不可挡。作为服务个人、家庭和开发者的泛终端智能云,安第斯智能云致力于让终端更智能。”OPPO数智工程事业部总裁刘海峰发布安第斯智能云 历时两年, 安第斯智能云完成了全球混合云的基础设施建设、技术平台打造与核心能力布局。在基础设施层(IaaS),2022年,OPPO 首个自建数据中心智能云(大湾区)数据中心正式投入使用,采用先进GPU训练集群和互联架构,可支撑千亿超大模型预训练。全链路减碳方案实现100%绿电,达成整体零碳排。在平台层(PaaS),安第斯智能云构建了包括端云数据存储、端云机器学习、端云实时渲染、智能对话、硬件仿真与安全隐私等六大平台能力。在应用层(SaaS),安第斯智能云将提供智能推荐、智能视觉、智能助理等系列解决方案,支持多端设备一致性体验与多场景的应用与服务创新。依托云端在存储、计算与智能上的优势,安第斯智能云为用户带来了重构存储体验、增强智能服务、探索虚实融合三大体验革新:通过由OPPO主导运营,云原生计算基金会(CNCF)托管的国内首个开源云原生分布式存储项目CubeFS,OPPO计划推出无限云相册及随心办公空间,为用户提供无限存储、精准搜索与推荐、便捷高效办公与多端一致性体验;端云机器学习系统StarFire将为用户带来更高隐私安全、更低延时的交互体验,推动人工智能助手小布向生成式AI、具身智能进化;Andeverse端云实时渲染可以将存储、算力要求极高的仿真技术放在云端进行,通过实时渲染与串流技术,让用户与开发者通过普通配置的终端就可以实时构建超写实数字人及3D虚拟空间,享受沉浸式体验。坚持科技致善,健康业务品牌OHealth发布家庭智能健康监测仪概念产品H1OPPO将健康作为“可以做一辈子的事业”,希望通过科技帮助用户建立健康生活方式,推动“预防型医疗”发展。健康业务品牌OHealth首款家庭智能健康监测仪概念产品H1 在本次大会上正式亮相。OPPO健康实验室负责人曾子敬表示,作为一家科技企业,OPPO相信科技一定能为医疗健康带来新的变化。OPPO会通过领先的产品,让科技的力量,成为每个人追求健康生活的底气和信心,让每个人都能感受到科技致善的温度。OPPO健康实验室负责人曾子敬发布OHealthH1OHealthH1基于OPPO自研技术,实现体温、心电、心率、血氧、心肺音听诊、睡眠六大生命健康体征数据监测,并可达到医疗级精度。同时,在安第斯智能云的赋能下,通过OHealthAPP能够实现家庭健康数据综合管理、远程听诊与视频问诊等远程医疗,为个人和家庭带来更专业、便捷的健康管理方案和医疗健康服务。此外,OPPO还在大会期间展示了探索XR领域的最新成果新一代智能眼镜OPPOAirGlass2,智能手机新形态的探索成果一体玻璃概念系列手机,以及第三代四足机器人、潘塔纳尔智慧车空间等创新成果。未来,OPPO将坚持投入底层核心技术,以芯片为基础、以多端为载体、以智能云为大脑,三位一体,共同实现以用户为中心的智慧服务,迈向更具竞争力的全球化科技公司。...PC版:https://www.cnbeta.com.tw/articles/soft/1335259.htm手机版:https://m.cnbeta.com.tw/view/1335259.htm

封面图片

阿里高管:大模型推理服务有非常大的机会

阿里高管:大模型推理服务有非常大的机会在财报电话会上,阿里高管表示,阿里在开发大模型有三个目标:1、通用人工智能的探索;2、通义大模型与阿里的商业模式天然匹配,把通义大模型与阿里云的基础设施进行软硬件协同优化,来为中国企业提供大模型推理服务。由于阿里同时提供云业务和大模型服务,这里面有非常大的机会;3、为阿里巴巴其他的AI业务提供基础模型的支撑,比如钉钉、夸克、淘宝能够拥有一个更好的底层开发平台。该高管表示,目前,通义的开源模型在中文世界的开发者使用最广泛,当开发者使用阿里云的开源模型,需要把应用部署到线上的时候,会自然而然地选用阿里云的服务。(科创板日报)

封面图片

计图大模型推理库 - 笔记本没有显卡也能跑大模型

计图大模型推理库-笔记本没有显卡也能跑大模型本大模型推理库JittorLLMs有以下几个特点:1.成本低:相比同类框架,本库可大幅降低硬件配置要求(减少80%),没有显卡,2G内存就能跑大模型,人人皆可在普通机器上,实现大模型本地部署;是目前已知的部署成本最低的大模型库;2.支持广:目前支持了4种大模型:ChatGLM大模型;鹏程盘古大模型;BlinkDL的ChatRWKV;国外Meta的LLaMA大模型;后续还将支持MOSS等国内优秀的大模型,统一运行环境配置,降低大模型用户的使用门槛。3.可移植:用户不需要修改任何代码,只需要安装Jittor版torch(JTorch),即可实现模型的迁移,以便于适配各类异构计算设备和环境。4.速度快:大模型加载速度慢,Jittor框架通过零拷贝技术,大模型加载开销降低40%,同时,通过元算子自动编译优化,计算性能相比同类框架提升20%以上。

封面图片

Meta 推出 80 亿参数和 700 亿参数的 Llama 3 模型

Meta推出80亿参数和700亿参数的Llama3模型据Meta旗下AIatMeta官方在X平台发文表示,Meta正式发布了Llama3包括80亿参数和700亿参数在内的2个模型。该模型实现了新功能,例如改进的推理能力,并为特定模型设定了新的最先进水平。在接下来的几个月中,我们预计将推出新功能、更长的上下文窗口、额外的模型大小和增强的性能+Llama3研究论文,供社区从我们的工作中学习。

封面图片

摩尔线程国产GPU千卡集群完成30亿参数大模型实训

摩尔线程国产GPU千卡集群完成30亿参数大模型实训本次实训充分验证了夸娥千卡智算集群在大模型训练场景下的可靠性,同时也在行业内率先开启了国产大语言模型与国产GPU千卡智算集群深度合作的新范式。据悉,这次的MT-infini-3B模型训练总共用时13.2天,全程稳定无中断,集群训练稳定性达到100%,千卡训练和单机相比扩展效率超过90%。目前,实训出来的MT-infini-3B性能在同规模模型中跻身前列,相比在国际主流硬件上(尤其是NVIDIA)训练而成的其他模型,在C-Eval、MMLU、CMMLU等3个测试集上均实现性能领先。无问芯穹正在打造“M种模型”和“N种芯片”之间的“MxN”中间层产品,实现多种大模型算法在多元芯片上的高效、统一部署,已与摩尔线程达成深度战略合作。摩尔线程是第一家接入无问芯穹并进行千卡级别大模型训练的国产GPU公司,夸娥千卡集群已与无穹Infini-AI顺利完成系统级融合适配,完成LLama2700亿参数大模型的训练测试。T-infini-3B的训练,则是行业内首次实现基于国产GPU芯片从0到1的端到端大模型实训案例。就在日前,基于摩尔线程的夸娥千卡集群,憨猴集团也成功完成了7B、34B、70B不同参数量级的大模型分布式训练,双方还达成战略合作。经双方共同严苛测试,兼容适配程度高,训练效率达到预期,精度符合要求,整个训练过程持续稳定。...PC版:https://www.cnbeta.com.tw/articles/soft/1432478.htm手机版:https://m.cnbeta.com.tw/view/1432478.htm

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人