中国电信发布单体稠密万亿参数语义模型 用了普通训练方案 9% 的算力资源

中国电信发布单体稠密万亿参数语义模型用了普通训练方案9%的算力资源6月19日,记者从中国电信处获悉,近日,中国电信人工智能研究院(TeleAI)联合北京智源人工智能研究院发布了全球首个单体稠密万亿参数语义模型Tele-FLM-1T,成为国内首批发布稠密万亿参数大模型的机构。记者了解到,针对大模型训练算力消耗高的问题,TeleAI与智源基于模型生长和损失预测等关键技术联合研发出的Tele-FLM系列模型,仅使用了业界普通训练方案9%的算力资源,基于112台A800服务器,用时4个月完成了3个模型总计2.3Ttokens的训练。(每经)

相关推荐

封面图片

中国电信发布首个支持 30 种方言混说语音大模型

中国电信发布首个支持30种方言混说语音大模型近日,中国电信人工智能研究院发布业内首个支持30种方言自由混说的语音识别大模型——星辰超多方言语音识别大模型,打破单一模型只能识别特定单一方言的困境,可同时识别理解粤语、上海话、四川话、温州话等30多种方言,是国内支持最多方言的语音识别大模型。据悉,该大模型研发团队首创“蒸馏+膨胀”联合训练算法,解决超大规模多场景数据集和大规模参数条件下,预训练坍缩的问题,实现1B参数80层模型稳定训练。星辰语音大模型也是业内首个开源的基于离散语音表征的语音识别大模型,通过“从语音到token再到文本”的建模新范式,将推理时语音传输比特率降低数十倍。目前,星辰语音大模型已在福建、江西、广西、北京、内蒙等地的中国电信万号智能客服试点应用。

封面图片

中国电信智算规模达到 13EFLOPS

中国电信智算规模达到13EFLOPS中国电信总经理邵广禄17日在2024世界电信和信息社会日大会上介绍,中国电信重点规划“2+3+7+N+M”的智算布局,智算规模达到13EFLOPS(每秒一百京(=10^18)次的浮点运算)。目前,已在上海已建成单集群的万卡智算资源池。在智算云能力方面,现已初步具备云骁、慧聚和息壤的三大能力平台,实现了智算算力的统一纳管、一站提供和异构调度的能力,智算云能力初步成型。在前一日,中国电信发布了中国电信AI+产品升级计划和中国电信AI品牌标识,并推出面向个人、家庭、行业客户的首批AI+产品。

封面图片

中国电信称具备ChatGPT研发基础 股票一度涨停

中国电信称具备ChatGPT研发基础股票一度涨停中国电信据报已全面布局大模型技术研发并取得阶段性成果,积极关注产业版ChatGPT后,公司股票星期一(2月20日)一度触及涨停,并带动其余两只中资电讯股上涨。据界面新闻旗下《科创板日报》上星期五(2月17日)报道,中国电信相关负责人透露,公司已初步建立针对电信、政务等垂直领域的数据积累、语义大模型训练经验及各类下游模型的蒸馏能力,其模型算法能力可支撑包括通信助理、智能外呼、数字人客服等多个产品系统。在语义生成式模型方面,负责人透露,中国电信正积极关注产业版ChatGPT并已具备相关技术研发基础,初步具备文章续写、主题写作、同义句生成、多轮对话和长文本摘要等能力。中国企业中,第一个尝试推出专业版ChatGPT的是京东此前推出的“ChatJD”,其预计参数量达千亿级,主要应用于京东擅长且复用程度高的零售和金融场景。相较而言,中国电信则是旨在打造面向电信领域的产业版ChatGPT。中国电信相关负责人也说,公司计划将ChatGPT、AIGC等AI技术与已有的业务产生协同,加快人工智能科技成果商业化应用。在场景应用方面,将实现全面的AI核心能力自主研发,并推动大模型由城市级模型库向产业级模型库延展,聚焦数字人、元宇宙,拓展智能客服、聊天机器人等领域。受上述利好消息影响,上交所三大中资电讯股星期一均上涨。截至发稿时,中国电信涨逾10%,多次触及涨停,最高报6元(人民币,下同,约1.2新元)每股;中国移动和中国联通股价分别上涨逾6%和7%,最高分别报81.29元和5.35元每股。

封面图片

中国电信董事长柯瑞文:持续攻关通用大模型和量子计算云平台,加快 6G 网络架构与标准研究

中国电信董事长柯瑞文:持续攻关通用大模型和量子计算云平台,加快6G网络架构与标准研究5月24日,第七届数字中国建设峰会在福州举行,中国电信董事长柯瑞文在开幕式上表示,科技创新是发展新质生产力的核心要素,中国电信持续加大科技创新力度,在云和云网融合领域,突破了云操作系统等“卡脖子”技术,云底座平台摆脱开源限制,打造通智超一体化智算加速平台“云骁”、一站式智算服务平台“慧聚”、算力调度平台“息壤”。柯瑞文称,这三个平台是全国一体化算力体系的核心平台,这三大平台的建设标志着天翼云作为国家云已经越过向智能云发展的拐点。下阶段,中国电信将重点攻关异构云调度、智算网络、云网操作系统等卡点技术,为算力资源高质量供给持续贡献创新方案。在人工智能、量子、网络领域,持续攻关通用大模型和量子计算云平台,加快6G网络架构与标准研究,积极抢占科技竞争和未来发展制高点。

封面图片

中国电信:2024 年智算规模将达到 21EFLOPS

中国电信:2024年智算规模将达到21EFLOPS第七届数字中国建设峰会・智算云生态大会上,中国电信董事长柯瑞文表示,下一步将适度超前建设智算基础设施,在热点区域建设超万卡的超大智算集群,西部地区打造大规模绿色智算池,2024年智算规模达到21EFLOPS;打造跨DC分布式无损网络,400G高速全光网年底全国覆盖,并加快向800G、1.2T超大带宽升级,初步构建全国一体化算力互联网。

封面图片

北京:规划建设支撑万亿级参数大模型训练需求的超大规模智算集群

北京:规划建设支撑万亿级参数大模型训练需求的超大规模智算集群北京市经济和信息化局和北京市通信管理局联合发布《北京市算力基础设施建设实施方案(2024—2027年)》。其中提到,按照全国一体化算力网络国家枢纽节点布局,构建京津冀蒙算力一体化协同发展格局,打造内蒙古(和林格尔、乌兰察布)-河北(张家口、廊坊)-北京-天津(武清)为主轴的京津冀蒙算力供给走廊,支持本市企业在以上地区建设算力基础设施,规划建设支撑万亿级参数大模型训练需求的超大规模智算集群,逐步形成梯度分布、布局合理、功能完善的区域协同算力供给体系。

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人