北京：规划建设支撑万亿级参数大模型训练需求的超大规模智算集群

北京：规划建设支撑万亿级参数大模型训练需求的超大规模智算集群北京市经济和信息化局和北京市通信管理局联合发布《北京市算力基础设施建设实施方案（2024—2027年）》。其中提到，按照全国一体化算力网络国家枢纽节点布局，构建京津冀蒙算力一体化协同发展格局，打造内蒙古（和林格尔、乌兰察布）-河北（张家口、廊坊）-北京-天津（武清）为主轴的京津冀蒙算力供给走廊，支持本市企业在以上地区建设算力基础设施，规划建设支撑万亿级参数大模型训练需求的超大规模智算集群，逐步形成梯度分布、布局合理、功能完善的区域协同算力供给体系。

华为盘古NLP模型是华为云推出的一种中文自然语言处理模型，是业界首个千亿参数语言预训练模型 1. 它在预训练阶段学习了40T

华为盘古NLP模型是华为云推出的一种中文自然语言处理模型，是业界首个千亿参数中文语言预训练模型1.它在预训练阶段学习了40TB中文文本数据，是最接近人类中文理解能力的AI大模型1.盘古NLP大模型可用于内容生成、内容理解等方面，并首次使用Encoder-Decoder架构，兼顾NLP大模型的理解能力和生成能力，保证了模型在不同系统中的嵌入灵活性3.总之，华为盘古NLP模型是一种中文自然语言处理模型，它是业界首个千亿参数中文语言预训练模型，可用于内容生成、内容理解等方面，并首次使用Encoder-Decoder架构​盘古大模型已经产出工业成果了，HI自动驾驶就是基于盘古模型学习的，问界的语音控制也是，还有个重磅的就是C919的诞生，是中国商飞上海飞机设计研究院联合华为发布了世界首个工业级​流体仿​真大模型东方•御风也是基于盘古模型打造的​华为盘古大模型在工业领域较为出色，大模型的名称是因为，这玩意不是你用个电脑就能跑起来的，就算放到云上让你用，成本和延迟也不允许。所以盘古大模型的性能优化应该没有GPT那么惊艳。至于文心一​言，它是百度的半成品，我认为它的进步的速度会非常快，1-2个月后可见分晓，千万不要以固有思维去理解AI，chatgpt刚出来时也表现一般#文章#AI#科技viaJasonh

摩尔线程千卡GPU集群完成700亿参数大模型训练

摩尔线程千卡GPU集群完成700亿参数大模型训练访问：NordVPN立减75%+外加3个月时长另有NordPass密码管理器这充分验证了夸娥智算集群作为国产全功能GPU千卡千亿大模型预训练平台，在稳定性、高效能、易用性和高算力利用率的先进性。这也是憨猴集团首次使用国产AI算力完成大模型训练测试，后续可为其服务的国有企业与运营商等关键领域，提供更加坚实可靠的国产AI训练平台，以及成本效益更优的国产算力解决方案。同时，摩尔线程与憨猴集团签署了战略合作协议。双方将聚焦AI大模型和算力领域，通过摩尔线程夸娥千卡智算集群与憨猴集团AI智算产品及数字化解决方案的深度融合，共同探索国产AI算力的新应用场景与落地实践，加速数智化产业的全面升级。在此之前，摩尔线程已成为第一家接入无问芯穹，并成功完成千卡级别大模型训练的国产GPU公司，夸娥千卡集群与无穹Infini-AI顺利完成了系统级融合适配，并完成了LLama2700亿参数大模型的训练测试。“夸娥”集群基于双路八卡GPU服务器MCCXD800，每个节点有八块MTTS4000GPU加速卡、两颗Intel第四代至强处理器、16x64GB内存、4x3.84TBNVMeSSD，以及双路400GbIB、四路25Gb以太网网络，一体化交付解决大规模GPU算力的建设和运营管理问题。夸娥氏是我国神话传说中的大力神，出自《愚公移山》：“帝感其诚，命夸娥氏二子负二山，一厝朔东，一厝雍南。自此，冀之南，汉之阴，无陇断焉。”...PC版：https://www.cnbeta.com.tw/articles/soft/1431309.htm手机版：https://m.cnbeta.com.tw/view/1431309.htm

【英伟达宣布生成式AI引擎DGX GH200已投入量产，可支持万亿参数AI大模型训练】

【英伟达宣布生成式AI引擎DGXGH200已投入量产，可支持万亿参数AI大模型训练】2023年05月29日09点36分5月29日消息，美东时间5月28日，英伟达创始人兼CEO黄仁勋在NVIDIAComputex2023演讲中宣布，生成式AI引擎NVIDIADGXGH200现已投入量产。英伟达官网显示，NVIDIADGXGH200是将256个NVIDIAGraceHopper超级芯片完全连接到单个GPU中的新型AI超级计算机，支持万亿参数AI大模型训练。能够处理大规模推荐系统、生成式人工智能和图形分析，并为巨型人工智能模型提供线性可扩展性。

摩尔线程MTT S4000组成千卡集群“夸娥” 可训练千亿参数大模型

摩尔线程MTTS4000组成千卡集群“夸娥”可训练千亿参数大模型目前，无穹Infini-AI已经支持百川Baichuan2、ChatGLM2、ChatGLM3、ChatGLM3闭源模型、Llama2、Qwen、Qwen1.5等系列模型共20多个模型。摩尔线程是第一家接入无问芯穹并成功完成千卡级别大模型训练的国产GPU公司，“夸娥”(KUAE)集群已经与无穹Infini-AI顺利完成了系统级融合适配，并完成了LLama2700亿参数大模型的训练测试。“夸娥”集群基于双路八卡GPU服务器MCCXD800，每个节点有八块MTTS4000GPU加速卡、两颗Intel第四代至强处理器、16x64GB内存、4×3.84TBNVMeSSD，以及双路400GbIB、四路25Gb以太网网络，一体化交付解决大规模GPU算力的建设和运营管理问题。夸娥氏是我国神话传说中的大力神，出自《愚公移山》：“帝感其诚，命夸娥氏二子负二山，一厝朔东，一厝雍南。自此，冀之南，汉之阴，无陇断焉。”摩尔线程联合创始人兼执行总裁王东表示，基于先进的MUSA架构，摩尔线程已建立了从芯片、板卡、集群到软件的全栈AI产品线。摩尔线程夸娥智算集群是以全功能GPU为底座、软硬一体化的全栈解决方案，拥有高兼容性、高稳定性、高扩展性等综合优势，可作为大模型训练坚实可靠的先进基础设施。...PC版：https://www.cnbeta.com.tw/articles/soft/1425776.htm手机版：https://m.cnbeta.com.tw/view/1425776.htm

华为高管：升腾人工智能算力性能已超过英伟达A100

华为高管：升腾人工智能算力性能已超过英伟达A100近期举行的2024世界半导体大会暨南京国际半导体博览会的一场分论坛上，江苏鲲鹏·升腾生态创新中心首席运营官王陶透露，升腾集群是国内唯一已完成训练千亿参数大模型的技术路线，性能已经超过了英伟达A100。王陶表示，中国大模型里面，有近50%选择了升腾技术路线。与英伟达A100相比，升腾人工智能芯片在训练效率层面最高是英伟达的1.1倍。尤其在训练MetaLlama、BloomGPT等模型方面，升腾人工智能算力训练效率大大优于英伟达A100，甚至10倍领先其他国产友商。——