摩尔线程国产GPU千卡集群完成30亿参数大模型实训

摩尔线程国产GPU千卡集群完成30亿参数大模型实训 本次实训充分验证了夸娥千卡智算集群在大模型训练场景下的可靠性，同时也在行业内率先开启了国产大语言模型与国产GPU千卡智算集群深度合作的新范式。据悉，这次的MT-infini-3B模型训练总共用时13.2天，全程稳定无中断，集群训练稳定性达到100％，千卡训练和单机相比扩展效率超过90％。目前，实训出来的MT-infini-3B性能在同规模模型中跻身前列，相比在国际主流硬件上(尤其是NVIDIA)训练而成的其他模型，在C-Eval、MMLU、CMMLU等3个测试集上均实现性能领先。无问芯穹正在打造“M种模型”和“N种芯片”之间的“M x N”中间层产品，实现多种大模型算法在多元芯片上的高效、统一部署，已与摩尔线程达成深度战略合作。摩尔线程是第一家接入无问芯穹并进行千卡级别大模型训练的国产GPU公司，夸娥千卡集群已与无穹Infini-AI顺利完成系统级融合适配，完成LLama2 700亿参数大模型的训练测试。T-infini-3B的训练，则是行业内首次实现基于国产GPU芯片从0到1的端到端大模型实训案例。就在日前，基于摩尔线程的夸娥千卡集群，憨猴集团也成功完成了7B、34B、70B不同参数量级的大模型分布式训练，双方还达成战略合作。经双方共同严苛测试，兼容适配程度高，训练效率达到预期，精度符合要求，整个训练过程持续稳定。 ... PC版： 手机版：

摩尔线程MTT S4000组成千卡集群“夸娥” 可训练千亿参数大模型

摩尔线程MTT S4000组成千卡集群“夸娥” 可训练千亿参数大模型 目前，无穹Infini-AI已经支持百川Baichuan2、ChatGLM2、ChatGLM3、ChatGLM3闭源模型、Llama2、Qwen、Qwen1.5等系列模型共20多个模型。摩尔线程是第一家接入无问芯穹并成功完成千卡级别大模型训练的国产GPU公司，“夸娥”(KUAE)集群已经与无穹Infini-AI顺利完成了系统级融合适配，并完成了LLama2 700亿参数大模型的训练测试。“夸娥”集群基于双路八卡GPU服务器MCCX D800，每个节点有八块MTT S4000 GPU加速卡、两颗Intel第四代至强处理器、16 x 64GB内存、4×3.84TB NVMe SSD，以及双路400Gb IB、四路25Gb以太网网络，一体化交付解决大规模GPU算力的建设和运营管理问题。夸娥氏是我国神话传说中的大力神，出自《愚公移山》：“帝感其诚，命夸娥氏二子负二山，一厝朔东，一厝雍南。自此，冀之南，汉之阴，无陇断焉。”摩尔线程联合创始人兼执行总裁王东表示，基于先进的MUSA架构，摩尔线程已建立了从芯片、板卡、集群到软件的全栈AI产品线。摩尔线程夸娥智算集群是以全功能GPU为底座、软硬一体化的全栈解决方案，拥有高兼容性、高稳定性、高扩展性等综合优势，可作为大模型训练坚实可靠的先进基础设施。 ... PC版： 手机版：

摩尔线程升级智算集群解决方案，万卡集群成 AI 主战场标配

摩尔线程升级智算集群解决方案，万卡集群成 AI 主战场标配 7 月 3 日，芯片设计公司摩尔线程宣布其 AI 旗舰产品夸娥（KUAE）智算集群解决方案实现重大升级，从当前的千卡级别大幅扩展至万卡规模。摩尔线程是国内明星初创企业之一，其核心产品是图形处理器（GPU）。随着大模型参数越来越多，对算力的需求越来越高，GPU 成为当前市场备受追捧的产品。摩尔线程创始人兼 CEO 张建中表示，在多元趋势下，万卡已是 AI 模型训练主战场的标配。随着计算量不断攀升，大模型训练亟需超级工厂，即一个 “大且通用” 的加速计算平台，以缩短训练时间，实现模型能力的快速迭代。当前，国际科技巨头都在通过积极部署千卡乃至超万卡规模的计算集群，以确保大模型产品的竞争力。随着模型参数量从千亿迈向万亿，模型能力更加泛化，大模型对底层算力的诉求进一步升级，万卡甚至超万卡集群成为这一轮大模型竞赛的入场券。(中国日报)

近日，摩尔线程宣布其 AI 旗舰产品夸娥（KUAE）智算集群解决方案实现重大升级，从当前的千卡级别大幅扩展至万卡规模。据悉，摩尔

近日，摩尔线程宣布其 AI 旗舰产品夸娥（KUAE）智算集群解决方案实现重大升级，从当前的千卡级别大幅扩展至万卡规模。据悉，摩尔线程夸娥（KUAE）万卡智算集群，以全功能 GPU 为底座，旨在打造国内领先的、能够承载万卡规模、具备万 P 级浮点运算能力的国产通用加速计算平台，专为万亿参数级别的复杂大模型训练而设计。 摩尔线程创始人兼 CEO 张建中表示：“当前，我们正处在生成式人工智能的黄金时代，技术交织催动智能涌现，GPU 成为加速新技术浪潮来临的创新引擎。夸娥万卡智算集群作为摩尔线程全栈 AI 战略的一块重要拼图，可为各行各业数智化转型提供澎湃算力，不仅有力彰显了摩尔线程在技术创新和工程实践上的实力，更将成为推动 AI 产业发展的新起点。”（全天候科技）

摩尔线程夸娥智算中心解决方案升级，从千卡级别大幅扩展至万卡规模

摩尔线程夸娥智算中心解决方案升级，从千卡级别大幅扩展至万卡规模 7 月 3 日，摩尔线程重磅宣布其 AI 旗舰产品夸娥（KUAE）智算集群解决方案实现重大升级，从当前的千卡级别大幅扩展至万卡规模。摩尔线程夸娥万卡智算集群，以全功能 GPU 为底座，旨在打造国内领先的、能够承载万卡规模、具备万 P 级浮点运算能力的国产通用加速计算平台，专为万亿参数级别的复杂大模型训练而设计。此外，摩尔线程联合中国移动通信集团青海有限公司、中国联通青海公司、北京德道信科集团、中国能源建设股份有限公司总承包公司、桂林华崛大数据科技有限公司分别就三个万卡集群项目进行了战略签约，多方共同构建好用的国产 GPU 集群。摩尔线程创始人兼 CEO 张建中表示，当前正处在生成式人工智能的黄金时代，技术交织催动智能涌现，GPU 成为加速新技术浪潮来临的创新引擎。摩尔线程致力于向全球提供加速计算的基础设施和一站式解决方案，为融合人工智能和数字孪生的数智世界打造先进的加速计算平台。（澎湃新闻）

摩尔线程创始人张建中：从今年开始，万卡将成为智算中心最低标配

摩尔线程创始人张建中：从今年开始，万卡将成为智算中心最低标配 2024 世界人工智能大会（WAIC 2024）期间，摩尔线程宣布 AI 旗舰产品夸娥（KUAE）智算集群解决方案实现升级，从当前的千卡级别扩展至万卡规模。此外，摩尔线程联合中国移动通信集团青海有限公司、中国联通青海公司、北京德道信科集团等公司就三个万卡集群项目进行了战略签约，将共同构建国产 GPU 集群。摩尔线程创始人兼 CEO 张建中表示：“当前，我们正处在生成式人工智能的黄金时代，技术交织催动智能涌现，GPU 成为加速新技术浪潮来临的创新引擎。” 在他看来，“多元趋势下，AI 模型训练的主战场，万卡已是标配。”（新浪科技）