摩尔线程国产GPU千卡集群完成30亿参数大模型实训

摩尔线程国产GPU千卡集群完成30亿参数大模型实训 本次实训充分验证了夸娥千卡智算集群在大模型训练场景下的可靠性，同时也在行业内率先开启了国产大语言模型与国产GPU千卡智算集群深度合作的新范式。据悉，这次的MT-infini-3B模型训练总共用时13.2天，全程稳定无中断，集群训练稳定性达到100％，千卡训练和单机相比扩展效率超过90％。目前，实训出来的MT-infini-3B性能在同规模模型中跻身前列，相比在国际主流硬件上(尤其是NVIDIA)训练而成的其他模型，在C-Eval、MMLU、CMMLU等3个测试集上均实现性能领先。无问芯穹正在打造“M种模型”和“N种芯片”之间的“M x N”中间层产品，实现多种大模型算法在多元芯片上的高效、统一部署，已与摩尔线程达成深度战略合作。摩尔线程是第一家接入无问芯穹并进行千卡级别大模型训练的国产GPU公司，夸娥千卡集群已与无穹Infini-AI顺利完成系统级融合适配，完成LLama2 700亿参数大模型的训练测试。T-infini-3B的训练，则是行业内首次实现基于国产GPU芯片从0到1的端到端大模型实训案例。就在日前，基于摩尔线程的夸娥千卡集群，憨猴集团也成功完成了7B、34B、70B不同参数量级的大模型分布式训练，双方还达成战略合作。经双方共同严苛测试，兼容适配程度高，训练效率达到预期，精度符合要求，整个训练过程持续稳定。 ... PC版： 手机版：

摩尔线程MTT S4000组成千卡集群“夸娥” 可训练千亿参数大模型

摩尔线程MTT S4000组成千卡集群“夸娥” 可训练千亿参数大模型 目前，无穹Infini-AI已经支持百川Baichuan2、ChatGLM2、ChatGLM3、ChatGLM3闭源模型、Llama2、Qwen、Qwen1.5等系列模型共20多个模型。摩尔线程是第一家接入无问芯穹并成功完成千卡级别大模型训练的国产GPU公司，“夸娥”(KUAE)集群已经与无穹Infini-AI顺利完成了系统级融合适配，并完成了LLama2 700亿参数大模型的训练测试。“夸娥”集群基于双路八卡GPU服务器MCCX D800，每个节点有八块MTT S4000 GPU加速卡、两颗Intel第四代至强处理器、16 x 64GB内存、4×3.84TB NVMe SSD，以及双路400Gb IB、四路25Gb以太网网络，一体化交付解决大规模GPU算力的建设和运营管理问题。夸娥氏是我国神话传说中的大力神，出自《愚公移山》：“帝感其诚，命夸娥氏二子负二山，一厝朔东，一厝雍南。自此，冀之南，汉之阴，无陇断焉。”摩尔线程联合创始人兼执行总裁王东表示，基于先进的MUSA架构，摩尔线程已建立了从芯片、板卡、集群到软件的全栈AI产品线。摩尔线程夸娥智算集群是以全功能GPU为底座、软硬一体化的全栈解决方案，拥有高兼容性、高稳定性、高扩展性等综合优势，可作为大模型训练坚实可靠的先进基础设施。 ... PC版： 手机版：

NVIDIA封杀转译兼容CUDA 摩尔线程官方：MUSA、MUSIFY不受影响

NVIDIA封杀转译兼容CUDA 摩尔线程官方：MUSA、MUSIFY不受影响 3月5日晚间，摩尔线程发表官方声明回应称，旗下的MUSA、MUSIFY技术均未受影响！摩尔线程强调，MUSA、MUSIFY不涉及NVIDIA EULA相关条款，开发者可放心使用。据介绍，MUSA是摩尔线程自主研发、拥有全部知识产权、软硬一体的全功能GPU先进计算统一系统架构，与CUDA无任何依赖关系。MUSIFY是摩尔线程面向MUSA开发者提供的开发工具，方便在MUSA计算平台上进行应用移植与开发。它可以让开发者将自己的C++源代码，转换成MUSA C++源代码，再通过MUSA编译器MCC编译生成基于MUSA指令集的二进制代码，最终运行在摩尔线程的全功能GPU上。摩尔线程还向开发者提供MUSA SDK，这是摩尔线程GPU并行计算开发SDK的集合，包含了MUSAToolkits（内置运行时/编译器/GPU加速计算库/迁移/优化工具）及计算库、神经网络加速库、通信库等一系列开发工具，可让开发者快速开发出针对摩尔线程GPU优化的并行计算应用。摩尔线程强调，将充分发挥从芯片到显卡到集群的智算产品优势，继续打磨MUSA，持续为大模型训练与推理提供高性能算力支撑。 ... PC版： 手机版：

摩尔线程发布48G显存计算卡

摩尔线程发布48G显存计算卡 摩尔线程发布了新款大模型智算加速卡产品：「MTT S4000」。 根据介绍，「MTT S4000」采用第三代 MUSA 内核，单卡配备带宽达 768GB/s 的 48GB 显存，并支持通过其 MTLink1.0 技术实现多卡互联。对于开发者而言，「MTT S4000」可利用现有的 CUDA 生态，零成本将 CUDA 代码迁移到 MUSA 平台。 标签: #摩尔线程 #显卡 频道: @GodlyNews1 投稿: @GodlyNewsBot

Meta 新建两座数据中心集群：内含超 4.9 万块英伟达 H100 GPU，专门训练 Llama3

Meta 新建两座数据中心集群：内含超 4.9 万块英伟达 H100 GPU，专门训练 Llama3 据悉，这两座数据中心的唯一目的，是在消费者特定应用领域（IT之家注：包含声音或图像识别）中进行 AI 研究和大语言模型的开发，每个集群都包含了 24576 块英伟达 H100 AI GPU，将用于自家大语言模型 Llama 3 的训练。

Meta 公司当地时间 12 日通过官方新闻稿公布了两座新的数据中心集群，该公司正希望通过英伟达的 GPU，在以 AI 为重点的

Meta 公司当地时间 12 日通过官方新闻稿公布了两座新的数据中心集群，该公司正希望通过英伟达的 GPU，在以 AI 为重点的开发中脱颖而出。据悉，这两座数据中心的唯一目的，是在消费者特定应用领域（包含声音或图像识别）中进行 AI 研究和大语言模型的开发，每个集群都包含了 24576 块英伟达 H100 AI GPU，将用于自家大语言模型 Llama 3 的训练。 两座新建的数据中心集群都具有 400Gbps 互联功能，其中一个集群采用了 Meta 基于 Arista 7800 自主开发的 Fabric 解决方案，而另一个集群则采用了英伟达的 Quantum2 InfiniBand Fabric，以确保无缝互连体验。 此外，集群基于 Meta 自家的开放式 GPU Grand Teton AI 平台，可通过提高主机到 GPU 的带宽和计算能力，充分利用现代加速器的功能。Meta 官方表示，这些集群的高性能网络结构的效率及关键存储决策、配合每个集群中的 H100 GPU，能够为更大、更复杂的模型提供支持，为通用人工智能产品开发、AI 研究的进步铺路。 Meta 首席执行官扎克伯格1 月表示，预估到今年年底，我们将拥有大约 35 万片英伟达 H100 加速卡，如果算上其它 GPU 的话，其计算能力相当于 60 万片 H100。 via 匿名 标签: #Meta #AI 频道: @GodlyNews1 投稿: @GodlyNewsBot