【英伟达宣布生成式AI引擎DGX GH200已投入量产，可支持万亿参数AI大模型训练】

【英伟达宣布生成式AI引擎DGXGH200已投入量产，可支持万亿参数AI大模型训练】2023年05月29日09点36分5月29日消息，美东时间5月28日，英伟达创始人兼CEO黄仁勋在NVIDIAComputex2023演讲中宣布，生成式AI引擎NVIDIADGXGH200现已投入量产。英伟达官网显示，NVIDIADGXGH200是将256个NVIDIAGraceHopper超级芯片完全连接到单个GPU中的新型AI超级计算机，支持万亿参数AI大模型训练。能够处理大规模推荐系统、生成式人工智能和图形分析，并为巨型人工智能模型提供线性可扩展性。

每个集群都包含了 24576 块英伟达 H100 AI GPU，将用于自家大语言模型 Llama 3 的训练

Meta新建两座数据中心集群：内含超4.9万块英伟达H100GPU，专门训练Llama3https://www.ithome.com/0/755/447.htm据悉，这两座数据中心的唯一目的，是在消费者特定应用领域（IT之家注：包含声音或图像识别）中进行AI研究和大语言模型的开发，每个集群都包含了24576块英伟达H100AIGPU，将用于自家大语言模型Llama3的训练。

科大讯飞刘庆峰：华为 GPU 可对标英伟达 A100，通用大模型明年上半年对标 GPT-4

科大讯飞刘庆峰：华为GPU可对标英伟达A100，通用大模型明年上半年对标GPT-4在8月25-27日举行的2023亚布力中国企业家论坛第十九届夏季高峰会期间，科大讯飞创始人、董事长刘庆峰出席论坛，谈到了有关自家大模型进展的一些内容。刘庆峰表示，“中国AI领域的算法没有问题，但算力似乎始终被英伟达按住。”以前的“百模大战”，基本都是英伟达训练出来的，在企业内部只能做出微小的调优、训练，从而训练模型“还是比较难的”。刘庆峰说：“我特别高兴告诉大家，华为的GPU能力现在已经跟英伟达A100一样了。任正非高度重视，还有华为的三个董事到科大讯飞专班工作，现在已经做到对标英伟达的A100。”此外刘庆峰再度表态，今年科大讯飞定了一个目标，到今年10月24日，科大讯飞将发布通用大模型，全面对标ChatGPT，且要实现中文全面超越，英文跟它相当。“坦白讲，今天我们跟它还有差距，但是我们很清楚，10月份就能赶上，明年上半年就对标GPT-4。”()投稿：@ZaiHuaBot频道：@TestFlightCN

英伟达H100霸榜权威AI性能测试 11分钟搞定基于GPT-3的大模型训练

英伟达H100霸榜权威AI性能测试11分钟搞定基于GPT-3的大模型训练（来源：英伟达、MLCommons）MLPerf是由学术界、实验室和产业组成的人工智能领袖联盟，是目前国际公认的权威AI性能评测基准。Trainingv3.0包含8种不同的负载，包括视觉（影像分类、生物医学影像分割、两种负载的物体侦测）、语言（语音识别、大语言模型、自然语言处理）和推荐系统。简单来说，就是由不同的设备供应商提交完成基准任务所需要的时间。（Trainingv3.0训练基准，来源：MLCommons）在投资者比较关注的“大语言模型”训练测试中，英伟达和GPU云算力平台CoreWeave提交的数据为这项测试设定了残酷的业界标准。在896个英特尔至强8462Y+处理器和3584个英伟达H100芯片的齐心协力下，仅仅花了10.94分钟就完成了基于GPT-3的大语言模型训练任务。除了英伟达外，只有英特尔的产品组合在这个项目上获得评测数据。由96个至强8380处理器和96个HabanaGaudi2AI芯片构建的系统中，完成同样测试的时间为311.94分钟。横向对比，使用768个H100芯片的平台跑完这个测试也只需要45.6分钟。（芯片越多数据越好看，来源：英伟达）对于这个结果，英特尔也表示仍有上升空间。理论上只要堆更多的芯片，运算的结果自然会更快。英特尔AI产品高级主管JordanPlawner对媒体表示，接下来Habana的运算结果将会呈现1.5倍-2倍的提升。Plawner拒绝透露HabanaGaudi2的具体售价，仅表示业界需要第二家厂商提供AI训练芯片，而MLPerf的数据显示英特尔有能力填补这个需求。而在中国投资者更熟悉的BERT-Large模型训练中，英伟达和CoreWeave将数据刷到了极端的0.13分钟，在64卡的情况下，测试数据也达到了0.89分钟。BERT模型中的Transformer结构正是目前主流大模型的基础架构。...PC版：https://www.cnbeta.com.tw/articles/soft/1367739.htm手机版：https://m.cnbeta.com.tw/view/1367739.htm

AI芯片供应问题有所缓解 一些公司已开始转售英伟达H100 GPU

AI芯片供应问题有所缓解一些公司已开始转售英伟达H100GPU该报道还称，尽管芯片可用性提高，交货期显著缩短，但仍供不应求，尤其是对于那些培训自家大语言模型的公司，如OpenAI。AI处理器短缺的缓解，在一定程度上是由于AWS等云服务提供商让租用英伟达H100GPU变得更容易。这导致了对AI芯片的需求和等待时间的减少。尽管H100的可用性总体上有所改善，但对于开发自家大语言模型的公司，仍在为供应紧张而苦苦挣扎。这主要是因为它们需要数万乃至数十万个GPU，一些公司在获得所需的处理器或容量方面面临着数月的延误。为此，英伟达H100和其他处理器的价格并没有下降，继续享受着高利润率。英伟达AI处理器可用性的提高也导致了买家行为的转变。一些公司在购买或租赁时变得更加注重价格和选择性，并专注于其业务的经济可行性。此外，再加上替代方案在性能和软件支持方面的不断完善，如AMD或AWS的处理器，市场可能会迎来更加平衡的局面。但不管怎样，当前AI芯片的需求依然强劲。随着大语言模型变得更大，对计算性能的需求也越来越高，这也促使OpenAICEO山姆·奥特曼（SamAltman）正试图筹集大量资金，以建造更多的晶圆厂来生产AI处理器。...PC版：https://www.cnbeta.com.tw/articles/soft/1421155.htm手机版：https://m.cnbeta.com.tw/view/1421155.htm

摩尔线程千卡GPU集群完成700亿参数大模型训练

摩尔线程千卡GPU集群完成700亿参数大模型训练访问：NordVPN立减75%+外加3个月时长另有NordPass密码管理器这充分验证了夸娥智算集群作为国产全功能GPU千卡千亿大模型预训练平台，在稳定性、高效能、易用性和高算力利用率的先进性。这也是憨猴集团首次使用国产AI算力完成大模型训练测试，后续可为其服务的国有企业与运营商等关键领域，提供更加坚实可靠的国产AI训练平台，以及成本效益更优的国产算力解决方案。同时，摩尔线程与憨猴集团签署了战略合作协议。双方将聚焦AI大模型和算力领域，通过摩尔线程夸娥千卡智算集群与憨猴集团AI智算产品及数字化解决方案的深度融合，共同探索国产AI算力的新应用场景与落地实践，加速数智化产业的全面升级。在此之前，摩尔线程已成为第一家接入无问芯穹，并成功完成千卡级别大模型训练的国产GPU公司，夸娥千卡集群与无穹Infini-AI顺利完成了系统级融合适配，并完成了LLama2700亿参数大模型的训练测试。“夸娥”集群基于双路八卡GPU服务器MCCXD800，每个节点有八块MTTS4000GPU加速卡、两颗Intel第四代至强处理器、16x64GB内存、4x3.84TBNVMeSSD，以及双路400GbIB、四路25Gb以太网网络，一体化交付解决大规模GPU算力的建设和运营管理问题。夸娥氏是我国神话传说中的大力神，出自《愚公移山》：“帝感其诚，命夸娥氏二子负二山，一厝朔东，一厝雍南。自此，冀之南，汉之阴，无陇断焉。”...PC版：https://www.cnbeta.com.tw/articles/soft/1431309.htm手机版：https://m.cnbeta.com.tw/view/1431309.htm