NVIDIA 宣布对其所有平台进行优化，以加速最新一代大语言模型 Meta Llama 3。开源模型与 NVIDIA 加速计算相

NVIDIA 宣布对其所有平台进行优化，以加速最新一代大语言模型 Meta Llama 3。开源模型与 NVIDIA 加速计算相结合，使开发人员、研究人员和企业能够在各种应用程序中负责任地进行创新。 接受过 NVIDIA AI 培训的 Meta 工程师在包含 24,576 个 NVIDIA H100 Tensor Core GPU（与 RoCE 和 NVIDIA Quantum-2 InfiniBand 网络连接）的计算机集群上训练 Llama 3。在 NVIDIA 的支持下，Meta 为其旗舰模型调整了网络、软件和模型架构。为了进一步推进生成式 AI 的最先进水平，Meta 最近透露了将其基础设施扩展到 350,000 个 H100 GPU 的计划。 开发人员可以通过浏览器在上试用 Llama 3。 标签: #NVIDIA #Meta #AI 频道: @GodlyNews1 投稿: @GodlyNewsBot

Meta/Facebook 超大规模 AI/GPU 基础设施设计 |

Meta/Facebook 超大规模 AI/GPU 基础设施设计 | 本文翻译自 2024 年 Meta/Facebook 的一篇文章： Building Meta’s GenAI Infrastructure。作为对未来人工智能的重要投资，Meta 打造了两个大规模 AI 集群，每个集群由 2.4w 张 GPU 组成， 本文分享其计算、网络、存储等设计细节。 两个 GPU 集群，每个集群 2.4w H100，分别用 RoCE/InfiniBand 网络； LLaMA3 就是在这两个集群上训练出来的； 预计到 2024 年底，Meta AI 基础设施建设将拥有 35w 张 H100 GPU，总算力相当于约 60w 张 H100。

日本瑞萨电子宣布91亿澳元收购PCB设计软件开发商Altium

日本瑞萨电子宣布91亿澳元收购PCB设计软件开发商Altium 瑞萨电子在一份声明中说，该公司将以每股68.50澳元的价格收购Altium，较Altium周三收盘价溢价34%。Altium是一家印刷电路板（PCB）设计工具提供商，总部位于美国加州，在澳大利亚上市。瑞萨电子表示，此项交易还需要得到Altium股东和一家澳大利亚法院的批准。瑞萨电子表示：“此次收购使两家行业领导者能够联合起来，建立一个集成和开放的电子系统设计和生命周期管理平台，允许跨组件、子系统和系统级设计的协作。” ... PC版： 手机版：

NVIDIA开源HPCG AI基准 支持Grace CPU以及Ampere和Hopper GPU

NVIDIA开源HPCG AI基准 支持Grace CPU以及Ampere和Hopper GPU 自英伟达之前宣布为 GeForce RTX 20 系列及以后的产品使用开源 GPU 内核以来，英伟达一直在寻求向更开源的方向转变，以促进其平台的开发，并在 Linux 方面大步迈进。这一次，该公司决定通过开源英伟达 HPCG 来帮助人工智能行业，该 HPCG 面向 Grace Superchips 和 Hopper 系列架构等人工智能硬件。NVIDIA的HPCG是一个专为高性能计算应用设计的基准测试，主要通过多种数学运算来测试特定硬件在不同场景下的性能。这不仅能让NVIDIA展示其GPU的能力，而且该软件包在优化HPC系统方面发挥了重要作用。在人工智能和高性能计算应用大幅增长的时代，NVIDIAHPCG 的开源意味着该公司决心看到资源的发展。以下是该公司自己详细介绍的主要功能：GitHub： HPCG 基准利用 NVIDIA 高性能数学库：cuSPARSE 和 NVPL Sparse，在 NVIDIA GPU 和 Grace CPU 上实现稀疏矩阵向量乘法 (SpMV) 和稀疏矩阵三角求解器 (SpSV) 的最高性能。NVIDIA HPCG 基准支持高度可配置的命令行参数，以决定：GPU 和 Grace CPU 的问题大小三维等级网格形状执行模式： 纯 CPU、纯 GPU 和异构点对点通信： MPI_Host（发送/回传）、MPI_Host_Alltoallv、MPI_CUDA_Aware、MPI_CUDA_Aware_Alltoallv 和 NCCLNUMA 相关配置在兼容性方面，NVIDIA HPCG 支持 Grace CPU 系统以及 Ampere 和 Hopper GPU 架构。该软件也只能在 Linux 下运行，这限制了它的使用范围。不过，这仍然是一个有趣举动，它表明了NVIDIA公司对资产开源的承诺。 ... PC版： 手机版：

传美国将对中国断供高端GPU：AMD及NVIDIA已暂停供货

传美国将对中国断供高端GPU：AMD及NVIDIA已暂停供货 日前，网传美国芯片厂商AMD、英伟达相继收到总部通知，对中国区客户断供高端GPU芯片。 网传AMD收到总部紧急通知： 1．暂停对中国区所有数据中心 GPU 卡MI100和MI200发货； 2．统计中国区 Ml 100已发货量； 3．统计中国区 MI 200已发货客户清单和发货明细 AMD 分析可能是美国政府要限制对中国区高性能 GPU 卡销售，尤其是针对中国 HPC 的双精度高性能卡。 网传NVIDIA相关消息： 1.NVIDIA中国区已收到总部要求：暂停对中国区所有客户所有代理商的数据中心 GPU 卡A100和H100的发货，其它 GPU 卡不受影响； 2．各服务器 OEM 的现有库存A100 GPU 卡，目前可以对各自的行业客户继续交付， NVIDIA 中国区目前也没有对 OEM 发任何 Letter ； 3. NVIDIA 总部还在分析美国政府的政策要求，预计还需要2~3天才会有对中国区客户与合作伙伴的沟通口径”。 据了解，随着GPU自身在并行处理和通用计算的优势，逐步拓展了其在服务器、汽车、矿机、人工智能、边缘计算等领域的衍生需求。AMD及NVIDIA对中国大陆断供面向数据中心的高端GPU计算卡，将对于中国大陆的云计算产业及人工智能产业发展带来极为不利的影响。 注：英伟达股价周三在盘后交易中下跌，或受此影响。 来自：雷锋 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot

NVIDIA“最强AI芯片”Blackwell B200 GPU令业内惊呼新的摩尔定律诞生

NVIDIA“最强AI芯片”Blackwell B200 GPU令业内惊呼新的摩尔定律诞生 在GTC直播中，黄仁勋左手举着 B200 GPU，右手举着 H100此外，将两个B200 GPU与单个Grace CPU 结合在一起的 GB200，可以为LLM推理工作负载提供30倍的性能，并且显著提高效率。黄仁勋还强调称：“与H100相比，GB200的成本和能耗降低了25倍！关于市场近期颇为关注的能源消耗问题，B200 GPU也交出了最新的答卷。黄仁勋表示，此前训练一个1.8 万亿参数模型，需要8000 个 Hopper GPU 并消耗15 MW电力。但如今，2000 个 Blackwell GPU就可以实现这一目标，耗电量仅为4MW。在拥有1750亿参数的GPT-3大模型基准测试中，GB200的性能是H100的7倍，训练速度是H100的4倍。值得一提的是，B200 GPU的重要进步之一，是采用了第二代Transformer引擎。它通过对每个神经元使用4位（20 petaflops FP4）而不是8位，直接将计算能力、带宽和模型参数规模翻了一倍。而只有当这些大量的GPU连接在一起时，第二个重要区别才会显现，那就是新一代NVLink交换机可以让576个GPU相互通信，双向带宽高达1.8TB/秒。而这就需要英伟达构建一个全新的网络交换芯片，其中包括500亿个晶体管和一些自己的板载计算：拥有3.6 teraflops FP8处理能力。在此之前，仅16个GPU组成的集群，就会耗费60%的时间用于相互通信，只有40%的时间能用于实际计算。一石激起千层浪，“最强AI芯片”的推出让网友纷纷赞叹。其中英伟达高级科学家Jim Fan直呼：Blackwell新王诞生，新的摩尔定律已经应运而生。DGX Grace-Blackwell GB200：单个机架的计算能力超过1 Exaflop。黄仁勋交付给OpenAI的第一台DGX是0.17 Petaflops。GPT-4的1.8T参数可在2000个Blackwell上完成90天的训练。还有网友感叹：1000倍成就达成！Blackwell标志着在短短8年内，NVIDIA AI 芯片的计算能力实现了提升1000倍的历史性成就。2016 年，“Pascal”芯片的计算能力仅为19 teraflops，而今天Blackwell的计算能力已经达到了 20000 teraflops。相关文章:全程回顾黄仁勋GTC演讲：Blackwell架构B200芯片登场英伟达扩大与中国车企合作 为比亚迪提供下一代车载芯片英伟达进军机器人领域 发布世界首款人形机器人通用基础模型台积电、新思科技首次采用NVIDIA计算光刻平台：最快加速60倍NVIDIA共享虚拟现实环境技术将应用于苹果Vision Pro黄仁勋GTC演讲全文：最强AI芯片Blackwell问世 推理能力提升30倍 ... PC版： 手机版：