英伟达发布用于人工智能的“世界上最强大芯片”Blackwell B200 GPU

英伟达发布用于人工智能的“世界上最强大芯片”Blackwell B200 GPU 英伟达的 H100 AI 芯片使其成为价值数万亿美元的公司，其价值可能超过 Alphabet 和亚马逊，而竞争对手一直在奋力追赶。但也许英伟达即将通过新的 Blackwell B200 GPU 和 GB200“超级芯片”扩大其领先地位。该公司在加州圣何塞举行的 GTC 大会上表示，新的 B200 GPU 拥有 2080 亿个晶体管，可提供高达 20petaflops 的 FP4 算力，而 GB200 将两个 GPU 和单个 Grace CPU 结合在一起，可为 LLM 推理工作负载提供30倍的性能，同时还可能大大提高效率。英伟达表示，在具有 1750 亿个参数的 GPT-3 LLM 基准测试中，GB200 的性能是 H100 的7倍，而英伟达称其训练速度是 H100 的4倍。

NVIDIA“最强AI芯片”Blackwell B200 GPU令业内惊呼新的摩尔定律诞生

NVIDIA“最强AI芯片”Blackwell B200 GPU令业内惊呼新的摩尔定律诞生 在GTC直播中，黄仁勋左手举着 B200 GPU，右手举着 H100此外，将两个B200 GPU与单个Grace CPU 结合在一起的 GB200，可以为LLM推理工作负载提供30倍的性能，并且显著提高效率。黄仁勋还强调称：“与H100相比，GB200的成本和能耗降低了25倍！关于市场近期颇为关注的能源消耗问题，B200 GPU也交出了最新的答卷。黄仁勋表示，此前训练一个1.8 万亿参数模型，需要8000 个 Hopper GPU 并消耗15 MW电力。但如今，2000 个 Blackwell GPU就可以实现这一目标，耗电量仅为4MW。在拥有1750亿参数的GPT-3大模型基准测试中，GB200的性能是H100的7倍，训练速度是H100的4倍。值得一提的是，B200 GPU的重要进步之一，是采用了第二代Transformer引擎。它通过对每个神经元使用4位（20 petaflops FP4）而不是8位，直接将计算能力、带宽和模型参数规模翻了一倍。而只有当这些大量的GPU连接在一起时，第二个重要区别才会显现，那就是新一代NVLink交换机可以让576个GPU相互通信，双向带宽高达1.8TB/秒。而这就需要英伟达构建一个全新的网络交换芯片，其中包括500亿个晶体管和一些自己的板载计算：拥有3.6 teraflops FP8处理能力。在此之前，仅16个GPU组成的集群，就会耗费60%的时间用于相互通信，只有40%的时间能用于实际计算。一石激起千层浪，“最强AI芯片”的推出让网友纷纷赞叹。其中英伟达高级科学家Jim Fan直呼：Blackwell新王诞生，新的摩尔定律已经应运而生。DGX Grace-Blackwell GB200：单个机架的计算能力超过1 Exaflop。黄仁勋交付给OpenAI的第一台DGX是0.17 Petaflops。GPT-4的1.8T参数可在2000个Blackwell上完成90天的训练。还有网友感叹：1000倍成就达成！Blackwell标志着在短短8年内，NVIDIA AI 芯片的计算能力实现了提升1000倍的历史性成就。2016 年，“Pascal”芯片的计算能力仅为19 teraflops，而今天Blackwell的计算能力已经达到了 20000 teraflops。相关文章:全程回顾黄仁勋GTC演讲：Blackwell架构B200芯片登场英伟达扩大与中国车企合作 为比亚迪提供下一代车载芯片英伟达进军机器人领域 发布世界首款人形机器人通用基础模型台积电、新思科技首次采用NVIDIA计算光刻平台：最快加速60倍NVIDIA共享虚拟现实环境技术将应用于苹果Vision Pro黄仁勋GTC演讲全文：最强AI芯片Blackwell问世 推理能力提升30倍 ... PC版： 手机版：

NVIDIA B200 GPU加速器明年到来 功耗高达1000W

NVIDIA B200 GPU加速器明年到来 功耗高达1000W B100之后，还有更强大的升级版B200，一如现在H100、H200的关系。戴尔首席运营官兼副董事长在最近的一次会议中确认了B200的存在，发布时间在明年。他没有披露更具体的规格，比如升级之处，但声称戴尔有能力搞定单颗GPU 1000W的功耗，甚至不需要液冷，这无疑是在暗示B200的功耗将大幅提高。相比之下，H100 SMX版本的峰值功耗为700W。NVIDIA GTC 2024图形技术大会将于3月18-21日举行，必然会披露新一代GPU加速器的情况，甚至有可能正式宣布。 ... PC版： 手机版：

单卡功耗可达1400W 黄仁勋：下代GPU服务器必须水冷

单卡功耗可达1400W 黄仁勋：下代GPU服务器必须水冷 戴尔此前的一次会议中确认，NVIDIA明年还会推出升级版B200 GPU，最高功耗可达1000W，甚至有说法称会有恐怖的1400W！NVIDIA目前的主力AI GPU H100和升级版H200最大功耗为700W，核心面积814平方毫米，均只需风冷。AMD MI300X则需要750W，但是面积也更大一些达到了1017平方毫米。现如今，服务器和数据中心使用浸没式液冷散热已经稀松平常，但也有很多专家对这种发展途径吃反对态度。Moor Insights & Strategy的创始人、CEO兼首席分析师Patrick Moorhead就明确提出，为了提高性能，并控制合理的功耗、发热，我们已经穷尽了手段，但接下来该怎么办？上液氮吗？是时候重新思考了。 ... PC版： 手机版：

英伟达发布用于AI的"世界上最强大芯片"Blackwell B200 GPU

英伟达发布用于AI的"世界上最强大芯片"Blackwell B200 GPU NVIDIA 首席执行官黄仁勋在 GTC 现场直播中举起他的新 GPU（左边），右边是 H100。NVIDIA 表示，新的 B200 GPU 拥有 2080 亿个晶体管，可提供高达 20petaflops 的 FP4 算力，而 GB200 将两个 GPU 和一个 Grace CPU 结合在一起，可为 LLM 推理工作负载提供 30 倍的性能，同时还可能大大提高效率。NVIDIA 表示，与 H100 相比，它的成本和能耗"最多可降低 25 倍"。NVIDIA 声称，训练一个 1.8 万亿个参数的模型以前需要 8000 个 Hopper GPU 和 15 兆瓦的电力。如今，NVIDIA 首席执行官表示，2000 个 Blackwell GPU 就能完成这项工作，耗电量仅为 4 兆瓦。NVIDIA 表示，在具有 1750 亿个参数的 GPT-3 LLM 基准测试中，GB200 的性能是 H100 的 7 倍，而 NVIDIA 称其训练速度是 H100 的 4 倍。这就是 GB200 的样子。两个 GPU、一个 CPU、一块电路板NVIDIA 介绍说，其中一项关键改进是采用了第二代变压器引擎，通过为每个神经元使用四个比特而不是八个比特，将计算能力、带宽和模型大小提高了一倍（前面提到的 FP4 的 20 petaflops）。第二个关键区别只有在连接大量 GPU 时才会出现：新一代 NVLink 交换机可让 576 个 GPU 相互连接，双向带宽达到每秒 1.8 TB。这就要求 NVIDIA 打造一个全新的网络交换芯片，其中包含 500 亿个晶体管和一些自己的板载计算：NVIDIA 表示，该芯片拥有 3.6 teraflops 的 FP8 处理能力。NVIDIA 表示将通过 Blackwell 增加 FP4 和 FP6NVIDIA 表示，在此之前，由 16 个 GPU 组成的集群有 60% 的时间用于相互通信，只有 40% 的时间用于实际计算。当然，NVIDIA 还指望企业大量购买这些 GPU，并将它们包装成更大的设计，比如 GB200 NVL72，它将 36 个 CPU 和 72 个 GPU 集成到一个液冷机架中，可实现总计 720 petaflops 的 AI 训练性能或 1440 petaflops（又称 1.4exaflops）的推理性能。它内部有近两英里长的电缆，共有 5000 条独立电缆。GB200 NVL72机架上的每个托盘包含两个 GB200 芯片或两个 NVLink 交换机，每个机架有 18 个前者和 9 个后者。NVIDIA 称，其中一个机架总共可支持 27 万亿个参数模型。据传，GPT-4 的参数模型约为 1.7 万亿。该公司表示，亚马逊、Google、微软和甲骨文都已计划在其云服务产品中提供 NVL72 机架，但不清楚它们将购买多少。当然，NVIDIA 也乐于为公司提供其他解决方案。下面是用于 DGX GB200 的 DGX Superpod，它将八个系统合而为一，总共拥有 288 个 CPU、576 个 GPU、240TB 内存和 11.5 exaflops 的 FP4 计算能力。NVIDIA 称，其系统可扩展至数万 GB200 超级芯片，并通过其新型 Quantum-X800 InfiniBand（最多 144 个连接）或 Spectrum-X800 以太网（最多 64 个连接）与 800Gbps 网络连接在一起。我们预计今天不会听到任何关于新游戏 GPU 的消息，因为这一消息是在 NVIDIA 的 GPU 技术大会上发布的，而该大会通常几乎完全专注于 GPU 计算和人工智能，而不是游戏。不过，Blackwell GPU 架构很可能也会为未来的 RTX 50 系列桌面显卡提供算力。 ... PC版： 手机版：

黄仁勋访问台湾 Hopper H200和Blackwell B100 GPU量产在即

黄仁勋访问台湾 Hopper H200和Blackwell B100 GPU量产在即 NVIDIA不仅在其人工智能产品组合中取得了突飞猛进的发展，而且该公司还在努力迎合各个地区的利益，尽管遇到了诸如美国新法规之类的挫折。我们昨天报道了黄仁勋对北京的访问，他不仅参加了与北京新年有关的庆祝活动，而且据说还与阿里巴巴和腾讯等几家中国客户举行了会议，向他们保证英伟达将继续留在这里。据透露，在访问中国之后，黄仁勋还决定前往台湾，拜访台积电和纬创等公司的主要供应商，以了解公司下一代 H200 和 B100 AI GPU 的量产进展。今年将标志着向新一代人工智能产品的过渡，这就是为什么 2024 年不仅对英伟达，而且对其他参与人工智能竞赛的公司来说都是"决定性的"一年。据预测，今年全球人工智能出货量有望大幅增长，预计将达到 35 万片左右，其中NVIDIA将占据相当大的份额。关于英伟达（NVIDIA）即将推出的产品，首先是其 Hopper H200 GPU，它配备了美光的 HBM3e 解决方案，显存容量达 141 GB，带宽高达 4.8 TB/s，与英伟达（NVIDIA）A100 相比，带宽增加了 2.4 倍，容量增加了一倍。在 Llama 2（700 亿参数 LLM）等应用中，与 H100 GPU 相比，这种新的内存解决方案使英伟达的人工智能推理性能提高了近一倍。下一个重磅产品是 Blackwell B100 AI GPU，在性能方面，它将通过采用芯片组设计，在每瓦性能方面带来决定性的提升。英伟达公司的下一代Hopper H200和Blackwell B100人工智能图形处理器预计将在2024年内亮相，据报道，由于Hopper在2024年的采用率较高，B100将被推迟到第四季度。对于整个科技行业来说，今年将是有趣的一年，尤其是人工智能的进步以及与之相关的市场。预计英伟达公司将在 3 月份的 GTC 2024 大会上公布更多有关人工智能和数据中心芯片的信息。 ... PC版： 手机版：