戴尔在一个机架服务器内塞了72块NVIDIA B200 GPU加速卡

戴尔在一个机架服务器内塞了72块NVIDIA B200 GPU加速卡 即便如此，戴尔依然宣称GPU密度提高了33％，PCIe 5.0通道多了20％，网络扩展能力翻倍。B200加速卡单个功耗达1000W，八卡就是8000W，再加上处理器、内存、硬盘、网卡等其他硬件，风冷自然是无法压制的，而是上了高效水冷，CPU、GPU全覆盖。针对更大规模的GPU计算部署需求，戴尔还支持在单个机架内配备多达72块B200加速卡，依然是水冷。戴尔PowerEdge XE9680L服务器将在下半年上市。 ... PC版： 手机版：

单卡功耗可达1400W 黄仁勋：下代GPU服务器必须水冷

单卡功耗可达1400W 黄仁勋：下代GPU服务器必须水冷 戴尔此前的一次会议中确认，NVIDIA明年还会推出升级版B200 GPU，最高功耗可达1000W，甚至有说法称会有恐怖的1400W！NVIDIA目前的主力AI GPU H100和升级版H200最大功耗为700W，核心面积814平方毫米，均只需风冷。AMD MI300X则需要750W，但是面积也更大一些达到了1017平方毫米。现如今，服务器和数据中心使用浸没式液冷散热已经稀松平常，但也有很多专家对这种发展途径吃反对态度。Moor Insights & Strategy的创始人、CEO兼首席分析师Patrick Moorhead就明确提出，为了提高性能，并控制合理的功耗、发热，我们已经穷尽了手段，但接下来该怎么办？上液氮吗？是时候重新思考了。 ... PC版： 手机版：

英伟达新一代架构Blackwell来了：RTX 50、B200都要用 功耗将超1000W

英伟达新一代架构Blackwell来了：RTX 50、B200都要用 功耗将超1000W 按照最新爆料，B100将采用两个基于台积电CoWoS-L封装技术的芯片，连接到8个 8-Hi HBM3e显存堆栈，总容量为192GB，而这还不是唯一。爆料中还提到，B200的下一代Blackwell GP更新将利用12-Hi来实现更高的容量，显存达到了288GB，但不确定是否是HBM4。之前，戴尔首席运营官Jeff Clarke就曾爆料：英伟达将于2025年推出载有“Blackwell”架构的B200产品，功耗或将达到1000W。事实上基于这个架构的RTX 50系列功耗也不会太乐观，之前有消息称，RTX 5090用PCIe Gen 6的16-Pin供电接口后，功耗可以超过600W，而高端系列可以超过450W，中端功耗在300-350W之间。所以在这样架构的功耗下，RTX 5090显卡将比RTX 4090快60%到70%（近一倍）也不稀奇吧？ ... PC版： 手机版：

戴尔透露 NVIDIA B100 将于今年推出，2025年将升级到 B200

戴尔透露 NVIDIA B100 将于今年推出，2025年将升级到 B200 在最近的财报电话会议上，戴尔透露了 NVIDIA 的下一代 Blackwell 系列不仅将拥有 B100 AI 加速卡，而且稍后将提供升级版本 B200 。看起来NVIDIA似乎已经向戴尔等最大的合作伙伴披露了这些信息，戴尔将使用NVIDIA最新的AI和计算硬件来运营服务器和数据中心。 戴尔高级副总裁还指出，NVIDIA B100 和 B200 等下一代 GPU 的功率密度将达到 1000W。当前 NVIDIA H200 和 AMD MI300X 加速卡的峰值功率已经达到 800W，因此考虑到 Blackwell 预计将带来的性能提升，考虑到其效率的提高，功率增加 200W 将是相当正常的。

NVIDIA Blackwell B200 AI加速器下季度开始出货 单价是传统服务器的10倍

NVIDIA Blackwell B200 AI加速器下季度开始出货 单价是传统服务器的10倍 据台湾《经济日报》报道，英伟达（NVIDIA）将于2024年第三季度至第四季度"小批量"出货其下一代GB200人工智能服务器，并将于2025年第一季度开始大规模出货。另据报道，每台 Blackwell 服务器的单价将是传统服务器的 10 倍。我们之前曾报道过每块 Blackwell GPU 的价格应高达 3.5 万美元，而一组 AI 服务器的价格可能高达 300 万美元。英伟达 DGX GB200"Blackwell"AI 服务器分为三个部分：DGX NVL72、NVL32 和 HGX B200。其中配置最高的是 NVL72，配备了 72 个英伟达 Blackwell B200 AI GPU 和 Grace Hopper CPU。据悉，富士康的子公司 Fii 将在下一季度出货部分 DGX GB200"NVL72"，而该公司早在 4 月份就已向客户交付了 NVL32 对应产品，因此该公司是首批向业界出货 Blackwell 产品的公司之一。除此之外，广达等合作伙伴也有望在本季度向客户交付英伟达的 Blackwell GB200 AI 服务器。虽然两家公司还没有透露谁是"独家"买家，但我们或许对此有所了解。我们曾报道过 Meta 已经下单了基于 Blackwell 的产品，包括 B200 AI GPU 和 AI 服务器，所以这可能是大部分产能的去向。微软和 OpenAI 也对英伟达的 Blackwell 表示了兴趣。 ... PC版： 手机版：

NVIDIA“最强AI芯片”Blackwell B200 GPU令业内惊呼新的摩尔定律诞生

NVIDIA“最强AI芯片”Blackwell B200 GPU令业内惊呼新的摩尔定律诞生 在GTC直播中，黄仁勋左手举着 B200 GPU，右手举着 H100此外，将两个B200 GPU与单个Grace CPU 结合在一起的 GB200，可以为LLM推理工作负载提供30倍的性能，并且显著提高效率。黄仁勋还强调称：“与H100相比，GB200的成本和能耗降低了25倍！关于市场近期颇为关注的能源消耗问题，B200 GPU也交出了最新的答卷。黄仁勋表示，此前训练一个1.8 万亿参数模型，需要8000 个 Hopper GPU 并消耗15 MW电力。但如今，2000 个 Blackwell GPU就可以实现这一目标，耗电量仅为4MW。在拥有1750亿参数的GPT-3大模型基准测试中，GB200的性能是H100的7倍，训练速度是H100的4倍。值得一提的是，B200 GPU的重要进步之一，是采用了第二代Transformer引擎。它通过对每个神经元使用4位（20 petaflops FP4）而不是8位，直接将计算能力、带宽和模型参数规模翻了一倍。而只有当这些大量的GPU连接在一起时，第二个重要区别才会显现，那就是新一代NVLink交换机可以让576个GPU相互通信，双向带宽高达1.8TB/秒。而这就需要英伟达构建一个全新的网络交换芯片，其中包括500亿个晶体管和一些自己的板载计算：拥有3.6 teraflops FP8处理能力。在此之前，仅16个GPU组成的集群，就会耗费60%的时间用于相互通信，只有40%的时间能用于实际计算。一石激起千层浪，“最强AI芯片”的推出让网友纷纷赞叹。其中英伟达高级科学家Jim Fan直呼：Blackwell新王诞生，新的摩尔定律已经应运而生。DGX Grace-Blackwell GB200：单个机架的计算能力超过1 Exaflop。黄仁勋交付给OpenAI的第一台DGX是0.17 Petaflops。GPT-4的1.8T参数可在2000个Blackwell上完成90天的训练。还有网友感叹：1000倍成就达成！Blackwell标志着在短短8年内，NVIDIA AI 芯片的计算能力实现了提升1000倍的历史性成就。2016 年，“Pascal”芯片的计算能力仅为19 teraflops，而今天Blackwell的计算能力已经达到了 20000 teraflops。相关文章:全程回顾黄仁勋GTC演讲：Blackwell架构B200芯片登场英伟达扩大与中国车企合作 为比亚迪提供下一代车载芯片英伟达进军机器人领域 发布世界首款人形机器人通用基础模型台积电、新思科技首次采用NVIDIA计算光刻平台：最快加速60倍NVIDIA共享虚拟现实环境技术将应用于苹果Vision Pro黄仁勋GTC演讲全文：最强AI芯片Blackwell问世 推理能力提升30倍 ... PC版： 手机版：