戴尔在一个机架服务器内塞了72块NVIDIA B200 GPU加速卡

戴尔在一个机架服务器内塞了72块NVIDIA B200 GPU加速卡 即便如此，戴尔依然宣称GPU密度提高了33％，PCIe 5.0通道多了20％，网络扩展能力翻倍。B200加速卡单个功耗达1000W，八卡就是8000W，再加上处理器、内存、硬盘、网卡等其他硬件，风冷自然是无法压制的，而是上了高效水冷，CPU、GPU全覆盖。针对更大规模的GPU计算部署需求，戴尔还支持在单个机架内配备多达72块B200加速卡，依然是水冷。戴尔PowerEdge XE9680L服务器将在下半年上市。 ... PC版： 手机版：

英伟达新一代架构Blackwell来了：RTX 50、B200都要用 功耗将超1000W

英伟达新一代架构Blackwell来了：RTX 50、B200都要用 功耗将超1000W 按照最新爆料，B100将采用两个基于台积电CoWoS-L封装技术的芯片，连接到8个 8-Hi HBM3e显存堆栈，总容量为192GB，而这还不是唯一。爆料中还提到，B200的下一代Blackwell GP更新将利用12-Hi来实现更高的容量，显存达到了288GB，但不确定是否是HBM4。之前，戴尔首席运营官Jeff Clarke就曾爆料：英伟达将于2025年推出载有“Blackwell”架构的B200产品，功耗或将达到1000W。事实上基于这个架构的RTX 50系列功耗也不会太乐观，之前有消息称，RTX 5090用PCIe Gen 6的16-Pin供电接口后，功耗可以超过600W，而高端系列可以超过450W，中端功耗在300-350W之间。所以在这样架构的功耗下，RTX 5090显卡将比RTX 4090快60%到70%（近一倍）也不稀奇吧？ ... PC版： 手机版：

单卡功耗可达1400W 黄仁勋：下代GPU服务器必须水冷

单卡功耗可达1400W 黄仁勋：下代GPU服务器必须水冷 戴尔此前的一次会议中确认，NVIDIA明年还会推出升级版B200 GPU，最高功耗可达1000W，甚至有说法称会有恐怖的1400W！NVIDIA目前的主力AI GPU H100和升级版H200最大功耗为700W，核心面积814平方毫米，均只需风冷。AMD MI300X则需要750W，但是面积也更大一些达到了1017平方毫米。现如今，服务器和数据中心使用浸没式液冷散热已经稀松平常，但也有很多专家对这种发展途径吃反对态度。Moor Insights & Strategy的创始人、CEO兼首席分析师Patrick Moorhead就明确提出，为了提高性能，并控制合理的功耗、发热，我们已经穷尽了手段，但接下来该怎么办？上液氮吗？是时候重新思考了。 ... PC版： 手机版：

戴尔透露 NVIDIA B100 将于今年推出，2025年将升级到 B200

戴尔透露 NVIDIA B100 将于今年推出，2025年将升级到 B200 在最近的财报电话会议上，戴尔透露了 NVIDIA 的下一代 Blackwell 系列不仅将拥有 B100 AI 加速卡，而且稍后将提供升级版本 B200 。看起来NVIDIA似乎已经向戴尔等最大的合作伙伴披露了这些信息，戴尔将使用NVIDIA最新的AI和计算硬件来运营服务器和数据中心。 戴尔高级副总裁还指出，NVIDIA B100 和 B200 等下一代 GPU 的功率密度将达到 1000W。当前 NVIDIA H200 和 AMD MI300X 加速卡的峰值功率已经达到 800W，因此考虑到 Blackwell 预计将带来的性能提升，考虑到其效率的提高，功率增加 200W 将是相当正常的。

NVIDIA Blackwell B200 AI加速器下季度开始出货 单价是传统服务器的10倍

NVIDIA Blackwell B200 AI加速器下季度开始出货 单价是传统服务器的10倍 据台湾《经济日报》报道，英伟达（NVIDIA）将于2024年第三季度至第四季度"小批量"出货其下一代GB200人工智能服务器，并将于2025年第一季度开始大规模出货。另据报道，每台 Blackwell 服务器的单价将是传统服务器的 10 倍。我们之前曾报道过每块 Blackwell GPU 的价格应高达 3.5 万美元，而一组 AI 服务器的价格可能高达 300 万美元。英伟达 DGX GB200"Blackwell"AI 服务器分为三个部分：DGX NVL72、NVL32 和 HGX B200。其中配置最高的是 NVL72，配备了 72 个英伟达 Blackwell B200 AI GPU 和 Grace Hopper CPU。据悉，富士康的子公司 Fii 将在下一季度出货部分 DGX GB200"NVL72"，而该公司早在 4 月份就已向客户交付了 NVL32 对应产品，因此该公司是首批向业界出货 Blackwell 产品的公司之一。除此之外，广达等合作伙伴也有望在本季度向客户交付英伟达的 Blackwell GB200 AI 服务器。虽然两家公司还没有透露谁是"独家"买家，但我们或许对此有所了解。我们曾报道过 Meta 已经下单了基于 Blackwell 的产品，包括 B200 AI GPU 和 AI 服务器，所以这可能是大部分产能的去向。微软和 OpenAI 也对英伟达的 Blackwell 表示了兴趣。 ... PC版： 手机版：

黄仁勋抛出2700W功耗的真核弹 还有240TB显存的AI超级计算机

黄仁勋抛出2700W功耗的真核弹 还有240TB显存的AI超级计算机 Blackwell B200 GPU首次采用了chiplet晶粒封装，包含两颗B100，而B200之间再通过带宽翻倍达1.8TB/s的第五代NVLink 5总线互连，最多可连接576块。B100采用专门定制的台积电4NP工艺制造(H100/RTX 40 4N工艺的增强版)，已经达到双倍光刻极限尺寸，彼此通过10TB/s带宽的片间互联带宽，连接成一块统一的B200 GPU。B100集成多达1040亿个晶体管，比上代H100 800亿个增加了足足30％，B200整体就是2080亿个晶体管。核心面积未公布，考虑到工艺极限应该不会比814平方毫米的H100大太多。CUDA核心数量也没说，但肯定会大大超过H100 16896个，不知道能不能突破2万个？每颗B100连接四颗24GB HBM3E显存/内存，等效频率8GHz，位宽4096-bit，带宽达4TB/s。如此一来，B200就有多达192GB HBM3E，总位宽8096-bit，总带宽8TB/s，相比H100分别增加1.4倍、58％、1.4倍。性能方面，B200新增支持FP4 Tensor数据格式，性能达到9PFlops(每秒9千万亿次)，INT/FP8、FP16、TF32 Tensor性能分别达到4.5、2.25、1.1PFlops，分别提升1.2倍、1.3倍、1.3倍，但是FP64 Tensor性能反而下降了40％(依赖GB200)，FP32、FP64 Vector性能则未公布。Blackwell GPU还支持第二代Transformer引擎，支持全新的微张量缩放，在搭配TensorRT-LLM、NeMo Megatron框架中的先进动态范围管理算法，从而在新型4位浮点AI推理能力下实现算力和模型大小的翻倍。其他还有RAS可靠性专用引擎、安全AI、解压缩引擎等。至于功耗，B100控制在700W，和上代H100完全一致，B200则首次达到了1000W。NVIDIA宣称，Blackwell GPU能够在10万亿参数的大模型上实现AI训练和实时大语言模型推理。GB200 Grace Blackwell是继Grace Hopper之后的新一代超级芯片(Superchip)，从单颗GPU＋单颗CPU升级为两颗GPU加一颗CPU，其中GPU部分就是B200，CPU部分不变还是Grace，彼此通过900GB/s的带宽实现超低功耗片间互联。在大语言模型推理工作负载方面，GB200超级芯片的性能对比H100提升了多达30倍。不过代价也很大，GB200的功耗最高可达2700W，可以使用分冷，更推荐使用液冷。基于GB200超级芯片，NVIDIA打造了新一代的AI超级计算机“DGX SuperPOD”，配备36块超级芯片，也就是包含36颗Grace CPU、72颗B200 GPU，彼此通过NVLink 5组合在一起，还有多达240TB HBM3E。这台AI超级计算机可以处理万亿参数的大模型，能保证超大规模生成式AI训练和推理工作负载的持续运行，FP4精度下的性能高达11.5EFlops(每秒1150亿亿次)。DGX SuperPOD还具有极强的扩展性，可通过Quantum-X800 InfiniBand网络连接，扩展到数万颗GB200超级芯片，并加入BlueField-3 DPU数据处理单元，而每颗GPU都能获得1.8TB/s的高带宽。第四代可扩展分层聚合和规约协议(SHARP)技术，可提供14.4TFlops的网络计算能力，比上代提升4倍。此外，NVIDIA还发布了第六代通用AI超级计算平台“DGX B200”，包含两颗Intel五代至强处理器、八颗B200 GPU，具备1.4TB HBM3E、64TB/s带宽，FP4精度性能144PFlops(每秒14亿亿次)，万亿参数模型实时推理速度提升15倍。DGX B200系统还集成八个NVIDIA ConnectX-7网卡、两个BlueField-3 DPU高性能网络，每个连接带宽高达400Gb/s，可通过Quantum-2 InfiniBand、Spectrum?-X以太网网络平台，扩展支持更高的AI性能。基于Blackwell GPU的产品将在今年晚些时候陆续上市，亚马逊云、戴尔、谷歌、Meta、微软、OpenAI、甲骨文、特斯拉、xAI等都会采纳。亚马逊云、谷歌云、微软Azeure、甲骨文云将是首批提供Blackwell GPU驱动实例的云服务提供商，NVIDIA云合作伙伴计划的中的Applied Digital、CoreWeave、Crusoe、IBM Cloud、Lambda也将提供上述服务。Indosat Ooredoo Hutchinson、Nebius、Nexgen Cloud、甲骨文欧盟主权云、甲骨文美国/英国/澳大利亚政府云、Scaleway、新加坡电信、Northern Data Group旗下的Taiga Cloud、Yotta Data Services旗下的Shakti Cloud、YTL Power International 等主权AI云，也将提供基于Blackwell架构的云服务和基础设施。 ... PC版： 手机版：