戴尔在一个机架服务器内塞了72块NVIDIA B200 GPU加速卡

戴尔在一个机架服务器内塞了72块NVIDIA B200 GPU加速卡 即便如此，戴尔依然宣称GPU密度提高了33％，PCIe 5.0通道多了20％，网络扩展能力翻倍。B200加速卡单个功耗达1000W，八卡就是8000W，再加上处理器、内存、硬盘、网卡等其他硬件，风冷自然是无法压制的，而是上了高效水冷，CPU、GPU全覆盖。针对更大规模的GPU计算部署需求，戴尔还支持在单个机架内配备多达72块B200加速卡，依然是水冷。戴尔PowerEdge XE9680L服务器将在下半年上市。 ... PC版： 手机版：

NVIDIA Blackwell B200 AI加速器下季度开始出货 单价是传统服务器的10倍

NVIDIA Blackwell B200 AI加速器下季度开始出货 单价是传统服务器的10倍 据台湾《经济日报》报道，英伟达（NVIDIA）将于2024年第三季度至第四季度"小批量"出货其下一代GB200人工智能服务器，并将于2025年第一季度开始大规模出货。另据报道，每台 Blackwell 服务器的单价将是传统服务器的 10 倍。我们之前曾报道过每块 Blackwell GPU 的价格应高达 3.5 万美元，而一组 AI 服务器的价格可能高达 300 万美元。英伟达 DGX GB200"Blackwell"AI 服务器分为三个部分：DGX NVL72、NVL32 和 HGX B200。其中配置最高的是 NVL72，配备了 72 个英伟达 Blackwell B200 AI GPU 和 Grace Hopper CPU。据悉，富士康的子公司 Fii 将在下一季度出货部分 DGX GB200"NVL72"，而该公司早在 4 月份就已向客户交付了 NVL32 对应产品，因此该公司是首批向业界出货 Blackwell 产品的公司之一。除此之外，广达等合作伙伴也有望在本季度向客户交付英伟达的 Blackwell GB200 AI 服务器。虽然两家公司还没有透露谁是"独家"买家，但我们或许对此有所了解。我们曾报道过 Meta 已经下单了基于 Blackwell 的产品，包括 B200 AI GPU 和 AI 服务器，所以这可能是大部分产能的去向。微软和 OpenAI 也对英伟达的 Blackwell 表示了兴趣。 ... PC版： 手机版：

微软围绕AI服务器数据传输打造英伟达网卡的替代产品

微软围绕AI服务器数据传输打造英伟达网卡的替代产品 微软打造英伟达网卡的替代产品，以降低在AI服务器领域对英伟达的依赖程度。产品将用于加速数据在服务器之间的传输。（The Information） 标签: #微软 #英伟达 #AI 频道: @GodlyNews1 投稿: @GodlyNewsBot

英伟达发布用于AI的"世界上最强大芯片"Blackwell B200 GPU

英伟达发布用于AI的"世界上最强大芯片"Blackwell B200 GPU NVIDIA 首席执行官黄仁勋在 GTC 现场直播中举起他的新 GPU（左边），右边是 H100。NVIDIA 表示，新的 B200 GPU 拥有 2080 亿个晶体管，可提供高达 20petaflops 的 FP4 算力，而 GB200 将两个 GPU 和一个 Grace CPU 结合在一起，可为 LLM 推理工作负载提供 30 倍的性能，同时还可能大大提高效率。NVIDIA 表示，与 H100 相比，它的成本和能耗"最多可降低 25 倍"。NVIDIA 声称，训练一个 1.8 万亿个参数的模型以前需要 8000 个 Hopper GPU 和 15 兆瓦的电力。如今，NVIDIA 首席执行官表示，2000 个 Blackwell GPU 就能完成这项工作，耗电量仅为 4 兆瓦。NVIDIA 表示，在具有 1750 亿个参数的 GPT-3 LLM 基准测试中，GB200 的性能是 H100 的 7 倍，而 NVIDIA 称其训练速度是 H100 的 4 倍。这就是 GB200 的样子。两个 GPU、一个 CPU、一块电路板NVIDIA 介绍说，其中一项关键改进是采用了第二代变压器引擎，通过为每个神经元使用四个比特而不是八个比特，将计算能力、带宽和模型大小提高了一倍（前面提到的 FP4 的 20 petaflops）。第二个关键区别只有在连接大量 GPU 时才会出现：新一代 NVLink 交换机可让 576 个 GPU 相互连接，双向带宽达到每秒 1.8 TB。这就要求 NVIDIA 打造一个全新的网络交换芯片，其中包含 500 亿个晶体管和一些自己的板载计算：NVIDIA 表示，该芯片拥有 3.6 teraflops 的 FP8 处理能力。NVIDIA 表示将通过 Blackwell 增加 FP4 和 FP6NVIDIA 表示，在此之前，由 16 个 GPU 组成的集群有 60% 的时间用于相互通信，只有 40% 的时间用于实际计算。当然，NVIDIA 还指望企业大量购买这些 GPU，并将它们包装成更大的设计，比如 GB200 NVL72，它将 36 个 CPU 和 72 个 GPU 集成到一个液冷机架中，可实现总计 720 petaflops 的 AI 训练性能或 1440 petaflops（又称 1.4exaflops）的推理性能。它内部有近两英里长的电缆，共有 5000 条独立电缆。GB200 NVL72机架上的每个托盘包含两个 GB200 芯片或两个 NVLink 交换机，每个机架有 18 个前者和 9 个后者。NVIDIA 称，其中一个机架总共可支持 27 万亿个参数模型。据传，GPT-4 的参数模型约为 1.7 万亿。该公司表示，亚马逊、Google、微软和甲骨文都已计划在其云服务产品中提供 NVL72 机架，但不清楚它们将购买多少。当然，NVIDIA 也乐于为公司提供其他解决方案。下面是用于 DGX GB200 的 DGX Superpod，它将八个系统合而为一，总共拥有 288 个 CPU、576 个 GPU、240TB 内存和 11.5 exaflops 的 FP4 计算能力。NVIDIA 称，其系统可扩展至数万 GB200 超级芯片，并通过其新型 Quantum-X800 InfiniBand（最多 144 个连接）或 Spectrum-X800 以太网（最多 64 个连接）与 800Gbps 网络连接在一起。我们预计今天不会听到任何关于新游戏 GPU 的消息，因为这一消息是在 NVIDIA 的 GPU 技术大会上发布的，而该大会通常几乎完全专注于 GPU 计算和人工智能，而不是游戏。不过，Blackwell GPU 架构很可能也会为未来的 RTX 50 系列桌面显卡提供算力。 ... PC版： 手机版：

英伟达发布用于人工智能的“世界上最强大芯片”Blackwell B200 GPU

英伟达发布用于人工智能的“世界上最强大芯片”Blackwell B200 GPU 英伟达的 H100 AI 芯片使其成为价值数万亿美元的公司，其价值可能超过 Alphabet 和亚马逊，而竞争对手一直在奋力追赶。但也许英伟达即将通过新的 Blackwell B200 GPU 和 GB200“超级芯片”扩大其领先地位。该公司在加州圣何塞举行的 GTC 大会上表示，新的 B200 GPU 拥有 2080 亿个晶体管，可提供高达 20petaflops 的 FP4 算力，而 GB200 将两个 GPU 和单个 Grace CPU 结合在一起，可为 LLM 推理工作负载提供30倍的性能，同时还可能大大提高效率。英伟达表示，在具有 1750 亿个参数的 GPT-3 LLM 基准测试中，GB200 的性能是 H100 的7倍，而英伟达称其训练速度是 H100 的4倍。

超微获得NVIDIA Blackwell AI服务器巨额订单 占总供应量的25%

超微获得NVIDIA Blackwell AI服务器巨额订单 占总供应量的25% 在人工智能的热潮中，SMCI（超微计算机公司）在相当长的一段时间里都是市场的头条新闻。该公司不仅股价表现优异，同比增长 182%，而且还成功地与英伟达（NVIDIA）建立了合作关系，成为市场的焦点。SMCI 专注于专为人工智能工作负载设计的高性能服务器和存储系统，在过去几个季度里，订单大量涌入。现在，该公司正寻求将其业务扩展到更先进的NVIDIA Blackwell AI GPU 架构，因为有报道称超微计算机公司已经收到了以 Blackwell 为核心的 AI 服务器机架的巨额订单。台湾《经济日报》报道称，超微计算机公司（SMCI）准备出货 25% 的英伟达（NVIDIA）基于 GB200 的 Blackwell AI 服务器，总量将达到 10000 台以上。这一次，NVIDIA似乎赋予了 SMCI 更多的责任，如果进展顺利，最终将转化为巨大的经济效益。这些系统包括：NVIDIA HGX B100 8-GPU 和 HGX B200 8-GPU 系统包含 10 个 GPU 的 5U/4U PCIe GPU 系统SuperBlade 在 8U 机柜中最多可配备 20 个 B100 GPU，在 6U 机柜中最多可配备 10 个 B100 GPU2U Hyper 最多可配备 3 个 B100 GPU配备最多 4 个 B100 GPU 的 Supermicro 2U x86 MGX 系统为了与富士康和广达等巨头竞争，SMCI 决定积极拓展供应链，将 Argosy Research 和 Auras Technology 等公司纳入其中。自今年年初以来，该公司已经积累了NVIDIA公司的Blackwell GB200 AI GPU，以确保供应链流程顺畅，最终保证在竞争中占据优势。此外，超微计算机公司已经在水冷要件方面进行了投资，据说这对较新的 Blackwell AI 服务器至关重要。以下是超微服务器阵容的部分特点：超微公司的NVIDIA HGX B200 8GPU 风冷和液冷系统可实现最高的生成式人工智能训练性能。该系统采用 8 个英伟达 Blackwell GPU，通过第五代 NVLink 与 1.5TB 高带宽内存池（速度达 60TB/s）连接，以加快人工智能训练工作负载的速度。超微最畅销的人工智能训练系统配备NVIDIA HGX H100/H200 8-GPU 的 4U/8U 系统，将支持英伟达即将推出的 HGX B100 8-GPU。超微机架级解决方案采用 GB200 Superchip 系统作为服务器节点，每个节点配备 2 个 Grace CPU 和 4 个 NVIDIA Blackwell GPU。超微的直接到芯片液冷技术最大限度地提高了密度，在一个 44U ORV3 机架上可安装 72 个 GB200 192GB GPU（每个 GPU 的 TDP 为 1200W）。由此看来，SMCI 希望这次以更积极的方式回归，通过与NVIDIA的密切关系，只要他们能保持供应链和产品质量，就可以继续保持现有的市场地位。 ... PC版： 手机版：