三星与AMD签订价值30亿美元的HBM3E 12H供货协议

三星与AMD签订价值30亿美元的HBM3E 12H供货协议 这笔交易意义重大，因为如果分析师知道内存堆栈在 AI GPU 的物料清单中占多大比例，他们就能对 AMD 准备推向市场的 AI GPU 的数量有一定的了解。考虑到竞争对手英伟达（NVIDIA）几乎只使用 SK 海力士（Hynix）生产的 HBM3E，AMD 很可能已经为三星的 HBM3E 12H 堆栈谈好了价格。随着英伟达的"Hopper"H200 系列、"Blackwell"、AMD 的 MI350X CDNA3 以及英特尔的 Gaudi 3 生成式 AI 加速器的推出，AI GPU 市场有望升温。三星于 2024 年 2 月首次推出了HBM3E 12H 内存。每个堆栈有 12 层，比第一代 HBM3E 增加了 50%，每个堆栈的密度为 36 GB。AMD CDNA3 芯片有 8 个这样的堆栈，包装上就有 288 GB 内存。AMD 预计将于 2024 年下半年推出 MI350X。这款芯片的最大亮点是采用台积电 4 纳米 EUV 代工节点制造的全新 GPU 片，这似乎是 AMD 首次推出 HBM3E 12H 的理想产品。 ... PC版： 手机版：

英伟达发布下一代AI计算芯片 HGX H200 GPU

英伟达发布下一代AI计算芯片 HGX H200 GPU NVIDIA 今天宣布推出 NVIDIA HGX™ H200，为全球领先的 AI 计算平台带来强大动力。该平台基于 NVIDIA Hopper™ 架构，配备 NVIDIA H200 Tensor Core GPU 和高级内存，可处理生成 AI 和高性能计算工作负载的海量数据。 NVIDIA H200 是首款提供 HBM3e 的 GPU，HBM3e 是更快、更大的内存，可加速生成式 AI 和大型语言模型，同时推进 HPC 工作负载的科学计算。借助 HBM3e，NVIDIA H200 以每秒 4.8 TB 的速度提供 141GB 内存，与前一代 NVIDIA A100 相比，容量几乎翻倍，带宽增加 2.4 倍。 全球领先的服务器制造商和云服务提供商采用 H200 的系统预计将于 2024 年第二季度开始发货。

新一代人工智能芯片有望助力HBM产业到2025年实现收入再翻番

新一代人工智能芯片有望助力HBM产业到2025年实现收入再翻番 从目前的格局来看，三星、SK hynix 和美光是 HBM 市场上的三大"巨头"，它们在未来一段时间内也将占据主导地位，这得益于这些公司的持续发展，特别是 HBM4 等下一代工艺的发展受到了业界的极大关注。有鉴于此，市场研究机构 Gartner 发布报告称，到 2025 年，HBM 市场规模将达到 49.76 亿美元，与 2023 年相比几乎翻了两番。这一估算完全基于当前和预期的行业需求，没有任何意外，因为 HBM 销量最大的关键领域是其在人工智能 GPU 中的应用。正如过去多次报道的那样，AI GPU 需求的突然上升造成了市场上 HBM 的短缺，因为 HBM 是构成 AI 油门的主要组件。人们对 HBM 的未来也非常乐观，因为根据之前的报道，行业确实正在向更新的标准发展，HBM3e 和 HBM4 等标准将被制造商广泛采用。英伟达在 2024 年为客户安排了很多计划，该公司已经发布了 H200 Hopper GPU，预计明年将实现大规模采用，随后还将发布 B100"Blackwell"AI GPU，这两款产品都将基于 HBM3e 内存技术。AMD 阵营也出现了类似的情况，其下一代 AMD Instinct GPU 将首次采用较新的 HBM 类型。 ... PC版： 手机版：

三星将首秀36GB HBM3E内存：NVIDIA H200单卡就有216GB

三星将首秀36GB HBM3E内存：NVIDIA H200单卡就有216GB NVIDIA H200 AI加速卡将首发采用三星36GB HBM3E，只需要八颗，就能达成6144-bit的位宽、216GB的容量，从而超过192GB HBM3内存的AMD Instinct MI300X。H200还支持四路、八路互连，因此单系统的HBM3E内存容量可以达到864GB、1728GB！按照惯例，NVIDIA可能会出于良品率的考虑，屏蔽一小部分容量，但是单卡超过200GB、单系统超过1.6TB必然是很轻松的。按照NVIDIA的说法，H200虽然还是Hopper架构，但相比H100再次飞跃，700亿参数Llama2、1750亿参数GTP-3模型的推理性能分别提升多达90％、60％，对比前代A100 HPC模拟性能直接翻番。NVIDIA H200计划2024年第二季度出货，三星36GB HBM3E则会在第一季度投入量产，正好赶得上。 ... PC版： 手机版：

16-Hi堆栈和3D封装的三星HBM4内存正在开发中 将于2025年亮相

16-Hi堆栈和3D封装的三星HBM4内存正在开发中 将于2025年亮相 该公司目前的 HBM 产品组合包括作为顶级产品的 HBM3E"Shinebolt"，采用 24 Gb DRAM，容量达 36 GB，传输速度达 9.8 Gbps。该内存技术采用 2.5D 封装，支持 12 Hi 的堆叠。三星 HBM 产品组合的下一个演变将以 HBM 4 的形式出现。这种特殊内存的代号目前尚不清楚，但它应该会有更大的发展。从规格开始，三星的 HBM4 内存预计将包含多达 16-Hi 堆栈，如果我们使用相同的 24 Gb 模块可以组合出高达 256 GB 的 HBM4 容量，速度非常快，而目前的峰值约为 10 Gbps。三星表示：首先是"细分"。在早期市场，硬件的通用性非常重要，但在未来，随着围绕杀手级应用的服务日趋成熟，硬件基础设施将不可避免地经历一个针对每种服务进行优化的过程。三星电子计划通过统一核心芯片、多样化封装和基础芯片（如 8H、12H 和 16H）来应对。目前，NVIDIA 的 Blackwell B100/B200和AMD 的 Instinct MI300 GPU可提供高达 192 GB 的 HBM 容量。前者采用较新的 HBM3E 标准，后者采用 HBM3 DRAM 解决方案。这两款 GPU 都有 8 个 HBM 位点，每个位点都有 12-Hi 堆栈，因此如果将这些位点升级到较新的 16-Hi 堆栈，就可以获得 256 GB 的容量。这还不算 HBM4 将推出的更密集的 DRAM 模块（24 Gb+）。如果说从下一代 HBM4 开始，为解决功耗墙问题而进行的第一次创新是从推出使用逻辑工艺的基础芯片开始的，那么随着从目前的 2.5D HBM 逐步发展到 3D HBM，将出现第二次创新。随着 DRAM 单元和逻辑的发展，预计将出现第三次创新，如 HBM-PIM。目前，我们正在与客户和合作伙伴讨论如何实现这些创新，并将积极规划和准备开拓市场。此外，HBM4 背后的另一项关键技术将是 3D 封装的利用。 最近，JEDEC 放宽了对 HBM4 内存的要求，允许公司利用现有的粘合技术。下一代 3D 封装还可能克服与混合粘合相关的一些价格问题。AMD 预计将通过 MI350 和 MI370 系列更新其 MI300产品线，这些产品线预计将增加容量，而NVIDIA则可能在 HBM4 供应稳定后更新其 Blackwell GPU，以便在未来推出速度更快的产品。 ... PC版： 手机版：

三星独家供货英伟达12层HBM3E内存 SK海力士出局

三星独家供货英伟达12层HBM3E内存 SK海力士出局 而SK海力士因部分工程问题，未能推出12层HBM3E产品，但计划从本月末开始批量生产8层HBM3E产品。今年2月27日，三星电子官宣成功开发出业界首款36GB 12H（12层堆叠）HBM3E DRAM内存。据介绍，HBM3E 12H能够提供高达1280GB/s的带宽和迄今为止最大的36GB容量，相比于8层堆叠的HBM3 8H，在带宽和容量上提升超过50%。同时相比于8层堆叠，其AI训练速度平均提高34%，同时推理服务用户数量也可增加超过11.5倍。在此前的GTC2024大会上，英伟达正式发布了B200和GB200系列芯片。据黄仁勋介绍，B200拥有2080亿个晶体管，采用台积电4NP工艺制程，可以支持多达10万亿个参数的AI大模型，还通过单个GPU提供20 petaflops的AI性能。 ... PC版： 手机版：