三星独家供货英伟达12层HBM3E内存 SK海力士出局

三星独家供货英伟达12层HBM3E内存 SK海力士出局 而SK海力士因部分工程问题，未能推出12层HBM3E产品，但计划从本月末开始批量生产8层HBM3E产品。今年2月27日，三星电子官宣成功开发出业界首款36GB 12H（12层堆叠）HBM3E DRAM内存。据介绍，HBM3E 12H能够提供高达1280GB/s的带宽和迄今为止最大的36GB容量，相比于8层堆叠的HBM3 8H，在带宽和容量上提升超过50%。同时相比于8层堆叠，其AI训练速度平均提高34%，同时推理服务用户数量也可增加超过11.5倍。在此前的GTC2024大会上，英伟达正式发布了B200和GB200系列芯片。据黄仁勋介绍，B200拥有2080亿个晶体管，采用台积电4NP工艺制程，可以支持多达10万亿个参数的AI大模型，还通过单个GPU提供20 petaflops的AI性能。 ... PC版： 手机版：

英伟达发布下一代AI计算芯片 HGX H200 GPU

英伟达发布下一代AI计算芯片 HGX H200 GPU NVIDIA 今天宣布推出 NVIDIA HGX™ H200，为全球领先的 AI 计算平台带来强大动力。该平台基于 NVIDIA Hopper™ 架构，配备 NVIDIA H200 Tensor Core GPU 和高级内存，可处理生成 AI 和高性能计算工作负载的海量数据。 NVIDIA H200 是首款提供 HBM3e 的 GPU，HBM3e 是更快、更大的内存，可加速生成式 AI 和大型语言模型，同时推进 HPC 工作负载的科学计算。借助 HBM3e，NVIDIA H200 以每秒 4.8 TB 的速度提供 141GB 内存，与前一代 NVIDIA A100 相比，容量几乎翻倍，带宽增加 2.4 倍。 全球领先的服务器制造商和云服务提供商采用 H200 的系统预计将于 2024 年第二季度开始发货。

AMD新一代GPU MIX350年底推出 升级4nm、HBM3E

AMD新一代GPU MIX350年底推出 升级4nm、HBM3E 接下来的Instinct MI350，应该会继续基于CDNA3架构，或者略有改进，工艺进步为台积电4nm，内存升级为新一代HBM3E，容量更大、速度更快。NVIDIA即将出货的H200已经用上了141GB HBM3E，刚宣布的新一代B200进一步扩容到192GB HBM3E，从而抵消了AMD在容量上的优势。AMD MI350的具体内存容量不详，但肯定不会少于192GB，否则就不够竞争力了。AMD CTO Mark Papermaster之前就说过，正在准备新版MI300系列，重点升级HBM内存，但没有给出详情。值得一提的是，美国针对中国的半导体禁令不仅包括现有产品，比如AMD MI250/MI300系列、NVIDIA A100、H100/H200、B100/B200/GB200、A800/H800、4090系列，Intel Gaudi2，还直接纳入了下一代产品，这自然就包括AMD MI350系列，以及Intel刚刚宣布的Gaudi3。 ... PC版： 手机版：

美光领先于SK Hynix 和三星 启动HBM3E内存的生产

美光领先于SK Hynix 和三星 启动HBM3E内存的生产 美光透露其正在大规模生产 24 GB 8-Hi HBM3E 设备，每个设备的数据传输速率为 9.2 GT/s，峰值内存带宽超过 1.2 TB/s。与 HBM3 相比，HBM3E 将数据传输速率和峰值内存带宽提高了 44%，这对于像 NVIDIA 的 H200 这样对带宽要求极高的处理器尤为重要。NVIDIA 的 H200 产品采用 Hopper 架构，计算性能与 H100 相同。同时，它配备了 141 GB HBM3E 内存，带宽达 4.8 TB/s，比 H100 的 80 GB HBM3 和 3.35 TB/s 带宽有了显著提升。美光使用其 1β（1-beta）工艺技术生产其 HBM3E，这对该公司来说是一项重大成就，因为该公司将其最新的生产节点用于数据中心级产品，这是对制造技术的一种考验。随着美光即将于 2024 年 3 月发布 36 GB 12-Hi HBM3E 产品，代表着公司的人工智能内存路线图得到了进一步巩固，与此同时这些设备接下来将用于何处还有待观察。领先于竞争对手 SK Hynix 和三星开始量产 HBM3E 内存是美光公司取得的一项重大成就，目前美光公司在 HBM 领域占据 10% 的市场份额。此举对该公司至关重要，因为它使美光能够比竞争对手更早推出高端产品，从而有可能增加收入和利润率，同时获得更大的市场份额。美光科技执行副总裁兼首席业务官 Sumit Sadana 表示："美光在 HBM3E 这一里程碑上实现了三连冠：领先的上市时间、同类最佳的行业性能以及与众不同的能效特性。人工智能工作负载在很大程度上依赖于内存带宽和容量，美光通过我们业界领先的 HBM3E 和 HBM4 路线图，以及我们面向人工智能应用的全套 DRAM 和 NAND 解决方案组合，在支持未来人工智能的大幅增长方面处于非常有利的位置。" ... PC版： 手机版：

三星开发业界首款36GB HBM3E存储芯片 12层堆叠

三星开发业界首款36GB HBM3E存储芯片 12层堆叠 三星电子存储产品规划执行副总裁Yongcheol Bae表示，业界AI服务供应商越来越需要更高容量的HBM，而我们开发的全新HBM3E 12H产品正是为满足这一需求设计的。技术方面，三星HBM3E 12H采用先进的热压非导电薄膜（TC NCF），使12层产品具有与8层HBM芯片相同的高度，以满足当前HBM封装要求。该技术预计将在未来带来更多优势，特别是更高层数堆叠方面，因为业界正在努力减轻芯片裸片变薄带来的翘曲问题。三星不断降低NCF材料的厚度，并实现了当前业界最小的芯片间隙（7微米），同时消除了层间空隙。与此前的HBM3 8H产品相比，新技术的进步使得垂直密度提高了20%以上。三星表示，TC NCF技术还能够通过在芯片之间使用不同大小的凸块，来改善HBM的热性能。在芯片键合层面，较小的凸块用于信号传输区域，而较大的凸块用于需要散热的区域；该方法还有助于提高产品产量。集微网了解到，英伟达目前的H200旗舰AI芯片宣布采用HBM3E存储，下一代B100预计将同样采用HBM3E，目前三大存储芯片巨头三星、SK海力士、美光均重点发力HBM。三星表示，HBM3E 12H将成为未来最佳解决方案，并降低数据中心总成本（TCO）。性能方面，新产品与HBM3 8H相比，人工智能训练平均速度可提高34%，用于推理服务支持的用户数量最高可增加11.5倍以上。目前三星已开始向客户提供HBM3E 12H样品，计划于今年上半年量产。 ... PC版： 手机版：

三星与AMD签订价值30亿美元的HBM3E 12H供货协议

三星与AMD签订价值30亿美元的HBM3E 12H供货协议 这笔交易意义重大，因为如果分析师知道内存堆栈在 AI GPU 的物料清单中占多大比例，他们就能对 AMD 准备推向市场的 AI GPU 的数量有一定的了解。考虑到竞争对手英伟达（NVIDIA）几乎只使用 SK 海力士（Hynix）生产的 HBM3E，AMD 很可能已经为三星的 HBM3E 12H 堆栈谈好了价格。随着英伟达的"Hopper"H200 系列、"Blackwell"、AMD 的 MI350X CDNA3 以及英特尔的 Gaudi 3 生成式 AI 加速器的推出，AI GPU 市场有望升温。三星于 2024 年 2 月首次推出了HBM3E 12H 内存。每个堆栈有 12 层，比第一代 HBM3E 增加了 50%，每个堆栈的密度为 36 GB。AMD CDNA3 芯片有 8 个这样的堆栈，包装上就有 288 GB 内存。AMD 预计将于 2024 年下半年推出 MI350X。这款芯片的最大亮点是采用台积电 4 纳米 EUV 代工节点制造的全新 GPU 片，这似乎是 AMD 首次推出 HBM3E 12H 的理想产品。 ... PC版： 手机版：