谁卡了英伟达的脖子？

谁卡了英伟达的脖子？如果缺货继续延续到今年年底，英伟达的业绩恐怕会更加震撼。H100的短缺不禁让人想起几年前，GPU因为加密货币暴涨导致缺货，英伟达被游戏玩家骂得狗血淋头。不过当年的显卡缺货很大程度上是因为不合理的溢价，H100的缺货却是产能实在有限，加价也买不到。换句话说，英伟达还是赚少了。在财报发布当天的电话会议上，“产能”理所当然地成为了最高频词汇。对此，英伟达措辞严谨，不该背的锅坚决不背：“市场份额方面，不是仅靠我们就可以获得的，这需要跨越许多不同的供应商。”实际上，英伟达所说的“许多不同的供应商”，算来算去也就两家：SK海力士和台积电。HBM：韩国人的游戏如果只看面积占比，一颗H100芯片，属于英伟达的部分只有50%左右。在芯片剖面图中，H100裸片占据核心位置，两边各有三个HBM堆栈，加起面积与H100裸片相当。这六颗平平无奇的内存芯片，就是H100供应短缺的罪魁祸首之一。HBM（HighBandwidthMemory）直译过来叫高宽带内存，在GPU中承担一部分存储器之职。和传统的DDR内存不同，HBM本质上是将多个DRAM内存在垂直方向堆叠，这样既增加了内存容量，又能很好的控制内存的功耗和芯片面积，减少在封装内部占用的空间。“堆叠式内存”原本瞄准的是对芯片面积和发热非常敏感的智能手机市场，但问题是，由于生产成本太高，智能手机最终选择了性价比更高的LPDDR路线，导致堆叠式内存空有技术储备，却找不到落地场景。直到2015年，市场份额节节败退的AMD希望借助4K游戏的普及，抄一波英伟达的后路。在当年发布的AMDFiji系列GPU中，AMD采用了与SK海力士联合研发的堆叠式内存，并将其命名为HBM（HighBandwidthMemory）。AMD的设想是，4K游戏需要更大的数据吞吐效率，HBM内存高带宽的优势就能体现出来。当时AMD的RadeonR9FuryX显卡，也的确在纸面性能上压了英伟达Kepler架构新品一头。但问题是，HBM带来的带宽提升，显然难以抵消其本身的高成本，因此也未得到普及。直到2016年，AlphaGo横扫冠军棋手李世石，深度学习横空出世，让HBM内存一下有了用武之地。深度学习的核心在于通过海量数据训练模型，确定函数中的参数，在决策中带入实际数据得到最终的解。理论上来说，数据量越大得到的函数参数越可靠，这就让AI训练对数据吞吐量及数据传输的延迟性有了一种近乎病态的追求，而这恰恰是HBM内存解决的问题。2017年，AlphaGo再战柯洁，芯片换成了Google自家研发的TPU。在芯片设计上，从第二代开始的每一代TPU，都采用了HBM的设计。英伟达针对数据中心和深度学习的新款GPUTeslaP100，搭载了第二代HBM内存（HBM2）。随着高性能计算市场的GPU芯片几乎都配备了HBM内存，存储巨头们围绕HBM的竞争也迅速展开。目前，全球能够量产HBM的仅有存储器三大巨头：SK海力士、三星电子、美光。SK海力士是HBM发明者之一，是目前唯一量产HBM3E（第三代HBM）的厂商；三星电子以HBM2（第二代HBM）入局，是英伟达首款采用HBM的GPU的供应商；美光最落后，2018年才从HMC转向HBM路线，2020年年中才开始量产HBM2。其中，SK海力士独占HBM50%市场份额，而其独家供应给英伟达的HBM3E，更是牢牢卡住了H100的出货量：H100PCIe和SXM版本均用了5个HBM堆栈，H100SSXM版本可达到6个，英伟达力推的H100NVL版本更是达到了12个。按照研究机构的拆解，单颗16GB的HBM堆栈，成本就高达240美元。那么H100NVL单单内存芯片的成本，就将近3000美元。成本还是小问题，考虑到与H100直接竞争的GoogleTPUv5和AMDMI300即将量产，后两者同样将采用HBM3E，陈能更加捉襟见肘。面对激增的需求，据说SK海力士已定下产能翻番的小目标，着手扩建产线，三星和美光也对HBM3E摩拳擦掌，但在半导体产业，扩建产线从来不是一蹴而就的。按照9-12个月的周期乐观预计，HBM3E产能至少也得到明年第二季度才能得到补充。另外，就算解决了HBM的产能，H100能供应多少，还得看台积电的脸色。CoWoS：台积电的宝刀分析师RobertCastellano不久前做了一个测算，H100采用了台积电4N工艺（5nm）生产，一片4N工艺的12寸晶圆价格为13400美元，理论上可以切割86颗H100芯片。如果不考虑生产良率，那么每生产一颗H100，台积电就能获得155美元的收入[6]。但实际上，每颗H100给台积电带来的收入很可能超过1000美元，原因就在于H100采用了台积电的CoWoS封装技术，通过封装带来的收入高达723美元[6]。每一颗H100从台积电十八厂的N4/N5产线上下来，都会运往同在园区内的台积电先进封测二厂，完成H100制造中最为特别、也至关重要的一步——CoWoS。要理解CoWoS封装的重要性，依然要从H100的芯片设计讲起。在消费级GPU产品中，内存芯片一般都封装在GPU核心的外围，通过PCB板之间的电路传递信号。比如下图中同属英伟达出品的RTX4090芯片，GPU核心和GDDR内存都是分开封装再拼到一块PCB板上，彼此独立。GPU和CPU都遵循着冯·诺依曼架构，其核心在于“存算分离”——即芯片处理数据时，需要从外部的内存中调取数据，计算完成后再传输到内存中，一来一回，都会造成计算的延迟。同时，数据传输的“数量”也会因此受限制。可以将GPU和内存的关系比作上海的浦东和浦西，两地间的物资（数据）运输需要依赖南浦大桥，南浦大桥的运载量决定了物资运输的效率，这个运载量就是内存带宽，它决定了数据传输的速度，也间接影响着GPU的计算速度。1980年到2000年，GPU和内存的“速度失配”以每年50%的速率增加。也就是说，就算修了龙耀路隧道和上中路隧道，也无法满足浦东浦西两地物资运输的增长，这就导致高性能计算场景下，带宽成为了越来越明显的瓶颈。CPU/GPU性能与内存性能之间的差距正在拉大2015年，AMD在应用HBM内存的同时，也针对数据传输采用了一种创新的解决方案：把浦东和浦西拼起来。简单来说，2015年的Fiji架构显卡，将HBM内存和GPU核心“缝合”在了一起，把几块小芯片变成了一整块大芯片。这样，数据吞吐效率就成倍提高。不过如上文所述，由于成本和技术问题，AMD的Fiji架构并没有让市场买账。但深度学习的爆发以及AI训练对数据吞吐效率不计成本的追求，让“芯片缝合”有了用武之地。另外，AMD的思路固然好，但也带来了一个新问题——无论HBM有多少优势，它都必须和“缝芯片”的先进封装技术配合，两者唇齿相依。如果说HBM内存还能货比三家，那么“缝芯片”所用的先进封装，看来看去就只有台积电一家能做。CoWoS是台积电先进封装事业的起点，英伟达则是第一个采用这一技术的芯片公司。CoWoS由CoW和oS组合而来：CoW表示ChiponWafer，指裸片在晶圆上被拼装的过程，oS表示on Substrate，指在基板上被封装的过程。传统封装一般只有oS环节，一般在代工厂完成晶圆制造后，交给第三方封测厂解决，但先进封装增加的CoW环节，就不是封测厂能解决的了的。以一颗完整的H100芯片为例，H100的裸片周围分布了多个HBM堆栈，通过CoW技术拼接在一起。但不只是拼接而已，还要同时实现裸片和堆栈间的通信。台积电的CoW区别于其他先进封装的亮点在于，是将裸片和堆栈放在一个硅中介层（本质是一块晶圆）上，在中介层中做互联通道，实现裸片和堆栈的通信。类似的还有英特尔的EMIB，区别在于通过硅桥实现互联。但带宽远不及硅中介层，考虑到带宽与数据传输速率息息相关，CoWoS便成了H100的唯一选择。这便是卡住H100产能的另一只手。虽然CoWoS效果逆天，但4000-6000美元/片的天价还是拦住了不少人，其中就包括富可敌国的苹果。因...PC版：https://www.cnbeta.com.tw/articles/soft/1380411.htm手机版：https://m.cnbeta.com.tw/view/1380411.htm