业内人士透露英伟达A100、H100等供不应求 但部分厂商将优先供应

业内人士透露英伟达A100、H100等供不应求但部分厂商将优先供应多家公司加入生成式人工智能研发和应用的赛道，也就增加了对相关服务器的需求，芯片的需求也随之增加。在此前的报道中，外媒就提到，ChatGPT等生成式人工智能的研发及应用，拉升了对英伟达A100、A800、H100等的需求。而业内人士也透露，英伟达A100、A800、H100等人工智能服务器处理器一直供不应求，但谷歌、微软及其他云服务提供商将优先供应。英伟达AI服务器处理器供不应求，从他们增加订单中也能看出端倪。上周有相关媒体在报道中称，英伟达的急单，已经推升了台积电7/6nm和5/4nm这两大制程工艺家族的产能利用率，其中5/4nm工艺的产能已接近饱和。在当时的报道中，外媒还提到有业内人士透露，英伟达A100、A800、H100、A800的大量订单，预计将贯穿今年全年。...PC版：https://www.cnbeta.com.tw/articles/soft/1362891.htm手机版：https://m.cnbeta.com.tw/view/1362891.htm

老黄赢麻了：英伟达H100订单排到24年

老黄赢麻了：英伟达H100订单排到24年全球最大云厂商亚马逊AWS也证实了这一消息，CEOAdamSelipsky近期表示：A100和H100是最先进的……即使对于AWS来说也很难获得。更早时候，马斯克还在一场访谈节目中也说过：GPU现在比d品还难获得。如果找“黄牛”买，溢价高达25%。如Ebay上的价格已从出厂价约36000美元涨到了45000美元，而且货源稀少。这种形势下，国内的百度、字节、阿里、腾讯等大型科技公司也向英伟达下了总计50亿美元的A800等芯片订单。其中只有10亿美元的货能今年内交付，另外80%也要等2024年才行。那么现有高端GPU都卖给谁了？这一波产能又是卡在了哪？H100卖给谁，老黄说了算ChatGPT爆发以来，擅长训练大模型的英伟达A100、H100成了香饽饽。甚至H100已经可以作为初创公司的一种资产，找投资基金获得抵押贷款。OpenAI、Meta为代表的AI公司，亚马逊、微软为代表的云计算公司，私有云Coreweave和Lambda，以及所有想炼自家大模型的各类科技公司，需求量都巨大。然而卖给谁，基本是英伟达CEO黄仁勋说了算。据TheInformation消息，H100这么紧缺，英伟达把大量的新卡分配给了CoreWeave，对亚马逊微软等老牌云计算公司限量供应。（英伟达还直接投资了CoreWeave。）外界分析是因为这些老牌公司都在开发自己的AI加速芯片、希望减少对英伟达的依赖，那老黄也就成全他们。老黄在英伟达内部还把控了公司日常运营的方方面面，甚至包括“审查销售代表准备对小型潜在客户说什么话”。全公司约40名高管直接向老黄汇报，这比Meta小扎和微软小纳的直接下属加起来还多。一位英伟达前经理透露，“在英伟达，黄仁勋实际上是每一款产品的首席产品官。”前阵子，还传出老黄干了一件夸张的事：要求一些小型云计算公司提供他们的客户名单，想了解GPU的最终使用者是谁。外界分析，此举将使英伟达更了解客户对其产品的需求，也引起了对英伟达可能利用这些信息谋取额外利益的担忧。也有人认为，还有一层原因是老黄想知道谁真的在用卡，而谁只是囤卡不用。为什么英伟达和老黄现在有这么大的话语权？主要是高端GPU供需太不平衡，根据GPUUtils网站的测算，H100缺口高达43万张。作者ClayPascal根据各种已知信息和传言估计了AI行业各参与者近期还需要的H100数量。AI公司方面：OpenAI可能需要5万张H100来训练GPT-5Meta据说需要10万InflectionAI的2.2万张卡算力集群计划已公布主要AI初创公司如Anthropic、Character.ai、欧洲的MistraAI和HelsingAI需求各自在1万数量级。云计算公司方面：大型公有云里，亚马逊、微软、Google、甲骨文都按3万算，共12万以CoreWeave和Lambda为代表的私有云加起来总共需要10万加起来就是43.2万了。这还没算一些摩根大通、TwoSigma等也开始部署自己算力集群的金融公司和其他行业参与者。那么问题来了，这么大的供应缺口，就不能多生产点吗？老黄也想啊，但是产能被卡住了。产能这次卡在哪里？其实，台积电已经为英伟达调整过一次生产计划了。不过还是没能填补上如此巨大的缺口。英伟达DGX系统副总裁兼总经理CharlieBoyle称，这次并不是卡在晶圆，而是台积电的CoWoS封装技术产能遇到了瓶颈。与英伟达抢台积电产能的正是苹果，要在9月发布会之前搞定下一代iPhone要用的A17芯片。而台积电方面近期表示，预计需要1.5年才能使封装工艺积压恢复正常。CoWoS封装技术是台积电的看家本领，台积电之所以能击败三星成为苹果的独家芯片代工厂靠的就是它。这项技术封装出的产品性能高、可靠性强，H100能拥有3TB/s(甚至更高)的带宽正是得益于此。CoWoS全名叫Chip-on-Wafer-on-Substrate，是一种在晶圆层面上的芯片集成技术。这项技术可以将多个芯片封装到厚度仅有100μm的硅中介层上。据介绍，下一代中介层面积将达到6倍reticle，也就是约5000mm?。目前为止，除了台积电，没有哪家厂商拥有这个水平的封装能力。虽然CoWoS的确强悍，但没有它就不行吗？其他厂商能不能代工呢？先不说老黄已经表示过“不考虑新增第二家H100代工厂”。从现实上看，可能也真的不行。英伟达此前曾和三星有过合作，但后者从未给英伟达生产过H100系列产品，甚至其他5nm制程的芯片。据此有人推测，三星的技术水平可能无法满足英伟达对尖端GPU的工艺需求。至于英特尔……他们的5nm产品好像还迟迟没有问世。既然让老黄换生产厂家行不通，那用户直接改用AMD怎么样？AMD，Yes？如果单论性能的话，AMD倒的确是慢慢追上来了。AMD最新推出的MI300X，拥有192GB的HBM3内存、5.2TB/s的带宽，可运行800亿参数模型。而英伟达刚刚发布的DGXGH200，内存为141GB的HBM3e，带宽则为5TB/s。但这并不意味着AMD能马上填补N卡的空缺——英伟达真正的“护城河”，在于CUDA平台。CUDA已经建立起一套完整的开发生态，意味着用户要是购买AMD产品，需要更长时间来进行调试。一名某私有云公司的高管表示，没人敢冒险花3亿美元实验部署10000个AMDGPU。这名高管认为，开发调试的周期可能至少需要两个月。在AI产品飞速更新换代的大背景下，两个月的空档期对任何一家厂商来说可能都是致命的。不过微软倒是向AMD伸出了橄榄枝。此前有传闻称，微软准备和AMD共同开发代号为“雅典娜”的AI芯片。而更早之前，MI200发布时，微软第一个宣布采购，并在其云平台Azure上部署。比如前一阵MSRA的新大模型基础架构RetNet就是在512张AMDMI200上训练的。在英伟达占据几乎整个AI市场的格局下，可能需要有人带头冲锋，先整个大型AMD算力集群打样，才有人敢于跟进。不过短时间内，英伟达H100、A100还是最主流的选择。OneMoreThing前一阵苹果发布最高支持192GB内存新款M2Ultra芯片的时候，还有不少从业者畅享过用它来微调大模型。毕竟苹果M系列芯片的内存显存是统一的，192GB内存就是192GB显存，可是80GBH100的2.4倍，又或者24GBRTX4090的8倍。然鹅，有人真的把这台机器买到手后，实际测试训练速度还不如英伟达RTX3080TI，微调都不划算，训练就更别想了。毕竟M系列芯片的算力部分不是专门针对AI计算优化的，光大显存也没用。炼大模型，看来主要还是得靠H100，而H100又求之不得。面对这种情况，网络上甚至流传着一首魔性的“GPU之歌”。很洗脑，慎入。...PC版：https://www.cnbeta.com.tw/articles/soft/1376535.htm手机版：https://m.cnbeta.com.tw/view/1376535.htm

为满足英伟达 H200、B100 大量订单，台积电 3/4nm 产能已接近满载

为满足英伟达H200、B100大量订单，台积电3/4nm产能已接近满载英伟达H200加速卡预计于第二季度上市，而使用Chiplet设计架构的B100也已下单投片，H200及B100分别利用台积电的4nm及3nm制程。台积电表示其2月产能利用率持续超过9成，因AI需求不减而产能持续满载。台积电目前HPC/AI应用平台占营收比重约43％，已与智能手机芯片齐平。——