NVIDIA H100 AI加速卡一卡难求 成本3千美元 卖3.5万美元

NVIDIAH100AI加速卡一卡难求成本3千美元卖3.5万美元微博网友“饭统戴老板”分析了一下H100的物料硬件成本，并结合相关数据资料，提出了一些有趣的观点。H100的物料成本(BOM)包括核心逻辑芯片、HBM内存芯片、CoWoS封装三大部分，还有PCB电路板、其他元器件等。H100核心逻辑芯片的面积为814平方毫米，采用台积电4N工艺制造(5nm+)，该节点下一块300mm晶圆的报价为1.34万美元，面积大约70695平方毫米，理论上能切割80多颗H100，再结合良率、损耗，就算65颗好了，单颗价格200美元左右。HBM3内存芯片来自韩国SK海力士，一共六颗，单颗容量16GB，而每GB价格大约15美元，合计1500美元左右——是的，比核心芯片贵多了。CoWoS封装来自台积电技术，成本不详，但台积电财报称CoWoS工艺的营收占比为7％，客户只有NVIDIA、AMD，分析师RobertCastellano据此推算制造一颗H100需要723美元左右。三者合计约2500美元(台积电拿走约1000美元)，再加上其他物料合计在3000美元左右。也就是说，H100的毛利率超过了90％！正是在H100、A100、A800等加速卡产品的带动下，NVIDIA今年二季度的毛利率已经达到了恐怖的70％。当然，这只是纯硬件成本，而比硬件更珍贵的是软件，是生态，这才是NVIDIA真正无敌的地方，这才是无论Intel还是AMD都难以企及的地方。人人都知道CUDA的强大与好用，而这正是NVIDIA几十年如一日砸下数百亿研发资金的成果。目前，NVIDIA在全球有超过2万名软硬件工程师。刨除各种成本，NVIDIA的净利率依然有30-40％左右，这就是本事！...PC版：https://www.cnbeta.com.tw/articles/soft/1379823.htm手机版：https://m.cnbeta.com.tw/view/1379823.htm

英伟达新增英特尔为封装服务商 有望月产 30 万颗 H100

英伟达新增英特尔为封装服务商有望月产30万颗H100据科创板日报援引外媒消息，市场日前传出，由于台积电CoWoS先进封装产能不足，促使英伟达新增英特尔为先进封装服务供货商、最快Q2加入，月产能约5000片。另据Tom`sHardware分析，假设良率完美、且英伟达与英特尔是针对H100签订合约，那么英伟达每月可增产超过30万颗H100GPU，可生产30万颗H100芯片。

NVIDIA最强显卡H100找到外援 产能大增30%

NVIDIA最强显卡H100找到外援产能大增30%NVIDIA的高端GPU采用了台积电的7nm、5nm工艺代工，但是产能瓶颈不在先进工艺上，而是所用的Cowos先进封装上，此前也是依赖台积电，但后者的产能提升有限，还有AMD等公司的订单抢产能。最新消息称，联电也开始给NVIDIA提供外援了，7月份起每个月增加3000片晶圆的Cowos中介层产能，然后再有另一家封测大厂Amkor安靠封装，三方的合作使得A100、H100的整体产能提升了30%。供应量上来了，A100、H100等显卡的供应情况应该会有所缓解，下半年有望解决加价抢购的麻烦。H100基于GH100GPU核心，定制版台积电4nm工艺制造，800晶体管，集成18432个CUDA核心、576个张量核心、60MB二级缓存，支持6144-bitHBM高带宽内存，支持PCIe5.0。性能方面，FP64/FP3260TFlops(每秒60万亿次)，FP162000TFlops(每秒2000万亿次)，TF321000TFlops(每秒1000万亿次)，都三倍于A100，FP84000TFlops(每秒4000万亿次)，六倍于A100。...PC版：https://www.cnbeta.com.tw/articles/soft/1369081.htm手机版：https://m.cnbeta.com.tw/view/1369081.htm

Inflection AI宣布打造2.2万块H100计算卡的AI超级计算机

InflectionAI宣布打造2.2万块H100计算卡的AI超级计算机一家名为"InflectionAI"的人工智能创业公司近日宣布，他们计划利用2.2万块NVIDIAH100计算卡打造一台规模宏大的AI超级计算机。这台超级计算机将由近700个机柜组成，每个机柜还将配备四块Intel至强处理器，旨在提供卓越的计算能力。据悉，该系统的功耗预计将达到31兆瓦，相当于每小时消耗3.1万度电。InflectionAI此次计划打造的AI超级计算机被视为世界顶级之一，而能够轻松获取大量NVIDIAH100计算卡的原因在于，NVIDIA正准备对该公司进行投资。来源，来自：雷锋频道：@kejiqu群组：@kejiquchat投稿：@kejiqubot

英伟达“中国特供版”H20 AI芯片综合算力比H100降80%

文件显示，新的H20拥有CoWoS先进封装技术，而且增加了一颗HBM3（高性能内存）到96GB，但成本也随之增加240美元；H20的FP16稠密算力达到148TFLOPS（每秒万亿次浮点运算），是H100算力的15%左右，因此需要增加额外的算法和人员成本等；NVLink则由400GB/s升级至900GB/s，因此互联速率会有较大升级。据评估，H100/H800是目前算力集群的主流实践方案。其中，H100理论极限在5万张卡集群，最多达到10万P算力；H800最大实践集群在2万-3万张卡，共计4万P算力；A100最大实践集群为1.6万张卡，最多为9600P算力。然而，如今新的H20芯片，理论极限在5万张卡集群，但每张卡算力为0.148P，共计近为7400P算力，低于H100/H800、A100。因此，H20集群规模远达不到H100的理论规模，基于算力与通信均衡度预估，合理的整体算力中位数为3000P左右，需增加更多成本、扩展更多算力才能完成千亿级参数模型训练。标签:#Nvidia#英伟达频道:@GodlyNews1投稿:@Godlynewsbot

Omdia：英伟达Q3卖了50万块AI GPU Meta是最大客户

Omdia：英伟达Q3卖了50万块AIGPUMeta是最大客户市场跟踪公司Omdia表示，Nvidia售出了近50万个A100和H100GPU，庞大的需求量也导致了，基于H100的服务器需要36~52周的时间才能交付。Meta和微软是最大买家。它们各自采购了多达15万个H100GPU，大大超过了谷歌、亚马逊、甲骨文和腾讯采购的数量（各5万个）。值得注意的是，大多数服务器GPU都供应给了超大规模云服务提供商。而服务器原始设备制造商（如戴尔、联想、HPE）目前还无法获得足够的AI和HPCGPU。Omdia预计，到2023年第四季度，Nvidia的H100和A100GPU的销量将超过50万台。不过，几乎所有大量采购NvidiaH100GPU的公司都在为人工智能、HPC和视频工作负载开发定制自己的芯片。因此，随着他们转向使用自己的芯片，对Nvidia硬件的采购量可能会逐渐减少。...PC版：https://www.cnbeta.com.tw/articles/soft/1401777.htm手机版：https://m.cnbeta.com.tw/view/1401777.htm