英伟达发布下一代AI计算芯片 HGX H200 GPU

英伟达发布下一代AI计算芯片 HGX H200 GPU NVIDIA 今天宣布推出 NVIDIA HGX™ H200,为全球领先的 AI 计算平台带来强大动力。该平台基于 NVIDIA Hopper™ 架构,配备 NVIDIA H200 Tensor Core GPU 和高级内存,可处理生成 AI 和高性能计算工作负载的海量数据。 NVIDIA H200 是首款提供 HBM3e 的 GPU,HBM3e 是更快、更大的内存,可加速生成式 AI 和大型语言模型,同时推进 HPC 工作负载的科学计算。借助 HBM3e,NVIDIA H200 以每秒 4.8 TB 的速度提供 141GB 内存,与前一代 NVIDIA A100 相比,容量几乎翻倍,带宽增加 2.4 倍。 全球领先的服务器制造商和云服务提供商采用 H200 的系统预计将于 2024 年第二季度开始发货。

相关推荐

封面图片

英伟达推出新款AI处理器H200

英伟达推出新款AI处理器H200 英伟达升级H100 AI处理器,以巩固在AI计算市场的主导地位。英伟达推出名为H200的新款图形处理器(GPU),具备使用HBM3e高带宽内存的能力,H200集成141 GB内存,在推理或生成问题答案时,性能较H100提高60%-90%。英伟达一度上涨将近1.4%,处于连续第九个交易日上涨之中。 来源:

封面图片

三星将首秀36GB HBM3E内存:NVIDIA H200单卡就有216GB

三星将首秀36GB HBM3E内存:NVIDIA H200单卡就有216GB NVIDIA H200 AI加速卡将首发采用三星36GB HBM3E,只需要八颗,就能达成6144-bit的位宽、216GB的容量,从而超过192GB HBM3内存的AMD Instinct MI300X。H200还支持四路、八路互连,因此单系统的HBM3E内存容量可以达到864GB、1728GB!按照惯例,NVIDIA可能会出于良品率的考虑,屏蔽一小部分容量,但是单卡超过200GB、单系统超过1.6TB必然是很轻松的。按照NVIDIA的说法,H200虽然还是Hopper架构,但相比H100再次飞跃,700亿参数Llama2、1750亿参数GTP-3模型的推理性能分别提升多达90%、60%,对比前代A100 HPC模拟性能直接翻番。NVIDIA H200计划2024年第二季度出货,三星36GB HBM3E则会在第一季度投入量产,正好赶得上。 ... PC版: 手机版:

封面图片

AMD新一代GPU MIX350年底推出 升级4nm、HBM3E

AMD新一代GPU MIX350年底推出 升级4nm、HBM3E 接下来的Instinct MI350,应该会继续基于CDNA3架构,或者略有改进,工艺进步为台积电4nm,内存升级为新一代HBM3E,容量更大、速度更快。NVIDIA即将出货的H200已经用上了141GB HBM3E,刚宣布的新一代B200进一步扩容到192GB HBM3E,从而抵消了AMD在容量上的优势。AMD MI350的具体内存容量不详,但肯定不会少于192GB,否则就不够竞争力了。AMD CTO Mark Papermaster之前就说过,正在准备新版MI300系列,重点升级HBM内存,但没有给出详情。值得一提的是,美国针对中国的半导体禁令不仅包括现有产品,比如AMD MI250/MI300系列、NVIDIA A100、H100/H200、B100/B200/GB200、A800/H800、4090系列,Intel Gaudi2,还直接纳入了下一代产品,这自然就包括AMD MI350系列,以及Intel刚刚宣布的Gaudi3。 ... PC版: 手机版:

封面图片

下一代AI芯片,拼什么?

下一代AI芯片,拼什么? 英伟达的Hopper GPU/Blackwell/Rubin、AMD的Instinct 系列、英特尔的Gaudi芯片,这场AI芯片争霸战拼什么?这是速度之争,以英伟达为首,几家巨头将芯片推出速度提升到了一年一代,展现了AI领域竞争的“芯”速度;是技术的角逐,如何让芯片的计算速度更快、功耗更低更节能、更易用上手,将是各家的本事。尽管各家厂商在AI芯片方面各有侧重,但细看之下,其实存在着不少的共同点。一年一代,展现AI领域"芯"速度虽然摩尔定律已经开始有些吃力,但是AI芯片“狂欢者们”的创新步伐以及芯片推出的速度却越来越快。英伟达Blackwell还在势头之上,然而在不到3个月后的Computex大会上,英伟达就又祭出了下一代AI平台Rubin。英伟达首席执行官黄仁勋表示,以后每年都会发布新的AI芯片。一年一代芯片,再次刷新了AI芯片的更迭速度。英伟达的每一代GPU都会以科学家名字来命名。Rubin也是一位美国女天文学家Vera Rubin的名字命名。Rubin将配备新的GPU、名为Vera的新CPU和先进的X1600 IB网络芯片,将于2026年上市。目前,Blackwell和Rubin都处于全面开发阶段,其一年前在2023年在Computex上发布的GH200 Grace Hopper“超级芯片”才刚全面投入生产。Blackwell将于今年晚些时候上市,Blackwell Ultra将于2025年上市,Rubin Ultra将于2027年上市。紧跟英伟达,AMD也公布了“按年节奏”的AMD Instinct加速器路线图,每年推出一代AI加速器。Lisa Su在会上表示:“人工智能是我们的首要任务,我们正处于这个行业令人难以置信的激动人心的时代的开始。”继去年推出了MI300X,AMD的下一代MI325X加速器将于今年第四季度上市,Instinct MI325X AI加速器可以看作是MI300X系列的强化版,Lisa Su称其速度更快,内存更大。随后,MI350系列将于2025年首次亮相,采用新一代AMD CDNA 4架构,预计与采用AMD CDNA 3的AMD Instinct MI300系列相比,AI推理性能将提高35倍。MI350对标的是英伟达的Blackwell GPU,按照AMD的数据,MI350系列预计将比英伟达B200产品多提供50%的内存和20%的计算TFLOP。基于AMD CDNA“Next”架构的AMD Instinct MI400系列预计将于2026年上市。英特尔虽然策略相对保守,但是却正在通过价格来取胜,英特尔推出了Gaudi人工智能加速器的积极定价策略。英特尔表示,一套包含八个英特尔Gaudi 2加速器和一个通用基板的标准数据中心AI套件将以65,000美元的价格提供给系统提供商,这大约是同类竞争平台价格的三分之一。英特尔表示,一套包含八个英特尔Gaudi 3加速器的套件将以125,000美元的价格出售,这大约是同类竞争平台价格的三分之二。AMD和NVIDIA虽然不公开讨论其芯片的定价,但根据定制服务器供应商Thinkmate的说法,配备八个NVIDIA H100 AI芯片的同类HGX服务器系统的成本可能超过30万美元。一路高歌猛进的芯片巨头们,新产品发布速度和定价凸显了AI芯片市场的竞争激烈程度,也让众多AI初创芯片玩家望其项背。可以预见,三大芯片巨头将分食大部分的AI市场,大量的AI初创公司分得一点点羹汤。工艺奔向3纳米AI芯片走向3纳米是大势所趋,这包括数据中心乃至边缘AI、终端。3纳米是目前最先进工艺节点,3纳米工艺带来的性能提升、功耗降低和晶体管密度增加是AI芯片发展的重要驱动力。对于高能耗的数据中心来说,3纳米工艺的低功耗特性至关重要,它能够有效降低数据中心的运营成本,缓解数据中心的能源压力,并为绿色数据中心的建设提供重要支撑。英伟达的B200 GPU功耗高达1000W,而由两个B200 GPU和一个Grace CPU组成的GB200解决方案消耗高达2700W的功率。这样的功耗使得数据中心难以为这些计算GPU的大型集群提供电力和冷却,因此英伟达必须采取措施。Rubin GPU的设计目标之一是控制功耗,天风国际证券分析师郭明𫓹在X上写道,Rubin GPU很可能采用台积电3纳米工艺技术制造。另据外媒介绍,Rubin GPU将采用4x光罩设计,并将使用台积电CoWoS-L封装技术。与基于Blackwell的产品相比,Rubin GPU是否真的能够降低功耗,同时明显提高性能,或者它是否会专注于性能效率,还有待观察。AMD Instinct系列此前一直采用5纳米/6纳米双节点的Chiplet模式,而到了MI350系列,也升级为了3纳米。半导体知名分析师陆行之表示,如果英伟达在加速需求下对台积电下单需求量大,可能会让AMD得不到足够产能,转而向三星下订单。来源:videocardz英特尔用于生成式AI的主打芯片Gaudi 3采用的是台积电的5纳米,对于 Gaudi 3,这部分竞争正在略微缩小。不过,英特尔的重心似乎更侧重于AI PC,从英特尔最新发布的PC端Lunar Lake SoC来看,也已经使用了3纳米。Lunar Lake包含代号为Lion Cove的新 Lion Cove P核设计和新一波Skymont E 核,它取代了 Meteor Lake 的 Low Power Island Cresmont E 核。英特尔已披露其采用 4P+4E(8 核)设计,禁用超线程/SMT。整个计算块,包括P核和E核,都建立在台积电的N3B节点上,而SoC块则使用台积电N6节点制造。英特尔历代PC CPU架构(来源:anandtech)在边缘和终端AI芯片领域,IP大厂Arm也在今年5月发布了用于智能手机的第五代 Cortex-X 内核以及带有最新高性能图形单元的计算子系统 (CSS)。Arm Cortex-X925 CPU就利用了3纳米工艺节点,得益于此,该CPU单线程性能提高了36%,AI性能提升了41%,可以显著提高如大语言模型(LLM)等设备端生成式AI的响应能力。高带宽内存(HBM)是必需品HBM(High Bandwidth Memory,高带宽存储器)已经成为AI芯片不可或缺的关键组件。HBM技术经历了几代发展:第一代(HBM)、第二代(HBM2)、第三代(HBM2E)、第四代(HBM3)和第五代(HBM3E),目前正在积极发展第六代HBM。HBM不断突破性能极限,满足AI芯片日益增长的带宽需求。在目前一代的AI芯片当中,各家基本已经都相继采用了第五代HBM-HBM3E。例如英伟达Blackwell Ultra中的HBM3E增加到了12颗,AMD MI325X拥有288GB的HBM3e内存,比MI300X多96GB。英特尔的 Gaudi 3封装了八块HBM芯片,Gaudi 3能够如此拼性价比,可能很重要的一点也是它使用了较便宜的HBM2e。英特尔Gaudi 3的HBM比H100多,但比H200、B200或AMD的MI300都少(来源:IEEE Spectrum)至于下一代的AI芯片,几乎都已经拥抱了第六代HBM-HBM4。英伟达Rubin平台将升级为HBM4,Rubin GPU内置8颗HBM4,而将于2027年推出的Rubin Ultra则更多,使用了12颗HBM4。AMD的MI400也奔向了HBM4。从HBM供应商来看,此前AMD、英伟达等主要采用的是SK海力士。但现在三星也正在积极打入这些厂商内部,AMD和三星目前都在测试三星的HBM。6月4日,在台北南港展览馆举行的新闻发布会上,黄仁勋回答了有关三星何时能成为 NVIDIA 合作伙伴的问题。他表示:“我们需要的 HBM 数量非常大,因此供应速度至关重要。我们正在与三星、SK 海力士和美光合作,我们将收到这三家公司的产品。”HBM的竞争也很白热化。SK海力士最初计划在2026年量产HBM4,但已将其时间表调整为更早。三星电子也宣布计划明年开发HBM4。三星与SK海力士围绕着HBM的竞争也很激烈,两家在今年将20%的DRAM产能转向HBM。美光也已加入到了HBM大战行列。炙手可热的HBM也成为了AI芯片大规模量产的掣肘。目前,存储大厂SK Hynix到2025年之前的HBM4产能已基本售罄,供需矛盾日益凸显。根据SK海力士预测,AI芯片的繁荣带动HBM市场到2027年将出现82%的复合年增长率。分析师也认为,预计明年HBM市场将比今年增长一倍以上。三星电子DRAM产品与技术执行副总裁Hwang Sang-joon在KIW 2023上表示:“我们客户当前的(HBM)订单决定比去年增加了一倍多。”三星芯片负责业务的设备解决方案部门总裁兼负责人 Kyung Kye-hyun 在公司会议上更表示,三星将努力拿下一半以上的... PC版: 手机版:

封面图片

SK海力士宣布下一代HBM计划

SK海力士宣布下一代HBM计划 在最近一次负责HBM芯片的新任高管圆桌讨论中,SK海力士副总裁与营销负责人金基泰表示:“纵观当前的市场形势,大型科技客户正在加快新产品的发布时间,以确保在AI领域领先。因此,我们也在提前讨论今年和明年的计划,以确保及时供应下一代HBM产品。” SK海力士是三星电子全球第二大存储器芯片制造商,但却是HBM的主要供应商,HBM是一种对生成式AI设备至关重要的高性能堆栈式DRAM芯片。该公司是首家于2013年开发第一代HBM芯片的内存供应商,并在随后几年推出了后续产品HBM2、HBM2E 以及最新的第四代 HBM3 芯片。2023年 4 月,SK 开发出全球首款12层HBM3 DRAM 产品, 内存容量为 24 千兆字节 (GB),为业内最大。2023年 8 月,该公司推出了业界性能最佳的第五代 HBM DRAM HBM3E,用于 AI 应用, 并向其客户 NVIDIA Corp. 提供了样品以进行性能评估。今年 3 月,SK 海力士开始大批量生产 HBM3E 芯片,这是业界推出的另一个公司,同时表示将把第六代 HBM4 芯片的量产提前到 2025 年。大容量 NAND 受到业界关注SK 海力士副总裁兼 HBM 工艺集成(PI)负责人 Kwon Un-oh 表示:“通过先发制人地确保技术和量产专业知识,我们已经能够建立起稳固的竞争力。”先进封装开发部副总裁兼负责人Son Ho-young敦促公司为更好的存储器和系统芯片的融合。SK海力士表示,受AI学习和推理高端芯片需求不断增长的推动,预计今年全球DRAM市场规模将达到65%,达到117万亿韩元(850亿美元)。本月初,首席执行官Kwak Noh-jung在新闻发布会上表示,其HBM芯片产能几乎已被预订满到明年。SK海力士NAND先进工艺集成副总裁Oh Hae-soon表示,NAND闪存是AI时代的另一个前景光明的部分她表示:“随着对大规模AI服务器的需求不断增长,eSSD等NAND解决方案开始受到业界关注。”新兴存储芯片SK海力士革命技术中心 (RTC)副总裁Yi Jae-yun表示,公司还在密切关注新兴存储芯片,如仅选择器存储器 (SOM)、自旋存储器和突触存储器,这些芯片具有超高速、高容量和较低的价格,以及磁性 RAM (MRAM)、电阻式 RAM (RRAM) 和相变存储器 (PCM) 芯片。分析师表示,在存储芯片制造商中,SK海力士是AI应用爆炸式增长的最大受益者,因为它是NVIDIA Corp.的最大AI芯片供应商,而NVIDIA控制着80%的AI芯片市场。SK集团董事长崔泰源最近在接受日本媒体日经新闻采访时表示,如果SK海力士看到AI芯片融资需求,该公司正在考虑在韩国或美国建立HBM工厂的可能性。 ... PC版: 手机版:

封面图片

台积电与SK hynix 结成AI战略联盟 共同推进面向下一代GPU的HBM4存储

台积电与SK hynix 结成AI战略联盟 共同推进面向下一代GPU的HBM4存储 目前,人工智能产业正在蓬勃发展,就财务方面而言,丰厚的收入吸引了我们能想到的所有大型科技公司。台积电和 SK hynix 是提供行业所需的基本要素的两家主要企业,一家在半导体领域遥遥领先,另一家则在 HBM 供应方面独领风骚。据报道,这两家公司已结成"渐进式"联盟,旨在联合开发下一代产品,最终使它们成为市场的焦点。Pulse News的报道披露,名为"One Team"的新联盟已经生效,目的是通过抢先开发新产品来挫败行业竞争。这次的主要重点是开发下一代 HBM 内存,即最先进的 HBM4,它在革新人工智能领域的计算能力方面潜力巨大,有望为英伟达下一代人工智能 GPU 提供存储支持,台积电的加入可能会催化这家韩国巨头在市场上的影响力。还有人说,结盟是为了对抗三星电子对市场日益增长的影响力,因为三星同时拥有半导体和存储器设施,这也是参与人工智能竞赛的公司青睐三星的原因,因为这样可以减少供应链的复杂性。现在,台积电和 SK hynix 作为一个整体运作,竞争将变得更加激烈和有趣。HBM4 的开发将加速NVIDIA和AMD下一代 GPU 的发展。预计 NVIDIA 将在其即将推出的 H200 和 B100 GPU中使用 HBM3E,但我们可以看到未来的 Blackwell 变体和下一代 Vera Rubin 芯片将充分发挥新 HBM 标准的潜力。 ... PC版: 手机版:

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人