英伟达发布新一代 AI 芯片 H200

英伟达发布新一代AI芯片H200H200利用了美光等公司推出的HBM3e内存，提供了141GB内存容量(H100的1.8倍)和4.8TB/s内存带宽(H100的1.4倍)。大型语言模型推理速度方面，GPT-3175B是H100的1.6倍(A100的18倍)，LLaMA270B是H100的1.9倍。英伟达同时宣布2024年的H100产量翻倍，2024年第4季度发布基于新一代Blackwell架构的B100。投稿：@ZaiHuaBot频道：@TestFlightCN

全球首块英伟达H200 AI超级芯片交付 黄仁勋给OpenAI“送货上门”

全球首块英伟达H200AI超级芯片交付黄仁勋给OpenAI“送货上门”H200基于英伟达Hopper架构打造，并配备英伟达H200TensorCoreGPU，处理速度为4.8TB/秒。H200拥有141GB的内存，与前代产品H100相比，H200的容量几乎翻了一番，运行大模型的综合性能相比前代H100提升了60%到90%。英伟达此前表示，H200在运行GPT-3时的性能，将比原始A100高出18倍，同时也比H100快11倍左右。值得一提的是，H200还将与H100兼容，使用H100训练/推理模型的AI企业，可以无缝更换成最新的H200芯片。...PC版：https://www.cnbeta.com.tw/articles/soft/1428557.htm手机版：https://m.cnbeta.com.tw/view/1428557.htm

英伟达最新AI芯片H200或将成为其史上最赚钱产品之一

英伟达最新AI芯片H200或将成为其史上最赚钱产品之一根据英伟达官网的消息，基于英伟达的“Hopper”架构，H200是该公司首款采用HBM3e内存的芯片。这种内存速度更快，容量更大，使其更适用于大型语言模型。英伟达表示，H200使用HBM3e内存能够以每秒4.8TB的速度提供141GB的容量，相比于A100，其容量几乎翻了一倍，带宽提高了2.4倍。预计H200将于2024年第二季度上市，届时将与AMD的MI300XGPU展开竞争。与H200相似，AMD的新芯片相比前代产品拥有更多内存，这对运行大型语言模型的推理计算有帮助。英伟达还表示，H200将与H100兼容，这意味着那些已经在使用H100进行训练的AI公司无需更改他们的服务器系统或软件即可适应H200。英伟达副总裁IanBuck称：“为了训练生成式AI和高性能计算应用，必须使用高性能GPU。有了H200，行业领先的AI超级计算平台可以更快地解决一些世界上最重要的挑战。”英伟达的加速计算首席产品经理DionHarris表示：“观察市场上的动态，可以看到大型模型的尺寸正在迅速扩大。这是我们继续引领最新、最伟大技术的又一例证。”据美国金融机构RaymondJames透露，H100芯片的成本仅为3320美元，但英伟达对其客户的批量价格却高达2.5万至4万美元。这使得H100的利润率可能高达1000%，成为有史以来最赚钱的芯片之一。在训练大型语言模型时，通常需要数千个H100集群协同工作，因此科技巨头、初创公司和政府机构都在争夺英伟达有限的芯片供应。由于对其产品的需求看似无穷无尽，英伟达今年的销售额大幅增长，股价上涨了230%，市值突破了1.2万亿美元大关。截至周一收盘，该股收涨0.59%，报486.2美元。相关文章:NVIDIA发布HopperH200GPU与基于GraceHopper的Jupiter超算项目...PC版：https://www.cnbeta.com.tw/articles/soft/1396697.htm手机版：https://m.cnbeta.com.tw/view/1396697.htm

英特尔推出性能超越英伟达 H100 的 Gaudi 3 AI 加速芯片

英特尔推出性能超越英伟达H100的Gaudi3AI加速芯片英特尔Vision2024大会的第二天，英特尔正式推出了Gaudi3加速芯片。Gaudi3使用台积电5nm工艺制造，热设计功耗为900W，FP8精度下的峰值性能为1835TFLOPS。英特尔称Gaudi3在16个芯片组成的加速集群中以FP8精度训练Llama2-13B时比性能H100高出1.7倍。同时，英特尔预计Gaudi3的推理性能将比H200/H100提高1.3倍到1.5倍，能效比将高2.3倍。英特尔已经向客户提供了样片，并将在第三季度正式批量交付。——

ChatGPT带火AI芯片 英伟达顶级显卡eBay售价超4万美元

ChatGPT带火AI芯片英伟达顶级显卡eBay售价超4万美元据悉，去年发布的H100是英伟达最新的旗舰AI芯片，接替了A100，A100是一款被称为AI应用“主力军”的芯片，售价约为1万美元。根据英伟达的说法，与A100相比，H100的能效提高了3.5倍。开发人员正在使用H100来构建所谓的大型语言模型（LLMs），这是OpenAI的ChatGPT等AI应用的核心。这些AI模型对算力的要求极高。因此，训练它们，尤其是像GPT这样的大型模型，需要数百颗高端英伟达GPU协同工作。正因如此，那些正进行AI竞赛的科技巨头们不惜斥巨资购买AI芯片。例如，微软就斥资数亿美元购买了数万颗英伟达A100芯片，以帮助打造ChatGPT。另外，据媒体最新报道，“钢铁侠”埃隆·马斯克在美国内华达州成立了一家名为X.AI的人工智能公司，旨在与OpenAI展开竞争。据悉，为了这个新项目，马斯克已从英伟达购买了数千个高性能GPU处理器。英伟达还提供一款拥有8颗GPU的超级计算机，名为DGX。今年早些时候，该公司宣布了新服务，允许企业以每月3.7万美元的价格租用DGX计算机。在这项服务下，几乎任何企业都可以通过云租赁来使用这些强大但成本昂贵的设备。英伟达控制着AI芯片的绝大部分市场。随着ChatGPT在全球范围内掀起AI热潮，英伟达股价“狂飙”：最新报267.58美元，今年已经累计上涨近90%。      ...PC版：https://www.cnbeta.com.tw/articles/soft/1354929.htm手机版：https://m.cnbeta.com.tw/view/1354929.htm

AMD 正式发布 MI300 加速器，性能较英伟达 H100 芯片提高 60%

AMD正式发布MI300加速器，性能较英伟达H100芯片提高60%在美国加州圣何塞举行的AI特别活动中，AMD宣布正式推出其旗舰AIGPU加速器MI300X，并称其性能比英伟达的H100芯片提高了60%。据AMD介绍，新芯片为性能最高的芯片，拥有超过1500亿个晶体管。与英伟达H100芯片相比，AMD新芯片的内存为其2.4倍，内存带宽为其1.6倍，训练性能与H100芯片相当，在运行AI模型方面则比英伟达快得多。——、