NVIDIA发布Hopper H200 GPU与基于Grace Hopper的Jupiter超算项目

NVIDIA发布HopperH200GPU与基于GraceHopper的Jupiter超算项目NVIDIA的H100GPU是迄今为止业界需求量最大的人工智能芯片，但NVIDIA希望为客户提供更高的性能。HGXH200是最新的人工智能高性能计算平台，由H200TensorCoreGPU驱动。这些GPU在硬件和软件上都采用了最新的Hopper优化技术，同时提供了迄今为止世界上最快的内存解决方案。NVIDIAH200GPU配备了美光的HBM3e显存解决方案，容量最高可达141GB，带宽达4.8TB/s，与NVIDIAA100相比带宽增加了2.4倍，容量增加了一倍。在Llama2（700亿参数LLM）等应用中，这种新的内存解决方案使英伟达的人工智能推理性能比H100GPU提高了近一倍。在解决方案方面，NVIDIAH200GPU将广泛应用于4路和8路GPU配置的HGXH200服务器。HGX系统中的8路H200GPU配置可提供32PetaFLOPs的FP8计算性能和1.1TB的内存容量。这些GPU还将与现有的HGXH100系统兼容，使客户更容易升级他们的平台。NVIDIA合作伙伴，如华硕（ASUS）、华擎（ASRockRack）、戴尔（Dell）、Eviden、技嘉（GIGABYTE）、惠普（HewlettPackardEnterprise）、英格拉思（Ingrasys）、联想（Lenovo）、QCT、威联（Wiwynn）、超微（Supermicro）和纬创（Wistron），这些厂商将在2024年第二季度H200GPU上市时提供更新的解决方案。除了发布H200GPU之外，NVIDIA还宣布了一项由其GraceHopper超级芯片（GH200）驱动的大型超级计算机项目。这台超级计算机被称为"木星"（Jupiter），位于德国尤利希研究中心（ForschungszentrumJülich），是欧洲高性能计算联合项目（EuroHPCJointUndertaking）的一部分，由Eviden和ParTec公司承包。这台超级计算机将用于材料科学、气候研究、药物发现等领域。这也是英伟达于11月发布的第二台超级计算机，上一台是Isambard-AI，可提供高达21Exaflops的人工智能性能。在配置方面，Jupiter超级计算机基于Eviden的BullSequanaXH3000，采用全液冷架构。它总共拥有24000个英伟达GH200GraceHopper超级芯片，这些芯片通过公司的Quantum-2Infiniband互联。考虑到每个格雷斯CPU包含288个Neoverse内核，我们将看到Jupiter单是CPU方面就有近700万个ARM内核（确切地说是691.2万个）。性能指标包括90Exaflops的人工智能训练和1Exaflop的高性能计算。这台超级计算机预计将于2024年安装完毕。总体而言，这些都是英伟达公司面向未来的重大更新，它将继续以其强大的硬件和软件技术引领人工智能世界的发展。...PC版：https://www.cnbeta.com.tw/articles/soft/1396619.htm手机版：https://m.cnbeta.com.tw/view/1396619.htm

传特斯拉增加台积电代工订单 扩产D1超级计算机芯片

传特斯拉增加台积电代工订单扩产D1超级计算机芯片特斯拉使用Dojo超级计算机训练高级驾驶辅助系统和完全自动驾驶系统的人工智能模型。随着FSD、自动驾驶出租车和Optimus机器人等项目的推出，Dojo超级计算机对公司运营的贡献可能会更大。特斯拉增加DojoD1芯片订单也有助于台积电。据报道，台积电与特斯拉的交易使得与高性能计算相关的订单有所增加。虽然特斯拉和台积电都没有对此事发表评论，但业内已经公开知晓这两家公司的业务关系。随着Dojo超级计算机的加入，特斯拉或许能够减少对英伟达GPU芯片产品的依赖。特斯拉一直是英伟达的重要客户，有报道称特斯拉最近启用了一款新的超级计算机，搭载了1万块英伟达H100GPU芯片。这个系统耗资约3亿美元，将用于各种人工智能应用。特斯拉人工智能官方账号在社交媒体X上发布了一系列关于Dojo超级计算机的帖子，展现了其宏大目标。特斯拉表示，Dojo超级计算机于2022年7月开始投产，并预计到2024年1月，其算力将进入世界前五。到2024年10月，特斯拉预计Dojo超级计算机将拥有每秒百亿亿次（100Exa-flop）的计算能力。...PC版：https://www.cnbeta.com.tw/articles/soft/1386321.htm手机版：https://m.cnbeta.com.tw/view/1386321.htm

英伟达发布下一代AI计算芯片 HGX H200 GPU

英伟达发布下一代AI计算芯片HGXH200GPUNVIDIA今天宣布推出NVIDIAHGX™H200，为全球领先的AI计算平台带来强大动力。该平台基于NVIDIAHopper™架构，配备NVIDIAH200TensorCoreGPU和高级内存，可处理生成AI和高性能计算工作负载的海量数据。NVIDIAH200是首款提供HBM3e的GPU，HBM3e是更快、更大的内存，可加速生成式AI和大型语言模型，同时推进HPC工作负载的科学计算。借助HBM3e，NVIDIAH200以每秒4.8TB的速度提供141GB内存，与前一代NVIDIAA100相比，容量几乎翻倍，带宽增加2.4倍。全球领先的服务器制造商和云服务提供商采用H200的系统预计将于2024年第二季度开始发货。——

亚马逊发力捍卫云地位：升级自研AI芯片 发布聊天机器人Q 抢先用Grace Hopper

亚马逊发力捍卫云地位：升级自研AI芯片发布聊天机器人Q抢先用GraceHopperAWS的副总裁DaveBrown表示，通过将自研芯片的设计重点放在对客户重要的实际工作负载上，AWS能为他们提供最先进的云基础设施。此次推出的Graviton4是五年内的第四代芯片产品，随着人们对生成式AI兴趣的高涨，第二代AI芯片Trainium2将帮助客户以更低的成本和更高的能效更快地训练自己的机器学习模型。Graviton4计算性能较前代提高多达30%美东时间11月28日周二，亚马逊旗下云计算业务AWS宣布，推出新一代的AWS自研芯片。其中，通用芯片Graviton4的计算性能较前代Graviton3提高多达30%，内核增加50%，内存带宽提升75%，从而在亚马逊云服务器托管服务AmazonElasticComputeCloud（EC2）上提供最高性价比和能源利用效果。Graviton4还通过对所有高速物理硬件接口进行完全加密提高安全性。AWS称，Graviton4将应用于内存优化的AmazonEC2R8g实例，让客户能改进高性能数据库、内存缓存和大数据分析工作负载的执行。R8g实例提供更大的实例大小，比前代R7g实例的vCPU高最多三倍的，内存高三倍。应用Graitons4的电脑将在未来数月内上市。AWS称，启动Garviton项目约五年来，已生产超过200万个Garviton处理器，AWSEC2的前100位用户都选择使用Graviton。Trainium2速度提高四倍训练万亿参数级模型AWS的另一款新品——新一代AI芯片Trainium2速度比前代Trainium1快四倍，将能在EC2UltraCluster中部署多达10万个芯片，让用户能在很短的时间内训练数以万亿参数的基础模型（PM）和大语言模型（LLM），同时能源利用率较前代提高多达两倍。Trainium2将用于AmazonEC2Trn2实例，单个实例中包含16个Trainium芯片。Trn2实例旨在帮助客户在下一代EC2UltraCluster中扩展芯片应用数量至多达10万个Trainium2芯片，联通AWSElasticFabricAdapter（EFA）petabit级网络，提供高达65exaflops的算力。AWS称，Trainium2将从明年开始用于支持新的服务。升级版GraceHopper的首家大客户DGX云采用GH200NVL32 速度最快GPU驱动AI超算除了自研芯片，AWS周二还在年度大会re：Invent期间同英伟达共同宣布，扩大战略合作，提供最先进的基础设施、软件和服务，助力客户的生成式AI创新。AWS将成为第一家在云上采用全新多节点NVLink技术英伟达H200GraceHopper超级芯片的云服务商，也就是说，AWS将是升级版GraceHopper的第一个大客户。英伟达的H200NVL32多节点平台将32个GraceHopper芯片与NVLink和NVSwitch技术共同用于一个实例。该平台将用于与亚马逊网络EFA连接的AmazonEC2实例，并由高级虚拟化（AWSNitroSystem）和超大规模集群（AmazonEC2UltraClusters）提供支持，使亚马逊和英伟达共同的客户能够扩展部署数以千计的H200芯片。英伟达和AWS将共同在AWS上托管英伟达的AI训练即服务DGXCloud，它将是第一个采用GH200NVL32的DGX云，能为开发人员提供单个实例中最大的共享内存。AWS的DGX云将提高尖端生成式AI和超过1万亿参数的大语言模型的训练。英伟达和AWS正在共同研发名为Ceiba的项目，设计世界上速度最快的GPU驱动AI超级计算机，这是一个采用GH200NVL32和AmazonEFA互连的大规模系统。它是搭载1.6384万块GH200超级芯片的超级计算机，AI处理能力达65exaflops。英伟达将用它推动下一波生成式AI创新。企业客户机器人亚马逊Q预览版上线帮助在AWS上开发App除了芯片和云服务，AWS还推出了自己的AI聊天机器人预览版，名为亚马逊Q。它是生成式AI技术支持的新型数字助手，可根据企业客户的业务进行工作，帮助企业客户搜索信息、编写代码和审查业务指标。Q接受了AWS内部有关代码和文档的部分培训，可供AWS云的开发者使用。开发者可以用Q在AWS上创建App、研究最佳实践、改正错误、获得为App编写新功能的帮助。用户可以通过对话式的问答功能与Q进行交互，学习新知识、研究最佳实践以及了解如何在AWS上构建App，无需将注意力从AWS控制台上移开。Q还将被添加到亚马逊的企业智能软件、呼叫中心工作人员和物流管理的程序。AWS表示，客户可以根据公司的数据或个人资料，对Q进行定制。Q对话式问答功能目前在所有提供企业AWS的地区提供预览版。...PC版：https://www.cnbeta.com.tw/articles/soft/1400457.htm手机版：https://m.cnbeta.com.tw/view/1400457.htm

老黄深夜炸场：世界最强AI芯片H200震撼发布 性能飙升90%

老黄深夜炸场：世界最强AI芯片H200震撼发布性能飙升90%全世界的AI公司都陷入算力荒，英伟达的GPU已经千金难求。英伟达此前也表示，两年一发布的架构节奏将转变为一年一发布。就在英伟达宣布这一消息之际，AI公司们正为寻找更多H100而焦头烂额。英伟达的高端芯片价值连城，已经成为贷款的抵押品。谁拥有H100，是硅谷最引人注目的顶级八卦至于H200系统，英伟达表示预计将于明年二季度上市。同在明年，英伟达还会发布基于Blackwell架构的B100，并计划在2024年将H100的产量增加两倍，目标是生产200多万块H100。而在发布会上，英伟达甚至全程没有提任何竞争对手，只是不断强调“英伟达的AI超级计算平台，能够更快地解决世界上一些最重要的挑战。”随着生成式AI的大爆炸，需求只会更大，而且，这还没算上H200呢。赢麻了，老黄真的赢麻了！141GB超大显存，性能直接翻倍！H200，将为全球领先的AI计算平台增添动力。它基于Hopper架构，配备英伟达H200TensorCoreGPU和先进的显存，因此可以为生成式AI和高性能计算工作负载处理海量数据。英伟达H200是首款采用HBM3e的GPU，拥有高达141GB的显存。与A100相比，H200的容量几乎翻了一番，带宽也增加了2.4倍。与H100相比，H200的带宽则从3.35TB/s增加到了4.8TB/s。英伟达大规模与高性能计算副总裁IanBuck表示——要利用生成式人工智能和高性能计算应用创造智能，必须使用大型、快速的GPU显存，来高速高效地处理海量数据。借助H200，业界领先的端到端人工智能超算平台的速度会变得更快，一些世界上最重要的挑战，都可以被解决。Llama2推理速度提升近100%跟前代架构相比，Hopper架构已经实现了前所未有的性能飞跃，而H100持续的升级，和TensorRT-LLM强大的开源库，都在不断提高性能标准。H200的发布，让性能飞跃又升了一级，直接让Llama270B模型的推理速度比H100提高近一倍！H200基于与H100相同的Hopper架构。这就意味着，除了新的显存功能外，H200还具有与H100相同的功能，例如TransformerEngine，它可以加速基于Transformer架构的LLM和其他深度学习模型。HGXH200采用英伟达NVLink和NVSwitch高速互连技术，8路HGXH200可提供超过32Petaflops的FP8深度学习计算能力和1.1TB的超高显存带宽。当用H200代替H100，与英伟达GraceCPU搭配使用时，就组成了性能更加强劲的GH200GraceHopper超级芯片——专为大型HPC和AI应用而设计的计算模块。下面我们就来具体看看，相较于H100，H200的性能提升到底体现在哪些地方。首先，H200的性能提升最主要体现在大模型的推理性能表现上。如上所说，在处理Llama2等大语言模型时，H200的推理速度比H100提高了接近1倍。因为计算核心更新幅度不大，如果以训练175B大小的GPT-3为例，性能提升大概在10%左右。显存带宽对于高性能计算（HPC）应用程序至关重要，因为它可以实现更快的数据传输，减少复杂任务的处理瓶颈。对于模拟、科学研究和人工智能等显存密集型HPC应用，H200更高的显存带宽可确保高效地访问和操作数据，与CPU相比，获得结果的时间最多可加快110倍。相较于H100，H200在处理高性能计算的应用程序上也有20%以上的提升。而对于用户来说非常重要的推理能耗，H200相比H100直接腰斩。这样，H200能大幅降低用户的使用成本，继续让用户“买的越多，省的越多”！上个月，外媒SemiAnalysis曾曝出一份英伟达未来几年的硬件路线图，包括万众瞩目的H200、B100和“X100”GPU。而英伟达官方，也公布了官方的产品路线图，将使用同一构架设计三款芯片，在明年和后年会继续推出B100和X100。B100，性能已经望不到头了这次，英伟达更是在官方公告中宣布了全新的H200和B100，将过去数据中心芯片两年一更新的速率直接翻倍。以推理1750亿参数的GPT-3为例，今年刚发布的H100是前代A100性能的11倍，明年即将上市的H200相对于H100则有超过60%的提升，而再之后的B100，性能更是望不到头。至此，H100也成为了目前在位最短的“旗舰级”GPU。如果说H100现在就是科技行业的“黄金”，那么英伟达又成功制造了“铂金”和“钻石”。H200加持，新一代AI超算中心大批来袭云服务方面，除了英伟达自己投资的CoreWeave、Lambda和Vultr之外，亚马逊云科技、Google云、微软Azure和甲骨文云基础设施，都将成为首批部署基于H200实例的供应商。此外，在新的H200加持之下，GH200超级芯片也将为全球各地的超级计算中心提供总计约200Exaflops的AI算力，用以推动科学创新。在SC23大会上，多家顶级超算中心纷纷宣布，即将使用GH200系统构建自己的超级计算机。德国尤里希超级计算中心将在超算JUPITER中使用GH200超级芯片。这台超级计算机将成为欧洲第一台超大规模超级计算机，是欧洲高性能计算联合项目（EuroHPCJointUndertaking）的一部分。Jupiter超级计算机基于Eviden的BullSequanaXH3000，采用全液冷架构。它总共拥有24000个英伟达GH200GraceHopper超级芯片，通过Quantum-2Infiniband互联。每个GraceCPU包含288个Neoverse内核，Jupiter的CPU就有近700万个ARM核心。它能提供93Exaflops的低精度AI算力和1Exaflop的高精度（FP64）算力。这台超级计算机预计将于2024年安装完毕。由筑波大学和东京大学共同成立的日本先进高性能计算联合中心，将在下一代超级计算机中采用英伟达GH200GraceHopper超级芯片构建。作为世界最大超算中心之一的德克萨斯高级计算中心，也将采用英伟达的GH200构建超级计算机Vista。伊利诺伊大学香槟分校的美国国家超级计算应用中心，将利用英伟达GH200超级芯片来构建他们的超算DeltaAI，把AI计算能力提高两倍。此外，布里斯托大学将在英国政府的资助下，负责建造英国最强大的超级计算机Isambard-AI——将配备5000多颗英伟达GH200超级芯片，提供21Exaflops的AI计算能力。英伟达、AMD、英特尔：三巨头决战AI芯片GPU竞赛，也进入了白热化。面对H200，而老对手AMD的计划是，利用即将推出的大杀器——InstinctMI300X来提升显存性能。MI300X将配备192GB的HBM3和5.2TB/s的显存带宽，这将使其在容量和带宽上远超H200。而英特尔也摩拳擦掌，计划提升GaudiAI芯片的HBM容量，并表示明年推出的第三代GaudiAI芯片将从上一代的96GBHBM2e增加到144GB。英特尔Max系列目前的HBM2容量最高为128GB，英特尔计划在未来几代产品中，还要增加Max系列芯片的容量。H200价格未知所以，H200卖多少钱？英伟达暂时还未公布。要知道，一块H100的售价，在25000美元到40000美元之间。训练AI模型，至少需要数千块。此前，AI社区曾广为流传这张图片《我们需要多少个GPU》。GPT-4大约是在10000-25000块A100上训练的；Meta需要大约21000块A100；StabilityAI用了大概5000块A100；Falcon-40B的训练，用了384块A100。根据马斯克的说法，GPT-5可能需要30000-50000块H100。摩根士丹利的说法是25000个GPU。SamAltman否认了在训练GPT-5，但却提过“OpenAI的GPU严重短缺，使用我们产品的人越少越好”。我们能知道的是，等到明年第二季度H200上市，届时必将引发新的风暴。...PC版：https://www.cnbeta.com.tw/articles/soft/1396699.htm手机版：https://m.cnbeta.com.tw/view/1396699.htm

争做AI“领头羊”？英政府拟投资近3亿美元开发超级计算机

争做AI“领头羊”？英政府拟投资近3亿美元开发超级计算机英国政府表示，Isambard-AI将是英国最先进的计算机，一旦完成，它将“比英国目前最快的计算机快10倍”。这台计算机将搭载5448颗GH200GraceHopper超级芯片，这是美国半导体巨头英伟达制造的强大人工智能芯片。此外，美国IT巨头HewlettPackardEnterprise将帮助建造这台计算机，目标是最终将其与剑桥大学新近宣布的名为Dawn的超级计算机连接起来。后者由戴尔和英国公司StackPC共同制造，将由1000多块英特尔芯片驱动，这些芯片采用水冷却技术来降低功耗。预计将在未来两个月内开始运行。据称，其容量是英国目前最大的公共人工智能计算工具的30多倍。英国政府希望，这两台联合起来的超级计算机将在聚变能源、医疗保健和气候建模方面取得突破。政府表示，这些机器将于2024年夏季启动并运行，并将帮助研究人员分析先进的人工智能模型，以测试安全特性，并推动药物发现和清洁能源方面的突破。英国政府此前拨款10亿英镑投资于半导体产业，以确保该国的芯片供应，减少对东亚最重要的商业微芯片的依赖。...PC版：https://www.cnbeta.com.tw/articles/soft/1393769.htm手机版：https://m.cnbeta.com.tw/view/1393769.htm