加钱扫货、走私、装甲车运输,揭秘AI芯片背后的黑市风暴

加钱扫货、走私、装甲车运输,揭秘AI芯片背后的黑市风暴两位以狂妄著称的大佬甘愿伏低做小,只为能多分到一些“比毒品还难搞到”的英伟达GPU,最终两人未能如愿。而另一家硅谷巨头思科为了保护刚买来的英伟达GPU,干脆动用装甲车来运。正如科幻作品《沙丘》将香料设定为宇宙最重要的资源。今天同样可以大胆宣称:谁掌握了GPU,谁就掌握了AI时代的命脉。去年以来,在加速计算和生成式AI的带动下,算力需求陡增。英伟达GPU作为提供算力的核心硬件,业界对其的需求早已“远远超过了英伟达所能供应的极限”。为了获得尽可能多的GPU,全球科技圈从贵族俱乐部化身为私酒时代的芝加哥,产品、流量与增长交织的史诗,让位于充斥着贪婪、炫耀、谄媚与背叛的大模型舞台剧。从破产边缘到80亿美元估值在过去一年,英伟达GPU极度短缺,全世界的大厂或创业公司都在各显神通解决“芯荒”难题。对中国企业来说,GPU短缺则是政策和产能两方面造成的。从2022年10月开始,英伟达就被禁止向中国出口A100、H100这两款高端GPU。二道贩子们敏锐地嗅到了其中的商机。一些企业从自家机房里把芯片禁令生效前购买的A100拆出来,卖给贩子。这些没有保修、没有质保的旧芯片,非但没有贬值,价格还从出厂时的8万多元涨到了10多万元。A100、H100分别由英伟达在2020年及2022年推出,上市时间并不长,其在国内市场的存货相当有限。另外,A100分为80GB、40GB两个显存版本,显存越大,所能运行的神经网络越大,训练大语言模型效果越好。厂商都想买80GB显存版本的A100,导致存货更加紧缺。因此,有一些黑心贩子将A100的40GB版本改成80GB的来卖,很多急于购买的企业一时失察,买回去才发觉货不对板。由于这类GPU来源特殊,上当的买家根本没有质保和维权的途径,只能吃哑巴亏。可即便如此,低配置的二手A100在2023年依然供不应求。过去一年,市面上英伟达GPU价格涨幅一度到了200%。A100最火爆的时候,网传最高成交价接近25万元。按照这个价格,两块GPU就能换来一辆全新奔驰E级轿车。二道贩子卖机房拆来的A100赚差价,毕竟只是小打小闹。真正靠倒卖二手GPU发家的,还要属一家名为CoreWeave的美国公司。CoreWeave最开始是一家“挖”比特币的公司,其CEO回忆:“2016年,我们购买了第一块英伟达GPU,插上电源后,将其放在曼哈顿办公室的台球桌上,然后挖到了以太坊网络上的第一个币。”在生成式AI火爆之前,英伟达GPU除了作为游戏显卡,最赚钱、最大的应用场景就是用于加密货币“挖矿”。因为GPU能以最快速度处理海量简单重复的问题,天然就很适合用于昼夜不停地挖比特币。而CoreWeave的三位创始人,一开始也只是将”挖矿”用于赚取额外收入,他们的本职工作是经营对冲基金和家族办公室。可由于2016年加密货币热,他们的GPU越买越多,导致“华尔街的办公桌上堆满了GPU”。到2018年底,CoreWeave已经成为了北美最大的以太坊“矿场”,拥有超过五万块GPU,占以太坊网络总量的1%以上。通过将英伟达GPU用作“矿卡”,CoreWeave在加密货币领域赚到了第一桶金。但在2018年之后,市场行情急转直下,加密货币大幅贬值,与加密货币深度绑定的CoreWeave也几度面临财务危机,险些倒闭。到2019年,CoreWeave决定转型做服务。CoreWeave加入英伟达的云服务提供商计划,也就是围绕英伟达的芯片构建了专门的云基础设施。如果说英伟达是算力厂商,那CoreWeave就相当于算力经销商。到2022年底,ChatGPT发布,生成式AI突然爆火,CoreWeave手头数万块GPU成为了硬通货,因为GPU非常适合用于训练AI大模型。它摇身一变,依靠手中积攒的GPU,向OpenAI、微软、Inflection等众多AI巨头卖算力。2023年4月,CoreWeave还获得来自英伟达的B轮融资。黄仁勋在业绩电话会上点名:“一大批新的GPU专业化云服务提供商正在出现,最知名的当属CoreWeave,他们做得非常出色。”英伟达对“亲信”CoreWeave可谓非常偏心。在一份研究机构Omdia披露出的英伟达H100供货单中,CoreWeave获得的H100数量,比特斯拉还多。也正因为英伟达的“偏心”,除了卖算力服务,CoreWeave以囤积的英伟达芯片为抵押,从黑石、Coatue等顶级机构获得了23亿美元的债务融资。一举将公司从破产边缘,拉到了投后估值80亿美金。冒高风险,买走私卡不是谁都有CoreWeave这么好的运气。跟英伟达关系不够亲密的企业,尤其是中小企业,购买“走私芯片”就成为一种无奈之下的选择。随着全球AI大模型竞争愈发激烈,A100已经不能满足一些企业的需求,性能更强劲的H100日趋抢手。问题在于,H100实在太新了,存货更少。没有存货,二道贩子也无处发挥,走私贩子们登场了。走私贩子们的来货渠道主要有两条:一是等英伟达向美国大型企业发货后,抢购市场上的剩余库存;二是通过在印度、新加坡、马来西亚等地注册公司进口。相比于只有指甲盖大小的微型芯片,H100的尺寸并不小。根据英伟达官方公布的尺寸,H100整个芯片大小为814平方毫米,大概有两个手掌大,走私贩子只能将H100放进背包,接受正式的过关安检。有走私贩子透露,由于每个国家把控严格度不一,如果把H100放在包里,把它报成普通电子设备。麻烦的是服务器架。H100需要插在服务器架上,才能用于训练AI大模型。一套完整AI服务器要配置8块H100,加上一台超微电脑的服务器架,大约相当于一个保险柜。面对如此庞然大物,自然无法靠人肉背回。一般的做法是化整为零,将服务器拆开,用蚂蚁搬家地方式发回。至于运输途中关键部件是否会损坏,运到目的地如何拼装回去,一切都存在极大的风险。H100在2022年3月刚发售时,售价折合人民币约24.2万元。如果在两年前屯了一批H100,什么都不用做,每张到现在能净赚6到9万元。在过去一年间,从朋友圈、小红书等社交平台,到拼多多、闲鱼等电商平台,再到各类垂直社区、垂直社群,有无数贩子打出了“H100现货,手慢无!”、“稀缺H100现货,先到先得!”、“原厂H100,见货付款,欲购从速!”的标签。而如果进一步私聊,这些芯片贩子会告诉你,产品没有保修或支持服务,到货最起码需要6到8周,并且需要先付定金。如果问及发货地和货源,贩子们大多会回答称“海外发货,大陆交付,可以送至指定地点。”据买家爆料,走中小型中间商渠道,风险很高。首先,交了定金,后续也可能因各种原因拿不到货。其次,即使能拿到货,诸如运输过程中磕碰、泡水等现象,也时有发生,“碰到这种情况就只能自认倒霉,根本不存在退货一说。”可即便如此,在各个社交平台“H100预购从速”的帖子下方,仍然有成群结队的用户在咨询价格。抢购、加钱、售罄购买走私GPU不是常态,对大公司而言,终究还是得跟英伟达做正经生意,从官方渠道购买A100、H100。2022年的出口禁令下发后,经英伟达游说,重新获得了出口许可。在2023年3月1日之前,英伟达可以继续给中国大陆提供A100产品。各家科技巨头赶紧行动,经历了“从抢购,到加钱,到售罄”的心路历程。据《晚点》报道,张一鸣在卸任CEO后,把工作重点放在了研究AI上,不仅自己看AI相关论文,还经常跟一些字节高层分享论文学习心得,以及对ChatGPT的思考。高层对AI的重视,让字节在提前抢购英伟达芯片时占得了先机。在GPT-4发布后不到3个月,字节就被爆出,向英伟达订购了超过10亿美元(约合人民币71亿)的GPU,到货和没到货的A100和H800总计有10万块。考虑到2022年全年,英伟达数据中心GPU在中国销售额大约...PC版:https://www.cnbeta.com.tw/articles/soft/1423686.htm手机版:https://m.cnbeta.com.tw/view/1423686.htm

相关推荐

封面图片

ChatGPT带火AI芯片 英伟达顶级显卡eBay售价超4万美元

ChatGPT带火AI芯片英伟达顶级显卡eBay售价超4万美元据悉,去年发布的H100是英伟达最新的旗舰AI芯片,接替了A100,A100是一款被称为AI应用“主力军”的芯片,售价约为1万美元。根据英伟达的说法,与A100相比,H100的能效提高了3.5倍。开发人员正在使用H100来构建所谓的大型语言模型(LLMs),这是OpenAI的ChatGPT等AI应用的核心。这些AI模型对算力的要求极高。因此,训练它们,尤其是像GPT这样的大型模型,需要数百颗高端英伟达GPU协同工作。正因如此,那些正进行AI竞赛的科技巨头们不惜斥巨资购买AI芯片。例如,微软就斥资数亿美元购买了数万颗英伟达A100芯片,以帮助打造ChatGPT。另外,据媒体最新报道,“钢铁侠”埃隆·马斯克在美国内华达州成立了一家名为X.AI的人工智能公司,旨在与OpenAI展开竞争。据悉,为了这个新项目,马斯克已从英伟达购买了数千个高性能GPU处理器。英伟达还提供一款拥有8颗GPU的超级计算机,名为DGX。今年早些时候,该公司宣布了新服务,允许企业以每月3.7万美元的价格租用DGX计算机。在这项服务下,几乎任何企业都可以通过云租赁来使用这些强大但成本昂贵的设备。英伟达控制着AI芯片的绝大部分市场。随着ChatGPT在全球范围内掀起AI热潮,英伟达股价“狂飙”:最新报267.58美元,今年已经累计上涨近90%。      ...PC版:https://www.cnbeta.com.tw/articles/soft/1354929.htm手机版:https://m.cnbeta.com.tw/view/1354929.htm

封面图片

英伟达发布新一代 AI 芯片 H200

英伟达发布新一代AI芯片H200H200利用了美光等公司推出的HBM3e内存,提供了141GB内存容量(H100的1.8倍)和4.8TB/s内存带宽(H100的1.4倍)。大型语言模型推理速度方面,GPT-3175B是H100的1.6倍(A100的18倍),LLaMA270B是H100的1.9倍。英伟达同时宣布2024年的H100产量翻倍,2024年第4季度发布基于新一代Blackwell架构的B100。投稿:@ZaiHuaBot频道:@TestFlightCN

封面图片

老黄深夜炸场:世界最强AI芯片H200震撼发布 性能飙升90%

老黄深夜炸场:世界最强AI芯片H200震撼发布性能飙升90%全世界的AI公司都陷入算力荒,英伟达的GPU已经千金难求。英伟达此前也表示,两年一发布的架构节奏将转变为一年一发布。就在英伟达宣布这一消息之际,AI公司们正为寻找更多H100而焦头烂额。英伟达的高端芯片价值连城,已经成为贷款的抵押品。谁拥有H100,是硅谷最引人注目的顶级八卦至于H200系统,英伟达表示预计将于明年二季度上市。同在明年,英伟达还会发布基于Blackwell架构的B100,并计划在2024年将H100的产量增加两倍,目标是生产200多万块H100。而在发布会上,英伟达甚至全程没有提任何竞争对手,只是不断强调“英伟达的AI超级计算平台,能够更快地解决世界上一些最重要的挑战。”随着生成式AI的大爆炸,需求只会更大,而且,这还没算上H200呢。赢麻了,老黄真的赢麻了!141GB超大显存,性能直接翻倍!H200,将为全球领先的AI计算平台增添动力。它基于Hopper架构,配备英伟达H200TensorCoreGPU和先进的显存,因此可以为生成式AI和高性能计算工作负载处理海量数据。英伟达H200是首款采用HBM3e的GPU,拥有高达141GB的显存。与A100相比,H200的容量几乎翻了一番,带宽也增加了2.4倍。与H100相比,H200的带宽则从3.35TB/s增加到了4.8TB/s。英伟达大规模与高性能计算副总裁IanBuck表示——要利用生成式人工智能和高性能计算应用创造智能,必须使用大型、快速的GPU显存,来高速高效地处理海量数据。借助H200,业界领先的端到端人工智能超算平台的速度会变得更快,一些世界上最重要的挑战,都可以被解决。Llama2推理速度提升近100%跟前代架构相比,Hopper架构已经实现了前所未有的性能飞跃,而H100持续的升级,和TensorRT-LLM强大的开源库,都在不断提高性能标准。H200的发布,让性能飞跃又升了一级,直接让Llama270B模型的推理速度比H100提高近一倍!H200基于与H100相同的Hopper架构。这就意味着,除了新的显存功能外,H200还具有与H100相同的功能,例如TransformerEngine,它可以加速基于Transformer架构的LLM和其他深度学习模型。HGXH200采用英伟达NVLink和NVSwitch高速互连技术,8路HGXH200可提供超过32Petaflops的FP8深度学习计算能力和1.1TB的超高显存带宽。当用H200代替H100,与英伟达GraceCPU搭配使用时,就组成了性能更加强劲的GH200GraceHopper超级芯片——专为大型HPC和AI应用而设计的计算模块。下面我们就来具体看看,相较于H100,H200的性能提升到底体现在哪些地方。首先,H200的性能提升最主要体现在大模型的推理性能表现上。如上所说,在处理Llama2等大语言模型时,H200的推理速度比H100提高了接近1倍。因为计算核心更新幅度不大,如果以训练175B大小的GPT-3为例,性能提升大概在10%左右。显存带宽对于高性能计算(HPC)应用程序至关重要,因为它可以实现更快的数据传输,减少复杂任务的处理瓶颈。对于模拟、科学研究和人工智能等显存密集型HPC应用,H200更高的显存带宽可确保高效地访问和操作数据,与CPU相比,获得结果的时间最多可加快110倍。相较于H100,H200在处理高性能计算的应用程序上也有20%以上的提升。而对于用户来说非常重要的推理能耗,H200相比H100直接腰斩。这样,H200能大幅降低用户的使用成本,继续让用户“买的越多,省的越多”!上个月,外媒SemiAnalysis曾曝出一份英伟达未来几年的硬件路线图,包括万众瞩目的H200、B100和“X100”GPU。而英伟达官方,也公布了官方的产品路线图,将使用同一构架设计三款芯片,在明年和后年会继续推出B100和X100。B100,性能已经望不到头了这次,英伟达更是在官方公告中宣布了全新的H200和B100,将过去数据中心芯片两年一更新的速率直接翻倍。以推理1750亿参数的GPT-3为例,今年刚发布的H100是前代A100性能的11倍,明年即将上市的H200相对于H100则有超过60%的提升,而再之后的B100,性能更是望不到头。至此,H100也成为了目前在位最短的“旗舰级”GPU。如果说H100现在就是科技行业的“黄金”,那么英伟达又成功制造了“铂金”和“钻石”。H200加持,新一代AI超算中心大批来袭云服务方面,除了英伟达自己投资的CoreWeave、Lambda和Vultr之外,亚马逊云科技、Google云、微软Azure和甲骨文云基础设施,都将成为首批部署基于H200实例的供应商。此外,在新的H200加持之下,GH200超级芯片也将为全球各地的超级计算中心提供总计约200Exaflops的AI算力,用以推动科学创新。在SC23大会上,多家顶级超算中心纷纷宣布,即将使用GH200系统构建自己的超级计算机。德国尤里希超级计算中心将在超算JUPITER中使用GH200超级芯片。这台超级计算机将成为欧洲第一台超大规模超级计算机,是欧洲高性能计算联合项目(EuroHPCJointUndertaking)的一部分。Jupiter超级计算机基于Eviden的BullSequanaXH3000,采用全液冷架构。它总共拥有24000个英伟达GH200GraceHopper超级芯片,通过Quantum-2Infiniband互联。每个GraceCPU包含288个Neoverse内核,Jupiter的CPU就有近700万个ARM核心。它能提供93Exaflops的低精度AI算力和1Exaflop的高精度(FP64)算力。这台超级计算机预计将于2024年安装完毕。由筑波大学和东京大学共同成立的日本先进高性能计算联合中心,将在下一代超级计算机中采用英伟达GH200GraceHopper超级芯片构建。作为世界最大超算中心之一的德克萨斯高级计算中心,也将采用英伟达的GH200构建超级计算机Vista。伊利诺伊大学香槟分校的美国国家超级计算应用中心,将利用英伟达GH200超级芯片来构建他们的超算DeltaAI,把AI计算能力提高两倍。此外,布里斯托大学将在英国政府的资助下,负责建造英国最强大的超级计算机Isambard-AI——将配备5000多颗英伟达GH200超级芯片,提供21Exaflops的AI计算能力。英伟达、AMD、英特尔:三巨头决战AI芯片GPU竞赛,也进入了白热化。面对H200,而老对手AMD的计划是,利用即将推出的大杀器——InstinctMI300X来提升显存性能。MI300X将配备192GB的HBM3和5.2TB/s的显存带宽,这将使其在容量和带宽上远超H200。而英特尔也摩拳擦掌,计划提升GaudiAI芯片的HBM容量,并表示明年推出的第三代GaudiAI芯片将从上一代的96GBHBM2e增加到144GB。英特尔Max系列目前的HBM2容量最高为128GB,英特尔计划在未来几代产品中,还要增加Max系列芯片的容量。H200价格未知所以,H200卖多少钱?英伟达暂时还未公布。要知道,一块H100的售价,在25000美元到40000美元之间。训练AI模型,至少需要数千块。此前,AI社区曾广为流传这张图片《我们需要多少个GPU》。GPT-4大约是在10000-25000块A100上训练的;Meta需要大约21000块A100;StabilityAI用了大概5000块A100;Falcon-40B的训练,用了384块A100。根据马斯克的说法,GPT-5可能需要30000-50000块H100。摩根士丹利的说法是25000个GPU。SamAltman否认了在训练GPT-5,但却提过“OpenAI的GPU严重短缺,使用我们产品的人越少越好”。我们能知道的是,等到明年第二季度H200上市,届时必将引发新的风暴。...PC版:https://www.cnbeta.com.tw/articles/soft/1396699.htm手机版:https://m.cnbeta.com.tw/view/1396699.htm

封面图片

全球首块英伟达H200 AI超级芯片交付 黄仁勋给OpenAI“送货上门”

全球首块英伟达H200AI超级芯片交付黄仁勋给OpenAI“送货上门”H200基于英伟达Hopper架构打造,并配备英伟达H200TensorCoreGPU,处理速度为4.8TB/秒。H200拥有141GB的内存,与前代产品H100相比,H200的容量几乎翻了一番,运行大模型的综合性能相比前代H100提升了60%到90%。英伟达此前表示,H200在运行GPT-3时的性能,将比原始A100高出18倍,同时也比H100快11倍左右。值得一提的是,H200还将与H100兼容,使用H100训练/推理模型的AI企业,可以无缝更换成最新的H200芯片。...PC版:https://www.cnbeta.com.tw/articles/soft/1428557.htm手机版:https://m.cnbeta.com.tw/view/1428557.htm

封面图片

尽管有美国禁令 中国军方机构、AI研究所和大学仍少量购买被美禁止的英伟达芯片

尽管有美国禁令中国军方机构、AI研究所和大学仍少量购买被美禁止的英伟达芯片路透社查阅100多个中国实体采购A100芯片的招标、以及去年10月后采购A800的数十个招标文件后发现,中国军事机构、国有AI研究机构和大学过去一年小批量购买了被美国禁止出口到中国的英伟达芯片。招标文件显示,自美国实施芯片禁令以来,已有数十家中国实体购买并收到了英伟达芯片,其中包括2022年被禁止对华出口的A100和H100,以及专为中国市场开发但去年10月被禁出口的A800和H800芯片。买家包括哈尔滨工业大学和中国电子科技大学,前者于去年5月购买了六块用于训练深度学习模型的A100芯片,后者于2022年12月购买了一块A100芯片。上个月公布的招标还显示,清华大学购买了两块H100芯片,中国工信部下属的一个实验室也购买了一块H100芯片。清华大学自2022年禁令以来已购买了约80块A100芯片。——

封面图片

英伟达最新AI芯片H200或将成为其史上最赚钱产品之一

英伟达最新AI芯片H200或将成为其史上最赚钱产品之一根据英伟达官网的消息,基于英伟达的“Hopper”架构,H200是该公司首款采用HBM3e内存的芯片。这种内存速度更快,容量更大,使其更适用于大型语言模型。英伟达表示,H200使用HBM3e内存能够以每秒4.8TB的速度提供141GB的容量,相比于A100,其容量几乎翻了一倍,带宽提高了2.4倍。预计H200将于2024年第二季度上市,届时将与AMD的MI300XGPU展开竞争。与H200相似,AMD的新芯片相比前代产品拥有更多内存,这对运行大型语言模型的推理计算有帮助。英伟达还表示,H200将与H100兼容,这意味着那些已经在使用H100进行训练的AI公司无需更改他们的服务器系统或软件即可适应H200。英伟达副总裁IanBuck称:“为了训练生成式AI和高性能计算应用,必须使用高性能GPU。有了H200,行业领先的AI超级计算平台可以更快地解决一些世界上最重要的挑战。”英伟达的加速计算首席产品经理DionHarris表示:“观察市场上的动态,可以看到大型模型的尺寸正在迅速扩大。这是我们继续引领最新、最伟大技术的又一例证。”据美国金融机构RaymondJames透露,H100芯片的成本仅为3320美元,但英伟达对其客户的批量价格却高达2.5万至4万美元。这使得H100的利润率可能高达1000%,成为有史以来最赚钱的芯片之一。在训练大型语言模型时,通常需要数千个H100集群协同工作,因此科技巨头、初创公司和政府机构都在争夺英伟达有限的芯片供应。由于对其产品的需求看似无穷无尽,英伟达今年的销售额大幅增长,股价上涨了230%,市值突破了1.2万亿美元大关。截至周一收盘,该股收涨0.59%,报486.2美元。相关文章:NVIDIA发布HopperH200GPU与基于GraceHopper的Jupiter超算项目...PC版:https://www.cnbeta.com.tw/articles/soft/1396697.htm手机版:https://m.cnbeta.com.tw/view/1396697.htm

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人