谁能先“甩”了英伟达

谁能先“甩”了英伟达另一个方案是直接收购一家芯片公司。知情人士称OpenAI已经有潜在的收购目标，并曾考虑对其进行尽职调查。但报道中未能确定具体是哪家芯片公司。巧合的是，另一个消息与之相伴而出——微软将在下个月的年度开发者大会上，推出其首款为AI设计的芯片“雅典娜（Athena）”。据TheInformation援引知情人士，雅典娜将用于数据中心服务器，为训练大语言模型等设计，同时支持推理，能为ChatGPT背后的所有AI软件提供动力。云已经成为大模型的重要战场，而微软在该领域的两个竞争对手Google和亚马逊，都早已拥有了自己的AI芯片。雅典娜的推出将让微软补全短板。微软和OpenAI在芯片问题上的进展颇有代表意义：论角色，正是微软、OpenAI和英伟达的三方联手，让ChatGPT变为现实，继而引发了一场全球性的AIGC新浪潮；论时间，下个月正是ChatGPT推出整一年的节点。大模型竞争的下一个焦点似乎是“谁能先‘甩’了英伟达”，在芯片领域具备统治力的英伟达，已经成了一种亟需摆脱的束缚。2016年，成立仅一年的OpenAI迎来一位贵客，英伟达CEO黄仁勋。他亲自将首个轻量化小型超算DGX-1送给了OpenAI，OpenAI一年的计算量可以靠DGX-1在一个月内完成。如今，后知后觉的人们回头看黄仁勋在DGX-1上的签字“为了计算和人类的未来”，惊呼“皮衣教主”的毒辣眼光。到了2019年，微软牵手OpenAI，为其打造的超级计算机用上了上万个英伟达A100GPU。就这样，OpenAI出力、微软出钱、英伟达出基建，用惊人的算力支撑着OpenAI大模型的研发，并最终大力出奇迹，ChatGPT于2022年11月推出，惊艳世界。OpenAI成为明星企业，微软以AI战略与Google等展开激烈厮杀，而英伟达公司市值更是从去年11月的3000多亿美元，飙升到如今的超万亿美元。全球掀起大模型热，英伟达作为“卖水翁”，芯片不愁卖。今年7月，花旗研究分析师ChristopherDanely在一份报告中指出，英伟达将占据AI芯片市场“至少90%”的市场份额。然而，这场“三赢”的游戏中，却可能只有黄仁勋是全然快乐的。对于微软和OpenAI为代表的“买水人”来说，依赖英伟达的芯片至少有两个问题。第一个问题是贵。对于为OpenAI搭建的超算，据彭博社报道，微软在该项目上的花费了数亿美元。伯恩斯坦研究公司分析师StacyRasgon分析，ChatGPT每次查询都要花费约4美分。如果ChatGPT的查询量规模增长到Google搜索的十分之一，则需要大约481亿美元的GPU，并且每年还需要160亿美元的芯片才能维持运行。第二个问题是稀缺。就在今年6月，OpenAICEO阿尔特曼（SamAltman）在一场会议上称，芯片的短缺阻碍了ChatGPT的发展。面对客户对API可靠性和速度的抱怨，阿尔特曼解释大部分问题都是由于芯片短缺造成的。今年新发布的英伟达H100是目前最热门的AI芯片，但只能满足一半的市场需求。英伟达H100和A100均由台积电生产，台积电董事长刘德音上个月曾解释称，供应限制不是由于缺物理芯片，而是先进芯片封装服务（CoWos）的产能有限，而这是制造过程的关键步骤。刘德音还预计，一年半后技术产能将足以满足客户需求，也就是2024年底AI芯片供应紧张可能会得到缓解。虽然雅典娜可能在今年才会推出，但微软已经为此准备多年。在豪掷数亿美元为OpenAI打造超算的2019年，微软的雅典娜项目已经启动。根据爆料，雅典娜会使用台积电5nm工艺打造，直接对标英伟达A100，预计每颗成本降低三分之一。对于英伟达来说，微软和OpenAI的私心是一个红色信号。微软是英伟达最大的客户之一，甚至传出过“包圆”H100全年产能的消息，OpenAI则是AIGC领域最重要的风向标。二者自研芯片的心，是英伟达头顶的一抹乌云。Google曾是最早大规模采购GPU来进行AI计算的公司，但后来研发自己的AI专用芯片。在2016年就已经发布了第一代TPU（张量处理单元），随后在2017年作为GoogleCloud基础设施GoogleTPU推出。这些年来Google一直在持续迭代，今年4月其公布了TPUv4的细节，称其比英伟达的A100强1.7倍。虽然Google仍然在批量采购英伟达GPU，但其云服务已经用上了自家的TPU。在这次的AIGC大战中，AI绘图公司Midjourney、有ChatGPT竞品Cloude的独角兽公司Anthropic，都不是像OpenAI一样从英伟达采购芯片搭建超算，而是使用了Google的算力。另一个科技巨头亚马逊也动作颇早，在2015年收购以色列芯片初创公司AnnapurnaLabs，为其云基础设施开发定制芯片，三年后推出了基于Arm的服务器芯片Graviton。后来，亚马逊推出以人工智能为重点的芯片Inferentia,Trainium。上个月，消息称亚马逊将向Anthropic投资40亿美元，作为交易的一部分，Anthropic将使用AWSTrainium和Inferentia芯片来构建、训练和部署其未来的基础模型。除此之外，英伟达的其他竞争对手也在向AI芯片领域发起进攻。AMD、英特尔、IBM等正陆续推出AI芯片，试图与英伟达的产品抗衡。今年6月，AMD就发布了InstinctMI300，直接对标英伟达H100，是专门面向AIGC的加速器。其集成的晶体管数量达到1530亿，高于H100的800亿，是AMD投产以来最大的芯片。AMD甚至用兼容英伟达CUDA的策略，降低客户的迁移门槛。不可否认的是，目前英伟达仍然几乎垄断AI芯片市场，没有竞争对手撼动其地位，也没有一家科技巨头可以完全摆脱对它的依赖。但“降低英伟达的控制力”似乎成为一种共识，外部挑战一浪接着一浪。微软和OpenAI自研芯片的消息，就是新的一浪。英伟达能稳站岸头吗？...PC版：https://www.cnbeta.com.tw/articles/soft/1388845.htm手机版：https://m.cnbeta.com.tw/view/1388845.htm

英伟达最新AI芯片H200或将成为其史上最赚钱产品之一

英伟达最新AI芯片H200或将成为其史上最赚钱产品之一根据英伟达官网的消息，基于英伟达的“Hopper”架构，H200是该公司首款采用HBM3e内存的芯片。这种内存速度更快，容量更大，使其更适用于大型语言模型。英伟达表示，H200使用HBM3e内存能够以每秒4.8TB的速度提供141GB的容量，相比于A100，其容量几乎翻了一倍，带宽提高了2.4倍。预计H200将于2024年第二季度上市，届时将与AMD的MI300XGPU展开竞争。与H200相似，AMD的新芯片相比前代产品拥有更多内存，这对运行大型语言模型的推理计算有帮助。英伟达还表示，H200将与H100兼容，这意味着那些已经在使用H100进行训练的AI公司无需更改他们的服务器系统或软件即可适应H200。英伟达副总裁IanBuck称：“为了训练生成式AI和高性能计算应用，必须使用高性能GPU。有了H200，行业领先的AI超级计算平台可以更快地解决一些世界上最重要的挑战。”英伟达的加速计算首席产品经理DionHarris表示：“观察市场上的动态，可以看到大型模型的尺寸正在迅速扩大。这是我们继续引领最新、最伟大技术的又一例证。”据美国金融机构RaymondJames透露，H100芯片的成本仅为3320美元，但英伟达对其客户的批量价格却高达2.5万至4万美元。这使得H100的利润率可能高达1000%，成为有史以来最赚钱的芯片之一。在训练大型语言模型时，通常需要数千个H100集群协同工作，因此科技巨头、初创公司和政府机构都在争夺英伟达有限的芯片供应。由于对其产品的需求看似无穷无尽，英伟达今年的销售额大幅增长，股价上涨了230%，市值突破了1.2万亿美元大关。截至周一收盘，该股收涨0.59%，报486.2美元。相关文章:NVIDIA发布HopperH200GPU与基于GraceHopper的Jupiter超算项目...PC版：https://www.cnbeta.com.tw/articles/soft/1396697.htm手机版：https://m.cnbeta.com.tw/view/1396697.htm

加钱扫货、走私、装甲车运输，揭秘AI芯片背后的黑市风暴

加钱扫货、走私、装甲车运输，揭秘AI芯片背后的黑市风暴两位以狂妄著称的大佬甘愿伏低做小，只为能多分到一些“比毒品还难搞到”的英伟达GPU，最终两人未能如愿。而另一家硅谷巨头思科为了保护刚买来的英伟达GPU，干脆动用装甲车来运。正如科幻作品《沙丘》将香料设定为宇宙最重要的资源。今天同样可以大胆宣称：谁掌握了GPU，谁就掌握了AI时代的命脉。去年以来，在加速计算和生成式AI的带动下，算力需求陡增。英伟达GPU作为提供算力的核心硬件，业界对其的需求早已“远远超过了英伟达所能供应的极限”。为了获得尽可能多的GPU，全球科技圈从贵族俱乐部化身为私酒时代的芝加哥，产品、流量与增长交织的史诗，让位于充斥着贪婪、炫耀、谄媚与背叛的大模型舞台剧。从破产边缘到80亿美元估值在过去一年，英伟达GPU极度短缺，全世界的大厂或创业公司都在各显神通解决“芯荒”难题。对中国企业来说，GPU短缺则是政策和产能两方面造成的。从2022年10月开始，英伟达就被禁止向中国出口A100、H100这两款高端GPU。二道贩子们敏锐地嗅到了其中的商机。一些企业从自家机房里把芯片禁令生效前购买的A100拆出来，卖给贩子。这些没有保修、没有质保的旧芯片，非但没有贬值，价格还从出厂时的8万多元涨到了10多万元。A100、H100分别由英伟达在2020年及2022年推出，上市时间并不长，其在国内市场的存货相当有限。另外，A100分为80GB、40GB两个显存版本，显存越大，所能运行的神经网络越大，训练大语言模型效果越好。厂商都想买80GB显存版本的A100，导致存货更加紧缺。因此，有一些黑心贩子将A100的40GB版本改成80GB的来卖，很多急于购买的企业一时失察，买回去才发觉货不对板。由于这类GPU来源特殊，上当的买家根本没有质保和维权的途径，只能吃哑巴亏。可即便如此，低配置的二手A100在2023年依然供不应求。过去一年，市面上英伟达GPU价格涨幅一度到了200%。A100最火爆的时候，网传最高成交价接近25万元。按照这个价格，两块GPU就能换来一辆全新奔驰E级轿车。二道贩子卖机房拆来的A100赚差价，毕竟只是小打小闹。真正靠倒卖二手GPU发家的，还要属一家名为CoreWeave的美国公司。CoreWeave最开始是一家“挖”比特币的公司，其CEO回忆：“2016年，我们购买了第一块英伟达GPU，插上电源后，将其放在曼哈顿办公室的台球桌上，然后挖到了以太坊网络上的第一个币。”在生成式AI火爆之前，英伟达GPU除了作为游戏显卡，最赚钱、最大的应用场景就是用于加密货币“挖矿”。因为GPU能以最快速度处理海量简单重复的问题，天然就很适合用于昼夜不停地挖比特币。而CoreWeave的三位创始人，一开始也只是将”挖矿”用于赚取额外收入，他们的本职工作是经营对冲基金和家族办公室。可由于2016年加密货币热，他们的GPU越买越多，导致“华尔街的办公桌上堆满了GPU”。到2018年底，CoreWeave已经成为了北美最大的以太坊“矿场”，拥有超过五万块GPU，占以太坊网络总量的1%以上。通过将英伟达GPU用作“矿卡”，CoreWeave在加密货币领域赚到了第一桶金。但在2018年之后，市场行情急转直下，加密货币大幅贬值，与加密货币深度绑定的CoreWeave也几度面临财务危机，险些倒闭。到2019年，CoreWeave决定转型做服务。CoreWeave加入英伟达的云服务提供商计划，也就是围绕英伟达的芯片构建了专门的云基础设施。如果说英伟达是算力厂商，那CoreWeave就相当于算力经销商。到2022年底，ChatGPT发布，生成式AI突然爆火，CoreWeave手头数万块GPU成为了硬通货，因为GPU非常适合用于训练AI大模型。它摇身一变，依靠手中积攒的GPU，向OpenAI、微软、Inflection等众多AI巨头卖算力。2023年4月，CoreWeave还获得来自英伟达的B轮融资。黄仁勋在业绩电话会上点名：“一大批新的GPU专业化云服务提供商正在出现，最知名的当属CoreWeave，他们做得非常出色。”英伟达对“亲信”CoreWeave可谓非常偏心。在一份研究机构Omdia披露出的英伟达H100供货单中，CoreWeave获得的H100数量，比特斯拉还多。也正因为英伟达的“偏心”，除了卖算力服务，CoreWeave以囤积的英伟达芯片为抵押，从黑石、Coatue等顶级机构获得了23亿美元的债务融资。一举将公司从破产边缘，拉到了投后估值80亿美金。冒高风险，买走私卡不是谁都有CoreWeave这么好的运气。跟英伟达关系不够亲密的企业，尤其是中小企业，购买“走私芯片”就成为一种无奈之下的选择。随着全球AI大模型竞争愈发激烈，A100已经不能满足一些企业的需求，性能更强劲的H100日趋抢手。问题在于，H100实在太新了，存货更少。没有存货，二道贩子也无处发挥，走私贩子们登场了。走私贩子们的来货渠道主要有两条：一是等英伟达向美国大型企业发货后，抢购市场上的剩余库存；二是通过在印度、新加坡、马来西亚等地注册公司进口。相比于只有指甲盖大小的微型芯片，H100的尺寸并不小。根据英伟达官方公布的尺寸，H100整个芯片大小为814平方毫米，大概有两个手掌大，走私贩子只能将H100放进背包，接受正式的过关安检。有走私贩子透露，由于每个国家把控严格度不一，如果把H100放在包里，把它报成普通电子设备。麻烦的是服务器架。H100需要插在服务器架上，才能用于训练AI大模型。一套完整AI服务器要配置8块H100，加上一台超微电脑的服务器架，大约相当于一个保险柜。面对如此庞然大物，自然无法靠人肉背回。一般的做法是化整为零，将服务器拆开，用蚂蚁搬家地方式发回。至于运输途中关键部件是否会损坏，运到目的地如何拼装回去，一切都存在极大的风险。H100在2022年3月刚发售时，售价折合人民币约24.2万元。如果在两年前屯了一批H100，什么都不用做，每张到现在能净赚6到9万元。在过去一年间，从朋友圈、小红书等社交平台，到拼多多、闲鱼等电商平台，再到各类垂直社区、垂直社群，有无数贩子打出了“H100现货，手慢无！”、“稀缺H100现货，先到先得！”、“原厂H100，见货付款，欲购从速！”的标签。而如果进一步私聊，这些芯片贩子会告诉你，产品没有保修或支持服务，到货最起码需要6到8周，并且需要先付定金。如果问及发货地和货源，贩子们大多会回答称“海外发货，大陆交付，可以送至指定地点。”据买家爆料，走中小型中间商渠道，风险很高。首先，交了定金，后续也可能因各种原因拿不到货。其次，即使能拿到货，诸如运输过程中磕碰、泡水等现象，也时有发生，“碰到这种情况就只能自认倒霉，根本不存在退货一说。”可即便如此，在各个社交平台“H100预购从速”的帖子下方，仍然有成群结队的用户在咨询价格。抢购、加钱、售罄购买走私GPU不是常态，对大公司而言，终究还是得跟英伟达做正经生意，从官方渠道购买A100、H100。2022年的出口禁令下发后，经英伟达游说，重新获得了出口许可。在2023年3月1日之前，英伟达可以继续给中国大陆提供A100产品。各家科技巨头赶紧行动，经历了“从抢购，到加钱，到售罄”的心路历程。据《晚点》报道，张一鸣在卸任CEO后，把工作重点放在了研究AI上，不仅自己看AI相关论文，还经常跟一些字节高层分享论文学习心得，以及对ChatGPT的思考。高层对AI的重视，让字节在提前抢购英伟达芯片时占得了先机。在GPT-4发布后不到3个月，字节就被爆出，向英伟达订购了超过10亿美元（约合人民币71亿）的GPU，到货和没到货的A100和H800总计有10万块。考虑到2022年全年，英伟达数据中心GPU在中国销售额大约...PC版：https://www.cnbeta.com.tw/articles/soft/1423686.htm手机版：https://m.cnbeta.com.tw/view/1423686.htm

美国芯片巨头英伟达在本周提交文件 “华为被列为最大对手”

美国芯片巨头英伟达在本周提交文件“华为被列为最大对手”据德国之声电台网站2月23日报道，美国芯片巨头英伟达在本周提交给美国证券交易委员会的文件中，在包含AI芯片等多个类别中，首度将华为认定为“最大竞争对手”。英伟达提及的其他竞争对手还包括英特尔、超微、博通、高通、亚马逊和微软。英伟达指出，华为在供应图形处理器（GPU）、中央处理器（CPU）等用于AI的芯片领域，都可与业界竞争。（上证报）

英博数科 CEO 周韡韡：目前英伟达 GPU 标准等货周期长达 52 周以上

英博数科CEO周韡韡：目前英伟达GPU标准等货周期长达52周以上英博数科CEO周韡韡表示，我们的第一个计算中心投产之后，获得了正向现金流回报，收入远超预期，因此公司进一步加速算力采购。2023年2月，公司交付首个DGXA800AI算力集群。截至2023年10月，累计交付3000PFLOPSAI算力，持续扩张单一通讯集群超大智算单元。这里的GPU以H系列为主，从今年4月份之后，公司就没有再去订购A系列。实际上，英伟达产品“一卡难求”主要原因仍是产能供应不足。目前英伟达GPU标准等货周期长达52周以上，意味着要等一年以上的时间才能拿到货。我们没有继续订购A系列也是基于对其产能的评估。我们对英伟达采购的事情肯定是不会间断的，英伟达也会继续在中国区推出合规产品。公司现在也在和AMD、英特尔以及国产芯片生态进行深入沟通。市场一直在试图给公司贴上英伟达标签，但事实上，我们从底层架构到软件加速器开发，和众多品牌都有合作，而且效果不差。（中证报）

奥雅股份：全资子公司拟采购 128 台内嵌英伟达 GPU 芯片的高性能运算服务器及配套软硬件

奥雅股份：全资子公司拟采购128台内嵌英伟达GPU芯片的高性能运算服务器及配套软硬件奥雅股份公告，全资子公司奥创引擎拟与供应商深圳市润信供应链有限公司签订《算力服务器采购合同》，拟采购128台内嵌英伟达GPU芯片的高性能运算服务器及配套软硬件，合同金额暂定为人民币4.352亿元。公司智算业务尚处于前期启动阶段，尚未贡献营业收入，本次签署《算力服务器采购合同》对公司当期经营业绩没有重大影响。尽管采购合同已约定相关期限、交易价格，但由于海外出口人工智能芯片限制变化等原因，采购用于AI训练推理的内嵌英伟达GPU芯片的高性能运算服务器及配套软硬件，存在交付期限不明确、交易价格存在不确定性等风险。