英伟达推出新创收产品 NIM 每个 GPU 4500 美元 / 年

英伟达推出新创收产品NIM每个GPU4500美元/年英伟达CEO黄仁勋在GTC宣布，将在其企业软件订阅中增加一款名为NIM的新产品。NIM可以更容易地使用旧的英伟达GPU进行推理，并允许公司继续使用他们已经拥有的数亿个英伟达GPU。该产品将使新人工智能模型的初始训练推理所需的算力更少。该公司的策略是让购买英伟达服务器的客户注册英伟达企业版，每个GPU每年收取费用4500美元。黄仁勋表示，该软件还将帮助在配备GPU的笔记本电脑上运行人工智能，而不是在云服务器上运行。

英伟达 GPU 价格暴涨，供应短缺影响 AI 大模型训练

英伟达GPU价格暴涨，供应短缺影响AI大模型训练作为AI大模型训练的底层架构基石，GPU的价格随之水涨船高。有代理商透露，英伟达的A100价格从2022年12月份开始上涨，截至2023年4月上半月，5个月价格累计涨幅达到37.5%；A800价格从2022年12月份开始上涨，截至2023年4月上半月，5个月价格累计涨幅达20.0%。且交货周期也被拉长，之前拿货周期大约为一个月左右，现在基本都得三个月，甚至更长。据透露，国内可用于训练AI大模型的A100大约有4万-5万个，供应相当吃紧，一些云服务厂商已严格限制内部使用这些先进芯片，以将其保留至需要强力运算的任务。投稿：@ZaiHuaBot频道：@TestFlightCN

英伟达发布用于人工智能的“世界上最强大芯片”Blackwell B200 GPU

英伟达发布用于人工智能的“世界上最强大芯片”BlackwellB200GPU英伟达的H100AI芯片使其成为价值数亿美元的公司，其价值可能超过Alphabet和亚马逊，而竞争对手一直在奋力追赶。但也许英伟达即将通过新的BlackwellB200GPU和GB200“超级芯片”扩大其领先地位。该公司在加州圣何塞举行的GTC大会上表示，新的B200GPU拥有2080亿个晶体管，可提供高达20petaflops的FP4算力，而GB200将两个GPU和单个GraceCPU结合在一起，可为LLM推理工作负载提供30倍的性能，同时还可能大大提高效率。英伟达表示，在具有1750亿个参数的GPT-3LLM基准测试中，GB200的性能是H100的7倍，而英伟达称其训练速度是H100的4倍。——

全世界都在疯抢AI芯片 英伟达发布财报后暴拉近30% 将创历史新高

全世界都在疯抢AI芯片英伟达发布财报后暴拉近30%将创历史新高（来源：英伟达官网）（英伟达日线图，来源：TradingView）在截至今年4月30日的3个月里，英伟达总共实现营收71.9亿美元，虽然比起去年同期下降13%，但远远好于市场预期的65.2亿美元。利润方面，一季度净利27.13亿美元，折合EPS1.09美元，预期0.92美元。受惠于云计算平台和大型科技公司对GPU芯片（训练AI）的需求，数据中心业务实现创纪录的42.8亿美元营收。作为英伟达营收两大支柱的另外一块，一季报游戏业务实现营收22.4亿美元，同比下降38%，但较前一季度回升22%。汽车业务方面，英伟达在第一财季录得2.96亿美元营收，环比上升1%，同样也是历史新高。令市场大感震惊的是，英伟达对第二财季给出了一份令人难以置信的指引。其中营收预期将达到110亿美元，市场此前的预期仅仅为71.8亿美元。英伟达表示，随着市场对人工智能的兴趣激增，公司正在“显著”增加与其数据中心业务相关的产品供应。英伟达创始人、CEO黄仁勋表示，计算机行业正在经历两个同时发生的转变——加速计算和生成式人工智能。随着海量公司竞相把AIGC应用到每个产品、服务和业务流程中，在全球数据中心已经安装的万亿美元数据基建，将从通用计算过渡到加速计算。英伟达披露，公司的整个数据中心产品系列，包括H100、GraceCPU、GraceHopperSuperchip、NVLink、Quantum400InfiniBand和BlueField-3DPU都在大幅增加供应，以满足激增的需求。...PC版：https://www.cnbeta.com.tw/articles/soft/1361505.htm手机版：https://m.cnbeta.com.tw/view/1361505.htm

从亏钱生意到利润1000% 英伟达靠什么成为万亿GPU霸主？

从亏钱生意到利润1000%英伟达靠什么成为万亿GPU霸主？GPU芯片在超级计算和全球巨头大模型训练战中地位举足轻重，而掌握全球80%GPU市场份额的英伟达赚得盆满钵满。然而，这种垄断式的市场占有率不是一夜砌成的“城墙”。据Tractica数据，预计到2025年全球AI硬件市场收入将达到2349亿美元，其中GPU的收入占23.2%。英伟达在GPU市场的构筑的护城河，CUDA是其中至关重要的一环。一套完善的编译器生态2006年，正是在AMD收购了ATI、英特尔依然蝉联全球第一大芯片厂商的时候，英伟达推出了CUDA（ComputeUnifiedDeviceArchitecture），它是英伟达研发的平行运算平台及编程模型。AI大神吴恩达简单评价了CUDA的意义：“在CUDA出现之前，全球能用GPU编程的可能不超过100人，有CUDA之后使用GPU就变成一件非常轻松的事。”多数CUDA的推荐者认为，CUDA完善的编译器生态是英伟达GPU在高性能计算领域成功的关键。具体来讲，CUDA具有易部署、开发接口灵活、编程语言适配、工具及代码库完备等优点，并且兼容Windows、Linux和MacOS多个操作系统。CUDA的开发让GPU不再是简单的图形处理器，适用对象也从游戏制作人变为科学家、工程师或艺术家。随着不断迭代，CUDA在针对AI或神经网络深度学习领域推出了非常多的加速库，构成了CUDA的软硬件生态站。大卫·罗森塔尔在Acquired.FM中介绍，CUDA的代码库是经过优化的，开发人员调用这些库开发程序更加便利。因此，CUDA有庞大的社区资源，2023年5月注册开发者增加至400万人。投入过百亿的CUDA生态英伟达凭借CUDA几乎垄断了训练芯片市场，业界也几乎没有巨头对CUDA生态造成颠覆性冲击。英伟达为CUDA生态铺垫了十余年。2007年，英伟达的GPU研发技术已占据强势地位，次年英特尔的大客户苹果将MacBook除CPU外直接替换成英伟达Tesla架构的GPU便印证了这一点。据报道，经年累计英伟达对CUDA总投入早已超过100亿美元。在黄仁勋商业化考虑之下，CUDA生态需要培养潜在开发者，成为受到程序员和企业欢迎的技术平台。在2006年推出CUDA后，英伟达的第一个战略便瞄准了“软件开发人员”，投入巨资让开发者习惯使用CUDA平台。初期，开发者社区有这样一句话：CUDA在编程语言和共享存储器两个层次的并行都简化了编程，使得本科生也能使用CUDA写出大规模高性能计算程序。为扩大覆盖率，英伟达将CUDA引入大学课堂，与伊利诺伊大学等高校合作完善函数库。在2010年时，已有250所大学开放CUDA的教学课程，并有相关论文数千篇。以此为基础完善生态，英伟达建立研究中心、教学中心、认证计划，到2015年已有800所大学开发相关课程。再从业界来看，英伟达投入资金做inception计划（初创加速计划），让初创公司运用CUDA做项目铺垫基础。至今，已有超过100家初创公司利用了CUDA。此外，英伟达开源了Cub、NCCL等通用场景下的开发库，并优化中间件性能的基础库给厂家使用，再次扩大了生态系统。因此，许多开发者依赖于CUDA，同时凭借强大的核心能力在消费市场上受到青睐。2012年，在ImageNet竞赛一举夺冠的AlexNet面世后，CUDA已迭代至5.0版本，支持了动态库和GPU指针。2016年，OpenAI成立之时，CUDA8.0已经支持半精度浮点数和张量核心，软件生态已由学界和业界人士熟知、互相推荐。2022年底，ChatGPT的发布将生成式AI送到人们眼前，CUDA12.0支持了新的NVIDIAHopper和NVIDIAAdaLovelace架构功能，并为所有GPU提供了额外的编程模型增强。等到大模型热度吹进各家企业时，英伟达已经深化了他们在行业中的差异化，成为市场玩家购物篮的第一选择。目前为止，基于CUDA的GPU销量超过百万。而众多GPU芯片厂家中，为什么是英伟达做出了唯一的CUDA开发环境？从亏钱生意到利润1000%回顾世纪初期，英伟达与微软、ATI、AMD、英特尔五家巨头的混战，英伟达在图形处理市场中逐渐占据优势。2006年7月，AMD以54亿美元溢价收购ATI，芯片市场重新洗牌。同年，英伟达的首席科学家DavidKirk提出了“将GPU技术通用化”的思路，从主要做3D渲染的任务中脱离出来，探索通用计算任务。这个思路就是CUDA。而当时，愿意担起这门费钱费力的技术活的也是英伟达。几大家芯片公司中，老对手AMD买下ATI后GPU研发进入弱势地位，英特尔取消了自研GPU计划。英伟达则在GPU技术方面将巨头们甩在了身后。17年前，研发CUDA是一个超前的决定，英伟达的CUDA进化并非一帆风顺，黄仁勋则坚持“加速计算”是未来。英伟达和英特尔在2006年秋天共同开发了基于CUDA的新型GPU，即G80GPU。而两者的合作持续不长久，CUDA的研发决策需要英伟达长久地投入大量资金。从产品特性上来说，CUDA逻辑电路在硬件产品中增加会导致芯片的散热需求增高，由此也会带来成本上升、故障增多的风险。从财报表现来看，CUDA也是一门亏钱生意，在2008年金融危机前后表现得更为明显。在最艰难的时候，黄仁勋也没有中断CUDA，直到2012年辛顿教授带队以GPU代替CPU训练AI模型做出了AlexNet。2020年，黄仁勋在接受Barron周刊时强调：“英伟达将推动下一个人工智能大爆炸。”这5年，为了迎接人工智能，英伟达做了3件事。第一，2019年3月，英伟达以69亿美元收购了高性能计算互联技术公司Mellanox。这家公司的主要产品InfiniBand，被认为速度更快、带宽更高，是数据传输的有效方式，而Mellanox是唯一的InfiniBand规范提供商。第二，英伟达于2022年9月发布新一代AI芯片“DriveThor”，专为大规模GPU集群协调设计，是英伟达一款完全集成的解决方案。第三，英伟达推出专为加速计算和生成式AI打造的Hopper架构，H100便是基于此架构的GPU。市场消息称，H100是英伟达利润率高达1000%的产品，出货量超过900吨。随着ChatGPT发布，带动AI服务器出货量和价格上涨，英伟达的GPU芯片价格水涨船高。英伟达的DGXH100售价总价为268495美元，包含8GPU+4NVSwitch基板等，每台毛利率接近190000美元。英伟达的财务收入令人瞩目，据悉，过去3个财年的复合年增长率（CAGR）达到35.2%，预计2023年收入将飙升51.4%至408亿美元。CUDA构筑的壁垒能被打破吗？2016年，AMD推出基于开源项目的GPU生态系统ROCm，类似英伟达的CUDA系统，然而ROCm技术相较落后，在2023年4月才登录Windows平台。由于切入时间较晚，AMD开发者数量远也低于英伟达。在Github上，贡献CUDA软件包仓库的开发者超过32600位，而ROCm只有不到600个。英伟达大约占据全球80%的GPU市场份额，光从销量来看，都是一家独大。而英伟达的垄断市场的优势可以持续多久？针对这一问题，SemiAnalysis首席分析师DylanPatel给出观点：随着PyTorch支持更多GPU厂商，再加上OpenAI的Triton搅局，英伟达手中的利器CUDA逐渐锋芒不再。软件生态来看，CUDA的霸主地位确实受到各方攻击。近年，AI开发框架PyTorch因灵活的eager模式使用比率逐渐超越了TensorFlow，PyTorch2.0版本将会对AMD、英特尔、特斯拉、谷歌等GPU和加速器进行支持完善。OpenAI则直接推出了“简化版CUDA：Triton”，操作难度低于CUDA。2023年第一季度，AMD宣布ROCm系统融入PyTorch2.0框架，TensorFlow和Caffe深度学习框架也已加入第五代ROCm。其6月发布下一代数据中心加速处理器（APU）AMDMI300软件方面能够全面兼容英伟达CUDA生态，被业内认为有机会挑战英伟达在人工智能的行业地位。尽管如此，从算力角度来看，英伟达H100的升级产品DGXGH200解决了大规模AI的关键瓶颈，适配资金充沛且性能要求高的潜在客户。短期内，CUDA生态仍然稳健，大多数需要训练芯片的用户在仍然会选择英伟达。...PC版：https://www.cnbeta.com.tw/articles/soft/1390713.htm手机版：https://m.cnbeta.com.tw/view/1390713.htm

科技界“贫富”新标准出炉：中国巨头富足 但最“壕”的是这些公司

科技界“贫富”新标准出炉：中国巨头富足但最“壕”的是这些公司研究公司SemiAnalysis分析师迪伦·帕特尔(DylanPatel)和丹尼尔·尼什鲍尔(DanielNishball)在上周末对英伟达GPU的分布情况进行了分析，通过企业所拥有的GPU数量对科技界进行了“贫富”划分，分成了两组。贫穷公司科技界的GPU采购能力两极分化。GPU贫乏的一组大多是创业公司和开源研究人员，他们很难获得有限的GPU供应。首当其冲的是欧洲创业公司和政府支持的超级计算机项目，比如“儒勒凡尔纳”(JulesVerne)。在SemiAnalysis看来，他们在AI大模型训练上“完全没有竞争力”。帕特尔和尼什鲍尔认为，欧洲将在AI竞赛中掉队，因为它缺乏进行大规模投资的能力，并且一直处于GPU贫乏的境地。相比之下，即便是中东国家也在加大投资，为AI提供大规模基础设施，更不用说中国和美国了。英伟达A100价值1万美元接着是一些知名的AI创业公司，比如HuggingFace、Databricks和Together，它们所拥有的GPU数量也很少。富有公司SemiAnalysis的数据显示，少数公司从英伟达那里获得了2万多颗A100或H100GPU。H100是英伟达最新旗舰AI芯片，价值4万美元。它的前一代是A100芯片，价值1万美元。这些财大气粗的采购者是目前行业领先的AI公司，包括OpenAI、Google、Anthropic、Inflection、埃隆·马斯克(ElonMusk)旗下X、Facebook母公司Meta。“他们拥有的计算资源与研究人员比例最高。”SemiAnalysis写道。SemiAnalysis指出，2024年底前，上述AI领导者中的一些公司以及多家中国公司将获得逾10万颗GPU。根据外媒在本月早些时候的报道，中国互联网巨头已经订购了价值50亿美元的英伟达芯片。中国公司采购50亿美元英伟达芯片多方消息称，百度、字节跳动、腾讯和阿里巴巴已经向英伟达发出了价值10亿美元的订单，采购大约10万颗A800芯片，今年交付。由于美国政府采取的限制措施，中国公司只能采购降级版A800芯片，它的性能要比英伟达的尖端A100或H100芯片弱一些。另外，他们还采购了价值40亿美元的英伟达GPU，2024年交付。谁最富有？SemiAnalysis称，按照H100GPU的数量计算，Meta将排名世界第二。那么谁是第一呢？Google。帕特尔和尼什鲍尔指出，这家互联网巨头是“世界上计算资源最丰富的公司”，具有“无与伦比的高效架构”。几年前，Google宣布自己已是一家“AI优先”的公司。很快，它将推出名为“双子座”(Gemini)的下一个AI大模型，并且已经在训练下一个迭代了。OpenAI凭借ChatGPT抢占了先机，但是它要小心Google的追赶。“Google已经觉醒了，他们的迭代速度将碾压GPT-4，今年年底之前的总预训练FLOPS(每秒浮点运算次数)将是GPT-4的五倍。在当前基础设施建设的支撑下，他们明年年底前的算力更是可以达到GPT-4的20倍。不过，至于Google是否有胆量在不削弱其创造力或现有商业模式的情况下公开发布这些模型，那就是另一回事了。”帕特尔和尼什鲍尔在文章中这么说。另外，在“贫”、“富”两组之间还有一个群体，他们一直从英伟达那里购买大量GPU，但却没有赚回他们的钱，例如加拿大AI独角兽Cohere、沙特、阿联酋。...PC版：https://www.cnbeta.com.tw/articles/soft/1380203.htm手机版：https://m.cnbeta.com.tw/view/1380203.htm