AI热潮可能导致新一轮GPU短缺 但NVIDIA称目前的问题只存在于封装环节

AI热潮可能导致新一轮GPU短缺但NVIDIA称目前的问题只存在于封装环节人工智能公司最近的声明表明，人工智能热潮正在增加对GPU的需求，以至于一些公司报告出现了短缺。NVIDIA声称其供应链并没有完全无法满足需求，只是遇到了一些小问题，这在一定程度上缓解了人们的担忧。微软、OpenAI和其他公司都提到了他们不得不采取的措施，以缓解NVIDIAH100和A100企业GPU的短缺，这些GPU用于人工智能工作负载。微软正在限制对外服务的次数，Quora的首席执行官则表示硬件短缺掩盖了人工智能应用的真正潜力。埃隆-马斯克（ElonMusk）开玩笑说，企业级GPU目前比毒品还难买。英伟达解释说，通常情况下，GPU的制造问题并不涉及主处理单元，而是附加板上的其他组件。在目前的情况下，问题出在封装上，该公司目前采用台积电的3D堆叠基板上芯片（CoWoS）技术来解决这个问题。NVIDIA承诺，2023年下半年的供应量将大大增加。目前还不清楚这种情况会在多大程度上波及消费级GPU市场，但人工智能的蓬勃发展已经导致NVIDIA将部分生产资源从GeForceRTX4090显卡转向H100。虽然人工智能公司的评论暗示，将注意力转向AMD硬件需要时间，但多产黑客乔治-霍兹（GeorgeHotz）的一篇帖子显示，他的公司comma正在为此购买Radeon7900XTX显卡。NVIDIA目前在人工智能领域占据主导地位，但分析表明，AMD未来肯定能在该领域取得重大进展。该公司在人工智能领域的主要优势在于其在集成了人工智能模块的WindowsPCCPU方面的领先地位。今年早些时候，以前使用GPU挖矿的集团开始尝试将其基础设施转向人工智能工作负载，以便在加密货币寒冬之后收回投资。虽然这种转变可能会让一些人收获颇丰，但由于微软、亚马逊网络服务和OpenAI等大公司的竞争，这种转变可能会比挖矿更具挑战性。...PC版：https://www.cnbeta.com.tw/articles/soft/1375373.htm手机版：https://m.cnbeta.com.tw/view/1375373.htm

特斯拉自研7nm超级芯片 可取代NVIDIA安培GPU

特斯拉自研7nm超级芯片可取代NVIDIA安培GPU特斯拉的自动驾驶技术开发走在前列，无疑，这背后有一套规模庞大的超级计算机用作开发训练平台。日前，特斯拉工程总经理TimZaman分享了特斯拉这套人工智能训练系统的最新规格，一年前配备了5760颗NVIDIAA100GPU，如今增加了1600颗，达到7360，幅度是28%。A100也就是完整的安培大核心，集成80GBHBM2e显存、拥有2TB/s带宽、功耗也是高达400W。按照Zaman的说法，特斯拉这套超算是全球GPU规模第7大的服务器运算平台。当然，马斯克并不满足于从NVIDIA买芯片，实际上特斯拉正在研制Dojo超算，GPU芯片也是自研的D1，台积电7nm工艺。D1是一款半定制ASIC，服务的就是人工智能推理运算训练，单精度浮点性能高达22.6T，集成500亿晶体管，功耗同样高达400W。PC版：https://www.cnbeta.com/articles/soft/1306045.htm手机版：https://m.cnbeta.com/view/1306045.htm

美国 政府限制 NVIDIA、AMD 向中国和俄罗斯出口高端 GPU 芯片，可能影响 AI 等技术发展

美国政府限制NVIDIA、AMD向中国和俄罗斯出口高端GPU芯片，可能影响AI等技术发展NVIDIA已暂停数据中心GPU卡A100和H100对中国区的发货，其它GPU卡不受影响。AMD方面已暂停所有数据中心GPU卡MI100和MI200对中国区的发货；向中国出口MI250芯片同样被限制。http://www.icsmart.cn/55878/https://amp.dw.com/zh/a-62987820https://investor.nvidia.com/financial-info/sec-filings/sec-filings-details/default.aspx?FilingId=16057737

NVIDIA“最强AI芯片”Blackwell B200 GPU令业内惊呼新的摩尔定律诞生

NVIDIA“最强AI芯片”BlackwellB200GPU令业内惊呼新的摩尔定律诞生在GTC直播中，黄仁勋左手举着B200GPU，右手举着H100此外，将两个B200GPU与单个GraceCPU结合在一起的GB200，可以为LLM推理工作负载提供30倍的性能，并且显著提高效率。黄仁勋还强调称：“与H100相比，GB200的成本和能耗降低了25倍！关于市场近期颇为关注的能源消耗问题，B200GPU也交出了最新的答卷。黄仁勋表示，此前训练一个1.8万亿参数模型，需要8000个HopperGPU并消耗15MW电力。但如今，2000个BlackwellGPU就可以实现这一目标，耗电量仅为4MW。在拥有1750亿参数的GPT-3大模型基准测试中，GB200的性能是H100的7倍，训练速度是H100的4倍。值得一提的是，B200GPU的重要进步之一，是采用了第二代Transformer引擎。它通过对每个神经元使用4位（20petaflopsFP4）而不是8位，直接将计算能力、带宽和模型参数规模翻了一倍。而只有当这些大量的GPU连接在一起时，第二个重要区别才会显现，那就是新一代NVLink交换机可以让576个GPU相互通信，双向带宽高达1.8TB/秒。而这就需要英伟达构建一个全新的网络交换芯片，其中包括500亿个晶体管和一些自己的板载计算：拥有3.6teraflopsFP8处理能力。在此之前，仅16个GPU组成的集群，就会耗费60%的时间用于相互通信，只有40%的时间能用于实际计算。一石激起千层浪，“最强AI芯片”的推出让网友纷纷赞叹。其中英伟达高级科学家JimFan直呼：Blackwell新王诞生，新的摩尔定律已经应运而生。DGXGrace-BlackwellGB200：单个机架的计算能力超过1Exaflop。黄仁勋交付给OpenAI的第一台DGX是0.17Petaflops。GPT-4的1.8T参数可在2000个Blackwell上完成90天的训练。还有网友感叹：1000倍成就达成！Blackwell标志着在短短8年内，NVIDIAAI芯片的计算能力实现了提升1000倍的历史性成就。2016年，“Pascal”芯片的计算能力仅为19teraflops，而今天Blackwell的计算能力已经达到了20000teraflops。相关文章:全程回顾黄仁勋GTC演讲：Blackwell架构B200芯片登场英伟达扩大与中国车企合作为比亚迪提供下一代车载芯片英伟达进军机器人领域发布世界首款人形机器人通用基础模型台积电、新思科技首次采用NVIDIA计算光刻平台：最快加速60倍NVIDIA共享虚拟现实环境技术将应用于苹果VisionPro黄仁勋GTC演讲全文：最强AI芯片Blackwell问世推理能力提升30倍...PC版：https://www.cnbeta.com.tw/articles/soft/1424217.htm手机版：https://m.cnbeta.com.tw/view/1424217.htm

Nvidia将推出一款新的必备人工智能芯片-H200

Nvidia正在推出一款用于人工智能工作的新一代顶级芯片，即HGXH200。这款新的GPU在广受需求的H100的基础上进行了升级，内存带宽提升了1.4倍，内存容量提升了1.8倍，提高了处理密集生成式人工智能工作的能力。重要的问题是公司是否能够获得这些新芯片，或者它们是否会像H100一样供应不足，对此Nvidia并没有确切的答案。首批H200芯片将于2024年第二季度发布，Nvidia表示正在与“全球系统制造商和云服务提供商”合作，以使其可用。H200在外观上与H100基本相同，除了内存方面有所改变。但是对内存的改变使其升级更有意义。新的GPU是第一个使用名为HBM3e的新型更快内存规格的GPU。这使得GPU的内存带宽从H100的每秒3.35TB提升到每秒4.8TB，并且总内存容量从80GB增加到141GB。H200也被设计为与已经支持H100s的系统兼容。Nvidia表示，云服务提供商在添加H200时不需要进行任何更改。亚马逊、谷歌、微软和甲骨文等云计算服务提供商将是明年首批提供新型GPU的公司。标签:#Nvidia#英伟达频道:@GodlyNews1投稿:@GodlyNewsBot

大型科技公司需求旺盛 NVIDIA在2023年第三季度售出了50万颗AI GPU

大型科技公司需求旺盛NVIDIA在2023年第三季度售出了50万颗AIGPU这样的销量在业界是非常可观的，也让NVIDIA在市场上稳稳占据了主导地位。照此趋势，NVIDIA的计划在2024年销售数百万块GPU似乎是可以实现的。Omdia还细分了哪些公司在此期间实际收购了NVIDIA的AIGPU，看起来Meta和微软位居榜首，他们购得了NVIDIA目前的150000颗AIGPU。两家公司在技术上都充分参与了生成式AI竞赛，特别是在将以AI为中心的功能集成到主流应用程序方面，这就是为什么这些公司渴望“计算能力”，而NVIDIA则可以实现这一目标。其他值得注意的公司包括Google、甲骨文和腾讯等公司，它们正在各自的CSP部门使用NVIDIA的AIGPU。NVIDIA还获得了相当大的来自中国市场的订单份额，约占该公司2023年第三季度订单的30%，这表明满足该地区客户群的重要性。然而，随着美国新政策的出台，NVIDIA履行订单变得困难，主要是因为该公司受到了一系列新的出口限制。尽管英伟达正在寻找解决办法，但预计该公司来自中国市场的收入可能会下降。Omdia的分析称，NVIDIA预计2024年将表现强劲，季度销售额甚至可能进一步增长，因为H100/A100的需求正在迅速增长，订单已超过52周的交货时间。就连台积电也表示，NVIDIA有可能成为2024年全球最大芯片公司。预计到2027年，服务器行业的收入将达到2000亿美元左右，NVIDIA已准备好充分利用不断增长的市场，该公司已经披露了计划采用下一代半导体工艺、内存标准以及软件资源。...PC版：https://www.cnbeta.com.tw/articles/soft/1400643.htm手机版：https://m.cnbeta.com.tw/view/1400643.htm