AI芯片供应问题有所缓解 一些公司已开始转售英伟达H100 GPU

AI芯片供应问题有所缓解 一些公司已开始转售英伟达H100 GPU 该报道还称，尽管芯片可用性提高，交货期显著缩短，但仍供不应求，尤其是对于那些培训自家大语言模型的公司，如OpenAI。AI处理器短缺的缓解，在一定程度上是由于AWS等云服务提供商让租用英伟达H100 GPU变得更容易。这导致了对AI芯片的需求和等待时间的减少。尽管H100的可用性总体上有所改善，但对于开发自家大语言模型的公司，仍在为供应紧张而苦苦挣扎。这主要是因为它们需要数万乃至数十万个GPU，一些公司在获得所需的处理器或容量方面面临着数月的延误。为此，英伟达H100和其他处理器的价格并没有下降，继续享受着高利润率。英伟达AI处理器可用性的提高也导致了买家行为的转变。一些公司在购买或租赁时变得更加注重价格和选择性，并专注于其业务的经济可行性。此外，再加上替代方案在性能和软件支持方面的不断完善，如AMD或AWS的处理器，市场可能会迎来更加平衡的局面。但不管怎样，当前AI芯片的需求依然强劲。随着大语言模型变得更大，对计算性能的需求也越来越高，这也促使OpenAI CEO山姆·奥特曼（Sam Altman）正试图筹集大量资金，以建造更多的晶圆厂来生产AI处理器。 ... PC版： 手机版：

美国限制向中东地区出口英伟达的 H100 和 A100 GPU

美国限制向中东地区出口英伟达的 H100 和 A100 GPU 美国限制英伟达向中东地区出口的其旗舰 AI 芯片 H100 和 A100 GPU，原因是为了防止这些芯片转售到中国。美国已经限制英伟达向中国出售 H100 和 A100 GPU，英伟达为此专门开发了降低性能的型号 H800 和 A800。中东的阿联酋和沙特都是英伟达的大客户，而这两个国家同时也与中国关系密切，其中沙特还与中国在 AI 项目上展开合作。美国担心英伟达的 H100 和 A100 GPU 可能会从中东国家转手到中国，或者中国会在中东国家训练 AI 模型然后将技术带回中国。来源 ， 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot

微软推出 ND H100 v5 虚拟机：采用英伟达 H100 GPU，满足企业 ChatGPT 生成式 AI 需求

微软推出 ND H100 v5 虚拟机：采用英伟达 H100 GPU，满足企业 ChatGPT 生成式 AI 需求 微软于今天宣布加强和英伟达的合作，将 GPU 从此前的 A100 升级到 H100，推出专门针对人工智能开发的全新的虚拟机。 微软表示该虚拟机主要面向需要整合或开发人工智能的企业，配置如下： ▪8 块英伟达 H100 Tensor Core GPU，通过下一代 NVSwitch 和 NVLink 4.0 互连 ▪在非阻塞（non-blocking）的胖树（Fat-Tree）架构网络下，每块 GPU 的 NVIDIA Quantum-2 CX7 InfiniBand 性能可以达到 400 Gb / s，每台虚拟机可以达到 3.2Tb / s。 ▪通过 NVSwitch 和 NVLink 4.0，每台虚拟机内的 8 个本地 GPU 之间的对分带宽为 3.6TB / s。 ▪采用英特尔第 4 代 Xeon Scalable 处理器 ▪使用 PCIe Gen5 连接 GPU，每个 GPU 带宽为 64GB / s ▪16 通道 4800MHz DDR5 DIMM 微软先前在 Azure OpenAI 服务中宣布了 ChatGPT 相关服务，而本次虚拟机是该服务的补充，它允许第三方通过 Azure 访问聊天机器人技术。 来自：雷锋 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot

英特尔推出性能超越英伟达 H100 的 Gaudi 3 AI 加速芯片

英特尔推出性能超越英伟达 H100 的 Gaudi 3 AI 加速芯片 英特尔 Vision 2024 大会的第二天，英特尔正式推出了 Gaudi 3 加速芯片。Gaudi 3 使用台积电 5nm 工艺制造，热设计功耗为 900W ，FP8 精度下的峰值性能为 1835 TFLOPS。英特尔称 Gaudi 3 在 16 个芯片组成的加速集群中以 FP8 精度训练 Llama2-13B 时比性能 H100 高出 1.7 倍。同时，英特尔预计 Gaudi 3 的推理性能将比 H200/H100 提高 1.3 倍到 1.5 倍，能效比将高 2.3 倍。英特尔已经向客户提供了样片，并将在第三季度正式批量交付。

英伟达的H100都卖给了谁？

英伟达的H100都卖给了谁？ •Meta：150000 •微软：150000 •谷歌、亚马逊、甲骨文、腾讯：50000 •CoreWeave：40000 •百度：30000 •阿里巴巴：25000 •字节跳动：20000 •Lambda：20000 •特斯拉：15000 ​​​ #图片 频道：@kejiqu 群组：@kejiquchat