美国限制向中东地区出口英伟达的 H100 和 A100 GPU

美国限制向中东地区出口英伟达的 H100 和 A100 GPU 美国限制英伟达向中东地区出口的其旗舰 AI 芯片 H100 和 A100 GPU，原因是为了防止这些芯片转售到中国。美国已经限制英伟达向中国出售 H100 和 A100 GPU，英伟达为此专门开发了降低性能的型号 H800 和 A800。中东的阿联酋和沙特都是英伟达的大客户，而这两个国家同时也与中国关系密切，其中沙特还与中国在 AI 项目上展开合作。美国担心英伟达的 H100 和 A100 GPU 可能会从中东国家转手到中国，或者中国会在中东国家训练 AI 模型然后将技术带回中国。来源 ， 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot

马斯克：训练Grok 3用了10万块英伟达H100 年底上线 会很特别

马斯克：训练Grok 3用了10万块英伟达H100 年底上线 会很特别 这里所说的H100是英伟达开发的图形处理单元，也称为Hopper，是专门用于处理大语言模型（LLMs）数据的AI芯片。随着科技公司竞相开发更智能的AI产品，这些芯片成了硅谷的热门商品。每块英伟达H100人工智能芯片的价格估计在3万美元左右，也有人估计价格高达4万美元，如果批量购买的话可能会有折扣。通过简单计算，单单训练Grok 3就用了价值30亿至40亿美元的人工智能芯片，目前不确定这些芯片是否是马斯克公司直接购买的，此前报道称，马斯克旗下的xAI公司正在与甲骨文谈判，计划在未来几年内花费100亿美元租用云服务器。近年来，马斯克的公司已直接购买了大量的H100芯片。据报道，马斯克曾将原本供特斯拉使用的价值5亿美元的H100芯片转给了X公司。相较于Grok 2，使用10万块H100训练Grok 3无疑是一个巨大的提升。今年4月，马斯克在接受挪威主权基金负责人尼科莱·坦根(Nicolai Tangen)的采访时表示，训练Grok 2需要大约2万块H100。目前，xAI已发布了Grok-1和Grok-1.5版本，最新版本仅对X平台上的早期测试者和现有用户开放。马斯克在周一的帖子中透露，Grok 2计划于今年8月推出，并暗示Grok 3将于年底发布。xAI没有回应置评请求。10万块H100芯片听起来很多，但其他科技巨头，如Meta，也在大量购买GPU芯片。Meta首席执行官马克·扎克伯格（Mark Zuckerberg）今年1月曾表示，到2024年底，Meta将购买约35万块英伟达H100芯片，并表示包括其他类型的GPU在内，Meta将拥有约60万块芯片。如果是这样的话，Meta将为构建自家人工智能能力花掉大约180亿美元。这些芯片的积累也导致了过去一年中顶尖AI人才的招聘竞争变得异常激烈。AI初创公司Perplexity的创始人兼首席执行官阿拉文德·斯里尼瓦斯（Aravind Srinivas）谈到了他试图从Meta挖角一位资深研究人员的经历，但对方因扎克伯格拥有大量AI芯片而拒绝了他的邀请。“我试图聘请一位非常资深的Meta研究员，他们的回答是：‘等你有了1万块H100 GPU再来找我。’”斯里尼瓦斯说。 ... PC版： 手机版：

英伟达 H100 (Hopper ) 首次亮相 MLPerf，测试结果刷新纪录

英伟达 H100 (Hopper ) 首次亮相 MLPerf，测试结果刷新纪录 北京时间 9 月 9 日，MLCommons 社区发布了最新的 MLPerf 2.1 基准测试结果，新一轮基准测试拥有近 5300 个性能结果和 2400 个功耗测量结果，分别比上一轮提升了 1.37 倍和 1.09 倍，MLPerf 的适用范围进一步扩大。 阿里巴巴、华硕、Azure、壁仞科技、戴尔、富士通、技嘉、H3C、HPE、浪潮、英特尔、Krai、联想、Moffett、Nettrix、Neural Magic、英伟达、OctoML、高通、SAPEON 和 Supermicro 均是本轮测试的贡献者。 其中，英伟达表现依然亮眼，首次携 H100 （又名 Hopper）参加 MLPerf 测试，并在所有工作负载中刷新世界纪录。这些测试结果表明，对于那些需要在高级 AI 模型上获得最高性能的用户来说，Hopper 是最优选择。 此外，NVIDIA A100 Tensor Core GPU 和用于 AI 机器人的 NVIDIA Jetson AGX Orin模块在所有 MLPerf 测试中继续表现出整体领先的推理性能，包括图像和语音识别自然语言处理和推荐系统。前文： 来自：雷锋 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot

微软推出 ND H100 v5 虚拟机：采用英伟达 H100 GPU，满足企业 ChatGPT 生成式 AI 需求

微软推出 ND H100 v5 虚拟机：采用英伟达 H100 GPU，满足企业 ChatGPT 生成式 AI 需求 微软于今天宣布加强和英伟达的合作，将 GPU 从此前的 A100 升级到 H100，推出专门针对人工智能开发的全新的虚拟机。 微软表示该虚拟机主要面向需要整合或开发人工智能的企业，配置如下： ▪8 块英伟达 H100 Tensor Core GPU，通过下一代 NVSwitch 和 NVLink 4.0 互连 ▪在非阻塞（non-blocking）的胖树（Fat-Tree）架构网络下，每块 GPU 的 NVIDIA Quantum-2 CX7 InfiniBand 性能可以达到 400 Gb / s，每台虚拟机可以达到 3.2Tb / s。 ▪通过 NVSwitch 和 NVLink 4.0，每台虚拟机内的 8 个本地 GPU 之间的对分带宽为 3.6TB / s。 ▪采用英特尔第 4 代 Xeon Scalable 处理器 ▪使用 PCIe Gen5 连接 GPU，每个 GPU 带宽为 64GB / s ▪16 通道 4800MHz DDR5 DIMM 微软先前在 Azure OpenAI 服务中宣布了 ChatGPT 相关服务，而本次虚拟机是该服务的补充，它允许第三方通过 Azure 访问聊天机器人技术。 来自：雷锋 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot

英特尔推出性能超越英伟达 H100 的 Gaudi 3 AI 加速芯片

英特尔推出性能超越英伟达 H100 的 Gaudi 3 AI 加速芯片 英特尔 Vision 2024 大会的第二天，英特尔正式推出了 Gaudi 3 加速芯片。Gaudi 3 使用台积电 5nm 工艺制造，热设计功耗为 900W ，FP8 精度下的峰值性能为 1835 TFLOPS。英特尔称 Gaudi 3 在 16 个芯片组成的加速集群中以 FP8 精度训练 Llama2-13B 时比性能 H100 高出 1.7 倍。同时，英特尔预计 Gaudi 3 的推理性能将比 H200/H100 提高 1.3 倍到 1.5 倍，能效比将高 2.3 倍。英特尔已经向客户提供了样片，并将在第三季度正式批量交付。

AMD 正式发布 MI300 加速器，性能较英伟达 H100 芯片提高 60%

AMD 正式发布 MI300 加速器，性能较英伟达 H100 芯片提高 60% 在美国加州圣何塞举行的 AI 特别活动中，AMD 宣布正式推出其旗舰 AI GPU 加速器 MI300X，并称其性能比英伟达的 H100 芯片提高了 60%。 据 AMD 介绍，新芯片为性能最高的芯片，拥有超过 1500 亿个晶体管。与英伟达 H100 芯片相比，AMD 新芯片的内存为其 2.4 倍，内存带宽为其 1.6 倍，训练性能与 H100 芯片相当，在运行 AI 模型方面则比英伟达快得多。 、