AMD 正式发布 MI300 加速器，性能较英伟达 H100 芯片提高 60%

AMD 正式发布 MI300 加速器，性能较英伟达 H100 芯片提高 60% 在美国加州圣何塞举行的 AI 特别活动中，AMD 宣布正式推出其旗舰 AI GPU 加速器 MI300X，并称其性能比英伟达的 H100 芯片提高了 60%。 据 AMD 介绍，新芯片为性能最高的芯片，拥有超过 1500 亿个晶体管。与英伟达 H100 芯片相比，AMD 新芯片的内存为其 2.4 倍，内存带宽为其 1.6 倍，训练性能与 H100 芯片相当，在运行 AI 模型方面则比英伟达快得多。 、

美国限制向中东地区出口英伟达的 H100 和 A100 GPU

美国限制向中东地区出口英伟达的 H100 和 A100 GPU 美国限制英伟达向中东地区出口的其旗舰 AI 芯片 H100 和 A100 GPU，原因是为了防止这些芯片转售到中国。美国已经限制英伟达向中国出售 H100 和 A100 GPU，英伟达为此专门开发了降低性能的型号 H800 和 A800。中东的阿联酋和沙特都是英伟达的大客户，而这两个国家同时也与中国关系密切，其中沙特还与中国在 AI 项目上展开合作。美国担心英伟达的 H100 和 A100 GPU 可能会从中东国家转手到中国，或者中国会在中东国家训练 AI 模型然后将技术带回中国。来源 ， 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot

英伟达推出新款AI处理器H200

英伟达推出新款AI处理器H200 英伟达升级H100 AI处理器，以巩固在AI计算市场的主导地位。英伟达推出名为H200的新款图形处理器（GPU），具备使用HBM3e高带宽内存的能力，H200集成141 GB内存，在推理或生成问题答案时，性能较H100提高60%-90%。英伟达一度上涨将近1.4%，处于连续第九个交易日上涨之中。 来源：

微软推出 ND H100 v5 虚拟机：采用英伟达 H100 GPU，满足企业 ChatGPT 生成式 AI 需求

微软推出 ND H100 v5 虚拟机：采用英伟达 H100 GPU，满足企业 ChatGPT 生成式 AI 需求 微软于今天宣布加强和英伟达的合作，将 GPU 从此前的 A100 升级到 H100，推出专门针对人工智能开发的全新的虚拟机。 微软表示该虚拟机主要面向需要整合或开发人工智能的企业，配置如下： ▪8 块英伟达 H100 Tensor Core GPU，通过下一代 NVSwitch 和 NVLink 4.0 互连 ▪在非阻塞（non-blocking）的胖树（Fat-Tree）架构网络下，每块 GPU 的 NVIDIA Quantum-2 CX7 InfiniBand 性能可以达到 400 Gb / s，每台虚拟机可以达到 3.2Tb / s。 ▪通过 NVSwitch 和 NVLink 4.0，每台虚拟机内的 8 个本地 GPU 之间的对分带宽为 3.6TB / s。 ▪采用英特尔第 4 代 Xeon Scalable 处理器 ▪使用 PCIe Gen5 连接 GPU，每个 GPU 带宽为 64GB / s ▪16 通道 4800MHz DDR5 DIMM 微软先前在 Azure OpenAI 服务中宣布了 ChatGPT 相关服务，而本次虚拟机是该服务的补充，它允许第三方通过 Azure 访问聊天机器人技术。 来自：雷锋 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot

英伟达发布用于人工智能的“世界上最强大芯片”Blackwell B200 GPU

英伟达发布用于人工智能的“世界上最强大芯片”Blackwell B200 GPU 英伟达的 H100 AI 芯片使其成为价值数万亿美元的公司，其价值可能超过 Alphabet 和亚马逊，而竞争对手一直在奋力追赶。但也许英伟达即将通过新的 Blackwell B200 GPU 和 GB200“超级芯片”扩大其领先地位。该公司在加州圣何塞举行的 GTC 大会上表示，新的 B200 GPU 拥有 2080 亿个晶体管，可提供高达 20petaflops 的 FP4 算力，而 GB200 将两个 GPU 和单个 Grace CPU 结合在一起，可为 LLM 推理工作负载提供30倍的性能，同时还可能大大提高效率。英伟达表示，在具有 1750 亿个参数的 GPT-3 LLM 基准测试中，GB200 的性能是 H100 的7倍，而英伟达称其训练速度是 H100 的4倍。

你见过晶圆大小的芯片吗？这家AI独角兽推新品对标英伟达H100

你见过晶圆大小的芯片吗？这家AI独角兽推新品对标英伟达H100 据悉，该款芯片将4万亿个晶体管组织在90万个核心中。该芯片针对人工智能训练的工作负载进行了优化。Cerebras公司声称，配备了2048个WSE-3芯片的服务器集群可以在一天内训练出市场上最先进的开源语言模型之一Llama 2 70B。替代英伟达Cerebras是一家美国人工智能芯片的独角兽企业，它背后的投资团队也都实力够硬。最新一笔融资是在2021年由Alpha Wave Venture和阿布扎比增长基金领投，融资金额2.5亿美元，其他的投资人士包括：OpenAI创始人山姆·奥特曼、AMD前首席技术官Fred Weber等。2021年，Cerebras公司首次亮相了WSE-2芯片，集成了1.2万亿个晶体管、40万个核心。在同行都在将晶圆分割成数百颗独立芯片之时，Cerebras公司则是选择将整个晶圆做成一颗芯片。而最新发布的WSE-3则是从WSE-2改进而来的。它较WES-2又增加了1.4万亿个晶体管，并拥有90万个计算核心、44GB的板载SRAM内存。强化部分是通过从7纳米制造工艺更新到5纳米节点所实现的。据该公司称，WSE-3在人工智能工作负载方面的性能是其前身的两倍，它的峰值速度可以达到每秒125千万亿次计算。Cerebras还将WSE-3定位为比英伟达显卡更为高效的替代品。根据Cerebras官网的数据，该芯片4万亿个晶体管数完全碾压了英伟达H100 GPU的800亿个；核处理器数是单个英伟达H100 GPU的52倍；片上存储量是H100的880倍。WSE-3芯片为Cerebras公司的CS-3超级计算机提供动力，CS-3可用于训练具有多达24万亿个参数的人工智能模型，对比由WSE-2和其他常规人工智能处理器驱动的超级计算机，这一数据是个重大飞跃。加速数据传输虽说将晶圆大小的芯片和单个英伟达H100 GPU相比较并不公平，不过若从数据传输速度的角度来看，不将晶圆切割成单独的芯片确实有它的优势。根据Cerebras公司的说法，使用单一的大型处理器可以提高人工智能训练工作流程的效率。当WSE-3上的4万亿个晶体管在晶圆上互连时，将会大大加快生成式人工智能的处理时间。人工智能模型就是相对简单的代码片段的集合，这些代码片段被称为人工神经元。这些神经元被重新组织成集合（称为层）。当人工智能模型接收到一个新任务时，它的每一层都会执行任务的一部分，然后将其结果与其他层生成的数据结合起来。由于神经网络太大，无法在单个GPU上运行，因此，这些层需要分布在数百个以上的GPU上，通过频繁地交换数据来协调它们的工作。基于神经网络架构的具体特性，只有获得前一层的全部或部分激活数据，才能在开始分析数据，并提供给下一层。也就意味着，如果这两层的数据运行在不同的GPU上，信息在它们之间传输可能需要很长时间。芯片之间的物理距离越大，数据从一个GPU转移到另一个GPU所需的时间就越长，这会减慢处理速度。而Cerebras的WSE-3有望缩短这一处理时间。如果一个人工智能模型的所有层都在一个处理器上运行，那么数据只需要从芯片的一个角落传输到另一个角落，而不是在两个显卡之间传输。减少数据必须覆盖的距离可以减少传输时间，从而加快处理速度。该公司指出，在如今的服务器集群中，数以万计的GPU被用来处理一个问题，而若是将芯片数量减少50倍以上，就可以降低互连成本以及功效，同时或许也可以解决消耗大量电力的问题。Cerebras联合创始人兼CEO Andrew Feldman称，“当我们八年前开始这一旅程时，每个人都说晶圆级处理器是白日梦…WSE-3是世界上最快的人工智能芯片，专为最新的尖端人工智能工作而打造。”对于新推出地WSE-3芯片，分析公司Intersect360 Research首席执行官Addison Snell认为，Cerebras的WSE-3人工智能芯片和CS-3系统可以使部分高性能计算用户受益。他指出，“该芯片在相同的成本和功率下将性能提高了一倍。”不过，Tirias Research创始人Jim McGregor则较为现实地指出，尽管这家初创公司增长迅速，并且有能力提高其平台的可扩展性，但与占主导地位的人工智能供应商英伟达相比，它仍然是一家规模较小的公司。他还指出，Cerebras专注于人工智能的一个方面，那就是训练，不过训练只是大型语言模型市场的一个利基市场。而英伟达提供了许多其他方面产品。 ... PC版： 手机版：