NVIDIA“最强AI芯片”Blackwell B200 GPU令业内惊呼新的摩尔定律诞生

NVIDIA“最强AI芯片”Blackwell B200 GPU令业内惊呼新的摩尔定律诞生 在GTC直播中，黄仁勋左手举着 B200 GPU，右手举着 H100此外，将两个B200 GPU与单个Grace CPU 结合在一起的 GB200，可以为LLM推理工作负载提供30倍的性能，并且显著提高效率。黄仁勋还强调称：“与H100相比，GB200的成本和能耗降低了25倍！关于市场近期颇为关注的能源消耗问题，B200 GPU也交出了最新的答卷。黄仁勋表示，此前训练一个1.8 万亿参数模型，需要8000 个 Hopper GPU 并消耗15 MW电力。但如今，2000 个 Blackwell GPU就可以实现这一目标，耗电量仅为4MW。在拥有1750亿参数的GPT-3大模型基准测试中，GB200的性能是H100的7倍，训练速度是H100的4倍。值得一提的是，B200 GPU的重要进步之一，是采用了第二代Transformer引擎。它通过对每个神经元使用4位（20 petaflops FP4）而不是8位，直接将计算能力、带宽和模型参数规模翻了一倍。而只有当这些大量的GPU连接在一起时，第二个重要区别才会显现，那就是新一代NVLink交换机可以让576个GPU相互通信，双向带宽高达1.8TB/秒。而这就需要英伟达构建一个全新的网络交换芯片，其中包括500亿个晶体管和一些自己的板载计算：拥有3.6 teraflops FP8处理能力。在此之前，仅16个GPU组成的集群，就会耗费60%的时间用于相互通信，只有40%的时间能用于实际计算。一石激起千层浪，“最强AI芯片”的推出让网友纷纷赞叹。其中英伟达高级科学家Jim Fan直呼：Blackwell新王诞生，新的摩尔定律已经应运而生。DGX Grace-Blackwell GB200：单个机架的计算能力超过1 Exaflop。黄仁勋交付给OpenAI的第一台DGX是0.17 Petaflops。GPT-4的1.8T参数可在2000个Blackwell上完成90天的训练。还有网友感叹：1000倍成就达成！Blackwell标志着在短短8年内，NVIDIA AI 芯片的计算能力实现了提升1000倍的历史性成就。2016 年，“Pascal”芯片的计算能力仅为19 teraflops，而今天Blackwell的计算能力已经达到了 20000 teraflops。相关文章:全程回顾黄仁勋GTC演讲：Blackwell架构B200芯片登场英伟达扩大与中国车企合作 为比亚迪提供下一代车载芯片英伟达进军机器人领域 发布世界首款人形机器人通用基础模型台积电、新思科技首次采用NVIDIA计算光刻平台：最快加速60倍NVIDIA共享虚拟现实环境技术将应用于苹果Vision Pro黄仁勋GTC演讲全文：最强AI芯片Blackwell问世 推理能力提升30倍 ... PC版： 手机版：

英伟达发布用于AI的"世界上最强大芯片"Blackwell B200 GPU

英伟达发布用于AI的"世界上最强大芯片"Blackwell B200 GPU NVIDIA 首席执行官黄仁勋在 GTC 现场直播中举起他的新 GPU（左边），右边是 H100。NVIDIA 表示，新的 B200 GPU 拥有 2080 亿个晶体管，可提供高达 20petaflops 的 FP4 算力，而 GB200 将两个 GPU 和一个 Grace CPU 结合在一起，可为 LLM 推理工作负载提供 30 倍的性能，同时还可能大大提高效率。NVIDIA 表示，与 H100 相比，它的成本和能耗"最多可降低 25 倍"。NVIDIA 声称，训练一个 1.8 万亿个参数的模型以前需要 8000 个 Hopper GPU 和 15 兆瓦的电力。如今，NVIDIA 首席执行官表示，2000 个 Blackwell GPU 就能完成这项工作，耗电量仅为 4 兆瓦。NVIDIA 表示，在具有 1750 亿个参数的 GPT-3 LLM 基准测试中，GB200 的性能是 H100 的 7 倍，而 NVIDIA 称其训练速度是 H100 的 4 倍。这就是 GB200 的样子。两个 GPU、一个 CPU、一块电路板NVIDIA 介绍说，其中一项关键改进是采用了第二代变压器引擎，通过为每个神经元使用四个比特而不是八个比特，将计算能力、带宽和模型大小提高了一倍（前面提到的 FP4 的 20 petaflops）。第二个关键区别只有在连接大量 GPU 时才会出现：新一代 NVLink 交换机可让 576 个 GPU 相互连接，双向带宽达到每秒 1.8 TB。这就要求 NVIDIA 打造一个全新的网络交换芯片，其中包含 500 亿个晶体管和一些自己的板载计算：NVIDIA 表示，该芯片拥有 3.6 teraflops 的 FP8 处理能力。NVIDIA 表示将通过 Blackwell 增加 FP4 和 FP6NVIDIA 表示，在此之前，由 16 个 GPU 组成的集群有 60% 的时间用于相互通信，只有 40% 的时间用于实际计算。当然，NVIDIA 还指望企业大量购买这些 GPU，并将它们包装成更大的设计，比如 GB200 NVL72，它将 36 个 CPU 和 72 个 GPU 集成到一个液冷机架中，可实现总计 720 petaflops 的 AI 训练性能或 1440 petaflops（又称 1.4exaflops）的推理性能。它内部有近两英里长的电缆，共有 5000 条独立电缆。GB200 NVL72机架上的每个托盘包含两个 GB200 芯片或两个 NVLink 交换机，每个机架有 18 个前者和 9 个后者。NVIDIA 称，其中一个机架总共可支持 27 万亿个参数模型。据传，GPT-4 的参数模型约为 1.7 万亿。该公司表示，亚马逊、Google、微软和甲骨文都已计划在其云服务产品中提供 NVL72 机架，但不清楚它们将购买多少。当然，NVIDIA 也乐于为公司提供其他解决方案。下面是用于 DGX GB200 的 DGX Superpod，它将八个系统合而为一，总共拥有 288 个 CPU、576 个 GPU、240TB 内存和 11.5 exaflops 的 FP4 计算能力。NVIDIA 称，其系统可扩展至数万 GB200 超级芯片，并通过其新型 Quantum-X800 InfiniBand（最多 144 个连接）或 Spectrum-X800 以太网（最多 64 个连接）与 800Gbps 网络连接在一起。我们预计今天不会听到任何关于新游戏 GPU 的消息，因为这一消息是在 NVIDIA 的 GPU 技术大会上发布的，而该大会通常几乎完全专注于 GPU 计算和人工智能，而不是游戏。不过，Blackwell GPU 架构很可能也会为未来的 RTX 50 系列桌面显卡提供算力。 ... PC版： 手机版：

英伟达发布用于人工智能的“世界上最强大芯片”Blackwell B200 GPU

英伟达发布用于人工智能的“世界上最强大芯片”Blackwell B200 GPU 英伟达的 H100 AI 芯片使其成为价值数万亿美元的公司，其价值可能超过 Alphabet 和亚马逊，而竞争对手一直在奋力追赶。但也许英伟达即将通过新的 Blackwell B200 GPU 和 GB200“超级芯片”扩大其领先地位。该公司在加州圣何塞举行的 GTC 大会上表示，新的 B200 GPU 拥有 2080 亿个晶体管，可提供高达 20petaflops 的 FP4 算力，而 GB200 将两个 GPU 和单个 Grace CPU 结合在一起，可为 LLM 推理工作负载提供30倍的性能，同时还可能大大提高效率。英伟达表示，在具有 1750 亿个参数的 GPT-3 LLM 基准测试中，GB200 的性能是 H100 的7倍，而英伟达称其训练速度是 H100 的4倍。

在 GTC 上，微软公司和英伟达通过强大的新集成扩展了长期合作，这些集成在 Microsoft Azure、Azure AI 服

在 GTC 上，微软公司和英伟达通过强大的新集成扩展了长期合作，这些集成在 Microsoft Azure、Azure AI 服务、Microsoft Fabric 和 Microsoft 365 中利用了最新的 NVIDIA 生成式 AI 和 Omnivers 技术。 微软将成为首批将 NVIDIA Grace Blackwell GB200 和先进的 NVIDIA Quantum-X800 InfiniBand 网络的强大功能引入 Azure 的组织之一，为自然语言处理、计算机视觉、语音识别等提供尖端的万亿参数基础模型。 NVIDIA GPU 和 NVIDIA Triton Inference Serve 有助于 Microsoft Copilot for Microsoft 365 中提供 AI 推理预测。Copilot for Microsoft 365 即将作为 Windows 11 PC 上的专用物理键盘按键提供，它将大型语言模型的强大功能与专有企业数据相结合，提供实时情境化智能，使用户能够提高他们的创造力、生产力和技能。 via 匿名 标签: #微软 #英伟达 频道: @GodlyNews1 投稿: @GodlyNewsBot

Azure AI 入门 （三）摩尔定律，GPU与并行计算

Azure AI 入门 （三）摩尔定律，GPU与并行计算 摩尔定律(图一）是英特尔Intel创始人之一戈登·摩尔的经验之谈，其核心内容为：集成电路IC相同面积上可以容纳的晶体管Transistor数目在18个月到24个月便会增加一倍，因此处理器的性能大约每两年翻一倍，同时价格下降为之前的一半。 虽然名为“定律”，但其只是根据20世纪中后期的发展趋势归纳而成。进入21世纪以后，以英特尔为代表的中央处理器CPU的发展趋势渐渐慢于摩尔的预测的。仅依靠单颗处理器的速度提升已无法满足日渐复杂的计算任务，比如3维图形的渲染（3D rendering)。 因此，英伟达Nvidia在1999年提出了硬件图形处理器（Graphics Processing Unit)的概念，以大量的只能完成某些特殊任务的微处理器，代替少量的通用处理器。软件方面，并行计算也从专业科学领域逐渐向大众领域流行。用一个可能不是最恰当的比方，CPU像是由4位特级厨师组成的小组，可以完成任何烹饪任务，而GPU像是用同样工资请来的128位三明治店的员工。GPU不能做很多事，像完成一些特定的菜，但如果任务是制作2000人份的三明治，GPU一定可以依靠并行计算比CPU完成得快许多。 GPU与并行计算的普及，也使得云计算成为了可能。计算机科学家在设计计算任务时通常会首先考虑能否将大任务拆分成能同时进行的更小任务，从而可以同时运行在服务商提供的大量数目的CPU和GPU上。 图二 英伟达创始人黄仁勋 Jensen Huang

黄仁勋剧透下一代GPU芯片 新演讲又把摩尔定律按在地上摩擦

黄仁勋剧透下一代GPU芯片 新演讲又把摩尔定律按在地上摩擦 好好好，像做iPhone一样造芯片。到这一代Blackwell为止，英伟达已经把AI模型有效扩展到万亿参数。（还给token定了个译名：词元）。1.8万亿参数GPT4的训练能耗，8年降低至原来的1/350。推理能耗，8年降低至原来的1/45000。看着这一波亮相和剧透，网友真相了：英伟达没有竞争对手，而是选择将摩尔定律放在地上摩擦……老黄是在书写自己的定律。所以应该叫老黄定律？还是英伟达定律？ComputeX前夜，老黄一开场就展开了一波隐形卖货，他自称不太准确的“CEO数学”：买得越多，省得越多……The more you buy, the more you save.经典语录依然引发现场欢呼大笑：虽然不太准确，但好像有些道理……除此之外，还有一些新产品亮相，包括能够模拟气冲的天气预测模型CorriDiff、数字人微服务、BlackWell系统、Spectrum-X、机器人平台Isaac……好了话不多说，这就来看看老黄这次到底搞了哪些事情“AI Factory Is generating”谈到当前新的产业革命，老黄表示：新的计算时代正在开始；而AI Factory正在诞生。他在现场展示了BlackWell系统。3月份GTC大会上还遮遮掩掩地说是GPT-MoE-1.8T模型，这下彻底摊牌了：GPT-4参数就是1.8T。跟DGX Hopper相比。现场还看到了它的真身，大概有两米那么高吧…而真正的AI Factory大概会长这样，大概有32000GPU。AI加速每个应用程序AI对于企业的影响，老黄认为AI加速每一个应用程序。他首先谈到了NIM推理微服务，这是一个帮助开发者或者企业轻松构建AI应用，简化大模型部署程序。不管是聊天机器人、还是生活/驾驶助手等，部署时间都能从几周缩短到几分钟。运行Meta Llama 3-8B的NIM可以产生比不使用NIM多3倍的tokens。企业和开发者可以使用NIM运行生成文本、图像、视频、语音和数字人类的应用程序。而背后源于丰富的技术合作生态近200家技术合作伙伴，包括Cadence、Cloudera、Cohesity、DataStax、NetApp、Scale AI和Synopsys等，正在将NIM集成到他们的平台中。此次在这个NIM中还有上新，也就是ACE 生成式AI微服务，数字人AI技术套件。除了原有自动语音识别、文本到语音的转换和翻译、Nemotron语言模型、 Audio2Face等套件，还增加了两个技术：一个是可以基于音轨生成身体姿势Audio2Gesture；一个Nemotron-3 4.5B，这是英伟达首款SLM（小爱语言模型），专为低延迟端侧设备而生。∂接下来，这一数字人微服务将部署在一亿台RTX AI PC上面。当前英伟达在新的合作伙伴，比如华硕、MSI的加入下，已经拥有超过200种RTX AI PC型号。还推出了RTX AI Toolkit，一个工具和SDK集合，帮助Windows开发者定制优化本地部署模型。同Mac相比，部署了RTX的Windows的Stable Diffusion推理速度是Mac的7倍。每一台带有RTX的PC，都是一台RTX AIPC。用于机器人开发的技术平台Isaac这次一同亮相的，还有用于机器人开发的技术平台，NVIDIA Isaac。为啥搞这玩意儿呢，老黄给出的理由是这样的：机器人时代已经到来。有朝一日，所有会移动的东西，都将实现自主化。这个Isaac平台具体长啥样呢？Isaac平台提供一系列英伟达加速库、AI基础模型和仿真技术，供机器人制造商集成到自己的技术栈中。注意，平台是模块化的，允许公司单独或一起采用多种技术。具体而言，其中包括：NVIDIA Isaac ROS：一系列模块化的ROS 2包，为ROS社区开发者带来NVIDIA加速和AI模型NVIDIA Isaac Perceptor：一个参考工作流程，提供基于AI的自主移动机器人的多摄像头3D环视能力NVIDIA Isaac Manipulator：一个简化AI启用机械臂开发的参考工作流程NVIDIA Isaac Sim：一款参考应用程序，用于在基于NVIDIA Omniverse平台的物理环境中模拟、测试和验证机器人，并生成合成数据NVIDIA Isaac Lab：Isaac Sim中的参考应用程序，针对AI机器人基础模型训练的强化、模仿和迁移学习进行了优化据介绍，目前，包括比亚迪电子、西门子、泰瑞达机器人和Intrinsic（Alphabet的子公司）在内，全球超多名列前茅的机器人开发团队，都在采用Isaac平台。这些团队用上Isaac，一边提高制造工厂、仓库和配送中心的效率，同时确保人类同事的安全；一边也能充当重复劳动和超精确任务的执行者。现场放出了很多demo，很多工厂在英伟达Omniverse里建造了一个完全模拟现实的自助工厂，以及基于Isaac平台开发的AI机器人。官网悄悄推出游戏Agent助手除了现场老黄亲自发布的上述内容外，我们在英伟达官网还找到了一个彩蛋，一个巨久远的call back。Project G-Assist。时间回到2017年愚人节，英伟达官网开了个大玩笑：宣称自家发布了一款支持10080款游戏的USB人工智能超算卡GeForce GTX G-Assist。重点在于它很AI。GeForce GTX G-Assist像是个AI游戏助手，可以帮助玩家自动完成游戏操作，甚至代打击败Boss。今天，英伟达真的将这个愚人节玩笑变为现实英伟达官网上线Project G-Assist，一套工具和模型的集合而成的AI Agent系统，供游戏和应用程序开发者使用。通过前后剧情，Project G-Assist利用大模型对游戏输出响应，能够检查游戏性能和系统设置，建议用户优化以充分利用可用硬件，或者适当升级角色。玩家这边呢，还可以通过Project G-Assist找到最好的武器，也可以查询到最牛的攻略，然后就可以或制作武器材料，或一路杀怪通关。总而言之，Project G-Assist可以让人有个Agent外挂，但是不会让你完全挂机，官网还贴心表示：G-Assist 项目不会像我们在2017年愚人节预言视频中那样完全替代您玩游戏，但它可以帮助您从您最喜欢的游戏中获得更多收益。游戏体验再上大分！据介绍，Project G-Assist支持各种模态的输入。可以是来自玩家的文本提示，或声音指令；可以是屏幕上显示框架的上下文；可以是来自应用程序或系统本身的API。△演示人员语音输入中这些数据都通过连接了游戏知识数据库的大模型处理，然后使用RAG（检索增强生成）生成和用户相关的查询结果没错，Project G-Assist允许玩家使用PC或云端RTX AI驱动的知识库。Project G-Assist开发工具将出现在即将推出的RTX AI开发套件中，具体会用在哪些游戏上，还需要游戏开发商来决定并提供支持。为了让大家更好地使用Project G-Assist，英伟达贴心地附上视频教学大礼包，需要可自取。One More Thing整场发布会，老黄还整了不少活儿。比如AI老黄似乎已经成了发布会常客。在介绍天气预测模型时，他坦白承认在视频中那么流利讲普通话的那位是AI生成的，因为自己中文不太好。而本场重磅的BlackWell系统、AI Factory的核心构成，也被他各种搬来搬去……除了下一代GPU取名Rubin，我们还看到 Vera CPU，他们共同出现在新的Vera Rubin加速器上。而这一名称来源，实际上是来自美国一位女天文学家Vera Rubin，她是研究暗物质先驱。以及，COMPUTEX 2024不愧是6月开头就炸场的AI终端大戏。除了黄院士外，英特尔、AMD、高通等老板都悉数到场，接下来几天会挨个发表演讲。这些主题演讲，绝大部分都跟AIPC有关。大家一起蹲一蹲吧～ ... PC版： 手机版：