英伟达掌握AI时代“摩尔定律” 会加大中美AI公司差距么？

英伟达掌握AI时代“摩尔定律” 会加大中美AI公司差距么？ 作为GTC大会的核心，英伟达发布了Blackwell GPU，它分为B200和GB200系列，后者集成了1个Grace CPU和2个B200 GPU。NVIDIA GB200 NVL72大型机架系统使用GB200芯片，搭配NVIDIA BlueField-3数据处理单元、第五代NVLink互联等技术，对比相同数量H100 Tensor核心的系统，在推理上有高达30倍的性能提升，并将成本和能耗降低了25倍。在AI应用方面，英伟达推出Project GR00T机器人基础模型及Isaac机器人平台的重要更新。英伟达展示其AI芯片的算力在过去8年里实现了1000倍的增长，这代表AI时代的摩尔定律（算力快速增长，算力成本快速下降）正在形成。01实现10万亿参数AI模型的训练和实时推理在GTC大会上，英伟达不仅发布了算力方面的更新，也介绍了其在应用方面的进展。1.更强的训练算力，更快、成本更低的推理Blackwell不仅是一块芯片，也是一个平台。英伟达的目标是让规模达到10万亿参数的AI模型可以轻松训练和实时推理。它最小的单元是B200，内置2080亿个晶体管，使用定制的4NP TSMC工艺制造，采用Chiplet架构，两个GPU dies通过每秒10TB的芯片到芯片链接连接成一个统一的GPU。GB200超级芯片则将两个B200 Tensor核心GPU通过每秒900GB的超低功耗NVLink芯片到芯片互连技术与NVIDIA Grace CPU连接。再往上一层，则是NVIDIA GB200 NVL72，这是一个多节点、液冷的机架系统，它内含36个Grace Blackwell超级芯片，包括72个Blackwell GPU和36个Grace CPU，在NVIDIA BlueField-3数据处理单元的支持下，它能实现云网络加速、可组合存储、零信任安全性以及在超大规模AI云中的GPU计算弹性。这个系统可以被作为"单个GPU"工作，这时它能提供1.4 exaflops的AI性能和30TB的快速内存。据称，一个GB200 NVL72就最高支持27万亿参数的模型。最大规模的系统则是DGX SuperPOD，NVIDIA GB200 NVL72是DGX SuperPOD的构建单元，这些系统通过NVIDIA Quantum InfiniBand网络连接，可扩展到数万个GB200超级芯片。此外，NVIDIA还提供HGX B200服务器板，通过NVLink将八个B200 GPU连接起来，支持基于x86的生成式AI平台。HGX B200通过NVIDIA Quantum-2 InfiniBand和Spectrum-X以太网网络平台支持高达400Gb/s的网络速度。GB200还将在NVIDIA DGX云上提供给客户，这是一个与AWS、Google云和甲骨文云等领先的云服务提供商共同设计的AI平台，为企业开发者提供专用访问权限，以构建和部署先进的生成式AI模型所需的基础设施和软件。英伟达以实际的模型训练为例，训练一个GPT-MoE-1.8T模型（疑似指GPT-4），此前使用Hopper系列芯片需要8000块GPU训练90天，现在使用GB200训练同样的模型，只需要2000块GPU，能耗也只有之前的四分之一。由GB200组成的系统，相比相同数量的NVIDIA H100 Tensor核心GPU组成的系统，推理性能提升30倍，成本和能耗降低25倍。在背后支持这些AI芯片和AI算力系统的是一系列新技术，包括提升性能的第二代Transformer引擎（支持双倍的计算和模型大小）、第五代NVLink（提供了每个GPU1.8TB/s的双向吞吐量）；提升可靠性的RAS引擎（使AI算力系统能够连续运行数周甚至数月）；以及安全AI（保护AI模型和客户数据）等。在软件方面，Blackwell产品组合得到NVIDIA AI Enterprise的支持，这是一个端到端的企业级AI操作系统。NVIDIA AI Enterprise包括NVIDIA NIM推理微服务，以及企业可以在NVIDIA加速的云、数据中心和工作站上部署的AI框架、库和工具。NIM推理微服务可对来自英伟达及合作伙伴的数十个AI模型进行优化推理。综合英伟达在算力方面的创新，我们看到它在AI模型训练和推理方面的显著进步。在AI的模型训练方面，更强的芯片和更先进的芯片间通讯技术，让英伟达的算力基础设施能够以相对较低的成本训练更大的模型。GPT-4V和Sora代表了生成式AI的未来，即多模态模型和包括视频在内的视觉大模型，英伟达的进步让规模更大、更多模态和更先进的模型成为可能。在AI推理方面，目前越来越大的模型规模和越来越高的实时性要求，对于推理算力的挑战十分严苛。英伟达的AI算力系统推理性能提升30倍，成本和能耗降低25倍。不仅让大型模型的实时推理成为可能，而且解决了以往的并不算优秀的能效和成本问题。2.着重发力具身智能英伟达在GTC大会上公布了一系列应用方面的新成果，例如生物医疗、工业元宇宙、机器人、汽车等领域。其中机器人（具身智能）是它着重发力的方向。它推出了针对仿生机器人的Project GR00T基础模型及Isaac机器人平台的重要更新。Project GR00T是面向仿生机器人的通用多模态基础模型，充当机器人的“大脑”，使它们能够学习解决各种任务的技能。Isaac机器人平台为开发者提供新型机器人训练模拟器、Jetson Thor机器人计算机、生成式AI基础模型，以及CUDA加速的感知与操控库Isaac机器人平台的客户包括1X、Agility Robotics、Apptronik、Boston Dynamics、Figure AI和XPENG Robotics等领先的仿生机器人公司。英伟达也涉足了工业机器人和物流机器人。Isaac Manipulator为机械臂提供了最先进的灵巧性和模块化AI能力。它在路径规划上提供了高达80倍的加速，并通过Zero Shot感知（代表成功率和可靠性）提高了效率和吞吐量。其早期生态系统合作伙伴包括安川电机、PickNik Robotics、Solomon、READY Robotics和Franka Robotics。Isaac Perceptor提供了多摄像头、3D环绕视觉能力，这些能力对于自动搬运机器人特别有用，它帮助ArcBest、比亚迪等在物料处理操作等方面实现新的自动化水平。02英伟达算力井喷后，对创业公司有何影响？在发展方式上，英伟达与OpenAI等公司有明显的不同。OpenAI以及Anthropic、Meta等公司是以AI模型为核心，然后运营平台和生态；英伟达则以算力为核心，并拓展到软件平台和AI的相关应用。并且在应用方面，它并没有表现出一家垄断的态势，而是与各种行业的合作伙伴共创，其目的是建立一个软硬件结合的庞大生态。此次英伟达在算力方面的进步，对于AI创业公司们也产生了深刻影响。对于大模型领域创业公司，例如OpenAI等，这显然是利好，因为他们能以更快的频率，更低的成本训练规模更大，模态更多的模型，并且有机会进一步降低API的价格，扩展客户群体。对于AI应用领域的创业公司，英伟达不仅将推理算力性能提高了数十倍，而且降低了能耗和成本。这让AI应用公司们能在成本可承担的前提下，拓展业务规模，随着AI算力的进一步增长，未来AI应用公司的运营成本还可能进一步降低。对于AI芯片领域的创业公司，英伟达的大更新让他们感受到了明显压力，而且英伟达提供的是一套完整的系统，包括算力芯片，芯片间通信技术，打破内存墙的网络芯片等。AI芯片创业公司必须找到自己真正能建立优势的方向，而不是因为英伟达这类巨头的一两次更新就失去存在价值。中国的AI创业公司，因为各种各样的原因，很难使用最新最强的英伟达AI芯片，作为替代的国产AI芯片在算力和能效比上目前仍有差距，这可能导致专注大模型领域的公司们在模型的规模扩展和迭代速度上与海外的差距拉大。对于中国的AI应用公司，则仍有机会。因为它们不仅可以用国内的基础模型，也可以用海外的先进开源模型。中国拥有全球顶尖的AI工程师和产品经理，他们打造的产品足可以参与全球竞争，这让AI应用公司们进可以开拓海外市场，还有足够庞大的国内市场做基本盘，AI时代的字节跳动、米哈游很可能在它们中间产生。 ... PC版： 手机版：

NVIDIA“最强AI芯片”Blackwell B200 GPU令业内惊呼新的摩尔定律诞生

NVIDIA“最强AI芯片”Blackwell B200 GPU令业内惊呼新的摩尔定律诞生 在GTC直播中，黄仁勋左手举着 B200 GPU，右手举着 H100此外，将两个B200 GPU与单个Grace CPU 结合在一起的 GB200，可以为LLM推理工作负载提供30倍的性能，并且显著提高效率。黄仁勋还强调称：“与H100相比，GB200的成本和能耗降低了25倍！关于市场近期颇为关注的能源消耗问题，B200 GPU也交出了最新的答卷。黄仁勋表示，此前训练一个1.8 万亿参数模型，需要8000 个 Hopper GPU 并消耗15 MW电力。但如今，2000 个 Blackwell GPU就可以实现这一目标，耗电量仅为4MW。在拥有1750亿参数的GPT-3大模型基准测试中，GB200的性能是H100的7倍，训练速度是H100的4倍。值得一提的是，B200 GPU的重要进步之一，是采用了第二代Transformer引擎。它通过对每个神经元使用4位（20 petaflops FP4）而不是8位，直接将计算能力、带宽和模型参数规模翻了一倍。而只有当这些大量的GPU连接在一起时，第二个重要区别才会显现，那就是新一代NVLink交换机可以让576个GPU相互通信，双向带宽高达1.8TB/秒。而这就需要英伟达构建一个全新的网络交换芯片，其中包括500亿个晶体管和一些自己的板载计算：拥有3.6 teraflops FP8处理能力。在此之前，仅16个GPU组成的集群，就会耗费60%的时间用于相互通信，只有40%的时间能用于实际计算。一石激起千层浪，“最强AI芯片”的推出让网友纷纷赞叹。其中英伟达高级科学家Jim Fan直呼：Blackwell新王诞生，新的摩尔定律已经应运而生。DGX Grace-Blackwell GB200：单个机架的计算能力超过1 Exaflop。黄仁勋交付给OpenAI的第一台DGX是0.17 Petaflops。GPT-4的1.8T参数可在2000个Blackwell上完成90天的训练。还有网友感叹：1000倍成就达成！Blackwell标志着在短短8年内，NVIDIA AI 芯片的计算能力实现了提升1000倍的历史性成就。2016 年，“Pascal”芯片的计算能力仅为19 teraflops，而今天Blackwell的计算能力已经达到了 20000 teraflops。相关文章:全程回顾黄仁勋GTC演讲：Blackwell架构B200芯片登场英伟达扩大与中国车企合作 为比亚迪提供下一代车载芯片英伟达进军机器人领域 发布世界首款人形机器人通用基础模型台积电、新思科技首次采用NVIDIA计算光刻平台：最快加速60倍NVIDIA共享虚拟现实环境技术将应用于苹果Vision Pro黄仁勋GTC演讲全文：最强AI芯片Blackwell问世 推理能力提升30倍 ... PC版： 手机版：

Azure AI 入门 （三）摩尔定律，GPU与并行计算

Azure AI 入门 （三）摩尔定律，GPU与并行计算 摩尔定律(图一）是英特尔Intel创始人之一戈登·摩尔的经验之谈，其核心内容为：集成电路IC相同面积上可以容纳的晶体管Transistor数目在18个月到24个月便会增加一倍，因此处理器的性能大约每两年翻一倍，同时价格下降为之前的一半。 虽然名为“定律”，但其只是根据20世纪中后期的发展趋势归纳而成。进入21世纪以后，以英特尔为代表的中央处理器CPU的发展趋势渐渐慢于摩尔的预测的。仅依靠单颗处理器的速度提升已无法满足日渐复杂的计算任务，比如3维图形的渲染（3D rendering)。 因此，英伟达Nvidia在1999年提出了硬件图形处理器（Graphics Processing Unit)的概念，以大量的只能完成某些特殊任务的微处理器，代替少量的通用处理器。软件方面，并行计算也从专业科学领域逐渐向大众领域流行。用一个可能不是最恰当的比方，CPU像是由4位特级厨师组成的小组，可以完成任何烹饪任务，而GPU像是用同样工资请来的128位三明治店的员工。GPU不能做很多事，像完成一些特定的菜，但如果任务是制作2000人份的三明治，GPU一定可以依靠并行计算比CPU完成得快许多。 GPU与并行计算的普及，也使得云计算成为了可能。计算机科学家在设计计算任务时通常会首先考虑能否将大任务拆分成能同时进行的更小任务，从而可以同时运行在服务商提供的大量数目的CPU和GPU上。 图二 英伟达创始人黄仁勋 Jensen Huang

英伟达宣布2026年推出下一代Rubin AI平台

英伟达宣布2026年推出下一代Rubin AI平台 英伟达公司首席执行官黄仁勋表示，英伟达计划每年升级其人工智能加速器，并宣布将在明年推出 Blackwell Ultra AI 芯片。他还表示，下一代人工智能平台名称为 Rubin，将在2026推出，该平台将采用 HBM4 内存。英伟达在台湾国际电脑展上还宣布推出 一项人工智能模型推理服务 NVIDIA NIM。全球2800万英伟达开发者可以通过 NIM 将人工智能模型部署在云、数据中心或工作站上，轻松地构建 copilots、ChatGPT 聊天机器人等生成式人工智能应用，所需时间从数周缩短至几分钟。

全程回顾黄仁勋GTC演讲：Blackwell架构B200芯片登场

全程回顾黄仁勋GTC演讲：Blackwell架构B200芯片登场 在这场两个小时的演讲中，黄仁勋公布了搭载B200芯片的GB200 Grace Blackwell超级芯片系统，以及英伟达在AI软件（NIM微服务）、Omiverse云、具身智能方面的最新进展。以下为演讲内容回顾：黄仁勋登台，对观众们强调：我希望你们搞清楚今天这里不是演唱会，而是一场开发者大会。黄仁勋介绍了本届GTC的一些参与者，并强调这些公司不只是来参会，而是有自己的东西要来展示。黄仁勋展示英伟达发展史，又提了将首台DGX One送给OpenAI的故事。黄仁勋：今天我们将讨论这个新行业的许多问题。我们要谈谈如何进行计算、我们要谈谈你所构建的软件类型，你将如何看待这个新软件，新行业中的应用 然后，也许（再谈谈）下一步是什么，我们如何从今天开始做准备，下一步会发生什么。黄仁勋：我们使用仿真工具来创造产品，并不是为了降低计算成本，而是为了扩大计算规模。我们希望能够以完全保真、完全数字化的方式模拟我们所做的整个产品。从本质上讲，我们称之为数字孪生。老黄开始介绍一系列“新加速生态系统”合作伙伴，包括ANSYS、Synopsis、Cadence等。他也提及，台积电和Synopsys将突破性的英伟达计算光刻平台投入生产。随着transformer模型被发明，我们能以惊人的速度扩展大型语言模型，实际上每六个月就能翻一番。而为了训练这些越来越大的模型，我们也需要更强的算力。“非常强大”的Blackwell架构GPU登场老黄现场对比Blackwell架构和Grace Hopper架构的GPU老黄现场展示Grace-Blackwell系统（两个Blackwell GPU、四个die与一个Grace Cpu连接在一起）。GB200将两个B200 Blackwell GPU与一个基于Arm的Grace CPU进行配对。新芯片拥有2080亿个晶体管，所有这些晶体管几乎同时访问与芯片连接的内存。为了处理大规模数据中心的GPU交互问题，也需要更强的连接（NVlink）能力。这个GB200新系统提升在哪里呢？老黄举例称，如果要训练一个1.8万亿参数量的GPT模型，需要8000张Hopper GPU，消耗15兆瓦的电力，连续跑上90天。但如果使用Blackwell GPU，只需要2000张，同样跑90天只要消耗四分之一的电力。当然不只是训练，生成Token的成本也会随之降低。把芯片做大的好处：单GPU每秒Token吞吐量翻了30倍毫无疑问，微软Azure、AWS、Google云等一众科技巨头都是Blackwell架构的首批用户。接下来应该是应用侧的部分，先展示的是生物医药的部分，包括NVIDIA DGX云中的多项更新。黄仁勋宣布新的AI微服务，用于开发和部署企业级生成式AI应用。老黄表示，未来如何开发软件？与现在写一行行代码不同，未来可能就要靠一堆NIMs（NVIDIA inference micro service），用与AI聊天的形式调动一堆NIMS来完成训练、应用的部署。英伟达的愿景是成为AI软件的“晶圆厂”。英伟达的AI微服务NIM网站已经上线。NIM微服务提供了最快、性能最高的AI生产容器，用于部署来自NVIDIA、A121、Adept、Cohere、Getty Images和Shutterstock的模型，以及来自Google、Hugging Face、Meta、Microsoft、Mistral AI和Stability AI的开放模型。NVIDIA AI Enterprise软件平台更新，包括NIM、构建RAG应用程序的工具等。随后老黄又分享了西门子科技、日产汽车等用如何在工作流中将Omiverse Cloud应用在工作流中。黄仁勋宣布，现在支持将Omniverse云推流至Vision Pro。可能是时间不太够了，老黄开始加速官宣一系列合作。其中提到全球最大电动车公司比亚迪将采用英伟达下一代智能汽车芯片Thor。比亚迪同时将使用英伟达基础设施进行自动驾驶模型训练，以及英伟达Isaac来设计/模拟智能工厂机器人。开始提机器人了。黄仁勋表示，在我们的世界里，类人机器人很有可能会发挥更大的作用，我们设置工作站、制造和物流的方式，并不是为人类设计的，而是为人类设计的。因此，这些人类或机器人的部署可能会更有成效。黄仁勋同时宣布一项名为GR00T的项目，旨在进一步推动英伟达在机器人和具身智能的突破性工作。由GR00T驱动的机器人可以理解自然语言，并通过观察人类动作来模拟运动。除了机器人影像外，迪士尼的orange和green机器人也来到现场，这款机器人用的是英伟达为机器人设计的首款AI芯片Jetson。黄仁勋带着机器人下场，现场播放ending影片黄仁勋返场告别，全场发布会结束。 ... PC版： 手机版：

英伟达进军机器人领域 发布世界首款人形通用基础模型

英伟达进军机器人领域 发布世界首款人形机器人通用基础模型 英伟达正通过推出名为Project GR00T的新型人形机器人基础模型，进一步进军机器人领域。基础模型是一种人工智能系统，它使用海量数据进行训练，能够用于各种各样的任务，从生成句子到视频、图像等等。据Nvidia，Project GR00T将帮助人形机器人“理解自然语言并通过观察人类行为来模仿动作 - 快速学习协调性、灵活性和其他技能，以便导航、适应并与现实世界互动。除了Project GR00T，英伟达还发布了其Isaac机器人平台的一部分Isaac Manipulator和Isaac Perceptor。Isaac Manipulator是一系列专为机械臂设计的基础模型，而Issac Perceptor旨在为设计用于制造和履行任务的机器人提供“多摄像头、3D环绕视觉能力”。此外，这家图形巨头还推出了用于人形机器人的Jetson Thor计算平台。该平台由英伟达的Thor系统芯片提供动力，将成为人形机器人的大脑。英伟达在声明中表示：“Jetson Thor被打造为一个全新的计算平台，能够执行复杂的任务并安全自然地与人和机器互动。它拥有模块化架构，在性能、功耗和尺寸方面都进行了优化。”GR00T正好和《银河护卫队》电影中的树人格鲁特（Groot）同名该公司表示，他们已经与一些机器人领域的大牌公司合作，包括以Spot机器人闻名的波士顿动力 (Boston Dynamics)、1X Technologies、Agility Robotics、Apptronik和Figure AI。其中，Figure AI近期备受关注，上周发布了一段视频，展示了人形机器人根据提示进行类人对话并完成一系列任务，例如拾取盘子并将其放入沥水架。虽然这看起来似乎没什么特别，但让机器人识别每个物品并精确移动它们的技术非常复杂。今年2月，英伟达与微软、OpenAI、Jeff Bezos、Parkway Capital、Intel Capital 等公司一起参加了Figure AI的B轮融资，使该公司估值达到26亿美元。人形机器人有望让人们完成危险或重复性的工作，但和其他AI技术一样，它们也让人们担心会取代人类的工作岗位。当然，不要指望人形机器人很快就能在街上闲逛。 ... PC版： 手机版：