英伟达掌握AI时代“摩尔定律” 会加大中美AI公司差距么？

英伟达掌握AI时代“摩尔定律” 会加大中美AI公司差距么？ 作为GTC大会的核心，英伟达发布了Blackwell GPU，它分为B200和GB200系列，后者集成了1个Grace CPU和2个B200 GPU。NVIDIA GB200 NVL72大型机架系统使用GB200芯片，搭配NVIDIA BlueField-3数据处理单元、第五代NVLink互联等技术，对比相同数量H100 Tensor核心的系统，在推理上有高达30倍的性能提升，并将成本和能耗降低了25倍。在AI应用方面，英伟达推出Project GR00T机器人基础模型及Isaac机器人平台的重要更新。英伟达展示其AI芯片的算力在过去8年里实现了1000倍的增长，这代表AI时代的摩尔定律（算力快速增长，算力成本快速下降）正在形成。01实现10万亿参数AI模型的训练和实时推理在GTC大会上，英伟达不仅发布了算力方面的更新，也介绍了其在应用方面的进展。1.更强的训练算力，更快、成本更低的推理Blackwell不仅是一块芯片，也是一个平台。英伟达的目标是让规模达到10万亿参数的AI模型可以轻松训练和实时推理。它最小的单元是B200，内置2080亿个晶体管，使用定制的4NP TSMC工艺制造，采用Chiplet架构，两个GPU dies通过每秒10TB的芯片到芯片链接连接成一个统一的GPU。GB200超级芯片则将两个B200 Tensor核心GPU通过每秒900GB的超低功耗NVLink芯片到芯片互连技术与NVIDIA Grace CPU连接。再往上一层，则是NVIDIA GB200 NVL72，这是一个多节点、液冷的机架系统，它内含36个Grace Blackwell超级芯片，包括72个Blackwell GPU和36个Grace CPU，在NVIDIA BlueField-3数据处理单元的支持下，它能实现云网络加速、可组合存储、零信任安全性以及在超大规模AI云中的GPU计算弹性。这个系统可以被作为"单个GPU"工作，这时它能提供1.4 exaflops的AI性能和30TB的快速内存。据称，一个GB200 NVL72就最高支持27万亿参数的模型。最大规模的系统则是DGX SuperPOD，NVIDIA GB200 NVL72是DGX SuperPOD的构建单元，这些系统通过NVIDIA Quantum InfiniBand网络连接，可扩展到数万个GB200超级芯片。此外，NVIDIA还提供HGX B200服务器板，通过NVLink将八个B200 GPU连接起来，支持基于x86的生成式AI平台。HGX B200通过NVIDIA Quantum-2 InfiniBand和Spectrum-X以太网网络平台支持高达400Gb/s的网络速度。GB200还将在NVIDIA DGX云上提供给客户，这是一个与AWS、Google云和甲骨文云等领先的云服务提供商共同设计的AI平台，为企业开发者提供专用访问权限，以构建和部署先进的生成式AI模型所需的基础设施和软件。英伟达以实际的模型训练为例，训练一个GPT-MoE-1.8T模型（疑似指GPT-4），此前使用Hopper系列芯片需要8000块GPU训练90天，现在使用GB200训练同样的模型，只需要2000块GPU，能耗也只有之前的四分之一。由GB200组成的系统，相比相同数量的NVIDIA H100 Tensor核心GPU组成的系统，推理性能提升30倍，成本和能耗降低25倍。在背后支持这些AI芯片和AI算力系统的是一系列新技术，包括提升性能的第二代Transformer引擎（支持双倍的计算和模型大小）、第五代NVLink（提供了每个GPU1.8TB/s的双向吞吐量）；提升可靠性的RAS引擎（使AI算力系统能够连续运行数周甚至数月）；以及安全AI（保护AI模型和客户数据）等。在软件方面，Blackwell产品组合得到NVIDIA AI Enterprise的支持，这是一个端到端的企业级AI操作系统。NVIDIA AI Enterprise包括NVIDIA NIM推理微服务，以及企业可以在NVIDIA加速的云、数据中心和工作站上部署的AI框架、库和工具。NIM推理微服务可对来自英伟达及合作伙伴的数十个AI模型进行优化推理。综合英伟达在算力方面的创新，我们看到它在AI模型训练和推理方面的显著进步。在AI的模型训练方面，更强的芯片和更先进的芯片间通讯技术，让英伟达的算力基础设施能够以相对较低的成本训练更大的模型。GPT-4V和Sora代表了生成式AI的未来，即多模态模型和包括视频在内的视觉大模型，英伟达的进步让规模更大、更多模态和更先进的模型成为可能。在AI推理方面，目前越来越大的模型规模和越来越高的实时性要求，对于推理算力的挑战十分严苛。英伟达的AI算力系统推理性能提升30倍，成本和能耗降低25倍。不仅让大型模型的实时推理成为可能，而且解决了以往的并不算优秀的能效和成本问题。2.着重发力具身智能英伟达在GTC大会上公布了一系列应用方面的新成果，例如生物医疗、工业元宇宙、机器人、汽车等领域。其中机器人（具身智能）是它着重发力的方向。它推出了针对仿生机器人的Project GR00T基础模型及Isaac机器人平台的重要更新。Project GR00T是面向仿生机器人的通用多模态基础模型，充当机器人的“大脑”，使它们能够学习解决各种任务的技能。Isaac机器人平台为开发者提供新型机器人训练模拟器、Jetson Thor机器人计算机、生成式AI基础模型，以及CUDA加速的感知与操控库Isaac机器人平台的客户包括1X、Agility Robotics、Apptronik、Boston Dynamics、Figure AI和XPENG Robotics等领先的仿生机器人公司。英伟达也涉足了工业机器人和物流机器人。Isaac Manipulator为机械臂提供了最先进的灵巧性和模块化AI能力。它在路径规划上提供了高达80倍的加速，并通过Zero Shot感知（代表成功率和可靠性）提高了效率和吞吐量。其早期生态系统合作伙伴包括安川电机、PickNik Robotics、Solomon、READY Robotics和Franka Robotics。Isaac Perceptor提供了多摄像头、3D环绕视觉能力，这些能力对于自动搬运机器人特别有用，它帮助ArcBest、比亚迪等在物料处理操作等方面实现新的自动化水平。02英伟达算力井喷后，对创业公司有何影响？在发展方式上，英伟达与OpenAI等公司有明显的不同。OpenAI以及Anthropic、Meta等公司是以AI模型为核心，然后运营平台和生态；英伟达则以算力为核心，并拓展到软件平台和AI的相关应用。并且在应用方面，它并没有表现出一家垄断的态势，而是与各种行业的合作伙伴共创，其目的是建立一个软硬件结合的庞大生态。此次英伟达在算力方面的进步，对于AI创业公司们也产生了深刻影响。对于大模型领域创业公司，例如OpenAI等，这显然是利好，因为他们能以更快的频率，更低的成本训练规模更大，模态更多的模型，并且有机会进一步降低API的价格，扩展客户群体。对于AI应用领域的创业公司，英伟达不仅将推理算力性能提高了数十倍，而且降低了能耗和成本。这让AI应用公司们能在成本可承担的前提下，拓展业务规模，随着AI算力的进一步增长，未来AI应用公司的运营成本还可能进一步降低。对于AI芯片领域的创业公司，英伟达的大更新让他们感受到了明显压力，而且英伟达提供的是一套完整的系统，包括算力芯片，芯片间通信技术，打破内存墙的网络芯片等。AI芯片创业公司必须找到自己真正能建立优势的方向，而不是因为英伟达这类巨头的一两次更新就失去存在价值。中国的AI创业公司，因为各种各样的原因，很难使用最新最强的英伟达AI芯片，作为替代的国产AI芯片在算力和能效比上目前仍有差距，这可能导致专注大模型领域的公司们在模型的规模扩展和迭代速度上与海外的差距拉大。对于中国的AI应用公司，则仍有机会。因为它们不仅可以用国内的基础模型，也可以用海外的先进开源模型。中国拥有全球顶尖的AI工程师和产品经理，他们打造的产品足可以参与全球竞争，这让AI应用公司们进可以开拓海外市场，还有足够庞大的国内市场做基本盘，AI时代的字节跳动、米哈游很可能在它们中间产生。 ... PC版： 手机版：

NVIDIA“最强AI芯片”Blackwell B200 GPU令业内惊呼新的摩尔定律诞生

NVIDIA“最强AI芯片”Blackwell B200 GPU令业内惊呼新的摩尔定律诞生 在GTC直播中，黄仁勋左手举着 B200 GPU，右手举着 H100此外，将两个B200 GPU与单个Grace CPU 结合在一起的 GB200，可以为LLM推理工作负载提供30倍的性能，并且显著提高效率。黄仁勋还强调称：“与H100相比，GB200的成本和能耗降低了25倍！关于市场近期颇为关注的能源消耗问题，B200 GPU也交出了最新的答卷。黄仁勋表示，此前训练一个1.8 万亿参数模型，需要8000 个 Hopper GPU 并消耗15 MW电力。但如今，2000 个 Blackwell GPU就可以实现这一目标，耗电量仅为4MW。在拥有1750亿参数的GPT-3大模型基准测试中，GB200的性能是H100的7倍，训练速度是H100的4倍。值得一提的是，B200 GPU的重要进步之一，是采用了第二代Transformer引擎。它通过对每个神经元使用4位（20 petaflops FP4）而不是8位，直接将计算能力、带宽和模型参数规模翻了一倍。而只有当这些大量的GPU连接在一起时，第二个重要区别才会显现，那就是新一代NVLink交换机可以让576个GPU相互通信，双向带宽高达1.8TB/秒。而这就需要英伟达构建一个全新的网络交换芯片，其中包括500亿个晶体管和一些自己的板载计算：拥有3.6 teraflops FP8处理能力。在此之前，仅16个GPU组成的集群，就会耗费60%的时间用于相互通信，只有40%的时间能用于实际计算。一石激起千层浪，“最强AI芯片”的推出让网友纷纷赞叹。其中英伟达高级科学家Jim Fan直呼：Blackwell新王诞生，新的摩尔定律已经应运而生。DGX Grace-Blackwell GB200：单个机架的计算能力超过1 Exaflop。黄仁勋交付给OpenAI的第一台DGX是0.17 Petaflops。GPT-4的1.8T参数可在2000个Blackwell上完成90天的训练。还有网友感叹：1000倍成就达成！Blackwell标志着在短短8年内，NVIDIA AI 芯片的计算能力实现了提升1000倍的历史性成就。2016 年，“Pascal”芯片的计算能力仅为19 teraflops，而今天Blackwell的计算能力已经达到了 20000 teraflops。相关文章:全程回顾黄仁勋GTC演讲：Blackwell架构B200芯片登场英伟达扩大与中国车企合作 为比亚迪提供下一代车载芯片英伟达进军机器人领域 发布世界首款人形机器人通用基础模型台积电、新思科技首次采用NVIDIA计算光刻平台：最快加速60倍NVIDIA共享虚拟现实环境技术将应用于苹果Vision Pro黄仁勋GTC演讲全文：最强AI芯片Blackwell问世 推理能力提升30倍 ... PC版： 手机版：

英伟达宣布2026年推出下一代Rubin AI平台

英伟达宣布2026年推出下一代Rubin AI平台 英伟达公司首席执行官黄仁勋表示，英伟达计划每年升级其人工智能加速器，并宣布将在明年推出 Blackwell Ultra AI 芯片。他还表示，下一代人工智能平台名称为 Rubin，将在2026推出，该平台将采用 HBM4 内存。英伟达在台湾国际电脑展上还宣布推出 一项人工智能模型推理服务 NVIDIA NIM。全球2800万英伟达开发者可以通过 NIM 将人工智能模型部署在云、数据中心或工作站上，轻松地构建 copilots、ChatGPT 聊天机器人等生成式人工智能应用，所需时间从数周缩短至几分钟。

Nvidia 正在为拥有 RTX GPU 的用户更新其实验性的 ChatRTX 聊天机器人，增加更多 AI 模型。这个运行在 W

Nvidia 正在为拥有 RTX GPU 的用户更新其实验性的 ChatRTX 聊天机器人，增加更多 AI 模型。这个运行在 Windows PC 上的聊天机器人已经可以使用 Mistral 或 Llama 2 来查询你输入的个人文件，但现在支持的 AI 模型列表正在扩大，将包括谷歌的 Gemma、ChatGLM3，甚至 OpenAI 的 CLIP 模型，使得搜索你的照片更加容易。 标签: #英伟达 #AI 频道: @GodlyNews1 投稿: @GodlyNewsBot

Azure AI 入门 （三）摩尔定律，GPU与并行计算

Azure AI 入门 （三）摩尔定律，GPU与并行计算 摩尔定律(图一）是英特尔Intel创始人之一戈登·摩尔的经验之谈，其核心内容为：集成电路IC相同面积上可以容纳的晶体管Transistor数目在18个月到24个月便会增加一倍，因此处理器的性能大约每两年翻一倍，同时价格下降为之前的一半。 虽然名为“定律”，但其只是根据20世纪中后期的发展趋势归纳而成。进入21世纪以后，以英特尔为代表的中央处理器CPU的发展趋势渐渐慢于摩尔的预测的。仅依靠单颗处理器的速度提升已无法满足日渐复杂的计算任务，比如3维图形的渲染（3D rendering)。 因此，英伟达Nvidia在1999年提出了硬件图形处理器（Graphics Processing Unit)的概念，以大量的只能完成某些特殊任务的微处理器，代替少量的通用处理器。软件方面，并行计算也从专业科学领域逐渐向大众领域流行。用一个可能不是最恰当的比方，CPU像是由4位特级厨师组成的小组，可以完成任何烹饪任务，而GPU像是用同样工资请来的128位三明治店的员工。GPU不能做很多事，像完成一些特定的菜，但如果任务是制作2000人份的三明治，GPU一定可以依靠并行计算比CPU完成得快许多。 GPU与并行计算的普及，也使得云计算成为了可能。计算机科学家在设计计算任务时通常会首先考虑能否将大任务拆分成能同时进行的更小任务，从而可以同时运行在服务商提供的大量数目的CPU和GPU上。 图二 英伟达创始人黄仁勋 Jensen Huang

机器人时代已来 黄仁勋指向AI下一波浪潮：物理AI

机器人时代已来 黄仁勋指向AI下一波浪潮：物理AI 他着重强调了机器人和AI在未来发展中的重要性“AI的新一波浪潮是物理AI。AI能够理解物理定律，并与人类并肩作战……机器人和物理AI正在成为现实，而不仅是出现在科幻小说中，这真的很让人兴奋。”什么是“物理AI”？ 物理AI英文为Physical AI，也称“实体AI”。瑞士联邦材料科学与技术实验室Aslan Miriyev和伦敦帝国理工学院Mirko Kovač之前在《Nature MachineIntelligence》发表的一篇文章中，曾如此定义“物理AI”：物理AI是指能够执行通常与智能生物体相关的任务的实体系统，可以实现机体、控制、形态、动作执行和感知的协同进化。在这次演讲中，黄仁勋表示，如今大多数AI并不理解物理定律，不以物质世界为基础。而生成图像、视频、3D图形和许多物理现象，需要基于物理并理解物理定律的AI。“为我们工作的AI，必须理解世界模型，才能理解如何解释世界、如何感知世界。”世界各地的研究人员和公司正在开发由物理AI驱动的机器人，这些AI模型能够理解指令，并在现实世界中自主执行复杂任务。机器人时代已经到来机器人是一个颇为广泛的概念。黄仁勋表示，当他提到“机器人”时，通常大家会想到人形机器人，“但这并不完全正确。一切都将是机器人。”机器人将遍布所有工厂，工厂将实现对机器人的统筹，而这些机器人将制造新的机器人产品。在黄仁勋的构想中，下一个由机器人工厂内的机器人制造的高产量机器人产品可能是人形机器人，最容易适应世界的机器人也是人形机器人。“机器人时代已经到来，AI的下一波浪潮已经到来，”站在各式各样的机器人投影屏幕前，黄仁勋张开双臂，宣告全新时代的揭幕，“由物理AI驱动的机器人技术将彻底改变行业。这不是未来，这正在发生。”在英伟达的产品中，有多项内容与机器人有关，包括用于模拟应用的NVIDIA Omniverse平台、Project GR00T人形机器人通用基础模型、Jetson Thor机器人计算机、NVIDIA Isaac平台等，比亚迪电子、西门子、泰瑞达等公司也正在将英伟达自主机器人技术集成到自家工厂中。英伟达内部也已组建研究小组GEAR，全称Generalist Embodied Agent Research，意为“通用具身智能体研究”。该小组领头人之一、英伟达高级研究科学家Jim Fan彼时也给出了与黄仁勋相似的说法：未来每一台移动的机器都将是自主的，机器人与模拟智能体将和iPhone一样无处不在。“我们正在打造基础智能体：一个具备通用能力的AI，其能在虚拟与现实的多个世界中学习如何熟练行动。2024年将是机器人之年、游戏AI之年、模拟之年。”值得一提的是，随着AI的这一把火从聊天机器人烧向人形机器人，加码投资的自然也不止英伟达一家巨头。上周OpenAI被曝已重启此前被放弃的机器人团队，一位接近OpenAI的知情人士表示，这个新组建的机器人团队已经初步形成，并已经运作了大约两个月的时间。OpenAI副总裁、前机器人团队成员Peter Welinder表示，“我们始终计划重返机器人领域，与Figure AI的合作为我们指明了一条道路，即探索在高性能多模态模型驱动下，人形机器人能够取得的卓越成就。” ... PC版： 手机版：