英伟达全面转向开源 GPU 内核模块

英伟达全面转向开源 GPU 内核模块 英伟达在 2022 年宣布开源其 Linux GPU 内核驱动模块，最初针对的是工作站/数据中心 GPU，随着开源内核驱动的改进，开源驱动模块与闭源驱动的性能相差无几。英伟达通过官方博客现在正式宣布，其开源内核模块最终将取代闭源驱动。英伟达称，对于 Grace Hopper 或 Blackwell 等平台，必须使用开源 GPU 内核模块，因为这些平台不支持私有驱动；对于来自 Turing、Ampere、Ada Lovelace 或 Hopper 架构的较新 GPU，它建议切换到开源的 GPU 内核模块；对于 Maxwell、Pascal 或 Volta 架构中的旧版 GPU，开源 GPU 内核模块不兼容，只能继续使用私有驱动。英伟达没有开源其用户空间驱动。 via Solidot

微软打破 Decoder-Only 架构：大幅降低 GPU 内存需求

微软打破 Decoder-Only 架构：大幅降低 GPU 内存需求 （英文） 微软 & 清华最新研究，打破 GPT 系列开创的 Decoder-Only 架构 提出 Decoder-Decoder 新型架构，名为 YOCO（You Only Cache Once）。 YOCO 仅缓存一次键值对，可大幅降低 GPU 内存需求，且保留全局注意力能力。一张图来看 YOCO 和标准 Transformer 的比较。 在处理 512K 上下文长度时，标准 Transformer 内存使用是 YOCO 的 6.4 倍，预填充延迟是 YOCO 的 30.3 倍，而 YOCO 的吞吐量提升到标准 Transformer 的 9.6 倍。

AMD专利揭示未来RDNA架构的独特"多芯片"GPU方法

AMD专利揭示未来RDNA架构的独特"多芯片"GPU方法 AMD 是在多芯片设计方面经验丰富的半导体公司之一，因为他们的 Instinct MI200 AI 加速器系列率先采用了 MCM 设计，在单个封装上堆叠了多个芯片，如 GPC（图形处理内核）、HBM 堆栈和 I/O 芯片。该公司还率先在其最新的 RDNA 3 架构上采用了 MCM 解决方案，如 Navi 31。然而，凭借这项新专利，AMD希望将这一理念转化为主流的"RDNA"架构，具体方法如下。该专利描述了芯片组利用的三种不同"模式"，其区别在于如何分配资源并进行管理。该专利揭示了三种不同的模式，第一种是"单 GPU"模式，这与现代 GPU 的功能非常相似。所有板载芯片将作为一个统一的处理单元，在协作环境中共享资源。第二种模式被称为"独立模式"，在这种模式下，单个芯片将独立运行，通过专用的前端芯片负责为其相关的着色器引擎芯片调度任务。第三种模式是最有前景的，被称为"混合模式"，在这种模式下，芯片既可以独立运行，也可以共存。它充分利用了统一处理和独立处理的优势，提供了可扩展性和高效的资源利用率。该专利没有透露 AMD 采用 MCM 设计的细节，因此我们无法评论AMD是否会决定采用专利中提到的想法。不过，从总体上讲，多芯片配置虽然可以提高性能和可扩展性，但生产起来却要复杂得多，需要高端设备和工艺，最终也会增加成本。以下是该专利对多芯片方法的描述：通过将 GPU 分成多个 GPU 芯片，处理系统可根据运行模式灵活、经济地配置活动 GPU 物理资源的数量。此外，可配置数量的 GPU 芯片被组装到单个 GPU 中，这样就可以使用少量的分带组装出具有不同数量 GPU 芯片的多个不同 GPU，并且可以用实现不同技术世代的 GPU 芯片构建多芯片 GPU。目前，AMD 在消费级市场还没有合适的多 GPU 芯片解决方案。Navi 31 GPU 在很大程度上仍是采用单 GCD 的单片设计，但承载无限缓存和内存控制器的 MCD 已被移至芯片组封装。随着下一代 RDNA 架构的推出，我们可以预见 AMD 将更加注重多芯片封装，多个 GCD 将拥有各自专用的着色器引擎块。AMD 曾计划在RDNA4 系列中采用 Navi 4X/Navi 4C这样的 GPU，但据说该计划已被取消，转而采用更主流的单片封装。 ... PC版： 手机版：

NVIDIA液冷"AI GPU"数据中心成本高昂 组件价格飙升

NVIDIA液冷"AI GPU"数据中心成本高昂 组件价格飙升 有鉴于此，台湾《经济日报》报道称，由于各公司都想尽早抓住机遇，因此对水冷解决方案的需求大增。台湾热能管理协会主席透露，水冷过程中涉及的重要组件在市场上已经断货，这归咎于人工智能的炒作，以及个人和客户如何利用这种情况人为制造此类组件的短缺。该官员透露，水冷数据中心是人工智能市场的未来，对未来产品的可持续性至关重要。许多公司都意识到了对水冷服务器和数据中心的巨大需求，并正在开设专门的工厂，专注于生产此类冷却设备。英伟达公司首席执行官本人也重申了水冷对于数据中心发展的重要性，他表示，未来的数据中心将通过液体散热来冷却。值得注意的是，以 Blackwell 为核心的 AI GPU 服务器可能会大量采用水冷技术，但由于设置过程（板载板和配水方法）非常敏感，目前供应有限，造成了瓶颈，导致价格飙升。现在，这意味着即将投入使用的数据中心的价格将比以前的数据中心相对较高，这不仅是因为一代又一代的升级，还因为采用液体冷却可能会很昂贵。如果行业不尽快解决供应链效率低下的问题，可能会造成订单积压。 ... PC版： 手机版：