[整理]k_zer0s老哥对Groq的LPU为什么能有这么快的推理速度做了相对详细的解释：

[整理]k_zer0s老哥对Groq的LPU为什么能有这么快的推理速度做了相对详细的解释： Groq的LPU在处理请求和响应方面，速度超越了Nvidia的GPU。 不同于Nvidia GPU需要依赖高速数据传输，Groq的LPU在其系统中没有采用高带宽存储器（HBM）。它使用的是SRAM，其速度比GPU所用的存储器快约20倍。 鉴于AI的推理计算相较于模型训练需要的数据量远小，Groq的LPU因此更节能。在执行推理任务时，它从外部内存读取的数据更少，消耗的电量也低于Nvidia的GPU。 LPU的工作原理与GPU截然不同。它采用了时序指令集计算机（Temporal Instruction Set Computer）架构，这意味着它无需像使用高带宽存储器（HBM）的GPU那样频繁地从内存中加载数据。这一特点不仅有助于避免HBM短缺的问题，还能有效降低成本。 如果在AI处理场景中采用Groq的LPU，可能就无需为Nvidia GPU配置特殊的存储解决方案。LPU并不像GPU那样对存储速度有极高要求。Groq公司宣称，其技术能够通过其强大的芯片和软件，在AI任务中取代GPU的角色。 来源：

英伟达发布下一代AI计算芯片 HGX H200 GPU

英伟达发布下一代AI计算芯片 HGX H200 GPU NVIDIA 今天宣布推出 NVIDIA HGX™ H200，为全球领先的 AI 计算平台带来强大动力。该平台基于 NVIDIA Hopper™ 架构，配备 NVIDIA H200 Tensor Core GPU 和高级内存，可处理生成 AI 和高性能计算工作负载的海量数据。 NVIDIA H200 是首款提供 HBM3e 的 GPU，HBM3e 是更快、更大的内存，可加速生成式 AI 和大型语言模型，同时推进 HPC 工作负载的科学计算。借助 HBM3e，NVIDIA H200 以每秒 4.8 TB 的速度提供 141GB 内存，与前一代 NVIDIA A100 相比，容量几乎翻倍，带宽增加 2.4 倍。 全球领先的服务器制造商和云服务提供商采用 H200 的系统预计将于 2024 年第二季度开始发货。

推理速度提升十倍！英伟达发布ChatGPT核弹级GPU

推理速度提升十倍！英伟达发布ChatGPT核弹级GPU 当地时间周二，英伟达举办2023年春季GTC大会，黄仁勋穿着标志性皮夹克，向开发者披露最新的硬件和AI应用软件进展。在过去十年里，AI产业经历了历史性的飞跃。从2012年卷积神经网络AlexNet点燃了深度学习领域的“星星之火”，到ChatGPT一鸣惊人。黄仁勋表示，眼下整个AI产业正处于“iPhone时刻”创业公司正在竞相建立颠覆式的商业模型，而业界巨头也在寻找应对之道。GTC大会上，英伟达推出开源量子计算机软件Cuda Quantum，用于构建量子算法；与AT&T(T.N)合作，帮助提高调度服务的效率。 当地时间3月21日，GTC大会，英伟达发布了专为ChatGPT设计的“核弹”GPU（图像芯片）H100 NVL，较之适用于GPT-3的A100，速度提升10倍。#视频 () 来自：雷锋 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot

英伟达发布用于AI的"世界上最强大芯片"Blackwell B200 GPU

英伟达发布用于AI的"世界上最强大芯片"Blackwell B200 GPU NVIDIA 首席执行官黄仁勋在 GTC 现场直播中举起他的新 GPU（左边），右边是 H100。NVIDIA 表示，新的 B200 GPU 拥有 2080 亿个晶体管，可提供高达 20petaflops 的 FP4 算力，而 GB200 将两个 GPU 和一个 Grace CPU 结合在一起，可为 LLM 推理工作负载提供 30 倍的性能，同时还可能大大提高效率。NVIDIA 表示，与 H100 相比，它的成本和能耗"最多可降低 25 倍"。NVIDIA 声称，训练一个 1.8 万亿个参数的模型以前需要 8000 个 Hopper GPU 和 15 兆瓦的电力。如今，NVIDIA 首席执行官表示，2000 个 Blackwell GPU 就能完成这项工作，耗电量仅为 4 兆瓦。NVIDIA 表示，在具有 1750 亿个参数的 GPT-3 LLM 基准测试中，GB200 的性能是 H100 的 7 倍，而 NVIDIA 称其训练速度是 H100 的 4 倍。这就是 GB200 的样子。两个 GPU、一个 CPU、一块电路板NVIDIA 介绍说，其中一项关键改进是采用了第二代变压器引擎，通过为每个神经元使用四个比特而不是八个比特，将计算能力、带宽和模型大小提高了一倍（前面提到的 FP4 的 20 petaflops）。第二个关键区别只有在连接大量 GPU 时才会出现：新一代 NVLink 交换机可让 576 个 GPU 相互连接，双向带宽达到每秒 1.8 TB。这就要求 NVIDIA 打造一个全新的网络交换芯片，其中包含 500 亿个晶体管和一些自己的板载计算：NVIDIA 表示，该芯片拥有 3.6 teraflops 的 FP8 处理能力。NVIDIA 表示将通过 Blackwell 增加 FP4 和 FP6NVIDIA 表示，在此之前，由 16 个 GPU 组成的集群有 60% 的时间用于相互通信，只有 40% 的时间用于实际计算。当然，NVIDIA 还指望企业大量购买这些 GPU，并将它们包装成更大的设计，比如 GB200 NVL72，它将 36 个 CPU 和 72 个 GPU 集成到一个液冷机架中，可实现总计 720 petaflops 的 AI 训练性能或 1440 petaflops（又称 1.4exaflops）的推理性能。它内部有近两英里长的电缆，共有 5000 条独立电缆。GB200 NVL72机架上的每个托盘包含两个 GB200 芯片或两个 NVLink 交换机，每个机架有 18 个前者和 9 个后者。NVIDIA 称，其中一个机架总共可支持 27 万亿个参数模型。据传，GPT-4 的参数模型约为 1.7 万亿。该公司表示，亚马逊、Google、微软和甲骨文都已计划在其云服务产品中提供 NVL72 机架，但不清楚它们将购买多少。当然，NVIDIA 也乐于为公司提供其他解决方案。下面是用于 DGX GB200 的 DGX Superpod，它将八个系统合而为一，总共拥有 288 个 CPU、576 个 GPU、240TB 内存和 11.5 exaflops 的 FP4 计算能力。NVIDIA 称，其系统可扩展至数万 GB200 超级芯片，并通过其新型 Quantum-X800 InfiniBand（最多 144 个连接）或 Spectrum-X800 以太网（最多 64 个连接）与 800Gbps 网络连接在一起。我们预计今天不会听到任何关于新游戏 GPU 的消息，因为这一消息是在 NVIDIA 的 GPU 技术大会上发布的，而该大会通常几乎完全专注于 GPU 计算和人工智能，而不是游戏。不过，Blackwell GPU 架构很可能也会为未来的 RTX 50 系列桌面显卡提供算力。 ... PC版： 手机版：

[整理] 对 Groq 的 LUP 运行Llama 70B 模型和同等规模英伟达显卡的成本对比，目前成本上相比英伟达没啥优势。

[整理] 对 Groq 的 LUP 运行Llama 70B 模型和同等规模英伟达显卡的成本对比，目前成本上相比英伟达没啥优势。 先说结论由于 LUP 这个卡显存太低，所以运行同样的模型需要的数量比英伟达的 H100 多的多。 成本主要来自于卡的购买成本，比H100 贵 3 倍。运营成本也比 H100 贵很多。 完整解释 这可能是首次对使用 GroqInc 硬件运行 Llama2-70b 的运营成本进行分析。 首先，我必须说我非常欣赏 Groq 的产品。它们性能卓越，潜力巨大。下面的内容仅是展示在与行业领头羊竞争时可能遇到的挑战，但随着时间推移，我对它充满期待。 每张 Groq 卡的内存为 230MB。考虑到 LLaMA 70b 模型，假设采用 int8 量化技术（一种降低数据精度以减少存储需求的技术）并完全忽略在模型推理（即模型执行过程中的数据处理）时的内存消耗，至少需要 305 张这样的卡。但实际上，根据报告，需要的卡数多达 572 张，因此我们的计算将基于这个数字。 每张 Groq 卡的价格是 $20,000，因此购买 572 张卡的总成本为 $11.44 百万。当然，考虑到销售策略和大规模购买的优惠，实际价格可能会更低，但我们暂时按照标价来计算。 对于 572 张卡片，平均每张卡的功耗为 185W，总功耗达到 105.8kW，这还不包括附加的外围设备。（实际的能耗可能会更高） 目前，数据中心每千瓦每月的电费平均为 $200，这意味着每年的电费为 105.8 * 200 * 12 = $254,000。 事实上，使用 4 张 H100 卡可以达到 Groq 一半的性能，因此 8 张卡组成的 H100 盒子在性能上大致等同于上述 Groq 配置。一个 8 卡的 H100 盒子的名义最大功率是 10kW（实际上大约在 8-9 kW），因此其年电费约为 $24,000 或略低。 目前，一个 8 卡的 H100 盒子的价格大约为 $300,000。 因此，如果运营三年，Groq 硬件的购买成本是 $114.4 万，运营成本为 $76.2万。而对于一个 8 卡的 H100 盒子，硬件购买成本为 $30 万，运营成本约为 $7.2 万或稍低。 以上数字仅为估算值。如果我有任何重大错误，请不吝指正。 来源：

SRAM，不能微缩？还能救救

SRAM，不能微缩？还能救救 而后者SRAM与之相比，因其无需周期性更新存储的数据，通电情况下数据可一直保存，具有访问速度快的优点，通常用于CPU的高速缓存上面，但它处理1比特数据需要六个晶体管，而DRAM仅需一个晶体管，也导致了集成度较低，在相同体积下容量较小，存在体积大、成本较高等缺点。新思界产业研究中心的报告显示，2021年，全球半导体存储器市场规模达到1540亿美元左右，其中SRAM市场规模仅占极小一部分，2021年全球SRAM市场规模约为4亿美元。在全球范围内，美国是最大的SRAM需求市场，其次是日本。全球范围内，SRAM市场主要被美国赛普拉斯（Cypres）、日本瑞萨电子（Renesas）、美国ISSI公司（被北京君正收购）三家厂商所占据，合计市场占有率达到82%。在2023年以前，SRAM向来是最被冷落的存储技术之一，但随着近一年AI的爆火，情况正在悄然改变。AI带火SRAM2024年2月，GoogleTPU第一代设计者Jonathan Ross所创立的Groq公司正式宣布，其新一代LPU在多个公开测试中，以几乎最低的价格，相比GPU推理速度翻倍，后续有三方测试结果表明，该芯片对大语言模型推理进行优化效果显著，速度相较于英伟达GPU提高了10倍。在首次公开基准测试结果中，Groq搭载的Llama2或Mistreal模型在计算和响应速度上远超ChatGPT。这一成绩背后，是Groq团队为大语言模型（LLM）量身定制的专用芯片（ASIC），它使得Groq每秒可以生成高达500个 token。相比之下，目前ChatGPT-3.5的公开版本每秒只能生成大约40个token。根据知情人士透露，LPU的工作原理与GPU截然不同。它采用了时序指令集计算机（Temporal Instruction Set Computer）架构，这意味着它无需像使用高带宽存储器（HBM）的GPU那样频繁地从内存中加载数据。这一特点不仅有助于避免HBM短缺的问题，还能有效降低成本。有从事人工智能开发的用户称赞，Groq是追求低延迟产品的“游戏规则改变者”，低延迟指的是从处理请求到获得响应所需的时间。另一位用户则表示，Groq的LPU在未来有望对GPU在人工智能应用需求方面实现“革命性提升”，并认为它可能成为英伟达A100和H100芯片的“高性能硬件”的有力替代品。更重要的是，不同于其他GPU依赖于高速数据传输，Groq的LPU并没有采用高带宽存储器（HBM），它选择的正是SRAM，其速度比GPU所用的存储器快约20倍。一时间，和SRAM相关的概念股都成了香饽饽，不少人争先恐后地在投资平台询问AI相关，SRAM俨然成了又一个HBM。不过，很快就有专业人士给这波突如其来的热潮降温了：SRAM早就是个非常成熟的技术了，CPU中的寄存器和缓存都用的是SRAM，SRAM早已以IP内核形式完成在SoC的集成，本身的技术价值没有更大的突破。虽然SRAM确实要比DRAM快，但其价格很贵，容量较小，LPU乃至其他计算芯片，大量使用SRAM时需要有所权衡。此外，也有人指出Groq选择了SRAM的理由，主要是它只负责推理、不训练，而推理所需要的存储空间比训练要小得多，所以Groq的单板卡只有230MB的内存，由于成本和容量限制，需要谨慎看待SRAM这轮爆火。即便如此，AI还是给体量较小的SRAM打开了一条透着光的缝隙，一个全新的应用领域，就意味着更多的增长机会，而不是局限在之前的一亩三分地上。有意思的是，早在Groq官宣新的LPU前，国外网站半导体工程已经与 Alphawave Semi 首席技术官 Tony Chan Carusone、Quadric 首席营销官 Steve Roddy 和西门子 EDA 存储技术专家 Jongsin Yun 就人工智能和 SRAM 的最新问题进行了讨论。西门子 EDA 存储技术专家 Jongsin Yun表示， SRAM 与 CMOS 逻辑工艺兼容，这使得 SRAM 在从一种技术迁移到另一种技术时，可以跟踪逻辑性能的提高。SRAM 是芯片内的本地可用存储器。因此，它能提供即时访问的数据，这也是它在人工智能应用中受到青睐的原因。凭借数十年的制造经验，我们了解其大部分潜在问题以及如何最大限度地发挥其优势。就性能而言，SRAM 是我们迄今所知性能最高的内存解决方案，因此成为人工智能的首选。Quadric 首席营销官 Steve Roddy 则表示，SRAM 是任何人工智能处理解决方案的关键要素，SRAM 的用量在很大程度上取决于你谈论的是数据中心还是设备，或者是训练还是推理。但不论何种应用，在处理元件旁边都会有大量的 SRAM。不同类型计算实现之间的所有架构差异，归根结底都是管理内存、管理权重和激活流的不同策略，而这又极大地依赖于可用和可选的内存类型。任何芯片架构师都要根据自己的部署方案有效地规划内存层次结构，但在任何方案中，都必须有 SRAM。Alphawave Semi 首席技术官 Tony Chan Carusone也表示，SRAM 对人工智能至关重要，尤其是嵌入式 SRAM。它的性能最高，而且可以直接与高密度逻辑集成在一起。仅从这些原因来看，它就非常重要。逻辑的扩展性要好于 SRAM。因此，SRAM 变得更加重要，并占用了更大一部分芯片面积。一些处理器上有大量的 SRAM，而且这种趋势可能会继续下去，这将成为整个处理器的一个重要成本驱动因素。一个新趋势是，将这些已达到视网膜极限的大型芯片分解成多个芯片组，并通过适当的互连，使它们能够像一个大型芯片一样运行，从而集成更多的计算和更多的 SRAM。反过来，大量的 SRAM 又进一步推动了向基于芯片的实现过渡。通过这几位专家的讨论我们可以发现，即便是不像Groq那样直接把SRAM当作内存来使用，AI依旧和SRAM脱不开干系，SRAM未来也有望随着AI的火热来焕发第二春。SRAM的绊脚石但困扰SRAM的，远不止应用，还有技术。前面提到过，SRAM采用的是6晶体管架构(逻辑区通常包含4个晶体管/单元)，但是，在跟上 CMOS 缩放的步伐时，SRAM 却表现不佳，这对功耗和性能产生了影响。随着人工智能设计对内部存储器访问的要求越来越高，如何在技术节点迁移过程中进一步扩大 SRAM 的功耗和性能优势已成为一项重大挑战。在2022年底，台积电的一篇论文带来了可怕的坏消息虽然逻辑仍在或多或少地沿着历史趋势线扩展，但 SRAM 扩展似乎已经完全崩溃。台积电曾在正式推出 N3 制造技术时表示，与 N5（5 纳米级）工艺相比，新节点的逻辑密度将提高 1.6 倍和 1.7 倍，而台积电在论文却承认，与 N5 相比，新技术的 SRAM 单元几乎没有扩展。台积电 N3 的 SRAM 位元尺寸为 0.0199µm^²，与 N5 的 0.021 µm^² SRAM 位元相比，仅缩小了约 5%。改进后的 N3E 情况更糟，因为它配备了 0.021 µm^² SRAM 位元组（大致相当于 31.8 Mib/mm^²），这意味着与 N5 相比完全没有缩放。随着芯片性能的增长，对缓存和 SRAM 的需求只会增加，但 N3（仅用于少数产品）和 N3E 却无法减少 SRAM 占用的芯片面积，也无法降低新节点比 N5 更高的成本。从根本上说，这意味着高性能处理器的芯片尺寸将增大，成本也将增加，同时SRAM 单元也会与逻辑单元一样容易出现缺陷。虽然芯片设计人员将能够利用台积电 N3 的 FinFlex 创新技术（在一个区块中混合和匹配不同种类的 FinFET，以优化其性能、功耗或面积）来缓解 SRAM 单元变大的问题，但无法根治SRAM无法扩展这一问题事实上，早在 20nm 制程中，SRAM 就无法与逻辑相应地扩展，这也注定了当片上存储器变得比芯片本身还要大时，会面临功耗和性能方面的挑战。而针对这些问题，系统设计人员和硬件开发人员也从那时就在不断提出新的解决方案和开发新的技术。AMD采取了不同的方法。它推出了一种名为 3D V-Cache 的技术，该技术允许将单独芯片上的附加 SRAM 高速缓存存储器堆叠在处理器顶部，从而增加处理器内核可用的高速缓存量。额外的芯片增加了成本，但允许访问额外的 ... PC版： 手机版：