Groq LPU人工智能推理芯片的运算表现可与主流厂商媲美

Groq LPU人工智能推理芯片的运算表现可与主流厂商媲美 一家人工智能芯片初创公司 Groq 曾长期默默无闻，但现在它利用专为大型语言模型（LLM）（如 GPT、Llama 和 Mistral LLM）设计的语言处理单元（LPU），在提供超快推理速度方面取得了重大进展。Groq LPU 是基于张量流处理器（TSP）架构的单核单元，在 INT8 时可达到 750 TOPS，在 FP16 时可达到 188 TeraFLOPS，具有 320x320 融合点乘矩阵乘法，此外还有 5120 个矢量 ALU。Groq LPU 拥有 80 TB/s 的带宽，并具有大规模并发能力，其本地 SRAM 容量为 230 MB。所有这些共同作用，为 Groq 提供了出色的性能，在过去几天的互联网上掀起了波澜。在Mixtral 8x7B 模型中，Groq LPU 的推理速度为每秒 480 个令牌，在业内处于领先地位。在 Llama 2 70B 等上下文长度为 4096 个令牌的模型中，Groq 每秒可提供 300 个令牌，而在上下文长度为 2048 个令牌的较小 Llama 2 7B 中，Groq LPU 每秒可输出 750 个令牌。根据LLMPerf Leaderboard 的数据，Groq LPU 在推断 LLMs Llama 时击败了基于 GPU 的云提供商，其配置参数从 70 亿到 700 亿不等。在令牌吞吐量（输出）和到第一个令牌的时间（延迟）方面，Groq处于领先地位，实现了最高的吞吐量和第二低的延迟。ChatGPT 采用 GPT-3.5 免费版，每秒可输出约 40 个令牌。目前的开源 LLM（如 Mixtral 8x7B）可以在大多数基准测试中击败 GPT 3.5，现在这些开源 LLM 的运行速度几乎可以达到 500 令牌每秒。随着像 Groq 的 LPU 这样的快速推理芯片开始普及，等待聊天机器人回应的日子似乎开始慢慢消失了。这家人工智能初创公司直接威胁到英伟达（NVIDIA）、AMD 和英特尔提供的推理硬件，但业界是否愿意采用 LPU 仍是个问题，您可以在这里进行试用： ... PC版： 手机版：

AI推理速度提升超10倍 Groq LPU能否取代英伟达GPU？

AI推理速度提升超10倍 Groq LPU能否取代英伟达GPU？ 推理速度比GPU快10倍，功耗仅1/10据介绍，Groq的大模型推理芯片是全球首个LPU（Language Processing Unit）方案，是一款基于全新的TSA 架构的Tensor Streaming Processor (TSP) 芯片，旨在提高机器学习和人工智能等计算密集型工作负载的性能。虽然Groq的LPU并没有采用更本高昂的尖端制程工艺，而是选择了14nm制程，但是凭借自研的TSA 架构，Groq LPU 芯片具有高度的并行处理能力，可以同时处理数百万个数据流，并该芯片还集成了230MB容量的SRAM来替代DRAM，以保证内存带宽，其片上内存带宽高达80TB/s。根据官方的数据显示，Groq的LPU芯片的性能表现相当出色，可以提供高达1000 TOPS (Tera Operations Per Second) 的计算能力，并且在某些机器学习模型上的性能表现可以比常规的 GPU 和 TPU 提升10到100倍。Groq表示，基于其LPU芯片的云服务器在Llama2或Mistreal模型在计算和响应速度上远超基于NVIDIA AI GPU的ChatGPT，其每秒可以生成高达500个 token。相比之下，目前ChatGPT-3.5的公开版本每秒只能生成大约40个token。由于ChatGPT-3.5主要是基于NVIDIA的GPU，也就是说，Groq LPU芯片的响应速度达到了NVIDIA  GPU的10倍以上。Groq表示，相对于其他云平台厂商的大模型推理性能，基于其LPU芯片的云服务器的大模型推理性能最终实现了比其他云平台厂商快18倍。另外，在能耗方面，NVIDIAGPU需要大约10到30焦耳才能生成响应中的tokens，而Groq LPU芯片仅需1到3焦耳，在推理速度大幅提升10倍的同时，其能耗成本仅有NVIDIAGPU的十分之一，这等于是性价比提高了100倍。Groq公司在演示中展示了其芯片的强大性能，支持Mistral AI的Mixtral8x7B SMoE，以及Meta的Llama2的7B和70B等多种模型，支持使用4096字节的上下文长度，并可直接体验Demo。不仅如此，Groq还喊话各大公司，扬言在三年内超越NVIDIA。目前该公司的LPU推理芯片在第三方网站上的售价为2万多美元，低于NVIDIA H100的2.5-3万美元。资料显示，Groq 是一家成立于2016年人工智能硬件初创公司，核心团队来源于谷歌最初的张量处理单元（TPU）工程团队。Groq 创始人兼CEO Jonathan Ross是谷歌TPU项目的核心研发人员。该公司硬件工程副总裁Jim Miller 曾是亚马逊云计算服务AWS设计算力硬件的负责人，还曾在英特尔领导了所有 Pentium II 工程。目前该公司筹集了超过 6200 万美元。为何采用大容量SRAM？Groq LPU芯片与大多数其他初创公司和现有的AI处理器有着截然不同的时序指令集计算机（Temporal Instruction Set Computer）架构，它被设计为一个强大的单线程流处理器，配备了专门设计的指令集，旨在利用张量操作和张量移动，使机器学习模型能够更有效地执行。该架构的独特之处在于执行单元、片内的SRAM内存和其他执行单元之间的交互。它无需像使用HBM（高带宽内存）的GPU那样频繁地从内存中加载数据。Groq 的神奇之处不仅在于硬件，还在于软件。软件定义的硬件在这里发挥着重要作用。Groq 的软件将张量流模型或其他深度学习模型编译成独立的指令流，并提前进行高度协调和编排。编排来自编译器。它提前确定并计划整个执行，从而实现非常确定的计算。“这种确定性来自于我们的编译器静态调度所有指令单元的事实。这使我们无需进行任何激进的推测即可公开指令级并行性。芯片上没有分支目标缓冲区或缓存代理，”Groq 的首席架构师 Dennis Abts 解释道。Groq LPU芯片为了追求性能最大化，因此添加了更多SRAM内存和执行块。SRAM全名为“静态随机存取存储器”（Static Random-Access Memory）是随机存取存储器的一种。所谓的“静态”，是指这种存储器只要保持通电，里面储存的数据就可以恒常保持。相对之下，动态随机存取存储器（DRAM）里面所储存的数据则需要周期性地更新。自SRAM推出60多年来，其一直是低延迟和高可靠性应用的首选存储器，事实上，对于 AI/ML 应用来说，SRAM 不仅仅具有其自身的优势。SRAM 对于 AI 至关重要，尤其是嵌入式 SRAM，它是性能最高的存储器，可以将其直接与高密度逻辑核心集成在一起。目前SRAM也是被诸多CPU集成在片内（更靠近CPU计算单元），作为CPU的高速缓存，使得CPU可以更直接、更快速的从SRAM中获取重要的数据，无需去DRAM当中读取。只不过，当前旗舰级CPU当中的SRAM容量最多也仅有几十个MB。Groq之所以选择使用大容量的 SRAM来替代DRAM 内存的原因主要有以下几点：1、SRAM 内存的访问速度比 DRAM 内存快得多，这意味着 LPU 芯片更快速地处理数据，从而提高计算性能。2、SRAM 内存没有 DRAM 内存的刷新延迟，这意味着LPU芯片也可以更高效地处理数据，减少延迟带来的影响。3、SRAM 内存的功耗比 DRAM 内存低，这意味着LPU芯片可以更有效地管理能耗，从而提高效率。但是，对于SRAM来说，其也有着一些劣势：1、面积更大：在逻辑晶体管随着CMOS工艺持续微缩的同时，SRAM的微缩却十分的困难。事实上，早在 20nm时代，SRAM 就无法随着逻辑晶体管的微缩相应地微缩。2、容量小：SRAM 的容量比 DRAM 小得多，这是因为每个bit的数据需要更多的晶体管来存储，再加上SRAM的微缩非常困难，使得相同面积下，SRAM容量远低于DRAM等存储器。这也使得SRAM在面对需要存储大量数据时的应用受到了限制。3、成本高：SRAM 的成本比 DRAM要高得多，再加上相同容量下，SRAM需要更多的晶体管来存储数据，这也使得其成本更高。总的来说，虽然SRAM 在尺寸、容量和成本等方面具有一些劣势，这些劣势限制了其在某些应用中的应用，但是 SRAM 的访问速度比 DRAM 快得多，这使得它在某些计算密集型应用中表现得非常出色。Groq LPU 芯片采用的大容量 SRAM 内存可以提供更高的带宽（高达80TB/s）、更低的功耗和更低的延迟，从而提高机器学习和人工智能等计算密集型工作负载的效率。那么，与目前AI GPU当中所搭载的 HBM 内存相比，Groq LPU 芯片集成的 SRAM 内存又有何优势和劣势呢？Groq LPU 芯片的 SRAM 内存容量虽然有230MB，但是相比之下AI GPU 中的 HBM 容量通常都有数十GB（比如NVIDIA H100，其集成了80GB HBM），这也意味着LPU 芯片可能无法处理更大的数据集和更复杂的模型。相同容量下，SRAM的成本也比HBM更高。不过，与HBM 相比，Groq LPU 芯片的所集成的 SRAM 的仍然有着带宽更快（NVIDIA H100的HBM带宽仅3TB/s）、功耗更低、延迟更低的优势。能否替代NVIDIA H00？虽然Groq公布的数据似乎表明，其LPU芯片的推理速度达到了NVIDIA GPU的10倍以上，并且能耗成本仅是它十分之一，等于是性价比提高了100倍。但是，Groq并且明确指出其比较的是NVIDIA的哪款GPU产品。由于目前NVIDIA最主流的AI GPU是H100，因此，我们就拿NVIDIA H100来与Groq LPU来做比较。由于Groq LPU只有230MB的片上SRAM来作为内存，因此，如果要运行Llama-2 70b模型，即使将Llama 2 70b量化到INT8精度，仍然需要70GB左右的内存。即使完全忽略内存消耗，也需要305张Groq LPU加速卡才够用。如果考虑到内存消耗，可能需要572张Groq LPU加速卡。官方数据显示，Groq LPU的平均功耗为185W，即使不计算外围设备的功耗，572张Groq LPU加速卡的总功耗也高达105.8kW。假设一张Groq LPU加速卡的价格为2万美元，因此，购买572张卡的成本高达1144万美元（规模采购价格应该可以更低）。根据人工智能科学家贾扬清分享的数据显示，目前，数据中心每月每千瓦的平均价格约为20美元，这意味着572张Groq LPU加速卡每年的电费为105.8*200*12=25.4万美元。贾扬清还表示，使用4张NVIDIA H100加速卡就可以实现572张Groq LPU一半的性能，这意味着一个8张H100的服务器的性能大致相当于572张Groq LPU。而8张H100加速卡... PC版： 手机版：

AI芯片黑马Groq一夜爆红：成本推算争议不断 前员工现员工互撕

AI芯片黑马Groq一夜爆红：成本推算争议不断 前员工现员工互撕 连原阿里副总裁贾扬清都公开算账，分析LPU和H100跑大模型的采购和运营成本到底差多少。就在Groq风风火火之际，全球最大AI芯片公司英伟达陷入了一些振荡。今日英伟达官宣将在3月18日-21日举办其年度技术盛会GTC24，但其股市表现却不甚理想。受投资者快速撤股影响，英伟达今日股价降低4.35%，创去年10月以来最大跌幅，一日之间市值缩水780亿美元。▲英伟达太平洋时间2月20日股价出现显著下跌Groq则在社交平台上欢欢喜喜地频繁发文加转发，分享其合作伙伴及网友们对LPU的实测结果及正面评价。一些积极观点认为，LPU将改变运行大语言模型的方式，让本地运行成为主流。根据Groq及一些网友分享的技术演示视频及截图，在LPU上跑大语言模型Mixtral 8x7B-32k，生成速度快到接近甚至超过500tokens/s，远快于公开可用的OpenAI ChatGPT 4。▲输入相同指令，ChatGPT 4生成回答的时间大约1分钟，而在Groq上运行的Mixtral 8x7B-32k只用时11秒。“这是一场革命，不是进化。”Groq对自己的进展信心爆棚。2016年底，GoogleTPU核心团队的十个人中，有八人悄悄组队离职，在加州山景城合伙创办了新公司Groq。接着这家公司就进入神隐状态，直到2019年10月才通过一篇题为《世界，认识Groq》的博客，正式向世界宣告自己的存在。随后“官网喊话”就成了Groq的特色，尤其是近期，Groq接连发文“喊话”马斯克、萨姆·阿尔特曼、扎克伯格等AI大佬。特别是在《嘿 萨姆…》文章中，公然“嫌弃”OpenAI的机器人太慢了，并给自家LPU打广告，声称运行大语言模型和其他生成式AI模型的速度是其他AI推理解决方案速度的10倍。现在，Groq继续保持着高调，除了官号积极出面互动外，前员工和现员工还在论坛上“撕”起来了。前员工质疑实际成本问题，现员工则抨击这位前员工离开并创办了一家Groq的竞争对手+没做出“世界最低延迟的大语言模型引擎”+没保证“匹配最便宜的token价格”。面向LPU客户的大语言模型API访问已开放，提供免费10天、100万tokens试用，可从OpenAI API切换。Groq致力于实现最便宜的每token价格，承诺其价格“超过同等上市型号的已发布供应商的任何已公布的每百万tokens价格”。据悉，Groq下一代芯片将于2025年推出，采用三星4nm制程工艺，能效预计相较前一代提高15~20倍，尺寸将变得更大。执行相同任务的芯片数量也将大幅减少。当前Groq需要在9个机架中用576颗芯片才能完成Llama 2 70B推理，而到2025年完成这一任务可能只需在2个机架使用大约100个芯片。01.1秒内写出数百个单词，输出tokens吞吐量最高比竞品快18倍按照Groq的说法，其AI推理芯片能将运行大语言模型的速度提高10倍、能效提高10倍。要体验LPU上的大语言模型，需先创建一个Groq账户。输入提示词“美国最好的披萨是什么？”跑在LPU上的Mixtral模型飞速给出回答，比以前慢慢生成一行一行字的体验好很多。它还支持对生成的答案进行修改。在公开的大语言模型基准测试上，LPU取得了压倒性战绩，运行Meta AI大语言模型Llama 2 70B时，输出tokens吞吐量比所有其他基于云的推理供应商最高要快18倍。对于Time to First Token，其缩短到0.22秒。由于LPU的确定性设计，响应时间是一致的，从而使其API提供最小的可变性范围。这意味着更多的可重复性和更少的围绕潜在延迟问题或缓慢响应的设计工作。AI写作助手创企HyperWriteAI的CEO Matt Shumer评价LPU“快如闪电”，“不到1秒写出数百个单词”，“超过3/4的时间花在搜索上，而非生成”，“大语言模型的运行时间只有几分之一秒”。有网友分享了图像生成的区域提示，并评价“非常印象深刻”。02.贾扬清分析采购和运营成本：比H100服务器贵多了Groq芯片采用14nm制程工艺，搭载230MB片上共享SRAM，内存带宽达80TB/s，FP16算力为188TFLOPS，int8算力为750TOPS。Groq在社交平台上解答了一些常见问题：1、LPU为每token提供很好的价格，因为效率高而且拥有从芯片到系统的堆栈，没有中间商；2、不卖卡/芯片，除非第三方供应商将其出售给研究/科学应用团体，销售内部系统；3、其设计适用于大型系统，而非单卡用户，Groq的优势来自大规模的设计创新。与很多大模型芯片不同的是，Groq的芯片没有HBM、没有CoWoS，因此不受HBM供应短缺的限制。在对Meta Llama 2模型做推理基准测试时，Groq将576个芯片互连。按照此前Groq分享的计算方法，英伟达GPU需要大约10~30J来生成token，而Groq每token大约需要1~3J，也就是说推理速度是原来的10倍，成本是原来的1/10，或者说性价比提高了100倍。Groq拿一台英伟达服务器和8机架Groq设备做对比，并声称非常确定配备576个LPU的Groq系统成本不到英伟达DGX H100的1/10，而后者的运行价格已超过40万美元。等于说Groq系统能实现10倍的速度下，总成本只有1/10，即消耗的空间越多，就越省钱。自称是“Groq超级粉丝”的原阿里副总裁、创办AI infra创企Lepton AI的贾扬清则从另一个角度来考虑性价比，据他分析，与同等算力的英伟达H100服务器成本比较，Groq LPU服务器实际要耗费更高的硬件采购成本和运营成本：1. 每张Groq卡的内存为230MB。对于Llama 70B模型，假设采用int8量化，完全不计推理的内存消耗，则最少需要305张卡。实际上需要的更多，有报道是572张卡，因此我们按照572张卡来计算。2. 每张Groq卡的价格为2万美元，因此购买572张卡的成本为1144万美元。当然，因为销售策略和规模效益，每张卡的价格可能打折，姑且按照目录价来计算。3. 572张卡，每张卡的功耗平均是185W，不考虑外设，总功耗为105.8kW。(注意，实际会更高)4. 现在数据中心平均每千瓦每月的价格在200美元左右，也就是说，每年的电费是105.8 x 200 x 12 = 25.4万美元。（注意，实际会更高）5. 基本上，采用4张H100卡可实现Groq的一半性能，也就是说，一台8卡H100与上面的性能相当。8卡H100的标称最大功率为10kW（实际大概在8-9kW），因此每年电费为2.4万美元或更低一些。6. 今天8卡H100的采购成本约为30万美元。7. 因此，如果运行三年，Groq的硬件采购成本是1144万美元，运营成本是76.2万美元或更高。8卡H100的硬件购买成本是30万美元，运营成本为7.2万美元或更低一些。如果按这个算法，运行3年，Groq的采购成本将是H100的38倍，运营成本将是H100的10倍。贾扬清还在评论区谈道：“老实说，我们对当前的token价格+速度SLA组合感到不适。换句话说，我们对token价格感到满意，但如果并行调用API，我们无法保证速度。”03.存算一体+软件定义硬件：编译器优先，开发速度快，易定制调试Groq联合创始人兼CEO Jonathan Ross曾宣称，相比用英伟达GPU，LPU集群将为大语言推理提供更高吞吐量、更低延迟、更低成本。“12个月内，我们可以部署10万个LPU；24个月内，我们可以部署100万个LPU。”Ross说。▲Groq领导层根据官网信息，LPU代表语言处理单元，是Groq打造的一种新型端到端处理单元，旨在克服大语言模型的计算密度和内存带宽瓶颈，计算能力超过GPU和CPU，能够减少计算每个单词所需时间，更快生成文本序列。消除外部内存瓶颈使得LPU推理引擎能够在大语言模型上提供比GPU好几个数量级的性能。LPU采用了单核心时序指令集计算机架构，无需像传使用高带宽存储（HBM）的GPU那样频繁从内存中加载数据，能有效利用每个时钟周期，降低成本。▲传统GPU内存结构▲Groq芯片内存结构Groq芯片的指令是垂直走向，而数据流向东西流动，利用位置和功能单元相交以执行操作。通过将计算和内存访问解耦，... PC版： 手机版：

[整理]k_zer0s老哥对Groq的LPU为什么能有这么快的推理速度做了相对详细的解释：

[整理]k_zer0s老哥对Groq的LPU为什么能有这么快的推理速度做了相对详细的解释： Groq的LPU在处理请求和响应方面，速度超越了Nvidia的GPU。 不同于Nvidia GPU需要依赖高速数据传输，Groq的LPU在其系统中没有采用高带宽存储器（HBM）。它使用的是SRAM，其速度比GPU所用的存储器快约20倍。 鉴于AI的推理计算相较于模型训练需要的数据量远小，Groq的LPU因此更节能。在执行推理任务时，它从外部内存读取的数据更少，消耗的电量也低于Nvidia的GPU。 LPU的工作原理与GPU截然不同。它采用了时序指令集计算机（Temporal Instruction Set Computer）架构，这意味着它无需像使用高带宽存储器（HBM）的GPU那样频繁地从内存中加载数据。这一特点不仅有助于避免HBM短缺的问题，还能有效降低成本。 如果在AI处理场景中采用Groq的LPU，可能就无需为Nvidia GPU配置特殊的存储解决方案。LPU并不像GPU那样对存储速度有极高要求。Groq公司宣称，其技术能够通过其强大的芯片和软件，在AI任务中取代GPU的角色。 来源：

Google公布下一代 TPU芯片“Trillium” 性能有望提升 4.7 倍

Google公布下一代 TPU芯片“Trillium” 性能有望提升 4.7 倍 宣布下一代 TPU 是 I/O 大会的传统，尽管这些芯片要到今年晚些时候才能推出。不过，皮查伊表示，新一代 TPU 到货后，每块芯片的计算性能将比第五代提升 4.7 倍。在一定程度上，Google是通过扩大芯片的矩阵乘法单元（MXU）和提高整体时钟速度来实现这一目标的。此外，Google还将 Trillium 芯片的内存带宽提高了一倍。更重要的是，Trillium 采用了第三代 SparseCore，Google将其描述为"处理高级排名和推荐工作负载中常见的超大嵌入的专用加速器"，该公司认为，这将使 Trillium TPU 能够更快地训练模型，并以更低的延迟为模型提供服务。皮查伊还将新芯片描述为Google迄今为止"最节能"的 TPU，这一点在人工智能芯片需求持续成倍增长的情况下尤为重要。他说："在过去六年中，行业对 ML 计算的需求增长了 100 万倍，大约每年增长 10 倍。如果不投资降低这些芯片的功耗需求，这种情况将难以为继。Google承诺，新的 TPU 比第五代芯片节能 67%。"Google的 TPU 最近往往有多种变体。到目前为止，Google还没有提供有关新芯片的更多细节，也没有说明在Google云中使用这些芯片的成本。今年早些时候，Google也宣布将成为首批提供英伟达（NVIDIA）下一代 Blackwell 处理器的云计算提供商。不过，这仍然意味着开发人员要等到 2025 年初才能使用这些芯片。皮查伊说："我们将继续投资基础设施，为我们的人工智能进步提供动力，我们将继续开辟新天地。" ... PC版： 手机版：

Meta 公司推出新一代定制 AI 芯片

Meta 公司推出新一代定制 AI 芯片 当地时间周三，Meta 公布了其芯片开发的最新成果。该芯片被称为“下一代”Meta 训练和推理加速器 (MTIA)，是去年 MTIA v1 的后继产品。目前，MTIA 主要训练排名和推荐算法，但 Meta 表示，其目标是最终扩展芯片功能，开始训练生成式人工智能，如其 Llama 语言模型。Meta 表示，新的 MTIA 芯片将“从根本上”侧重于提供计算、内存带宽和内存容量之间的适当平衡。该芯片拥有 256MB 的片上内存和 1.35GHz 的主频，采用 5 纳米工艺制造，相较于 MTIA v1 的 128MB 和 800MHz 整体性能提高了 3 倍。 、