AI推理速度提升超10倍 Groq LPU能否取代英伟达GPU？

AI推理速度提升超10倍 Groq LPU能否取代英伟达GPU？ 推理速度比GPU快10倍，功耗仅1/10据介绍，Groq的大模型推理芯片是全球首个LPU（Language Processing Unit）方案，是一款基于全新的TSA 架构的Tensor Streaming Processor (TSP) 芯片，旨在提高机器学习和人工智能等计算密集型工作负载的性能。虽然Groq的LPU并没有采用更本高昂的尖端制程工艺，而是选择了14nm制程，但是凭借自研的TSA 架构，Groq LPU 芯片具有高度的并行处理能力，可以同时处理数百万个数据流，并该芯片还集成了230MB容量的SRAM来替代DRAM，以保证内存带宽，其片上内存带宽高达80TB/s。根据官方的数据显示，Groq的LPU芯片的性能表现相当出色，可以提供高达1000 TOPS (Tera Operations Per Second) 的计算能力，并且在某些机器学习模型上的性能表现可以比常规的 GPU 和 TPU 提升10到100倍。Groq表示，基于其LPU芯片的云服务器在Llama2或Mistreal模型在计算和响应速度上远超基于NVIDIA AI GPU的ChatGPT，其每秒可以生成高达500个 token。相比之下，目前ChatGPT-3.5的公开版本每秒只能生成大约40个token。由于ChatGPT-3.5主要是基于NVIDIA的GPU，也就是说，Groq LPU芯片的响应速度达到了NVIDIA  GPU的10倍以上。Groq表示，相对于其他云平台厂商的大模型推理性能，基于其LPU芯片的云服务器的大模型推理性能最终实现了比其他云平台厂商快18倍。另外，在能耗方面，NVIDIAGPU需要大约10到30焦耳才能生成响应中的tokens，而Groq LPU芯片仅需1到3焦耳，在推理速度大幅提升10倍的同时，其能耗成本仅有NVIDIAGPU的十分之一，这等于是性价比提高了100倍。Groq公司在演示中展示了其芯片的强大性能，支持Mistral AI的Mixtral8x7B SMoE，以及Meta的Llama2的7B和70B等多种模型，支持使用4096字节的上下文长度，并可直接体验Demo。不仅如此，Groq还喊话各大公司，扬言在三年内超越NVIDIA。目前该公司的LPU推理芯片在第三方网站上的售价为2万多美元，低于NVIDIA H100的2.5-3万美元。资料显示，Groq 是一家成立于2016年人工智能硬件初创公司，核心团队来源于谷歌最初的张量处理单元（TPU）工程团队。Groq 创始人兼CEO Jonathan Ross是谷歌TPU项目的核心研发人员。该公司硬件工程副总裁Jim Miller 曾是亚马逊云计算服务AWS设计算力硬件的负责人，还曾在英特尔领导了所有 Pentium II 工程。目前该公司筹集了超过 6200 万美元。为何采用大容量SRAM？Groq LPU芯片与大多数其他初创公司和现有的AI处理器有着截然不同的时序指令集计算机（Temporal Instruction Set Computer）架构，它被设计为一个强大的单线程流处理器，配备了专门设计的指令集，旨在利用张量操作和张量移动，使机器学习模型能够更有效地执行。该架构的独特之处在于执行单元、片内的SRAM内存和其他执行单元之间的交互。它无需像使用HBM（高带宽内存）的GPU那样频繁地从内存中加载数据。Groq 的神奇之处不仅在于硬件，还在于软件。软件定义的硬件在这里发挥着重要作用。Groq 的软件将张量流模型或其他深度学习模型编译成独立的指令流，并提前进行高度协调和编排。编排来自编译器。它提前确定并计划整个执行，从而实现非常确定的计算。“这种确定性来自于我们的编译器静态调度所有指令单元的事实。这使我们无需进行任何激进的推测即可公开指令级并行性。芯片上没有分支目标缓冲区或缓存代理，”Groq 的首席架构师 Dennis Abts 解释道。Groq LPU芯片为了追求性能最大化，因此添加了更多SRAM内存和执行块。SRAM全名为“静态随机存取存储器”（Static Random-Access Memory）是随机存取存储器的一种。所谓的“静态”，是指这种存储器只要保持通电，里面储存的数据就可以恒常保持。相对之下，动态随机存取存储器（DRAM）里面所储存的数据则需要周期性地更新。自SRAM推出60多年来，其一直是低延迟和高可靠性应用的首选存储器，事实上，对于 AI/ML 应用来说，SRAM 不仅仅具有其自身的优势。SRAM 对于 AI 至关重要，尤其是嵌入式 SRAM，它是性能最高的存储器，可以将其直接与高密度逻辑核心集成在一起。目前SRAM也是被诸多CPU集成在片内（更靠近CPU计算单元），作为CPU的高速缓存，使得CPU可以更直接、更快速的从SRAM中获取重要的数据，无需去DRAM当中读取。只不过，当前旗舰级CPU当中的SRAM容量最多也仅有几十个MB。Groq之所以选择使用大容量的 SRAM来替代DRAM 内存的原因主要有以下几点：1、SRAM 内存的访问速度比 DRAM 内存快得多，这意味着 LPU 芯片更快速地处理数据，从而提高计算性能。2、SRAM 内存没有 DRAM 内存的刷新延迟，这意味着LPU芯片也可以更高效地处理数据，减少延迟带来的影响。3、SRAM 内存的功耗比 DRAM 内存低，这意味着LPU芯片可以更有效地管理能耗，从而提高效率。但是，对于SRAM来说，其也有着一些劣势：1、面积更大：在逻辑晶体管随着CMOS工艺持续微缩的同时，SRAM的微缩却十分的困难。事实上，早在 20nm时代，SRAM 就无法随着逻辑晶体管的微缩相应地微缩。2、容量小：SRAM 的容量比 DRAM 小得多，这是因为每个bit的数据需要更多的晶体管来存储，再加上SRAM的微缩非常困难，使得相同面积下，SRAM容量远低于DRAM等存储器。这也使得SRAM在面对需要存储大量数据时的应用受到了限制。3、成本高：SRAM 的成本比 DRAM要高得多，再加上相同容量下，SRAM需要更多的晶体管来存储数据，这也使得其成本更高。总的来说，虽然SRAM 在尺寸、容量和成本等方面具有一些劣势，这些劣势限制了其在某些应用中的应用，但是 SRAM 的访问速度比 DRAM 快得多，这使得它在某些计算密集型应用中表现得非常出色。Groq LPU 芯片采用的大容量 SRAM 内存可以提供更高的带宽（高达80TB/s）、更低的功耗和更低的延迟，从而提高机器学习和人工智能等计算密集型工作负载的效率。那么，与目前AI GPU当中所搭载的 HBM 内存相比，Groq LPU 芯片集成的 SRAM 内存又有何优势和劣势呢？Groq LPU 芯片的 SRAM 内存容量虽然有230MB，但是相比之下AI GPU 中的 HBM 容量通常都有数十GB（比如NVIDIA H100，其集成了80GB HBM），这也意味着LPU 芯片可能无法处理更大的数据集和更复杂的模型。相同容量下，SRAM的成本也比HBM更高。不过，与HBM 相比，Groq LPU 芯片的所集成的 SRAM 的仍然有着带宽更快（NVIDIA H100的HBM带宽仅3TB/s）、功耗更低、延迟更低的优势。能否替代NVIDIA H00？虽然Groq公布的数据似乎表明，其LPU芯片的推理速度达到了NVIDIA GPU的10倍以上，并且能耗成本仅是它十分之一，等于是性价比提高了100倍。但是，Groq并且明确指出其比较的是NVIDIA的哪款GPU产品。由于目前NVIDIA最主流的AI GPU是H100，因此，我们就拿NVIDIA H100来与Groq LPU来做比较。由于Groq LPU只有230MB的片上SRAM来作为内存，因此，如果要运行Llama-2 70b模型，即使将Llama 2 70b量化到INT8精度，仍然需要70GB左右的内存。即使完全忽略内存消耗，也需要305张Groq LPU加速卡才够用。如果考虑到内存消耗，可能需要572张Groq LPU加速卡。官方数据显示，Groq LPU的平均功耗为185W，即使不计算外围设备的功耗，572张Groq LPU加速卡的总功耗也高达105.8kW。假设一张Groq LPU加速卡的价格为2万美元，因此，购买572张卡的成本高达1144万美元（规模采购价格应该可以更低）。根据人工智能科学家贾扬清分享的数据显示，目前，数据中心每月每千瓦的平均价格约为20美元，这意味着572张Groq LPU加速卡每年的电费为105.8*200*12=25.4万美元。贾扬清还表示，使用4张NVIDIA H100加速卡就可以实现572张Groq LPU一半的性能，这意味着一个8张H100的服务器的性能大致相当于572张Groq LPU。而8张H100加速卡... PC版： 手机版：

AI芯片黑马Groq一夜爆红：成本推算争议不断 前员工现员工互撕

AI芯片黑马Groq一夜爆红：成本推算争议不断 前员工现员工互撕 连原阿里副总裁贾扬清都公开算账，分析LPU和H100跑大模型的采购和运营成本到底差多少。就在Groq风风火火之际，全球最大AI芯片公司英伟达陷入了一些振荡。今日英伟达官宣将在3月18日-21日举办其年度技术盛会GTC24，但其股市表现却不甚理想。受投资者快速撤股影响，英伟达今日股价降低4.35%，创去年10月以来最大跌幅，一日之间市值缩水780亿美元。▲英伟达太平洋时间2月20日股价出现显著下跌Groq则在社交平台上欢欢喜喜地频繁发文加转发，分享其合作伙伴及网友们对LPU的实测结果及正面评价。一些积极观点认为，LPU将改变运行大语言模型的方式，让本地运行成为主流。根据Groq及一些网友分享的技术演示视频及截图，在LPU上跑大语言模型Mixtral 8x7B-32k，生成速度快到接近甚至超过500tokens/s，远快于公开可用的OpenAI ChatGPT 4。▲输入相同指令，ChatGPT 4生成回答的时间大约1分钟，而在Groq上运行的Mixtral 8x7B-32k只用时11秒。“这是一场革命，不是进化。”Groq对自己的进展信心爆棚。2016年底，GoogleTPU核心团队的十个人中，有八人悄悄组队离职，在加州山景城合伙创办了新公司Groq。接着这家公司就进入神隐状态，直到2019年10月才通过一篇题为《世界，认识Groq》的博客，正式向世界宣告自己的存在。随后“官网喊话”就成了Groq的特色，尤其是近期，Groq接连发文“喊话”马斯克、萨姆·阿尔特曼、扎克伯格等AI大佬。特别是在《嘿 萨姆…》文章中，公然“嫌弃”OpenAI的机器人太慢了，并给自家LPU打广告，声称运行大语言模型和其他生成式AI模型的速度是其他AI推理解决方案速度的10倍。现在，Groq继续保持着高调，除了官号积极出面互动外，前员工和现员工还在论坛上“撕”起来了。前员工质疑实际成本问题，现员工则抨击这位前员工离开并创办了一家Groq的竞争对手+没做出“世界最低延迟的大语言模型引擎”+没保证“匹配最便宜的token价格”。面向LPU客户的大语言模型API访问已开放，提供免费10天、100万tokens试用，可从OpenAI API切换。Groq致力于实现最便宜的每token价格，承诺其价格“超过同等上市型号的已发布供应商的任何已公布的每百万tokens价格”。据悉，Groq下一代芯片将于2025年推出，采用三星4nm制程工艺，能效预计相较前一代提高15~20倍，尺寸将变得更大。执行相同任务的芯片数量也将大幅减少。当前Groq需要在9个机架中用576颗芯片才能完成Llama 2 70B推理，而到2025年完成这一任务可能只需在2个机架使用大约100个芯片。01.1秒内写出数百个单词，输出tokens吞吐量最高比竞品快18倍按照Groq的说法，其AI推理芯片能将运行大语言模型的速度提高10倍、能效提高10倍。要体验LPU上的大语言模型，需先创建一个Groq账户。输入提示词“美国最好的披萨是什么？”跑在LPU上的Mixtral模型飞速给出回答，比以前慢慢生成一行一行字的体验好很多。它还支持对生成的答案进行修改。在公开的大语言模型基准测试上，LPU取得了压倒性战绩，运行Meta AI大语言模型Llama 2 70B时，输出tokens吞吐量比所有其他基于云的推理供应商最高要快18倍。对于Time to First Token，其缩短到0.22秒。由于LPU的确定性设计，响应时间是一致的，从而使其API提供最小的可变性范围。这意味着更多的可重复性和更少的围绕潜在延迟问题或缓慢响应的设计工作。AI写作助手创企HyperWriteAI的CEO Matt Shumer评价LPU“快如闪电”，“不到1秒写出数百个单词”，“超过3/4的时间花在搜索上，而非生成”，“大语言模型的运行时间只有几分之一秒”。有网友分享了图像生成的区域提示，并评价“非常印象深刻”。02.贾扬清分析采购和运营成本：比H100服务器贵多了Groq芯片采用14nm制程工艺，搭载230MB片上共享SRAM，内存带宽达80TB/s，FP16算力为188TFLOPS，int8算力为750TOPS。Groq在社交平台上解答了一些常见问题：1、LPU为每token提供很好的价格，因为效率高而且拥有从芯片到系统的堆栈，没有中间商；2、不卖卡/芯片，除非第三方供应商将其出售给研究/科学应用团体，销售内部系统；3、其设计适用于大型系统，而非单卡用户，Groq的优势来自大规模的设计创新。与很多大模型芯片不同的是，Groq的芯片没有HBM、没有CoWoS，因此不受HBM供应短缺的限制。在对Meta Llama 2模型做推理基准测试时，Groq将576个芯片互连。按照此前Groq分享的计算方法，英伟达GPU需要大约10~30J来生成token，而Groq每token大约需要1~3J，也就是说推理速度是原来的10倍，成本是原来的1/10，或者说性价比提高了100倍。Groq拿一台英伟达服务器和8机架Groq设备做对比，并声称非常确定配备576个LPU的Groq系统成本不到英伟达DGX H100的1/10，而后者的运行价格已超过40万美元。等于说Groq系统能实现10倍的速度下，总成本只有1/10，即消耗的空间越多，就越省钱。自称是“Groq超级粉丝”的原阿里副总裁、创办AI infra创企Lepton AI的贾扬清则从另一个角度来考虑性价比，据他分析，与同等算力的英伟达H100服务器成本比较，Groq LPU服务器实际要耗费更高的硬件采购成本和运营成本：1. 每张Groq卡的内存为230MB。对于Llama 70B模型，假设采用int8量化，完全不计推理的内存消耗，则最少需要305张卡。实际上需要的更多，有报道是572张卡，因此我们按照572张卡来计算。2. 每张Groq卡的价格为2万美元，因此购买572张卡的成本为1144万美元。当然，因为销售策略和规模效益，每张卡的价格可能打折，姑且按照目录价来计算。3. 572张卡，每张卡的功耗平均是185W，不考虑外设，总功耗为105.8kW。(注意，实际会更高)4. 现在数据中心平均每千瓦每月的价格在200美元左右，也就是说，每年的电费是105.8 x 200 x 12 = 25.4万美元。（注意，实际会更高）5. 基本上，采用4张H100卡可实现Groq的一半性能，也就是说，一台8卡H100与上面的性能相当。8卡H100的标称最大功率为10kW（实际大概在8-9kW），因此每年电费为2.4万美元或更低一些。6. 今天8卡H100的采购成本约为30万美元。7. 因此，如果运行三年，Groq的硬件采购成本是1144万美元，运营成本是76.2万美元或更高。8卡H100的硬件购买成本是30万美元，运营成本为7.2万美元或更低一些。如果按这个算法，运行3年，Groq的采购成本将是H100的38倍，运营成本将是H100的10倍。贾扬清还在评论区谈道：“老实说，我们对当前的token价格+速度SLA组合感到不适。换句话说，我们对token价格感到满意，但如果并行调用API，我们无法保证速度。”03.存算一体+软件定义硬件：编译器优先，开发速度快，易定制调试Groq联合创始人兼CEO Jonathan Ross曾宣称，相比用英伟达GPU，LPU集群将为大语言推理提供更高吞吐量、更低延迟、更低成本。“12个月内，我们可以部署10万个LPU；24个月内，我们可以部署100万个LPU。”Ross说。▲Groq领导层根据官网信息，LPU代表语言处理单元，是Groq打造的一种新型端到端处理单元，旨在克服大语言模型的计算密度和内存带宽瓶颈，计算能力超过GPU和CPU，能够减少计算每个单词所需时间，更快生成文本序列。消除外部内存瓶颈使得LPU推理引擎能够在大语言模型上提供比GPU好几个数量级的性能。LPU采用了单核心时序指令集计算机架构，无需像传使用高带宽存储（HBM）的GPU那样频繁从内存中加载数据，能有效利用每个时钟周期，降低成本。▲传统GPU内存结构▲Groq芯片内存结构Groq芯片的指令是垂直走向，而数据流向东西流动，利用位置和功能单元相交以执行操作。通过将计算和内存访问解耦，... PC版： 手机版：

机构：部署 Sora 需要72万片英伟达加速卡 价值216亿美元

机构：部署 Sora 需要72万片英伟达加速卡 价值216亿美元 3月27日消息，市场调查机构 Factorial Funds 近日发布报告，认为 OpenAI 部署文本转视频模型 Sora，在峰值期需要72万片英伟达 H100 AI 加速卡。 如果按照每片英伟达 H100 AI 加速卡3万美元成本计算，72万片需要216亿美元。而这仅仅只是 H100 加速卡的成本。Factorial Funds 预估训练 Sora 1个月，需要使用4200到10500片英伟达 H100 AI 加速卡，如果使用单片 H100 加速卡，生成1分钟视频需要渲染12分钟。 、

Meta 新建两座数据中心集群：内含超 4.9 万块英伟达 H100 GPU，专门训练 Llama3

Meta 新建两座数据中心集群：内含超 4.9 万块英伟达 H100 GPU，专门训练 Llama3 据悉，这两座数据中心的唯一目的，是在消费者特定应用领域（IT之家注：包含声音或图像识别）中进行 AI 研究和大语言模型的开发，每个集群都包含了 24576 块英伟达 H100 AI GPU，将用于自家大语言模型 Llama 3 的训练。

马斯克称Grok 3约需要10万张英伟达H100训练 目前最大的问题就是卡不够

马斯克称Grok 3约需要10万张英伟达H100训练 目前最大的问题就是卡不够 马斯克表示人工智能技术的进步目前主要受两个因素制约：第一个是先进处理器，例如想要获得 10 万张 H100 加速卡并不容易，这不仅需要耗费大量的资金，也因为英伟达产能问题需排队；第二就是电力供应的限制。H100 加速卡的最大功耗约为 700W，10 万张 H100 加速卡同时运作则会产生 7,000 万 W 也就是 70MW，70MW 的功率对于一个企业来说已经是个相当高的用电功率，但不要忘记这些加速卡还需要大量的工业制冷设备进行散热。因此运营一个包含 10 万张 H100 加速卡的数据中心的功率是个天文数字，这对人工智能公司来说用电成本可能都需要花费大量的资金。不过电力问题总得来说还是可以解决的，但芯片供应在未来两年能不能赶上来还是个大问题，尤其是现在初创人工智能公司非常多，每个公司都需要大量的加速卡，所以 xAI 想要购买更多的显卡可能也需要更长时间。 ... PC版： 手机版：

英伟达挑战者Groq希望融资3亿美元 估值或超30亿

英伟达挑战者Groq希望融资3亿美元 估值或超30亿 乔纳森·罗斯是谷歌专用芯片TPU（张量处理单元）的共同发明者，他大约在八年前创立了Groq。该公司致力于开发一种既经济又快速的产品，以替代AI行业标杆的英伟达芯片。根据媒体资料，包括Groq和Cerebras在内的近20家AI芯片开发商已共同筹资超过55亿美元。然而，鉴于行业的高难度和昂贵成本，对多数公司而言，成功仍然难以实现。一位消息人士表示，Groq希望在本月底前获得投资者的出资承诺。此前，Groq已从包括Tiger Global Management、D1 Capital Partners以及Lee Fixel的Addition等投资者那里筹集了逾3.67亿美元，公司估值超过10亿美元。尽管Groq尚未确定本轮融资的估值，但一位参与本轮融资的SPV（特殊目的实体）经理向潜在投资者透露，预计公司估值将超过30亿美元。在寻求大额融资或面临不利融资条件时，初创公司常聘请投资银行进行私募。银行家们有时会利用这一机会探索是否可能吸引其他公司的收购兴趣。Groq设计的芯片主要用于AI推理任务，这种芯片用于支持已经部署的人工智能程序的服务器，而不是帮助OpenAI等公司训练新模型。Groq的芯片已经可以运行包括Meta的Llama 3、谷歌Gemma和Mistral的Mixtral在内的多个开源模型，开发者可以自由访问。根据公司内部人士的说法，目前该服务是免费的，但Groq计划从六月开始收费。Groq还计划通过向政府机构和金融公司等大客户销售配备Groq芯片的服务器，以及将其部署在客户自己的数据中心，来实现营收增长。Quora的人工智能助理应用Poe在X平台上的一篇帖子中提到，用户可以在配备Groq芯片的服务器上访问并运行Llama 3模型。这使开发者能够在不同服务器上测试其应用程序，以比较基于不同芯片的速度。此外，Groq还与沙特阿美公司的技术子公司阿美数字，合作在沙特建立一个先进的AI计算中心。Groq的筹资活动已进行数月，与此同时，其一位重要的早期投资者查马斯·帕里哈皮蒂亚（Chamath Palihapitiya）的SocialCapital发生了一起纠纷。据报道，因为未经帕里哈皮蒂亚完全同意便组织了对Groq的SPV投资，帕里哈皮蒂亚在三月解雇了当时Groq董事会的成员，合伙人杰伊·扎韦里（Jay Zaveri）和投资者拉维·塔努库（Ravi Tanuku）。被解雇的Social Capital的前代表声称他们受到了不公正的对待。扎韦里已经离开了董事会，Social Capital暂时由首席财务官史蒂文·特里乌（Steven Trieu）接替他的位置。另外，从LinkedIn的信息看，亚马逊前高管拉朱·古拉巴尼（Raju Gulabani）也在今年年初离开了Groq董事会。此外，Groq在二月宣布将哈佛大学教授扬姆·穆恩（Youngme Moon）加入其董事会。帕里哈皮蒂亚去年在X平台上表示：“Groq可能是你未曾听闻过的最具影响力的AI公司，但他们已在构建全球最快AI硬件上付出了多年努力。”他还提到，在罗斯正式成立公司之前，他就已向其投资。尽管有更多资金的注入，Groq面临的挑战依然艰巨，其目标是让开发者放弃使用他们熟悉的英伟达芯片及其配套软件Cuda。多年来，包括亚马逊、谷歌和微软在内的大公司已经试图开发新型AI服务器芯片，以期让其云客户摆脱对英伟达的依赖，但成效有限。同时，英伟达的一些竞争者也面临困境。据报道，英国人工智能芯片公司Graphcore公司虽然筹集了数亿美元资金，但在遭受重大亏损后，目前正在考虑出售的可能性。（小小） ... PC版： 手机版：