Groq LPU人工智能推理芯片的运算表现可与主流厂商媲美

GroqLPU人工智能推理芯片的运算表现可与主流厂商媲美一家人工智能芯片初创公司Groq曾长期默默无闻,但现在它利用专为大型语言模型(LLM)(如GPT、Llama和MistralLLM)设计的语言处理单元(LPU),在提供超快推理速度方面取得了重大进展。GroqLPU是基于张量流处理器(TSP)架构的单核单元,在INT8时可达到750TOPS,在FP16时可达到188TeraFLOPS,具有320x320融合点乘矩阵乘法,此外还有5120个矢量ALU。GroqLPU拥有80TB/s的带宽,并具有大规模并发能力,其本地SRAM容量为230MB。所有这些共同作用,为Groq提供了出色的性能,在过去几天的互联网上掀起了波澜。在Mixtral8x7B模型中,GroqLPU的推理速度为每秒480个令牌,在业内处于领先地位。在Llama270B等上下文长度为4096个令牌的模型中,Groq每秒可提供300个令牌,而在上下文长度为2048个令牌的较小Llama27B中,GroqLPU每秒可输出750个令牌。根据LLMPerfLeaderboard的数据,GroqLPU在推断LLMsLlama时击败了基于GPU的云提供商,其配置参数从70亿到700亿不等。在令牌吞吐量(输出)和到第一个令牌的时间(延迟)方面,Groq处于领先地位,实现了最高的吞吐量和第二低的延迟。ChatGPT采用GPT-3.5免费版,每秒可输出约40个令牌。目前的开源LLM(如Mixtral8x7B)可以在大多数基准测试中击败GPT3.5,现在这些开源LLM的运行速度几乎可以达到500令牌每秒。随着像Groq的LPU这样的快速推理芯片开始普及,等待聊天机器人回应的日子似乎开始慢慢消失了。这家人工智能初创公司直接威胁到英伟达(NVIDIA)、AMD和英特尔提供的推理硬件,但业界是否愿意采用LPU仍是个问题,您可以在这里进行试用:https://groq.com/...PC版:https://www.cnbeta.com.tw/articles/soft/1419471.htm手机版:https://m.cnbeta.com.tw/view/1419471.htm

相关推荐

封面图片

人工智能芯片初创公司 Groq 收购了 Definitive Intelligence,以扩展其云平台

人工智能芯片初创公司Groq收购了DefinitiveIntelligence,以扩展其云平台人工智能芯片初创公司Groq收购了另一家初创公司DefinitiveintelligenceInc.,收购金额未透露。两家公司3月1日宣布了这笔交易。这笔交易将帮助Groq提高其云平台GroqCloud的能力。Groq在收购时详细介绍了DefinitiveIntelligence帮助其构建GroqCloud的情况。GroqCloud是Groq最近推出的一个平台,通过该平台,Groq可以按需访问lpu。开发人员可以使用该平台熟悉该公司的芯片,并构建针对其架构进行优化的应用程序。内置的学习资源库有望简化入职过程。

封面图片

OpenAI 和 Meta 准备推出具有“推理”能力的新人工智能模型

OpenAI和Meta准备推出具有“推理”能力的新人工智能模型OpenAI和Meta即将发布新的人工智能模型,他们表示这些模型将具备推理和规划的能力,这是在机器中实现超人认知的关键步骤。本周,OpenAI和Meta的高管表示,他们正准备推出其大型语言模型的下一个版本。Meta表示将在未来几周内开始推出Llama3,而微软支持的OpenAI表示,其下一个模型GPT-5将“很快”推出。Meta人工智能研究副总裁乔尔•皮诺表示:“我们正在努力研究如何让这些模型不仅能说话,还能真正推理、规划……拥有记忆”。OpenAI首席运营官布拉德•莱特卡普在接受记者采访时表示,下一代GPT将在解决推理等“难题”方面取得进展。他说:“我们将开始看到人工智能能够以更复杂的方式完成更复杂的任务。”“我认为,我们才刚刚开始触及这些模型推理能力的表面。”——()

封面图片

前几天那个每秒输出500个Token的项目groq,公开了他们的API,他们的输出速度比顶级运营商快18倍。得益于这个速度,甚至

前几天那个每秒输出500个Token的项目groq,公开了他们的API,他们的输出速度比顶级运营商快18倍。得益于这个速度,甚至实现了完全实时的远程AI对话。Mixtral,8x7BSMoE可以达到480Token/S,价格为100万Token0.27美元。极限情况下他们用Llama27B甚至能实现750Token/S。目前他们还提供100万Token的免费试用。API完全兼容OpenAIAPI。这里尝试groq:

封面图片

人工智能芯片初创公司Groq收购了另一家初创公司DefinitiveintelligenceInc.,收购金额未透露。两家公司3

人工智能芯片初创公司Groq收购了另一家初创公司DefinitiveintelligenceInc.,收购金额未透露。两家公司3月1日宣布了这笔交易。这笔交易将帮助Groq提高其云平台GroqCloud的能力。Groq在收购时详细介绍了DefinitiveIntelligence帮助其构建GroqCloud的情况。GroqCloud是Groq最近推出的一个平台,通过该平台,Groq可以按需访问LPU。开发人员可以使用该平台熟悉该公司的芯片,并构建针对其架构进行优化的应用程序。内置的学习资源库有望简化入职过程。收购完成后,DefinitiveIntelligence联合创始人兼首席执行官SunnyMadra将加入Groq,领导GroqCloud业务部门。该部门的首要任务包括扩大平台容量和扩大用户基础。Groq表示,此次收购还将支持第二个部门GroqSystems的成立,该部门将专注于帮助政府机构等组织部署公司的LPU。

封面图片

英伟达发布用于人工智能的“世界上最强大芯片”Blackwell B200 GPU

英伟达发布用于人工智能的“世界上最强大芯片”BlackwellB200GPU英伟达的H100AI芯片使其成为价值数亿美元的公司,其价值可能超过Alphabet和亚马逊,而竞争对手一直在奋力追赶。但也许英伟达即将通过新的BlackwellB200GPU和GB200“超级芯片”扩大其领先地位。该公司在加州圣何塞举行的GTC大会上表示,新的B200GPU拥有2080亿个晶体管,可提供高达20petaflops的FP4算力,而GB200将两个GPU和单个GraceCPU结合在一起,可为LLM推理工作负载提供30倍的性能,同时还可能大大提高效率。英伟达表示,在具有1750亿个参数的GPT-3LLM基准测试中,GB200的性能是H100的7倍,而英伟达称其训练速度是H100的4倍。——

封面图片

【人工智能芯片初创公司Groq收购了Definitive Intelligence,以扩展其云平台】

【人工智能芯片初创公司Groq收购了DefinitiveIntelligence,以扩展其云平台】人工智能芯片初创公司Groq收购了另一家初创公司DefinitiveintelligenceInc.,收购金额未透露。两家公司3月1日宣布了这笔交易。这笔交易将帮助Groq提高其云平台GroqCloud的能力。Groq在收购时详细介绍了DefinitiveIntelligence帮助其构建GroqCloud的情况。GroqCloud是Groq最近推出的一个平台,通过该平台,Groq可以按需访问lpu。开发人员可以使用该平台熟悉该公司的芯片,并构建针对其架构进行优化的应用程序。内置的学习资源库有望简化入职过程。

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人