Groq LPU人工智能推理芯片的运算表现可与主流厂商媲美

Groq LPU人工智能推理芯片的运算表现可与主流厂商媲美一家人工智能芯片初创公司 Groq 曾长期默默无闻，但现在它利用专为大型语言模型（LLM）（如 GPT、Llama 和 Mistral LLM）设计的语言处理单元（LPU），在提供超快推理速度方面取得了重大进展。Groq LPU 是基于张量流处理器（TSP）架构的单核单元，在 INT8 时可达到 750 TOPS，在 FP16 时可达到 188 TeraFLOPS，具有 320x320 融合点乘矩阵乘法，此外还有 5120 个矢量 ALU。Groq LPU 拥有 80 TB/s 的带宽，并具有大规模并发能力，其本地 SRAM 容量为 230 MB。所有这些共同作用，为 Groq 提供了出色的性能，在过去几天的互联网上掀起了波澜。在Mixtral 8x7B 模型中，Groq LPU 的推理速度为每秒 480 个令牌，在业内处于领先地位。在 Llama 2 70B 等上下文长度为 4096 个令牌的模型中，Groq 每秒可提供 300 个令牌，而在上下文长度为 2048 个令牌的较小 Llama 2 7B 中，Groq LPU 每秒可输出 750 个令牌。根据LLMPerf Leaderboard 的数据，Groq LPU 在推断 LLMs Llama 时击败了基于 GPU 的云提供商，其配置参数从 70 亿到 700 亿不等。在令牌吞吐量（输出）和到第一个令牌的时间（延迟）方面，Groq处于领先地位，实现了最高的吞吐量和第二低的延迟。ChatGPT 采用 GPT-3.5 免费版，每秒可输出约 40 个令牌。目前的开源 LLM（如 Mixtral 8x7B）可以在大多数基准测试中击败 GPT 3.5，现在这些开源 LLM 的运行速度几乎可以达到 500 令牌每秒。随着像 Groq 的 LPU 这样的快速推理芯片开始普及，等待聊天机器人回应的日子似乎开始慢慢消失了。这家人工智能初创公司直接威胁到英伟达（NVIDIA）、AMD 和英特尔提供的推理硬件，但业界是否愿意采用 LPU 仍是个问题，您可以在这里进行试用： ... PC版：手机版：

在Telegram中查看

相关推荐

OpenAI 和 Meta 准备推出具有“推理”能力的新人工智能模型

OpenAI 和 Meta 准备推出具有“推理”能力的新人工智能模型 OpenAI 和 Meta 即将发布新的人工智能模型，他们表示这些模型将具备推理和规划的能力，这是在机器中实现超人认知的关键步骤。本周，OpenAI 和 Meta 的高管表示，他们正准备推出其大型语言模型的下一个版本。Meta 表示将在未来几周内开始推出 Llama 3，而微软支持的 OpenAI 表示，其下一个模型 GPT-5 将“很快”推出。Meta 人工智能研究副总裁乔尔•皮诺表示：“我们正在努力研究如何让这些模型不仅能说话，还能真正推理、规划……拥有记忆”。OpenAI 首席运营官布拉德•莱特卡普在接受记者采访时表示，下一代 GPT 将在解决推理等“难题”方面取得进展。他说：“我们将开始看到人工智能能够以更复杂的方式完成更复杂的任务。”“我认为，我们才刚刚开始触及这些模型推理能力的表面。” （）

谷歌TPU人马打造最快推理芯片喊话奥特曼：你们也太慢了

谷歌TPU人马打造最快推理芯片喊话奥特曼：你们也太慢了（这里面还有个熟悉的身影：Lepton）网友表示：这速度简直就是飞机vs走路。值得一提的是，这并非哪家大公司进展初创公司Groq，GoogleTPU团队原班人马，基于自研芯片推出推理加速方案。（注意不是马斯克的Grok）据他们介绍，其推理速度相较于英伟达GPU提高了10倍，成本却降低到十分之一。换言之，任何一个大模型都可以部署实现。目前已经能支持Mixtral 8x7B SMoE、Llama 2的7B和70B这三种模型，并且可直接体验Demo。他们还在官网上喊话奥特曼：你们推出的东西太慢了……每秒接近500tokens既然如此，那就来体验一下这个号称“史上最快推理”的Groq。先声明：不比较生成质量。就像它自己说的那样，内容概不负责。目前，演示界面上有两种模型可以选择。就选择Mixtral 8x7B-32k和GPT-4同擂台对比一下。提示词：你是一个小学生，还没完成寒假作业。请根据《星际穿越》写一篇500字的读后感。结果啪的一下，只需1.76秒就生成了一长串读后感，速度在每秒478Tokens。不过内容是英文的，以及读后感只有三百六十多字。但后面也赶紧做了解释说考虑到是小学生写不了那么多……至于GPT-4这边的表现，内容质量自然更好，也体现了整个思路过程。但要完全生成超过了三十秒。单是读后感内容的生成，也有近二十秒钟的时间。除了Demo演示外，Groq现在支持API访问，并且完全兼容，可直接从OpenAI的API进行简单切换。可以免费试用10天，这期间可以免费获得100万Tokens。目前支持Llama 2-70B 和7B， Groq可以实现4096的上下文长度，还有Mixtral 8x7B这一型号。当然也不局限于这些型号，Groq支持具体需求具体定制。价格方面，他们保证：一定低于市面上同等价格。不过可以看到，每秒500tokens似乎还不是终极速度，他们最快可以实现每秒750Tokens。GoogleTPU团队创业项目Groq是集软硬件服务于一体的大模型推理加速方案，成立于2016年，创始团队中很多都是GoogleTPU的原班人马。公司领导层的10人中，有5人都曾有Google的工作经历，3人曾在英特尔工作。创始人兼CEO Jonathan Ross，设计并实现了第一代TPU芯片的核心元件，TPU的研发工作中有20%都由他完成。Groq没有走GPU路线，而是自创了全球首个L（anguage）PU方案。LPU的核心奥义是克服两个LLM瓶颈计算密度和内存带宽，最终实现的LLM推理性能比其他基于云平台厂商快18倍。据此前他们介绍，英伟达GPU需要大约10焦耳到30焦耳才能生成响应中的tokens，而 Groq 设置每个tokens大约需要1焦耳到3焦耳。因此，推理速度提高了10倍，成本却降低了十分之一，或者说性价比提高了100倍。延迟方面，在运行70B模型时，输出第一个token时的延时仅有0.22秒。甚至为了适应Groq的性能水平，第三方测评机构ArtificialAnalysis还专门调整了图表坐标轴。据介绍，Groq的芯片采用14nm制程，搭载了230MB大SRAM来保证内存带宽，片上内存带宽达到了80TB/s。算力层面，Gorq芯片的整型（8位）运算速度为750TOPs，浮点（16位）运算速度则为188TFLOPs。Groq主要基于该公司自研的TSP架构，其内存单元与向量和矩阵深度学习功能单元交错，从而利用机器学习工作负载固有的并行性对推理进行加速。在运算处理的同时，每个TSP都还具有网络交换的功能，可直接通过网络与其他TSP交换信息，无需依赖外部的网络设备，这种设计提高了系统的并行处理能力和效率。结合新设计的Dragonfly网络拓扑，hop数减少、通信延迟降低，使得传输效率进一步提高；同时软件调度网络带来了精确的流量控制和路径规划，从而提高了系统的整体性能。Groq支持通过PyTorch、TensorFlow等标准机器学习框架进行推理，暂不支持模型训练。此外Groq还提供了编译平台和本地化硬件方案，不过并未介绍更多详情，想要了解的话需要与团队进行联系。而在第三方网站上，搭载Groq芯片的加速卡售价为2万多美元，差不多15万人民币。它由知名电子元件生产商莫仕（molex）旗下的BittWare代工，同时该厂也为英特尔和AMD代工加速卡。目前，Groq的官网正在招人。技术岗位年薪为10万-50万美元，非技术岗位则为9万-47万美元。“目标是三年超过英伟达”除此之外，这家公司还有个日常操作是叫板喊话各位大佬。当时GPTs商店推出之后，Groq就喊话奥特曼：用GPTs就跟深夜读战争与和平一样慢……阴阳怪气直接拉满~马斯克也曾被它痛斥，说“剽窃”自己的名字。在最新讨论中，他们疑似又有了新操作。一名自称Groq工作人员的用户与网友互动时表示，Groq的目标是打造最快的大模型硬件，并扬言：三年时间内赶超英伟达。这下好了，黄院士的核武器有新的目标了。参考链接：[1] ... PC版：手机版：

英伟达发布用于人工智能的“世界上最强大芯片”Blackwell B200 GPU

英伟达发布用于人工智能的“世界上最强大芯片”Blackwell B200 GPU 英伟达的 H100 AI 芯片使其成为价值数万亿美元的公司，其价值可能超过 Alphabet 和亚马逊，而竞争对手一直在奋力追赶。但也许英伟达即将通过新的 Blackwell B200 GPU 和 GB200“超级芯片”扩大其领先地位。该公司在加州圣何塞举行的 GTC 大会上表示，新的 B200 GPU 拥有 2080 亿个晶体管，可提供高达 20petaflops 的 FP4 算力，而 GB200 将两个 GPU 和单个 Grace CPU 结合在一起，可为 LLM 推理工作负载提供30倍的性能，同时还可能大大提高效率。英伟达表示，在具有 1750 亿个参数的 GPT-3 LLM 基准测试中，GB200 的性能是 H100 的7倍，而英伟达称其训练速度是 H100 的4倍。

前几天那个每秒输出500个Token的项目groq，公开了他们的API，他们的输出速度比顶级运营商快18倍。得益于这个速度，甚至

前几天那个每秒输出500个Token的项目groq，公开了他们的API，他们的输出速度比顶级运营商快18倍。得益于这个速度，甚至实现了完全实时的远程AI对话。 Mixtral, 8x7B SMoE可以达到480 Token/S，价格为100万Token 0.27美元。极限情况下他们用Llama2 7B甚至能实现750 Token/S。目前他们还提供100万 Token的免费试用。API完全兼容OpenAI API。这里尝试groq：

微软推出其规模最小的人工智能模型 Phi-3

微软推出其规模最小的人工智能模型 Phi-3 该公司于 12 月发布了 Phi-2，其性能与 Llama 2 等更大的型号不相上下。微软表示，Phi-3 的性能比前一版本更好，其响应速度接近比它大 10 倍的机型。微软Azure人工智能平台公司副总裁埃里克-博伊德（Eric Boyd）介绍说，Phi-3 Mini的性能与GPT-3.5等LLM不相上下，"只是外形尺寸更小而已"。与体积较大的同类，小型人工智能模型的运行成本通常更低，在手机和笔记本电脑等个人。据 The Information今年早些时候报道，微软正在组建一个专门研究轻量级人工智能模型的团队。除了 Phi，该公司还建立了一个专注于解决数学问题的模型Orca-Math。微软的竞争对手也有自己的小型人工智能模型，它们大多针对文档摘要或编码辅助等较简单的任务。Google的 Gemma 2B 和 7B适合简单的聊天机器人和语言相关工作。Anthropic 的 Claude 3 Haiku可以阅读带图表的高密度研究论文并快速总结，而Meta 最近发布的 Llama 3 8B可能会用于一些聊天机器人和编码辅助工作。博伊德说，开发人员用"课程"来训练 Phi-3。他们的灵感来自于儿童是如何从睡前故事、单词较简单的书籍以及谈论较大主题的句子结构中学习的。Phi-3 只是在前几个迭代学习的基础上更进一步。Phi-1 专注于编码，Phi-2 开始学习推理，而 Phi-3 则更擅长编码和推理。虽然Phi-3系列模型知道一些常识，但它在广度上无法击败GPT-4或其他LLM从一个在整个互联网上接受过训练的LLM和一个像Phi-3这样的小型模型中得到的答案差别很大。Boyd 说，公司经常发现，像 Phi-3 这样的小型机型更适合他们的定制应用，因为对于很多公司来说，他们的内部数据集无论如何都会偏小。而且，由于这些型号使用的计算能力较低，它们的价格往往要低得多。 ... PC版：手机版：

Meta最新更新了它的代码生成人工智能模型Code Llama 70B，这是迄今为止“最大且表现最好的模型”。Code Llam

Meta最新更新了它的代码生成人工智能模型Code Llama 70B，这是迄今为止“最大且表现最好的模型”。Code Llama工具在八月份推出，无论是研究还是商业用途都是免费的。根据Meta的AI博客上的一篇文章，Code Llama 70B能够处理比以前版本更多的查询，这意味着开发者在编程时可以给它输入更多的提示，而且它的准确性可以更高。 Code Llama 70B在HumanEval基准测试中的准确率达到了53%，表现比GPT-3.5的48.1%要好，而且接近OpenAI论文报告的GPT-4的67%的成绩。 Code Llama是基于Llama 2构建的，它能帮助开发者根据提示生成代码串，并且调试人类编写的代码。去年秋天，Meta同时推出了另外两款Code Llama工具，分别是Code Llama - Python和Code Llama - Instruct，这两款工具专注于特定的编程语言。 Code Llama70B现在有三个版本的代码生成器可以使用，而且无论是研究还是商业用途都是免费的。这个大型模型是在1TB的代码和与代码相关的数据上进行训练的。它托管在代码库Hugging Face上，Hugging Face提供了GPU资源来运行人工智能模型。 Meta表示，它们的大型模型，34B和70B，“能够带来最佳效果，并提供更好的编码帮助。” 去年，其他人工智能开发者也发布了代码生成器。亚马逊的CodeWhisperer在四月份推出，而微软则利用OpenAI的模型推出了GitHub Copilot。标签: #Meta #AI #Llama 频道: @GodlyNews1 投稿: @GodlyNewsBot

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人