阿里最新开源推理模型发布：性能比肩DeepSeek-R1

阿里最新开源推理模型发布：性能比肩DeepSeek-R1 阿里通义发布最新开源推理模型，称其性能比肩DeepSeek-R1。3月6日凌晨，阿里巴巴正式发布最新的开源推理模型通义千问QwQ-32B。据介绍，通过大规模强化学习，千问QwQ-32B在数学、代码及通用能力上实现质的飞跃，整体性能比肩DeepSeek-R1，同时大幅降低了部署使用成本，在消费级显卡上也能实现本地部署。QwQ-32B采用了A…… - 电报频道 - #娟姐新闻: @juanjienews

阿里云通义开源推理大模型QwQ，推理水平比肩OpenAI o1

阿里云通义开源推理大模型QwQ，推理水平比肩OpenAI o1 11月28日，阿里云通义团队发布全新人工智能推理模型QwQ-32B-Preview，并同步开源。评测数据显示，预览版本的QwQ，已展现出研究生水平的科学推理能力，在数学和编程方面表现尤为出色，整体推理水平比肩OpenAI o1。QwQ (Qwen with Questions)是通义千问Qwen大模型最新推出的实验性研究模型，也是阿里云首个开源的人工智能推理模型。阿里云通义千问团队研究发现，当模型有足够的时间思考、质疑和反思时，其对数学和编程的理解就会深化。基于此，QwQ取得了解决复杂问题的突破性进展。 阿里巴巴-电报频道- #娟姐新闻:@juanjienews

阿里通义千问开源 320 亿参数模型

阿里通义千问开源 320 亿参数模型 4 月 7 日，阿里云通义千问开源 320 亿参数模型 。通义千问此前已开源 5 亿、18 亿、40 亿、70 亿、140 亿和 720 亿参数 6 款大语言模型。 此次开源的 320 亿参数模型，将在性能、效率和内存占用之间实现更理想的平衡。例如，相比通义千问 14B 开源模型，32B 在智能体场景下能力更强；相比通义千问 72B 开源模型，32B 的推理成本更低。通义千问团队希望 32B 开源模型能为企业和开发者提供更高性价比的模型选择。 目前，通义千问共开源了 7 款大语言模型，在海内外开源社区累计下载量突破 300 万。来源， 频道：@kejiqu 群组：@kejiquchat

摩尔线程国产GPU千卡集群完成30亿参数大模型实训

摩尔线程国产GPU千卡集群完成30亿参数大模型实训 本次实训充分验证了夸娥千卡智算集群在大模型训练场景下的可靠性，同时也在行业内率先开启了国产大语言模型与国产GPU千卡智算集群深度合作的新范式。据悉，这次的MT-infini-3B模型训练总共用时13.2天，全程稳定无中断，集群训练稳定性达到100％，千卡训练和单机相比扩展效率超过90％。目前，实训出来的MT-infini-3B性能在同规模模型中跻身前列，相比在国际主流硬件上(尤其是NVIDIA)训练而成的其他模型，在C-Eval、MMLU、CMMLU等3个测试集上均实现性能领先。无问芯穹正在打造“M种模型”和“N种芯片”之间的“M x N”中间层产品，实现多种大模型算法在多元芯片上的高效、统一部署，已与摩尔线程达成深度战略合作。摩尔线程是第一家接入无问芯穹并进行千卡级别大模型训练的国产GPU公司，夸娥千卡集群已与无穹Infini-AI顺利完成系统级融合适配，完成LLama2 700亿参数大模型的训练测试。T-infini-3B的训练，则是行业内首次实现基于国产GPU芯片从0到1的端到端大模型实训案例。就在日前，基于摩尔线程的夸娥千卡集群，憨猴集团也成功完成了7B、34B、70B不同参数量级的大模型分布式训练，双方还达成战略合作。经双方共同严苛测试，兼容适配程度高，训练效率达到预期，精度符合要求，整个训练过程持续稳定。 ... PC版： 手机版：

现场直击GTC：性能翻30倍的Blackwell芯片 黄仁勋宣告“新工业革命”来了

现场直击GTC：性能翻30倍的Blackwell芯片 黄仁勋宣告“新工业革命”来了 这里是硅谷很多演唱会和演出的举办地，占地4.2万平方米，曾举办过滚石和Bon Jovi 演唱会、美国NHL全明星赛，而现在站在舞台中央的是黄仁勋，他让现场的许多开发者想到了乔布斯。在一段预热片后，黄仁勋上台。背景停留在“我是AI”的界面。“希望大家意识到这不是一场演唱会。你来到的是个开发者大会。”黄仁勋说。这是一场只有模拟而没有动画的发布会。他说。这也让后来整场发布会越来越像科幻片。可能是人类历史上最科幻的一场发布会。“今天抵达GTC现场的公司们价值1 trillion。这么多伙伴，需要这么多的算力，怎么办？我们需要大得多的GPU。把所有GPU 连接起来，成千上万个大的GPU里是成千上万小的GPU， 百万个GPU让你的效率提升！”然后他简单回顾了一下AI的发展历史，“20年前我们就看到了它会到来”。“然后CUDA和AI做了第一次亲密接触。”他说。“06年推出CUDA的时候，我们以为这是革命性的，会一夜成功，结果一等就等了二十年！”“今天的一切都是homemade。”在一个个通过AI模拟出来的酷炫的视频后，一切铺垫就绪了英伟达就是这一切进步的基石。是时候该发布重要芯片了。人们对此有预期，但当B200出现的时候，现场（可能包括全世界围观者）都还是忍不住惊呼。这是Hooper后的新一代架构，以数学家Blackwell命名。在性能上，它就是黄仁勋“黄氏定律”的集大成者和奠基者。以下是我用AI总结的Blackwell GPU的性能特点：高AI性能：B200 GPU提供高达20 petaflops的FP4计算能力，这是由其2080亿个晶体管提供的。高效推理：当与Grace CPU结合形成GB200超级芯片时，它能在LLM推理工作负载上提供比单个GPU高出30倍的性能，同时在成本和能源消耗上比H100 GPU高出25倍。训练能力：使用Blackwell GPU，训练一个1.8万亿参数的模型所需的GPU数量从8000个减少到2000个，同时电力消耗从15兆瓦降低到仅四兆瓦。GPT-3性能：在GPT-3 LLM基准测试中，GB200的性能是H100的七倍，训练速度提高了4倍。改进的Transformer引擎：第二代Transformer引擎通过使用每个神经元的四位而不是八位，实现了计算、带宽和模型大小的翻倍。下一代NVLink开关：允许多达576个GPU之间进行通信，提供每秒1.8太比特的双向带宽。新的网络交换芯片：拥有500亿晶体管和3.6 teraflops的FP8计算能力，用于支持大规模GPU集群的通信。扩展性：NVIDIA的系统可以扩展到数万个GB200超级芯片，通过800Gbps的Quantum-X800 InfiniBand或Spectrum-X800以太网连接。大规模部署：GB200 NVL72设计可以将36个CPU和72个GPU集成到一个液冷机架中，提供总共720 petaflops的AI训练性能或1.4 exaflops的推理性能。支持大型模型：单个NVL72机架可以支持高达27万亿参数的模型，而且有意思的是，黄仁勋似乎透露了一下GPT-4的参数，它可能是一个约1.7万亿参数的模型。（更多关于B200的解读我们会在今天稍晚带来，欢迎关注硅星人GTC后续报道）黄仁勋回顾了自己送给OpenAI的第一个DGX，它只有0.17Peataflops，而今天的DGX Grace-Blackwell GB200已经超过1 Exaflop的算力。老黄站在这张图前讲了半天，这画面让你觉得摩尔定律可能真的死了，黄氏定律正式登基。在B200的发布后，黄仁勋用一个AI生成的模拟短片介绍了“配套”的一系列产品，从集群到数据中心的交换机等。基本都是性能怪兽。GB200超级芯片就是将两个B200 GPU与一个Grace CPU结合在一起，它能将成本和能源消耗比 H100降低多达25倍”。黄仁勋表示自己可得拿稳了，“这块很贵，可能100亿？不过以后会便宜的。”现场爆笑。与此同时，他也强调了新一代芯片和相关产品在能耗上的改进。之前训练一个1.8万亿参数的模型需要使用8000个Hopper GPU和15兆瓦的电力。如今，使用2000个Blackwell GPU就可以完成相同的任务，同时仅消耗4兆瓦的电力。黄仁勋说，英伟达还正在将它们打包成更大的设计，比如GB200 NVL72，把36个CPU和72个GPU集成到一个单一的液冷机架中，提供总共720 petaflops 的AI训练性能或1440petaflops的推理性能。它内部有近乎两英里的电缆，包括5000条独立电缆。此外他也特意强调了推理性能的提升，毕竟英伟达最新的财报已经显示，它的收入越来越多的来自客户们在AI推理部分的支出。主要的云厂商也都被点名表扬了一下，他们和英伟达越来越不可分离。软件方面， 黄仁勋介绍到，英伟达正在打包预训练模型及其附属延伸，并简化了称为NVIDIA推理微服务（NIMS）的微服务部署。这不仅仅是之前的CUDA，而是让模型更易于实施和管理的平台。“你现在就可以下载，带走，安装在你自己的数据中心”，他说道。并且NVIDIA提供服务帮助企业和应用程序对模型进行微调或定制。在罗列了一系列在气象和科学上的合作后，黄仁勋开始进入关于机器人技术的部分，这场发布会开始变得更加科幻。黄仁勋说，英伟达正在押注的下一代产品是能够控制人形机器人。Jetson Thor 就是接替NVIDIA Jetson Orin，为机器人技术推出的更新产品。“确实，世界是为人类设计的，所以我们希望使用英伟达Thor芯片和GR00T软件来训练和管理新一代的人形机器人。这样的机器人将能更好地适应人类设计的环境和工作流程，从而在多样的任务和场景中提供帮助。”机器人展示视频过后，舞台灯光再次亮起时，黄仁勋与身后所有由公司提供动力的人形机器人站在一起，向观众致意。不知为什么有种钢铁侠的意思~还领上来两个在NVIDIA Isaac SIM中学会走路的迪士尼小型机器人。黄仁勋说话时它们一直扭扭捏捏，让老黄不得不低头怜爱地低声说：“Orange（小机器人的名字），我在努力专心！不要再拖延时间了”超级可爱，把现场气氛推向高潮。而在黄仁勋和这两个小机器人一起“打开”的谢幕视频里，一架微型小飞船飞过英伟达历代GPU产品、架构，在光缆中完成了技术巡礼，最后飞机舱门不经意的打开，驾驶员正是黄仁勋的卡通虚拟数字人。主题演讲结束前，黄仁勋又总结了一遍今天的发布会，而近距离镜头可以看到，黄仁勋似乎有些带着泪光。“如果你问我，心目中的GPU是什么样子，今天的发布就是我的答案。”他说今天他展示了什么是英伟达的灵魂。“我们站在计算科学和物理等其他一切科学的交叉点”。这是他心里英伟达的定位。“新的工业革命来了。”而他没说的，是藏在今天一堆PPT里某一张的那行小字英伟达，新工业革命的引擎。这是黄仁勋的时代了。 ... PC版： 手机版：

谷歌TPU人马打造最快推理芯片 喊话奥特曼：你们也太慢了

谷歌TPU人马打造最快推理芯片 喊话奥特曼：你们也太慢了 （这里面还有个熟悉的身影：Lepton）网友表示：这速度简直就是飞机vs走路。值得一提的是，这并非哪家大公司进展初创公司Groq，GoogleTPU团队原班人马，基于自研芯片推出推理加速方案。（注意不是马斯克的Grok）据他们介绍，其推理速度相较于英伟达GPU提高了10倍，成本却降低到十分之一。换言之，任何一个大模型都可以部署实现。目前已经能支持Mixtral 8x7B SMoE、Llama 2的7B和70B这三种模型，并且可直接体验Demo。他们还在官网上喊话奥特曼：你们推出的东西太慢了……每秒接近500tokens既然如此，那就来体验一下这个号称“史上最快推理”的Groq。先声明：不比较生成质量。就像它自己说的那样，内容概不负责。目前，演示界面上有两种模型可以选择。就选择Mixtral 8x7B-32k和GPT-4同擂台对比一下。提示词：你是一个小学生，还没完成寒假作业。请根据《星际穿越》写一篇500字的读后感。结果啪的一下，只需1.76秒就生成了一长串读后感，速度在每秒478Tokens。不过内容是英文的，以及读后感只有三百六十多字。但后面也赶紧做了解释说考虑到是小学生写不了那么多……至于GPT-4这边的表现，内容质量自然更好，也体现了整个思路过程。但要完全生成超过了三十秒。单是读后感内容的生成，也有近二十秒钟的时间。除了Demo演示外，Groq现在支持API访问，并且完全兼容，可直接从OpenAI的API进行简单切换。可以免费试用10天，这期间可以免费获得100万Tokens。目前支持Llama 2-70B 和7B， Groq可以实现4096的上下文长度，还有Mixtral 8x7B这一型号。当然也不局限于这些型号，Groq支持具体需求具体定制。价格方面，他们保证：一定低于市面上同等价格。不过可以看到，每秒500tokens似乎还不是终极速度，他们最快可以实现每秒750Tokens。GoogleTPU团队创业项目Groq是集软硬件服务于一体的大模型推理加速方案，成立于2016年，创始团队中很多都是GoogleTPU的原班人马。公司领导层的10人中，有5人都曾有Google的工作经历，3人曾在英特尔工作。创始人兼CEO Jonathan Ross，设计并实现了第一代TPU芯片的核心元件，TPU的研发工作中有20%都由他完成。Groq没有走GPU路线，而是自创了全球首个L（anguage）PU方案。LPU的核心奥义是克服两个LLM瓶颈计算密度和内存带宽，最终实现的LLM推理性能比其他基于云平台厂商快18倍。据此前他们介绍，英伟达GPU需要大约10焦耳到30焦耳才能生成响应中的tokens，而 Groq 设置每个tokens大约需要1焦耳到3焦耳。因此，推理速度提高了10倍，成本却降低了十分之一，或者说性价比提高了100倍。延迟方面，在运行70B模型时，输出第一个token时的延时仅有0.22秒。甚至为了适应Groq的性能水平，第三方测评机构ArtificialAnalysis还专门调整了图表坐标轴。据介绍，Groq的芯片采用14nm制程，搭载了230MB大SRAM来保证内存带宽，片上内存带宽达到了80TB/s。算力层面，Gorq芯片的整型（8位）运算速度为750TOPs，浮点（16位）运算速度则为188TFLOPs。Groq主要基于该公司自研的TSP架构，其内存单元与向量和矩阵深度学习功能单元交错，从而利用机器学习工作负载固有的并行性对推理进行加速。在运算处理的同时，每个TSP都还具有网络交换的功能，可直接通过网络与其他TSP交换信息，无需依赖外部的网络设备，这种设计提高了系统的并行处理能力和效率。结合新设计的Dragonfly网络拓扑，hop数减少、通信延迟降低，使得传输效率进一步提高；同时软件调度网络带来了精确的流量控制和路径规划，从而提高了系统的整体性能。Groq支持通过PyTorch、TensorFlow等标准机器学习框架进行推理，暂不支持模型训练。此外Groq还提供了编译平台和本地化硬件方案，不过并未介绍更多详情，想要了解的话需要与团队进行联系。而在第三方网站上，搭载Groq芯片的加速卡售价为2万多美元，差不多15万人民币。它由知名电子元件生产商莫仕（molex）旗下的BittWare代工，同时该厂也为英特尔和AMD代工加速卡。目前，Groq的官网正在招人。技术岗位年薪为10万-50万美元，非技术岗位则为9万-47万美元。“目标是三年超过英伟达”除此之外，这家公司还有个日常操作是叫板喊话各位大佬。当时GPTs商店推出之后，Groq就喊话奥特曼：用GPTs就跟深夜读战争与和平一样慢……阴阳怪气直接拉满~马斯克也曾被它痛斥，说“剽窃”自己的名字。在最新讨论中，他们疑似又有了新操作。一名自称Groq工作人员的用户与网友互动时表示，Groq的目标是打造最快的大模型硬件，并扬言：三年时间内赶超英伟达。这下好了，黄院士的核武器有新的目标了。参考链接：[1] ... PC版： 手机版：