通义千问发布首个MoE模型Qwen1.5-MoE-A2.7B

通义千问今天发布Qwen1.5-MoE-A2.7B，性能可与当前公认最先进的7B开源模型相媲美，训练成本更低，推理速度更快！Qwen1.5-7B包含65亿个Non-Embedding参数，Qwen1.5-MoE-A2.7B只有20亿个Non-Embedding参数，仅为前者的1/3。相比Qwen1.5-7B，Qwen1.5-MoE-A2.7B的训练成本降低了75%，推理速度则提升了1.74倍。Qwen1.5-MoE模型系列现已在ModelScope社区开源，包括：Qwen1.5-MoE-A2.7B-Chat：https://modelscope.cn/models/qwen/Qwen1.5-MoE-A2.7B-ChatQwen1.5-MoE-A2.7B-Chat-GPTQ-Int4：https://modelscope.cn/models/qwen/Qwen1.5-MoE-A2.7B-Chat-GPTQ-Int4Qwen1.5-MoE-A2.7B：https://modelscope.cn/models/qwen/Qwen1.5-MoE-A2.7Bvia匿名标签:#通义千问#AI频道:@GodlyNews1投稿:@GodlyNewsBot

MiniMax 发布万亿 MoE 模型 abab 6.5

MiniMax发布万亿MoE模型abab6.5MiniMax正式推出abab6.5系列模型，包含两个模型：abab6.5和abab6.5s。其中abab6.5包含万亿参数，支持200ktokens的上下文长度；abab6.5s跟abab6.5使用了同样的训练技术和数据，但是更高效，支持200ktokens的上下文长度，可以1秒内处理近3万字的文本。

昆仑万维开源 2 千亿稀疏大模型天工 MoE，全球首创能用 4090 推理

昆仑万维开源2千亿稀疏大模型天工MoE，全球首创能用4090推理据昆仑万维官微，2024年6月3日，昆仑万维宣布开源2千亿稀疏大模型Skywork-MoE，性能强劲，同时推理成本更低。Skywork-MoE基于之前昆仑万维开源的Skywork-13B模型中间checkpoint扩展而来，是首个完整将MoEUpcycling技术应用并落地的开源千亿MoE大模型，也是首个支持用单台4090服务器推理的开源千亿MoE大模型。

阶跃星辰发布 Step-2 万亿参数 MoE 语言大模型预览版

阶跃星辰发布Step-2万亿参数MoE语言大模型预览版在今日上海开幕的2024全球开发者先锋大会上，通用大模型创业公司阶跃星辰正式对外亮相。阶跃星辰研发的Step-1V千亿参数多模态大模型，在中国权威的大型模型评估平台“司南”（OpenCompass）多模态模型评测榜单中位列第一，性能比肩GPT-4V。阶跃星辰创始人、CEO姜大昕博士在大会上正式对外发布了Step-2万亿参数MoE语言大模型预览版。模型采用MoE架构，聚焦深度智能的探索，并提供API接口给部分合作伙伴试用。据了解，参数量从千亿到万亿，对算力、系统、数据、算法四个方面都提出了极高的要求，业内只有极少数公司能做到。训练万亿参数模型体现了阶跃星辰的核心技术能力，也表明阶跃星辰在通用人工智能领域追赶OpenAI的实力和决心。

AI21 Labs 推出 Jamba：首个基于 Mamba 架构的生产级大模型

AI21Labs推出Jamba：首个基于Mamba架构的生产级大模型以色列人工智能初创公司AI21Labs在近日宣布推出开源大语言模型Jamba，这是世界上首个基于Mamba架构的生产级人工智能模型。而目前大多数模型都基于Transformer架构。Jamba将Mamba的结构化状态空间模型(SSM)和传统Transformer架构的优势相结合，提供了令人印象深刻的性能和效率提升。Jamba拥有高达256k上下文窗口，同时在单个80GBGPU上可容纳最多140K个tokens。其混合结构使Jamba的MoE层允许它在推理时仅使用52B可用参数中的12B参数。——、

标普云发布国内首个财税大模型及 BPai 财税智能体

标普云发布国内首个财税大模型及BPai财税智能体3月13日，标普云发布国内首个财税大模型“开仓”财税大模型，并推出基于自研大模型的AI财税智能体BPai。标普云总裁兼董事长杨蜀表示，AI掌握了学习知识和应用知识的能力，实现了从算力到智力的突破，人机共生时代来临，随着科技和生产力的飞速革新，AI大模型迈入规模应用的新阶段。杨蜀现场演示了智能财税咨询、智能开票两种智能财税应用场景，并表示，通过自然语言实现人机互动，BPai财税智能体可以代替人工来操作复杂软件，实现财税经营领域的“自动驾驶”，为企业降本增效。