通义千问发布首个MoE模型Qwen1.5-MoE-A2.7B

通义千问今天发布Qwen1.5-MoE-A2.7B,性能可与当前公认最先进的7B开源模型相媲美,训练成本更低,推理速度更快!Qwen1.5-7B包含65亿个Non-Embedding参数,Qwen1.5-MoE-A2.7B只有20亿个Non-Embedding参数,仅为前者的1/3。相比Qwen1.5-7B,Qwen1.5-MoE-A2.7B的训练成本降低了75%,推理速度则提升了1.74倍。Qwen1.5-MoE模型系列现已在ModelScope社区开源,包括:Qwen1.5-MoE-A2.7B-Chat:https://modelscope.cn/models/qwen/Qwen1.5-MoE-A2.7B-ChatQwen1.5-MoE-A2.7B-Chat-GPTQ-Int4:https://modelscope.cn/models/qwen/Qwen1.5-MoE-A2.7B-Chat-GPTQ-Int4Qwen1.5-MoE-A2.7B:https://modelscope.cn/models/qwen/Qwen1.5-MoE-A2.7Bvia匿名标签:#通义千问#AI频道:@GodlyNews1投稿:@GodlyNewsBot

相关推荐

封面图片

通义千问70亿参数模型上线魔搭社区,开源免费可商用

通义千问70亿参数模型上线魔搭社区,开源免费可商用AI模型社区魔搭ModelScope上架两款开源模型和,阿里云确认其为通义千问70亿参数通用模型和对话模型,两款模型均开源、免费、可商用。在多个权威测评中,通义千问7B模型取得了远超国内外同等尺寸模型的效果,成为当下业界最强的中英文7B开源模型。Qwen-7B是支持中、英等多种语言的基座模型,在超过2万亿token数据集上训练,上下文窗口长度达到8k。Qwen-7B-Chat是基于基座模型的中英文对话模型,已实现与人类认知对齐。开源代码支持对Qwen-7B和Qwen-7B-Chat的量化,支持用户在消费级显卡上部署和运行模型。https://modelscope.cn/models/qwen/Qwen-7B/summaryhttps://modelscope.cn/models/qwen/Qwen-7B-Chat/summaryhttps://github.com/QwenLM/Qwen-7B来自:雷锋频道:@kejiqu群组:@kejiquchat投稿:@kejiqubot

封面图片

阿里通义千问 Qwen2 大模型发布并同步开源

阿里通义千问Qwen2大模型发布并同步开源阿里通义千问Qwen2大模型今日发布,并在HuggingFace和ModelScope上同步开源。据悉,Qwen2系列涵盖5个尺寸的预训练和指令微调模型,其中包括Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B和Qwen2-72B,上下文长度支持进一步扩展,最高达128Ktokens。——

封面图片

通义千问320亿参数模型开源

近日,阿里云开源了通义千问Qwen1.5-32B。基础能力方面,Qwen1.5-32B模型在MMLU、GSM8K、HumanEval、BBH等多个测评中表现优异,性能接近通义千问720亿参数模型,远超其他300亿级别参数量模型。Chat模型方面,Qwen1.5-32B-Chat模型在MT-Bench评测得分超过8分,与通义千问720亿参数Chat模型之间的差距相对较小。多语言能力方面,阿里表示,选取了包括阿拉伯语、西班牙语、法语、日语、韩语等在内的12种语言,在考试、理解、数学及翻译等多个领域做了测评。Qwen1.5-32B的多语言能力只略逊于通义千问720亿参数模型。此前,通义千问已开源5亿、18亿、40亿、70亿、140亿和720亿参数尺寸的大模型。其中,几款小尺寸模型可便捷地在端侧部署,720亿参数模型拥有业界领先的性能。Qwen1.5-32B模型旨在性能、效率和内存占用之间达到理想平衡,为下游应用提供更好的解决方案。标签:#通义千问#AI频道:@GodlyNews1投稿:@GodlyNewsBot

封面图片

【通义千问开源首个MoE模型】据#阿里通义千问官微,通义千问团队开源首个MoE模型,名为Qwen1.5-MoE-A2.7B。它仅

封面图片

通义千问开源首个MoE模型据阿里通义千问官微,通义千问团队开源首个MoE模型,名为Qwen1.5-MoE-A2.7B。它仅有27

封面图片

阿里云开源通义千问70亿参数模型

阿里云开源通义千问70亿参数模型8月3日,阿里云开源通义千问70亿参数模型,包括通用模型Qwen-7B和对话模型Qwen-7B-Chat,两款模型均已上线魔搭社区,开源、免费、可商用。此举让阿里云成为国内首个加入大模型开源行列的大型科技企业。来源:https://nbd.com.cn/articles/2023-08-03/2944847.html投稿:@ZaiHuaBot频道:@TestFlightCN

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人