通义千问开源千亿级参数模型

通义千问开源千亿级参数模型通义千问开源1100亿参数模型Qwen1.5-110B，成为全系列首个千亿级参数开源模型。通义千问1100亿参数模型延续了Qwen1.5系列的Transformer解码器架构，采用了分组查询注意力方法(GQA)，使得模型在推理时更加高效。110B模型支持32K上下文长度，具备优秀的多语言能力，支持中、英、法、德、西、俄、日、韩、越、阿拉伯等多种语言。来源：雪球7X24资讯

通义千问320亿参数模型开源

近日，阿里云开源了通义千问Qwen1.5-32B。基础能力方面，Qwen1.5-32B模型在MMLU、GSM8K、HumanEval、BBH等多个测评中表现优异，性能接近通义千问720亿参数模型，远超其他300亿级别参数量模型。Chat模型方面，Qwen1.5-32B-Chat模型在MT-Bench评测得分超过8分，与通义千问720亿参数Chat模型之间的差距相对较小。多语言能力方面，阿里表示，选取了包括阿拉伯语、西班牙语、法语、日语、韩语等在内的12种语言，在考试、理解、数学及翻译等多个领域做了测评。Qwen1.5-32B的多语言能力只略逊于通义千问720亿参数模型。此前，通义千问已开源5亿、18亿、40亿、70亿、140亿和720亿参数尺寸的大模型。其中，几款小尺寸模型可便捷地在端侧部署，720亿参数模型拥有业界领先的性能。Qwen1.5-32B模型旨在性能、效率和内存占用之间达到理想平衡，为下游应用提供更好的解决方案。标签:#通义千问#AI频道:@GodlyNews1投稿:@GodlyNewsBot