通义千问开源千亿级参数模型

通义千问开源千亿级参数模型 通义千问开源1100亿参数模型Qwen1.5-110B，成为全系列首个千亿级参数开源模型。通义千问1100亿参数模型延续了Qwen1.5系列的Transformer解码器架构，采用了分组查询注意力方法(GQA)，使得模型在推理时更加高效。110B模型支持32K上下文长度，具备优秀的多语言能力，支持中、英、法、德、西、俄、日、韩、越、阿拉伯等多种语言。 来源：雪球7X24资讯

而过去一些通过引入先验的方式提升模型能力，在参数量上去之后可能反过来制约了模型。

而过去一些通过引入先验的方式提升模型能力，在参数量上去之后可能反过来制约了模型。 11. 语言只是世界的一个投影。真正的未来是多模态，在这一点上，OpenAI做得很慢，慢得让全世界着急，它却又走得比任何人都要快。真正的世界模型还在后头。 12. 在高校，尤其是国内高校很难再做出有意义的工作了，有机会的话还是进厂做大模型刷新认知。

一加、OPPO将引入谷歌Gemini模型

一加、OPPO将引入谷歌Gemini模型 4 月 12 日消息，谷歌近日举办的 Cloud Next 主题演讲中，宣布和 OPPO、一加公司合作，为其 2024 款手机产品提供 Gemini AI 模型支持。 谷歌在活动中表示通过和 OPPO、一加品牌的合作，进一步在手机领域拓展 Gemini 模型，将现有 Pixel 8、Pixel 8 Pro 上的一些独占功能扩展到两家品牌的手机产品中。 查询相关报道，谷歌在活动中透露了一些 AI 相关的功能，包括新闻摘要、录音机摘要以及“AI 工具箱”，此外 OPPO 和一加表示会通过合作进一步探索 AI 技能，包括为社交媒体平台生成内容等。

零一万物发布千亿参数模型Yi-Large 号称对标GPT4.0

零一万物发布千亿参数模型Yi-Large 号称对标GPT4.0 此外，零一万物还面向国内市场发布了包含Yi-Large、Yi-Large-Turbo、Yi-Medium、Yi-Medium-200K、Yi-Vision、Yi-Spark等多款模型 API 接口的全家桶，宣称更高性价比。早先在5月7日，零一万物刚发布了一站式AI工作平台万知。据官方介绍，万知可以帮助用户做会议纪要、周报、写作助手，还可以解读财报、论文等各类文件，也可以实现PPT的图文制作。李开复表示,大模型推理成本的下降会推动中国AI大模型进入落地为王的阶段,今年会迎来“大模型应用爆发元年”。目前，零一万物主打全球化布局、模基共建、模应一体。据李开复分享，预计零一万物的海外单一应用产品在2024年年度收入可达1亿元，产品ROI接近1。2023年11月，零一万物正式发布了首款开源中英双语大模型“Yi”。彼时，零一万物新一轮融资由阿里云领投，估值已超10亿美元，在近期的采访中，李开复称零一万物预计将在几周内完成2.5亿美元Pre-A轮融资的第二部分融资，并将在年底前开始为其A轮融资寻找投资者。 ... PC版： 手机版：

Mistral AI发布了新的开源模型。该模型以39B活跃参数实现141B参数规模，极大提升了模型规模与成本效率。

Mistral AI发布了新的开源模型。该模型以39B活跃参数实现141B参数规模，极大提升了模型规模与成本效率。 Mixtral 8x22B支持英语、法语、意大利语、德语和西班牙语，并具有强大的数学和编程能力。其支持函数调用，可大规模实现应用开发和技术栈现代化。 Mistral AI坚信开源的力量，Mixtral 8x22B以最宽松的Apache 2.0许可证发布。 Mistral AIModels追求卓越的成本效率。Mixtral 8x22B相较同规模模型，提供最佳的性能价格比。其稀疏激活可提升速度。 Mixtral 8x22B在推理、知识、多语言、编程、数学等多个基准测试上，表现优于其他开源模型。后续会发布指导版本，数学表现更佳。

摩尔线程MTT S4000组成千卡集群“夸娥” 可训练千亿参数大模型

摩尔线程MTT S4000组成千卡集群“夸娥” 可训练千亿参数大模型 目前，无穹Infini-AI已经支持百川Baichuan2、ChatGLM2、ChatGLM3、ChatGLM3闭源模型、Llama2、Qwen、Qwen1.5等系列模型共20多个模型。摩尔线程是第一家接入无问芯穹并成功完成千卡级别大模型训练的国产GPU公司，“夸娥”(KUAE)集群已经与无穹Infini-AI顺利完成了系统级融合适配，并完成了LLama2 700亿参数大模型的训练测试。“夸娥”集群基于双路八卡GPU服务器MCCX D800，每个节点有八块MTT S4000 GPU加速卡、两颗Intel第四代至强处理器、16 x 64GB内存、4×3.84TB NVMe SSD，以及双路400Gb IB、四路25Gb以太网网络，一体化交付解决大规模GPU算力的建设和运营管理问题。夸娥氏是我国神话传说中的大力神，出自《愚公移山》：“帝感其诚，命夸娥氏二子负二山，一厝朔东，一厝雍南。自此，冀之南，汉之阴，无陇断焉。”摩尔线程联合创始人兼执行总裁王东表示，基于先进的MUSA架构，摩尔线程已建立了从芯片、板卡、集群到软件的全栈AI产品线。摩尔线程夸娥智算集群是以全功能GPU为底座、软硬一体化的全栈解决方案，拥有高兼容性、高稳定性、高扩展性等综合优势，可作为大模型训练坚实可靠的先进基础设施。 ... PC版： 手机版：