Mistral AI 开源 Mistral 8x22B Moe 大模型

Mistral AI 开源 Mistral 8x22B Moe 大模型 Mistral AI 公司刚刚再次用磁力链接开源了一款大模型 Mistral 8x22B，模型文件大小为 281.24 GB。从模型的名字来看，Mistral 8x22B 是去年开源的「mixtral-8x7b」的超级大杯版本，参数规模增长三倍不止，由 8 个 220 亿参数规模 (8×22B) 的专家网络组成。 磁力链接地址：magnet:?xt=urn:btih:9238b09245d0d8cd915be09927769d5f7584c1c9&dn=mixtral-8x22b&tr=udp%3A%2F%2Fopen.demonii.com%3A1337%2Fannounce&tr=http%3A%2F%2Ftracker.opentrackr.org%3A1337%2Fannounce 、

Mistral AI发布了新的开源模型。该模型以39B活跃参数实现141B参数规模，极大提升了模型规模与成本效率。

Mistral AI发布了新的开源模型。该模型以39B活跃参数实现141B参数规模，极大提升了模型规模与成本效率。 Mixtral 8x22B支持英语、法语、意大利语、德语和西班牙语，并具有强大的数学和编程能力。其支持函数调用，可大规模实现应用开发和技术栈现代化。 Mistral AI坚信开源的力量，Mixtral 8x22B以最宽松的Apache 2.0许可证发布。 Mistral AIModels追求卓越的成本效率。Mixtral 8x22B相较同规模模型，提供最佳的性能价格比。其稀疏激活可提升速度。 Mixtral 8x22B在推理、知识、多语言、编程、数学等多个基准测试上，表现优于其他开源模型。后续会发布指导版本，数学表现更佳。

Google 宣布辅助编程用的开放大模型 CodeGemma

Google 宣布辅助编程用的开放大模型 CodeGemma Google 宣布了辅助编程用的开放大模型 ，模型权重可以在上下载。CodeGemma 是基于 Google 今年 2 月发布的轻量级开放大模型 Gemma，针对 Gemma 的两个不同参数规模的版本 Gemma 2B 和 Gemma 7B 发布了 CodeGemma 2B 和 CodeGemma 7B（有预训练和指令微调两种）。来源 ， 频道：@kejiqu 群组：@kejiquchat

Mistral Large 大语言模型发布

Mistral Large 大语言模型发布 Mistral Large 是 Mistral 新的尖端文本生成模型。它达到了顶级的推理能力，可用于复杂的多语言推理任务，包括文本理解、转换和代码生成。Mistral Large 在常用基准测试中取得了优异的成绩，使其成为世界上排名第二的可通过 API 普遍使用的模型（仅次于 GPT-4）。该模型也可以通过 Azure 直接调用。 Mistral Large 具有以下特点 - 支持英语、法语、西班牙语、德语和意大利语。 - 32K 标记上下文窗口。 - 精确的指令遵循使开发人员能够设计他们的审核策略。 - 原生支持函数调用。 Mistral 还发布了一个新的优化模型 Mistral Small，针对延迟和成本进行了优化，其性能优于 Mixtral 8x7B，并且延迟较低，这使其成为开源型号和旗舰型号之间的中间解决方案。

IBM宣布在watsonx上提供开源Mistral AI模型

IBM宣布在watsonx上提供开源Mistral AI模型 这有可能将延迟时间缩短 35-75%，具体取决于批量大小加快洞察时间。这是通过一个称为量化的过程实现的，该过程减少了 LLM 的模型大小和内存需求，反过来又能加快处理速度，有助于降低成本和能耗。Mixtral-8x7B 的加入扩展了 IBM 的开放式多模型战略，以满足客户的需求，为他们提供选择和灵活性，从而在其业务中扩展企业人工智能解决方案。通过数十年的人工智能研发、与 Meta 和 Hugging Face 的开放合作以及与模型领导者的合作，IBM 正在扩展其模型目录，并引入新的功能、语言和模式。IBM 的企业就绪基础模型选择及其 watsonx 人工智能和数据平台可以帮助客户利用生成式人工智能获得新的洞察力和效率，并基于信任原则创建新的业务模式。IBM 可帮助客户为金融等目标业务领域的正确用例和性价比目标选择正确的模型。Mixtral-8x7B 采用了稀疏建模（一种创新技术，只查找和使用数据中最重要的部分，以创建更高效的模型）和专家混合技术（Mixture-of-Experts）的组合，后者将擅长并解决不同部分问题的不同模型（"专家"）结合在一起。Mixtral-8x7B 模型因其能够快速处理和分析海量数据，提供与背景相关的见解而广为人知。IBM 软件公司产品管理与增长高级副总裁 Kareem Yusuf 博士说："客户要求有选择性和灵活性，以便部署最适合其独特用例和业务要求的模型。通过在watsonx上提供Mixtral-8x7B和其他模型，我们不仅为他们提供了部署人工智能的可选性，还为人工智能构建者和业务领导者提供了一个强大的生态系统，使他们能够利用工具和技术推动不同行业和领域的创新。"本周，IBM还宣布在watsonx上提供由ELYZA公司开源的日本LLM模型ELYZA-japanese-Llama-2-7b。IBM还在watsonx上提供Meta的开源模型Llama-2-13B-chat和Llama-2-70B-chat以及其他第三方模型，未来几个月还将提供更多。 ... PC版： 手机版：

32K上下文，Mistral 7B v0.2基模型突然开源了

32K上下文，Mistral 7B v0.2基模型突然开源了 这次开源的 Mistral 7B v0.2 Base Model ，是 Mistral-7B-Instruct-v0.2 背后的原始预训练模型，后者属于该公司的“Mistral Tiny”系列。此次更新主要包括三个方面：将 8K 上下文提到了 32K；Rope Theta = 1e6；取消滑动窗口。下载链接：…更新之后的性能对比是这样的：场外观众迅速跟进。有人评价说：“Mistral 7B 已经是同尺寸级别中最好的模型，这次改进是一个巨大的进步。 我将尽快在这个模型上重新训练当前的许多微调。”Mistral AI 的第一个 7B 模型发布于 2023 年 9 月，在多个基准测试中实现了优于 Llama 2 13B 的好成绩，让 Mistral AI 一下子就打出了知名度。这也导致目前很多开源大模型都已不再对标 Llama 2，而是将 Mistral AI 旗下的各系列模型作为直接竞争对手。而 Mistral 7B v0.2 Base Model 对应的指令调优版本 Mistral-7B-Instruct-v0.2 在 2023 年 12 月就已开放测试，据官方博客介绍，该模型仅适用于英语，在 MT-Bench 上能够获得 7.6 分的成绩，逊于 GPT-3.5。此次开放基础模型之后，开发者们就可以根据自己的需求对这个“当前最好的 7B 模型”进行微调了。不过，7B 模型只能算是 Mistral AI 众多惊艳成果中的一项。这家公司的长远目标是对标 OpenAI。上个月底，Mistral AI 正式发布了“旗舰级”大模型 Mistral Large。与此前的一系列模型不同，这一版本性能更强，体量更大，直接对标 OpenAI 的 GPT-4。随着 Mistral Large 上线，Mistral AI 推出了名为 Le Chat 的聊天助手，也实现了对标 ChatGPT。而新模型的发布，也伴随着公司大方向的一次转型。人们发现， Mistral Large 并不是一个开源大模型 有跑分、 API 和应用，就是不像往常一样有 GitHub 或是下载链接。与 Mistral Large 发布同时发生的，是 Mistral AI 与微软达成了长期合作的协议，不仅会将 Mistral Large 引入 Azure，还收获了微软 1600 万美元的投资。Mistral AI 对路透社表示，作为交易的一部分，微软将持有该公司少数股权，但未透露细节。未来，二者的合作主要集中在三个核心领域：超算基础设施：微软将通过 Azure AI 超级计算基础设施支持 Mistral AI ，为 Mistral AI 旗舰模型的 AI 训练和推理工作负载提供一流的性能和规模；市场推广：微软和 Mistral AI 将通过 Azure AI Studio 和 Azure 机器学习模型目录中的模型即服务（MaaS）向客户提供 Mistral AI 的高级模型。除 OpenAI 模型外，模型目录还提供了多种开源和商业模型。人工智能研发：微软和 Mistral AI 将探索为特定客户训练特定目的模型的合作。当被问及公司是否正在改变其开源商业模式时，Mistral AI 联合创始人 Arthur Mensch 在采访中表示：“我们从开源模式开始，任何人都可以免费部署，因为这是广泛分发它们并创造需求的一种方式。但从一开始，我们就提供了一种具有优化模型的商业模式，这让使该公司能够为模型开发所需的昂贵研究提供资金。”参考链接： 2024）即将于 2024 年 3 月 30 日至 31 日在上海徐汇西岸美高梅酒店举行。本次大会由中国人工智能学会（CAAI）主办，CAAI 具身智能专委会（筹）、同济大学、中国科学院计算技术研究所、上海交通大学、中国经济信息社上海总部联合承办，全球高校人工智能学术联盟协办，机器之心独家 AI 媒体合作。盛会将为具身智能领域的学术与产业界搭建一个交流合作的顶级平台，以广泛促进学术分享与交流、产业合作与互动，推动产学研联动发展，提升我国具身智能技术的研究与应用水平。 ... PC版： 手机版：