Mistral AI 开源 Mistral 8x22B Moe 大模型

Mistral AI 开源 Mistral 8x22B Moe 大模型 Mistral AI 公司刚刚再次用磁力链接开源了一款大模型 Mistral 8x22B，模型文件大小为 281.24 GB。从模型的名字来看，Mistral 8x22B 是去年开源的「mixtral-8x7b」的超级大杯版本，参数规模增长三倍不止，由 8 个 220 亿参数规模 (8×22B) 的专家网络组成。 磁力链接地址：magnet:?xt=urn:btih:9238b09245d0d8cd915be09927769d5f7584c1c9&dn=mixtral-8x22b&tr=udp%3A%2F%2Fopen.demonii.com%3A1337%2Fannounce&tr=http%3A%2F%2Ftracker.opentrackr.org%3A1337%2Fannounce 、

微软入股、数值碾压Meta AI新贵Mistral发布旗舰大模型

微软入股、数值碾压Meta AI新贵Mistral发布旗舰大模型 Mistral AI正式成立于2023年5月。在去年这个时候，创办这家公司的三个法国年轻人还分别在谷歌DeepMind、Facebook上班。到去年12月，随着英伟达、赛富时以及一众华尔街资本挥舞支票，赶忙参与公司价值超4.5亿欧元（接近4.9亿美元）的融资，Mistral AI的市值已然超过20亿美元。（Mistral AI的三位创始人Guillaume Lample， Arthur Mensch， Timothée Lacroix都只有30多岁）发布最新大模型&首个聊天机器人Mistral AI周一宣布，正式推出最新旗舰模型Mistral Large。公司声称该模型具有“顶级的推理能力”，能用于处理复杂的多语言推理任务，包括文本理解、转换和代码生成。在AI理解能力测试基准MMLU的对比中，Mistral Large的得分仅次于GPT-4，略好于Anthropic开发的Claude 2。至于谷歌的Gemini Pro以及Meta的LLaMA 2 70B模型，则被甩开了一个身位。（来源：Mistral AI）据悉，这个模型拥有3.2万tokens的上下文窗口。按照一个token约等于0.75个英文单词的惯用算法，Mistral Large能够一次性从接近2.4万个英文单词的文档中精确提取信息。公司介绍称，该模型对英语、法语、西班牙语、德语和意大利语具有母语级流利程度，并对语法和文化背景有细致的理解。不过与一众大模型一样，实测下来中文也是能用的（后面有测试案例）。当然，最重要的是Mistral AI的开源属性除了使用云服务部署外，还能直接下载部署到本地。与封闭AI模型的龙头OpenAI不同，Mistral AI的大模型可以在“抱抱脸”等代码平台上下载，不过目前还没看到Large模型的文档。（来源：公司官网）公司也在周一发布首个聊天机器人LE CHAT，可以选用刚刚发布的Large模型，以及对延迟、成本进行优化的Mistral Small，还有一个名为Next的下一代原型模型。总而言之，提供了一个试用的窗口。从短暂的上手实测来看，这个模型哪怕使用中文，回答简单的推理题完全没有问题。（来源：LE CHAT）对于美国历史和法国历史，这个模型也能答得上来。不过在追加测试中，这个模型对中国文化历史的了解可以说是．．．．惨不忍睹，不过Mistral本身也没说这个模型懂中国历史。这也是国外开源AI模型存在的通病。（来源：LE CHAT、文心一言）微软收购公司部分股权同样在周一，Mistral AI与微软宣布达成了一项新的合作伙伴关系。从公告上来看，双方的合作主要包含三个方面：1、微软向Mistral AI提供开发和运营模型所需的算力；2、Mistral AI的大模型上架微软云服务，供全球用户部署；3、双方将探索合作，为特定客户制作特定模型。除了提供算力和云服务客户外，这份合作协议也使得微软持有Mistral AI“一小部分股权”。值得一提的是，Mistral这个法文单词的原意指的是“法国吹来的强风”，公司创立的愿景是搞AI其实不需要那么多钱，许多公司白白浪费了非常多的资金。创始人兼首席执行官Arthur Mensch直言，公司要做AI世界里资本效率最高的。Mensch透露，周一发布的Large模型，整个开发成本低于2000万欧元。作为对比，奥尔特曼去年提到过GPT-4的开发成本可能要超过1亿美元。对于微软而言，不管是代表封闭生态的OpenAI，还是开源社区的Mistral或Meta跑赢，公司都将是AI赛道的大赢家。这三家的AI模型都已经上架Azure的云服务，现在美股“股王”还持有前两家公司的股权。 ... PC版： 手机版：

Mistral Large 大语言模型发布

Mistral Large 大语言模型发布 Mistral Large 是 Mistral 新的尖端文本生成模型。它达到了顶级的推理能力，可用于复杂的多语言推理任务，包括文本理解、转换和代码生成。Mistral Large 在常用基准测试中取得了优异的成绩，使其成为世界上排名第二的可通过 API 普遍使用的模型（仅次于 GPT-4）。该模型也可以通过 Azure 直接调用。 Mistral Large 具有以下特点 - 支持英语、法语、西班牙语、德语和意大利语。 - 32K 标记上下文窗口。 - 精确的指令遵循使开发人员能够设计他们的审核策略。 - 原生支持函数调用。 Mistral 还发布了一个新的优化模型 Mistral Small，针对延迟和成本进行了优化，其性能优于 Mixtral 8x7B，并且延迟较低，这使其成为开源型号和旗舰型号之间的中间解决方案。

Perplexity推出，可快速访问开源大型语言模型如Mistral 7B、Llama2 13B等

Perplexity推出，可快速访问开源大型语言模型如Mistral 7B、Llama2 13B等 - pplx-api易于使用，开发者可以在几分钟内通过REST API整合先进的开源模型。 - pplx-api推理速度很快，比其他解决方案的延迟降低了2-3倍。 - pplx-api基础设施经过验证，可以承载产品级流量。 - pplx-api采用NVIDIA TensorRT-LLM和AWS A100 GPU等先进软硬件，实现了优化。 - pplx-api已用于Perplexity的产品中，相比外部API每年节省了62万美元成本。 - pplx-api兼容OpenAI API，可以轻松集成到现有应用中。 - 未来pplx-api将支持更多定制和开源模型。

帮开发者构建生成式 AI 应用，Meta 和微软合作推出开源模型 Llama 2

帮开发者构建生成式 AI 应用，Meta 和微软合作推出开源模型 Llama 2 Meta 和微软近日合作推出 Llama 2，这是 Meta 公司的下一代开源大型语言模型，可以免费用于研究和商业用途。 微软在新闻稿中表示，Llama 2 旨在帮助开发者和组织，构建生成式人工智能工具和体验。 Azure 客户可以在 Azure 平台上更轻松、更安全地微调和部署 7B、13B 和 70B 参数的 Llama 2 模型，此外通过优化可以在 Windows 本地运行。 Llama 2 模型与 Azure AI 的结合使开发人员能够利用 Azure AI 的强大工具进行模型训练、微调、推理，特别是支持 AI 安全的功能。 微软表示在 Windows 中加入 Llama 2 模型，有助于推动 Windows 成为开发人员根据客户需求构建人工智能体验的最佳场所，并释放他们使用 Windows Subsystem for Linux (WSL)、Windows 终端、Microsoft Visual Studio 和 VS Code 等世界级工具进行构建的能力。 、 、

最强开源大模型一夜易主：谷歌Gemma 7B碾压Llama 2 13B 重燃开源之战

最强开源大模型一夜易主：谷歌Gemma 7B碾压Llama 2 13B 重燃开源之战 与此同时，谷歌还放出了16页的技术报告。谷歌表示，Gemma这个名字源自拉丁语「gemma」，也就是「宝石」的意思，似乎是在象征着它的珍贵性。历史上，Transformers、TensorFlow、BERT、T5、JAX、AlphaFold和AlphaCode，都是谷歌为开源社区贡献的创新。而谷歌今天在全球范围内同步推出的Gemma，必然会再一次掀起构建开源AI的热潮。同时也坐实了OpenAI「唯一ClosedAI」的名头。OpenAI最近刚因为Sora火到爆，Llame据称也要有大动作，谷歌这就又抢先一步。硅谷大厂，已经卷翻天了！Hugging Face CEO也跟帖祝贺。还贴出了Gemma登上Hugging Face热榜的截图。Keras作者François Chollet直言：最强开源大模型，今日易主了。有网友已经亲自试用过，表示Gemma 7B真是速度飞快。谷歌简直是用Gemini拳打GPT-4，用Gemma脚踢Llama 2！网友们也是看热闹不嫌事大，召唤Mistral AI和OpenAI今晚赶快来点大动作，别让谷歌真的抢了头条。（手动狗头）可以看到，Gemma-7B模型在涵盖一般语言理解、推理、数学和编码的8项基准测试中，性能已经超越了Llama 2 7B和13B！并且，它也超越了Mistral 7B模型的性能，尤其是在数学、科学和编码相关任务中。在安全性方面，经过指令微调的Gemma-2B IT和 Gemma-7B IT模型，在人类偏好评估中都超过了Mistal-7B v0.2模型。特别是Gemma-7B IT模型，它在理解和执行具体指令方面，表现得更加出色。这次，除了模型本身，谷歌还提供了一套工具帮助开发者，确保Gemma模型负责任的使用，帮助开发者用Gemma构建更安全的AI应用程序。- 谷歌为JAX、PyTorch和TensorFlow提供了完整的工具链，支持模型推理和监督式微调（SFT），并且完全兼容最新的Keras 3.0。- 通过预置的Colab和Kaggle notebooks，以及与Hugging Face、MaxText、NVIDIA NeMo和TensorRT-LLM等流行工具的集成，用户可以轻松开始探索Gemma。- Gemma模型既可以在个人笔记本电脑和工作站上运行，也可以在Google Cloud上部署，支持在Vertex AI和Google Kubernetes Engine (GKE) 上的简易部署。- 谷歌还对Gemma进行了跨平台优化，确保了它在NVIDIA GPU和Google Cloud TPU等多种AI硬件上的卓越性能。并且，使用条款为所有组织提供了负责任的商业使用和分发权限，不受组织规模的限制。不过，Gemma并没有能够在所有的榜单中，都拿下SOTA。在官方放出的评测中，Gemma 7B在MMLU、HellaSwag、SIQA、CQA、ARC-e、HumanEval、MBPP、GSM8K、MATH和AGIEval中，成功击败了Llama 2 7B和13B模型。相比之下，Gemma 7B在Boolq测试中，只与Mistral 7B打了个平手。而在PIQA、ARC-c、Winogrande和BBH中，则不敌Mistral 7B。在OBQA和trivalent QA中，更是同时被7B和13B规模的Llama 2 7B斩于马下。谷歌这次发布的两个版本的Gemma模型，70 亿参数的模型用于GPU和TPU上的高效部署和开发，20亿参数的模型用于CPU和端侧应用程序。在18个基于文本的任务中的11个中，Gemma都优于相似参数规模的开源模型，例如问答、常识推理、数学和科学、编码等任务。模型架构方面，Gemma在Transformer的基础上进行了几项改进，从而在处理复杂任务时能够展现出更加出色的性能和效率。- 多查询注意力机制其中，7B模型采用了多头注意力机制，而2B模型则使用了多查询注意力机制。结果显示，这些特定的注意力机制能够在不同的模型规模上提升性能。- RoPE嵌入与传统的绝对位置嵌入不同，模型在每一层都使用了旋转位置嵌入技术，并且在模型的输入和输出之间共享嵌入，这样做可以有效减少模型的大小。- GeGLU激活函数将标准的ReLU激活函数替换成GeGLU激活函数，可以提升模型的表现。- 归一化化位置（Normalizer Location）每个Transformer子层的输入和输出都进行了归一化处理。这里采用的是RMSNorm作为归一化层，以确保模型的稳定性和效率。架构的核心参数如下：两种规模的参数如下：Gemma 2B和7B分别针对来自网络文档、数学和代码的主要英语数据的2T和6Ttoken，进行了训练。与Gemini不同，这些模型不是多模态的，也没有针对多语言任务的SOTA进行训练。谷歌使用了Gemini的SentencePiece分词器的子集，来实现兼容性。团队对Gemma 2B和7B模型进行了微调，包括有监督的微调（SFT）和基于人类反馈的强化学习（RLHF）。在有监督的微调阶段，研究者使用了一个由纯文本、英文、由人工和机器生成的问题-答案对组成的数据集。在强化学习阶段，则是使用了一个基于英文偏好数据训练出的奖励模型，以及一套精心挑选的高质量提示作为策略。研究者发现，这两个阶段对于提升模型在自动评估和人类偏好评估中的表现，至关重要。研究者根据基于LM的并行评估，选择了数据混合物进行监督微调。给定一组保留prompt，研究者会从测试模型中生成响应，从基准模型中生成对相同提示的响应，随机洗牌，然后要求一个更大、能力更强的模型在两种响应之间表达偏好。研究者构建了不同的提示集，以突出特定的能力，如遵循指令、实事求是、创造性和安全性。我们使用了不同的基于LM的自动评委，采用了一系列技术，如思维链提示、使用评分标准和章程等，以便与人类偏好保持一致。研究者进一步利用来自人类反馈的强化学习（RLHF），对已经进行过有监督微调的模型进行了优化。他们从人类评估者那里收集他们的偏好选择，并在 Bradley-Terry 模型的基础上，训练了一个奖励函数，这与Gemini项目的做法相似。研究者采用了一个改进版的REINFORCE算法，加入了 Kullback–Leibler 正则化项，目的是让策略优化这个奖励函数，同时保持与最初调整模型的一致性。与之前的有监督微调阶段相似，为了调整超参数并进一步防止奖励机制被滥用，研究者使用了一个高性能模型作为自动评估工具，并将其与基准模型进行了直接对比。谷歌在多个领域对Gemma进行了性能评估，包括物理和社会推理、问答、编程、数学、常识推理、语言建模、阅读理解等。Gemma2B和7B模型与一系列学术基准测试中的多个外部开源大语言模型进行了比较。在MMLU基准测试中，Gemma 7B模型不仅超过了所有规模相同或更小的开源模型，还超过了一些更大的模型，包括Llama 2 13B。然而，基准测试的制定者评估人类专家的表现为89.8%，而Gemini Ultra是首个超越此标准的模型，这表明Gemma在达到Gemini和人类水平的性能上，还有很大的提升空间。并且，Gemma模型在数学和编程的基准测试中表现尤为突出。在通常用于评估模型分析能力的数学任务中，Gemma 模型在GSM8K和更具挑战性的 MATH基准测试上至少领先其他模型10分。同样，在HumanEval上，它们至少领先其他开源模型6分。Gemma甚至在MBPP上超过了专门进行代码微调的CodeLLaMA 7B模型的性能（CodeLLaMA得分为41.4%，而 Gemma 7B得分为44.4%）。近期研究发现，即便是经过精心对齐的人工智能模型，也可能遭受新型对抗攻击，这种攻击能够规避现有的对齐措施。这类攻击有可能使模型行为异常，有时甚至会导致模型重复输出它在训练过程中记住的数据。因此，研究者专注于研究模型的「可检测记忆」能力，这被认为是评估模型记忆能力的一个上限，并已在多项研究中作为通用定义。研究者对Gemma预训练模型进行了记忆测试。具体来说，他们从每个数据集中随机选择了10,000篇文档，并使用文档开头的50个词元作为模型的prompt。测试重点是精确记忆，即如果模型能够基于输入，精确地生成接下来的50token，与原文完全一致，便认为模型「记住了」这段文本。此外，为了探测模型是否能够以改写的形式记忆信息，研究者还测试了模型的「近似记忆」能力，即允许在生成的文本和原文之间存... PC版： 手机版：