4050亿参数 Meta或将7月23日发布迄今最强大Llama 3模型

4050亿参数 Meta或将7月23日发布迄今最强大Llama 3模型 Meta公司拒绝对上述消息置评。周五盘中，低开的Meta股价跌幅收窄，盘初曾跌3.6%，午盘跌不足2%，仍将在周四大幅回落超4%后连跌两日，或将刷新6月28日以来收盘低位。去年7月Meta发布的Llama 2有三个版本，最大版本70B的参数规模为700亿。今年4月，Meta发布Llama 3Meta，称它为“迄今为止能力最强的开源LLM”。当时推出的Llama 3有8B和70B两个版本。Meta CEO扎克伯格当时称，大版本的Llama 3将有超过4000亿参数。Meta并未透露会不会将4000亿参数规模的Llama 3开源，当时它还在接受训练。对比前代，Llama 3有了质的飞跃。Llama 2使用2万亿个 token进行训练，而训练Llama 3大版本的token超过15 万亿。Meta称，由于预训练和训练后的改进，其预训练和指令调优的模型是目前8B和70B两个参数规模的最佳模型。在训练后程序得到改进后，模型的错误拒绝率（FRR）大幅下降，一致性提高，模型响应的多样性增加。 在推理、代码生成和指令跟踪等功能方面，Llama 3相比Llama 2有极大改进，使Llama 3更易于操控。4月Meta展示，8B和70B版本的Llama 3指令调优模型在大规模多任务语言理解数据集（MMLU）、研究生水平专家推理（GPQA）、数学评测集（GSM8K）、编程多语言测试（HumanEval）等方面的测评得分都高于Mistral、谷歌的Gemma和Gemini和Anthropic的Claude 3。8B和70B版本的预训练Llama 3多种性能测评优于Mistral、Gemma、Gemini和Mixtral。当时社交媒体的网友评论称，根据基准测试，当前的Llama 3模型不完全是 GPT-4 级别的，但仍在训练中的较大尺寸的模型将达到 GPT-4 级别。英伟达高级科学家Jim Fan认为，Llama 3的推出已经脱离了技术层面的进步，更是开源模型与顶尖闭源模型可分庭抗礼的象征。从Jim Fan分享的基准测试可以看出，Llama 3 400B 的实力几乎媲美 Claude“超大杯”以及新版 GPT-4 Turbo，将成为“分水岭”，相信它将释放巨大的研究潜力，推动整个生态系统的发展，开源社区或将能用上GPT-4级别的模型。此后有消息称，研究人员尚未开始对Llama 3进行微调，还未决定Llama 3是否将是多模态模型；正式版的Llama 3将会在今年7月正式推出。不同于OpenAI等开发商，Meta致力于开源LLM，不过，这个赛道也越来越拥挤。谷歌、特斯拉CEO马斯克旗下的xAI和Mistral 等竞争对手也发布了免费的AI模型。Llama 3问世后，同在4月亮相的4800亿参数模型Arctic击败Llama 3、Mixtra，刷新了全球最大开源模型的纪录。Arctic基于全新的Dense-MoE架构设计，由一个10B的稠密Tranformer模型和128×3.66B的MoE MLP组成，并在3.5万亿个token上进行了训练。相比Llama 3 8B和Llama 2 70B，Arctic所用的训练计算资源不到它们的一半，评估指标却取得了相当的分数。 ... PC版： 手机版：

Llama2发布了，这版本可以商用了，国内的大模型有救了，我详细整理了一些信息：

Llama2发布了，这版本可以商用了，国内的大模型有救了，我详细整理了一些信息： - Llama2 的性能和参数 - 如何使用和限制条件 - Llama2 的模型架构 - Llama2 的训练方法论 下面是详细的信息 Llama2 的性能和参数 - Llama2有三个大小的版本分别是7B 13B和70B - Llama 2 的训练数据比 Llama 1 多 40%，上下文长度是 Llama 1 的两倍。 - 预训练的Token为2 万亿，上下文长度为4096 - 据Meta所说，Llama 2 在许多外部基准测试中都优于其他开源语言模型，包括推理、编码、熟练程度和知识测试。 如何使用和限制条件 - 与第一次泄漏的版本不同，这次Meta开放了商业使用的权限。 - 现在可以直接在这个页面申请下载模型： - 日活大于7亿的产品需要单独申请商用权限 - 不得使用 Llama 材料或 Llama 材料的任何输出或结果来改进任何其他大型语言模型。 Llama2 的模型架构 - Llama 2-Chat 的基础是 Llama 2 系列预训练语言模型。Llama 2 使用标准的Transformer架构。 - Llama 2-Chat 通过监督微调和强化学习人类反馈进行了优化。先进行监督微调,然后应用包括拒绝采样和PPO在内的强化学习算法进行迭代改进。 - 采用了一些优化,比如预规范化、SwiGLU激活函数和旋转位置嵌入(RoPE)。 - Llama 2-Chat有70亿、34亿、13亿和7亿参数的版本。训练使用公开可获得的数据,没有使用任何Meta用户数据。 Llama2 的训练方法论 1. 预训练 • 使用公开可获得的在线数据进行预训练,总计2万亿个标记。 • 对数据进行了清洗,移除了一些包含大量个人信息的网站。 • 采用标准的Transformer架构,以及一些优化如RoPE等。 2. 监督微调 • 使用高质量的人工标注数据(约3万示例)进行监督微调。 • 优化回答标记,而不是提示标记。 3. 基于人类反馈的强化学习 • 收集人类偏好数据: letting人类比较并选择更好的回复。 • 训练奖励模型,给回复打分。 • 使用拒绝抽样和PPO算法进行迭代调优。

Meta 公司将发布 LLaMA 的商业版本

Meta 公司将发布 LLaMA 的商业版本 LLaMA 是 Meta 开源的大型语言模型（LLM），于今年 2 月公开发布，并提供给研究人员和学者使用，它有 70 亿、130 亿、330 亿和 650 亿等不同参数规模。开源的 LLaMA 中并没有包括其所使用的权重数据，但很快这些权重数据被“意外”泄露，并迅速引爆了一系列基于它的开源创新。尽管开源人工智能模型已经存在，但 Meta 的 LLaMA 商业化仍是重要的一步，因为它比市场上现有的许多开源 LLM 都要大，而且它来自全球最大的科技公司之一。来源 ， 来自：雷锋 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot

：用 Llama 2 打造个性化教育平台

：用 Llama 2 打造个性化教育平台 韩国教育公司Mathpresso利用开源模型Llama 2打造了数学学习平台QANDA和数学专用语言模型MathGPT。 商业语言模型如ChatGPT缺乏针对复杂教育背景的个性化。Llama 2灵活开源，Mathpresso可以充分利用自己的数据和技术。MathGPT不仅给出答案，还提供步骤详细的解释，帮助学生深入理解。它在国小和国中数学测试中刷新了世界纪录。 韩国AI创业公司Upstage也使用了Llama 2。它的模型在开源语言模型排行榜上首次超过了GPT-3.5。Upstage认为Llama 2作为顶尖开源语言模型，为他们提供了充分的基础去开发定制化模型。 Mathpresso希望通过AI导师，实现个性化教育向所有人开放。Llama 2这样的开源模型给了他们灵活性去创造可负担的教育工具。Llama 2等开源模型为公司大大小小提供了使用尖端技术的公平机会。它们正在开创性地影响教育等领域。

掌握Llama 2：Meta推出提示工程交互式指南 || #指南

掌握Llama 2：Meta推出提示工程交互式指南 || #指南 一个交互式指南，涵盖了提示工程和最佳实践，专为与大型语言模型(LLM)工作的开发者、研究人员和爱好者设计。 指南提供了关于如何有效地与Llama 2模型交互的详细信息，包括如何格式化聊天提示、何时使用哪种Llama变体、何时使用ChatGPT而不是Llama、系统提示的工作方式以及一些技巧和窍门。还包括如何使用PEFT进行微调、如何在本地机器上进行微调以及如何部署Llama 2等资源。 Llama 2是Meta发布的一系列最新的开放访问大型语言模型，包括7B、13B和70B参数规模的模型，这些模型在预训练和微调方面都有显著改进。

阿里云成为首家支持 Meta 开源 AI 模型 Llama 的中国企业

阿里云成为首家支持 Meta 开源 AI 模型 Llama 的中国企业 阿里云近日宣布，该公司已成为首家支持 Meta 开源 AI 模型 Llama 的中国企业，并允许其中国企业用户开发基于该模型的程序。 阿里云官方微信公众号表示，该公司在中国推出了第一个针对 Llama2 的系列的培训和部署解决方案，并欢迎所有开发者在阿里云上创建定制的大模型。 阿里云表示，为方便开发者群体，阿里云机器学习平台 PAI 在国内率先对 Llama2 系列模型进行深度适配，推出了轻量级微调、全参数微调、推理服务等场景的最佳实践方案，助力开发者快速基于 Llama2 进行再训练，搭建自己的专属大模型。 来自：雷锋 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot