Llama2发布了，这版本可以商用了，国内的大模型有救了，我详细整理了一些信息：

Llama2发布了，这版本可以商用了，国内的大模型有救了，我详细整理了一些信息： - Llama2 的性能和参数 - 如何使用和限制条件 - Llama2 的模型架构 - Llama2 的训练方法论 下面是详细的信息 Llama2 的性能和参数 - Llama2有三个大小的版本分别是7B 13B和70B - Llama 2 的训练数据比 Llama 1 多 40%，上下文长度是 Llama 1 的两倍。 - 预训练的Token为2 万亿，上下文长度为4096 - 据Meta所说，Llama 2 在许多外部基准测试中都优于其他开源语言模型，包括推理、编码、熟练程度和知识测试。 如何使用和限制条件 - 与第一次泄漏的版本不同，这次Meta开放了商业使用的权限。 - 现在可以直接在这个页面申请下载模型： - 日活大于7亿的产品需要单独申请商用权限 - 不得使用 Llama 材料或 Llama 材料的任何输出或结果来改进任何其他大型语言模型。 Llama2 的模型架构 - Llama 2-Chat 的基础是 Llama 2 系列预训练语言模型。Llama 2 使用标准的Transformer架构。 - Llama 2-Chat 通过监督微调和强化学习人类反馈进行了优化。先进行监督微调,然后应用包括拒绝采样和PPO在内的强化学习算法进行迭代改进。 - 采用了一些优化,比如预规范化、SwiGLU激活函数和旋转位置嵌入(RoPE)。 - Llama 2-Chat有70亿、34亿、13亿和7亿参数的版本。训练使用公开可获得的数据,没有使用任何Meta用户数据。 Llama2 的训练方法论 1. 预训练 • 使用公开可获得的在线数据进行预训练,总计2万亿个标记。 • 对数据进行了清洗,移除了一些包含大量个人信息的网站。 • 采用标准的Transformer架构,以及一些优化如RoPE等。 2. 监督微调 • 使用高质量的人工标注数据(约3万示例)进行监督微调。 • 优化回答标记,而不是提示标记。 3. 基于人类反馈的强化学习 • 收集人类偏好数据: letting人类比较并选择更好的回复。 • 训练奖励模型,给回复打分。 • 使用拒绝抽样和PPO算法进行迭代调优。

阿里云成为首家支持 Meta 开源 AI 模型 Llama 的中国企业

阿里云成为首家支持 Meta 开源 AI 模型 Llama 的中国企业 阿里云近日宣布，该公司已成为首家支持 Meta 开源 AI 模型 Llama 的中国企业，并允许其中国企业用户开发基于该模型的程序。 阿里云官方微信公众号表示，该公司在中国推出了第一个针对 Llama2 的系列的培训和部署解决方案，并欢迎所有开发者在阿里云上创建定制的大模型。 阿里云表示，为方便开发者群体，阿里云机器学习平台 PAI 在国内率先对 Llama2 系列模型进行深度适配，推出了轻量级微调、全参数微调、推理服务等场景的最佳实践方案，助力开发者快速基于 Llama2 进行再训练，搭建自己的专属大模型。 来自：雷锋 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot

ℹMeta 与 Microsoft 高通合推次世代 AI 大型语言模型 Llama 2，主打免费开源进军商用市场#

ℹMeta 与 Microsoft 高通合推次世代 AI 大型语言模型 Llama 2，主打免费开源进军商用市场# Meta / Meta Platforms 借由发表次世代 AI 大型语言模型 Llama 2 的机会，也宣布了这个主打免费开源的商用 L...

Meta宣布推出Llama 2(羊驼2) 提供7B~70B模型 开源免费可商用

Meta宣布推出Llama 2(羊驼2) 提供7B~70B模型 开源免费可商用 今天 Meta 发布 Llama 2 也就是羊驼 2 模型，提供 7B、13B 和 70B 参数版本，该模型开源、免费、可商用，这也是为什么最近一段时间有大量新模型出现，对开源社区来说，只要有高质量模型被开源出来，那接下来就是社区成员登场，微调、优化、定制、整合，然后就可以生成更多模型了。 羊驼 2 预训练模型接受了 2 万亿个 tokens 的训练，上下文长度是 Llama 1 的两倍，是的其上下文长度从 2048 提升到了 4096，其微调模型接受了超过 100 万个人类标注的训练。 根据 Meta AI 研究团队的测试，羊驼 2 在不少测试中表现都比较优异 (相对其他开源模型)，包括推理、编程、熟练程度和知识测试。 (需要提供Email地址) 来源 ， 来自：雷锋 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot

Meta推出AI代码编写工具：Code Llama

Meta推出AI代码编写工具：Code Llama Meta发布了一个名为Code Llama的工具，该工具基于Llama 2大型语言模型构建，用于生成新的代码并调试人类编写的代码。Code Llama将采用与Llama 2相同的社区许可，并对研究和商业用途均免费。Meta指出，Code Llama能够根据提示生成代码序列，或者在指向特定代码序列时进行完善和调试。除了基础版的Code Llama外，Meta还推出了专为Python设计的版本Code Llama-Python，以及一个能够理解自然语言指令的版本Code Llama-Instrct。 Meta在其博客中表示：“开发者已经开始利用LLM来辅助各种任务，从编写新软件到调试现有代码。”他们的目标是“使开发者的工作流程更为高效，从而让他们能够更加专注于工作中的人性化方面。”Meta声称，Code Llama在基准测试中的表现超越了其他公开的LLM，但并未明确列出对比的模型。公司透露，Code Llama在代码基准测试HumanEval上得分为53.7%，能够根据文本描述精确地编写代码。Meta计划推出三种规模的Code Llama，并表示其最小规模的版本适合在单个GPU上运行，以满足低延迟项目的需求。 消息来源://

Meta 公司将发布 LLaMA 的商业版本

Meta 公司将发布 LLaMA 的商业版本 LLaMA 是 Meta 开源的大型语言模型（LLM），于今年 2 月公开发布，并提供给研究人员和学者使用，它有 70 亿、130 亿、330 亿和 650 亿等不同参数规模。开源的 LLaMA 中并没有包括其所使用的权重数据，但很快这些权重数据被“意外”泄露，并迅速引爆了一系列基于它的开源创新。尽管开源人工智能模型已经存在，但 Meta 的 LLaMA 商业化仍是重要的一步，因为它比市场上现有的许多开源 LLM 都要大，而且它来自全球最大的科技公司之一。来源 ， 来自：雷锋 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot