4050亿参数 Meta或将7月23日发布迄今最强大Llama 3模型

4050亿参数 Meta或将7月23日发布迄今最强大Llama 3模型 Meta公司拒绝对上述消息置评。周五盘中，低开的Meta股价跌幅收窄，盘初曾跌3.6%，午盘跌不足2%，仍将在周四大幅回落超4%后连跌两日，或将刷新6月28日以来收盘低位。去年7月Meta发布的Llama 2有三个版本，最大版本70B的参数规模为700亿。今年4月，Meta发布Llama 3Meta，称它为“迄今为止能力最强的开源LLM”。当时推出的Llama 3有8B和70B两个版本。Meta CEO扎克伯格当时称，大版本的Llama 3将有超过4000亿参数。Meta并未透露会不会将4000亿参数规模的Llama 3开源，当时它还在接受训练。对比前代，Llama 3有了质的飞跃。Llama 2使用2万亿个 token进行训练，而训练Llama 3大版本的token超过15 万亿。Meta称，由于预训练和训练后的改进，其预训练和指令调优的模型是目前8B和70B两个参数规模的最佳模型。在训练后程序得到改进后，模型的错误拒绝率（FRR）大幅下降，一致性提高，模型响应的多样性增加。 在推理、代码生成和指令跟踪等功能方面，Llama 3相比Llama 2有极大改进，使Llama 3更易于操控。4月Meta展示，8B和70B版本的Llama 3指令调优模型在大规模多任务语言理解数据集（MMLU）、研究生水平专家推理（GPQA）、数学评测集（GSM8K）、编程多语言测试（HumanEval）等方面的测评得分都高于Mistral、谷歌的Gemma和Gemini和Anthropic的Claude 3。8B和70B版本的预训练Llama 3多种性能测评优于Mistral、Gemma、Gemini和Mixtral。当时社交媒体的网友评论称，根据基准测试，当前的Llama 3模型不完全是 GPT-4 级别的，但仍在训练中的较大尺寸的模型将达到 GPT-4 级别。英伟达高级科学家Jim Fan认为，Llama 3的推出已经脱离了技术层面的进步，更是开源模型与顶尖闭源模型可分庭抗礼的象征。从Jim Fan分享的基准测试可以看出，Llama 3 400B 的实力几乎媲美 Claude“超大杯”以及新版 GPT-4 Turbo，将成为“分水岭”，相信它将释放巨大的研究潜力，推动整个生态系统的发展，开源社区或将能用上GPT-4级别的模型。此后有消息称，研究人员尚未开始对Llama 3进行微调，还未决定Llama 3是否将是多模态模型；正式版的Llama 3将会在今年7月正式推出。不同于OpenAI等开发商，Meta致力于开源LLM，不过，这个赛道也越来越拥挤。谷歌、特斯拉CEO马斯克旗下的xAI和Mistral 等竞争对手也发布了免费的AI模型。Llama 3问世后，同在4月亮相的4800亿参数模型Arctic击败Llama 3、Mixtra，刷新了全球最大开源模型的纪录。Arctic基于全新的Dense-MoE架构设计，由一个10B的稠密Tranformer模型和128×3.66B的MoE MLP组成，并在3.5万亿个token上进行了训练。相比Llama 3 8B和Llama 2 70B，Arctic所用的训练计算资源不到它们的一半，评估指标却取得了相当的分数。 ... PC版： 手机版：

Poe 在 X 宣布，Llama 3 已可在 Poe 上使用。Llama 3 70B 是目前最强大的开源模型，在整个行业基准中具

Poe 在 X 宣布，Llama 3 已可在 Poe 上使用。Llama 3 70B 是目前最强大的开源模型，在整个行业基准中具有最先进的性能。它提供了新的功能，例如增强的推理、更好的代码生成和改进的指令跟踪。 标签: #Poe #AI 频道: @GodlyNews1 投稿: @GodlyNewsBot

Meta发布全新大型语言模型LLaMA，加入硅谷AI竞赛

Meta发布全新大型语言模型LLaMA，加入硅谷AI竞赛 当地时间2月24日，Meta公司发布一款新的人工智能大型语言模型LLaMA，加入微软、谷歌等硅谷公司的竞赛。Meta首席执行官扎克伯格在Instagram表示，LLaMA模型旨在帮助研究人员推进工作，在生成文本、对话、总结书面材料、证明数学定理或预测蛋白质结构等更复杂的任务方面“有很大的前景”。Meta表示，在大多数基准测试中，参数仅为十分之一的LLaMA-13B的性能优于OpenAI推出的GPT3(175B)，也即支持ChatGPT的GPT3.5的前身。 来源 ， 来自：雷锋 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot

Meta宣布推出Llama 2(羊驼2) 提供7B~70B模型 开源免费可商用

Meta宣布推出Llama 2(羊驼2) 提供7B~70B模型 开源免费可商用 今天 Meta 发布 Llama 2 也就是羊驼 2 模型，提供 7B、13B 和 70B 参数版本，该模型开源、免费、可商用，这也是为什么最近一段时间有大量新模型出现，对开源社区来说，只要有高质量模型被开源出来，那接下来就是社区成员登场，微调、优化、定制、整合，然后就可以生成更多模型了。 羊驼 2 预训练模型接受了 2 万亿个 tokens 的训练，上下文长度是 Llama 1 的两倍，是的其上下文长度从 2048 提升到了 4096，其微调模型接受了超过 100 万个人类标注的训练。 根据 Meta AI 研究团队的测试，羊驼 2 在不少测试中表现都比较优异 (相对其他开源模型)，包括推理、编程、熟练程度和知识测试。 (需要提供Email地址) 来源 ， 来自：雷锋 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot

Meta发布Llama 3 称其是目前最好的开放式模型之一

Meta发布Llama 3 称其是目前最好的开放式模型之一 Meta 称，与上一代 Llama 模型 Llama 2 8B 和 Llama 2 70B 相比，新模型 Llama 3 8B（包含 80 亿个参数）和 Llama 3 70B（包含 700 亿个参数）在性能上有了"重大飞跃"。(参数从本质上定义了人工智能模型处理问题的能力，比如分析和生成文本；一般来说，参数数越高的模型比参数数越低的模型能力越强）。事实上，Meta 表示，就各自的参数数而言，Llama 3 8B 和 Llama 3 70B 是在两个定制的 24,000 GPU 集群上训练出来的，是当今性能最好的生成式人工智能模型之一。话说得很满，那么，Meta 公司是如何证明这一点的呢？该公司指出了 Llama 3 模型在 MMLU（用于测量知识）、ARC（用于测量技能习得）和 DROP（用于测试模型对文本块的推理能力）等流行的人工智能基准上的得分。正如我们之前所写，这些基准的实用性和有效性还有待商榷。但无论好坏，它们仍然是 Meta 等人工智能玩家评估其模型的少数标准化方法之一。在至少九项基准测试中，Llama 3 8B 优于其他开源模型，如 Mistral 的Mistral 7B和 Google 的Gemma 7B，这两个模型都包含 70 亿个参数：这些基准包括：MMLU、ARC、DROP、GPQA（一组生物、物理和化学相关问题）、HumanEval（代码生成测试）、GSM-8K（数学单词问题）、MATH（另一种数学基准）、AGIEval（解决问题测试集）和 BIG-Bench Hard（常识推理评估）。现在，Mistral 7B 和 Gemma 7B 并不完全处于最前沿（Mistral 7B 于去年 9 月发布），在 Meta 引用的一些基准测试中，Llama 3 8B 的得分仅比这两款产品高几个百分点。但 Meta 还声称，参数数更多的 Llama 3 型号 Llama 3 70B 与旗舰生成式人工智能模型（包括Google Gemini 系列的最新产品 Gemini 1.5 Pro）相比也具有竞争力。图片来源：MetaLlama 3 70B 在 MMLU、HumanEval 和 GSM-8K 三项基准测试中均优于 Gemini 1.5 Pro，而且，虽然它无法与 Anthropic 性能最强的 Claude 3 Opus 相媲美，但 Llama 3 70B 在五项基准测试（MMLU、GPQA、HumanEval、GSM-8K 和 MATH）中的得分均优于 Claude 3 系列中性能最弱的 Claude 3 Sonnet。值得注意的是，Meta 还开发了自己的测试集，涵盖了从编码、创作到推理、总结等各种用例，令人惊喜的是，Llama 3 70B 在与 Mistral Medium 模型、OpenAI 的 GPT-3.5 和 Claude Sonnet 的竞争中脱颖而出！- Llama 3 70B 在与 Mistral 的 Mistral Medium 模型、OpenAI 的 GPT-3.5 和 Claude Sonnet 的竞争中脱颖而出。Meta 表示，为了保持客观性，它禁止其建模团队访问这组数据，但很明显，鉴于 Meta 自己设计了这项测试，我们必须对结果持谨慎态度。在质量方面，Meta 表示，新 Llama 模型的用户可以期待更高的"可操控性"、更低的拒绝回答问题的可能性，以及更高的琐碎问题、与历史和 STEM 领域（如工程和科学）相关的问题和一般编码建议的准确性。这在一定程度上要归功于一个更大的数据集：一个由 15 万亿个标记组成的集合，或者说一个令人难以置信的 750,000,000,000 单词，是 Llama 2 训练集的七倍。这些数据从何而来？Meta 公司不愿透露，只表示数据来自"公开来源"，包含的代码数量是 Llama 2 训练数据集的四倍，其中 5%包含非英语数据（约 30 种语言），以提高非英语语言的性能。Meta 还表示，它使用了合成数据（即人工智能生成的数据）来创建较长的文档，供 Llama 3 模型训练使用，由于这种方法存在潜在的性能缺陷，因此颇受争议。Meta 在一篇博文中写道："虽然我们今天发布的模型仅针对英语输出进行了微调，但数据多样性的增加有助于模型更好地识别细微差别和模式，并在各种任务中表现出色。"许多生成式人工智能供应商将训练数据视为一种竞争优势，因此对训练数据和相关信息守口如瓶。但是，训练数据的细节也是知识产权相关诉讼的潜在来源，这是另一个不愿意透露太多信息的原因。最近的报道显示，Meta 公司为了追赶人工智能竞争对手的步伐，曾一度不顾公司律师的警告，将受版权保护的电子书用于人工智能训练；包括喜剧演员莎拉-西尔弗曼（Sarah Silverman）在内的作者正在对 Meta 和 OpenAI 提起诉讼，指控这两家公司未经授权使用受版权保护的数据进行训练。那么，生成式人工智能模型（包括 Llama 2）的另外两个常见问题毒性和偏差又是怎么回事呢？Llama 3 是否在这些方面有所改进？Meta 声称：是的。Meta 表示，公司开发了新的数据过滤管道，以提高模型训练数据的质量，并更新了一对生成式人工智能安全套件 Llama Guard 和 CybersecEval，以防止 Llama 3 模型和其他模型的滥用和不必要的文本生成。该公司还发布了一款新工具 Code Shield，旨在检测生成式人工智能模型中可能引入安全漏洞的代码。不过，过滤并非万无一失，Llama Guard、CybersecEval 和 Code Shield 等工具也只能做到这一步。我们需要进一步观察 Llama 3 型号在实际运用时的表现如何，包括学术界对其他基准的测试。Meta公司表示，Llama 3模型现在已经可以下载，并在Facebook、Instagram、WhatsApp、Messenger和网络上为Meta公司的Meta人工智能助手提供支持，不久将以托管形式在各种云平台上托管，包括AWS、Databricks、Google Cloud、Hugging Face、Kaggle、IBM的WatsonX、Microsoft Azure、NVIDIA的NIM和Snowflake。未来，还将提供针对 AMD、AWS、戴尔、英特尔、NVIDIA 和高通硬件优化的模型版本。而且，功能更强大的型号即将问世。Meta 表示，它目前正在训练的 Llama 3 模型参数超过 4000 亿个这些模型能够"用多种语言交流"、接收更多数据、理解图像和其他模式以及文本，这将使 Llama 3 系列与 Hugging Face 的Idefics2 等公开发布的版本保持一致。"我们近期的目标是让 Llama 3 成为多语言、多模态、具有更长上下文的产品，并继续提高推理和编码等核心（大型语言模型）功能的整体性能，"Meta 在一篇博文中写道。"还有很多事情要做"。 ... PC版： 手机版：

Perplexity推出，可快速访问开源大型语言模型如Mistral 7B、Llama2 13B等

Perplexity推出，可快速访问开源大型语言模型如Mistral 7B、Llama2 13B等 - pplx-api易于使用，开发者可以在几分钟内通过REST API整合先进的开源模型。 - pplx-api推理速度很快，比其他解决方案的延迟降低了2-3倍。 - pplx-api基础设施经过验证，可以承载产品级流量。 - pplx-api采用NVIDIA TensorRT-LLM和AWS A100 GPU等先进软硬件，实现了优化。 - pplx-api已用于Perplexity的产品中，相比外部API每年节省了62万美元成本。 - pplx-api兼容OpenAI API，可以轻松集成到现有应用中。 - 未来pplx-api将支持更多定制和开源模型。