4050亿参数 Meta或将7月23日发布迄今最强大Llama 3模型

4050亿参数 Meta或将7月23日发布迄今最强大Llama 3模型 Meta公司拒绝对上述消息置评。周五盘中，低开的Meta股价跌幅收窄，盘初曾跌3.6%，午盘跌不足2%，仍将在周四大幅回落超4%后连跌两日，或将刷新6月28日以来收盘低位。去年7月Meta发布的Llama 2有三个版本，最大版本70B的参数规模为700亿。今年4月，Meta发布Llama 3Meta，称它为“迄今为止能力最强的开源LLM”。当时推出的Llama 3有8B和70B两个版本。Meta CEO扎克伯格当时称，大版本的Llama 3将有超过4000亿参数。Meta并未透露会不会将4000亿参数规模的Llama 3开源，当时它还在接受训练。对比前代，Llama 3有了质的飞跃。Llama 2使用2万亿个 token进行训练，而训练Llama 3大版本的token超过15 万亿。Meta称，由于预训练和训练后的改进，其预训练和指令调优的模型是目前8B和70B两个参数规模的最佳模型。在训练后程序得到改进后，模型的错误拒绝率（FRR）大幅下降，一致性提高，模型响应的多样性增加。 在推理、代码生成和指令跟踪等功能方面，Llama 3相比Llama 2有极大改进，使Llama 3更易于操控。4月Meta展示，8B和70B版本的Llama 3指令调优模型在大规模多任务语言理解数据集（MMLU）、研究生水平专家推理（GPQA）、数学评测集（GSM8K）、编程多语言测试（HumanEval）等方面的测评得分都高于Mistral、谷歌的Gemma和Gemini和Anthropic的Claude 3。8B和70B版本的预训练Llama 3多种性能测评优于Mistral、Gemma、Gemini和Mixtral。当时社交媒体的网友评论称，根据基准测试，当前的Llama 3模型不完全是 GPT-4 级别的，但仍在训练中的较大尺寸的模型将达到 GPT-4 级别。英伟达高级科学家Jim Fan认为，Llama 3的推出已经脱离了技术层面的进步，更是开源模型与顶尖闭源模型可分庭抗礼的象征。从Jim Fan分享的基准测试可以看出，Llama 3 400B 的实力几乎媲美 Claude“超大杯”以及新版 GPT-4 Turbo，将成为“分水岭”，相信它将释放巨大的研究潜力，推动整个生态系统的发展，开源社区或将能用上GPT-4级别的模型。此后有消息称，研究人员尚未开始对Llama 3进行微调，还未决定Llama 3是否将是多模态模型；正式版的Llama 3将会在今年7月正式推出。不同于OpenAI等开发商，Meta致力于开源LLM，不过，这个赛道也越来越拥挤。谷歌、特斯拉CEO马斯克旗下的xAI和Mistral 等竞争对手也发布了免费的AI模型。Llama 3问世后，同在4月亮相的4800亿参数模型Arctic击败Llama 3、Mixtra，刷新了全球最大开源模型的纪录。Arctic基于全新的Dense-MoE架构设计，由一个10B的稠密Tranformer模型和128×3.66B的MoE MLP组成，并在3.5万亿个token上进行了训练。相比Llama 3 8B和Llama 2 70B，Arctic所用的训练计算资源不到它们的一半，评估指标却取得了相当的分数。 ... PC版： 手机版：

【扎克伯格计划7月23日发布最强大的Llama 3模型】Meta Platforms一名员工称，该公司计划7月23日（周二）发布

【扎克伯格计划7月23日发布最强大的Llama 3模型】Meta Platforms一名员工称，该公司计划7月23日（周二）发布开源Llama 3模型的最大版本。最新版拥有4050亿参数，能够理解和生成图像与文字。

Meta 发布了 80 亿和 300 亿参数版本的 Llama 3

Meta 发布了 80 亿和 300 亿参数版本的 Llama 3 Meta 发布了 80 亿和 300 亿参数版本的模型，有 4050 亿参数的版本还在训练之中，将在未来几个月发布，将支持多模和多种语言间的交流，以及更长的上下文窗口。Llama 3 是开放模型，源代码和权重托管在和 Hugging Face 上。Meta 还开放了它的 AI 聊天服务 Meta AI，类似 OpenAI 的 ChatGPT，访问也无需注册，但如果要保留聊天记录需要登陆。Meta AI 支持美国、澳大利亚、加拿大、加纳、牙买加、马拉维、新西兰、尼日利亚、巴基斯坦、新加坡、南非、乌干达、赞比亚和津巴布韦等国家和地区的用户访问，可能因为欧盟的法律限制该服务目前不对欧盟用户开放。来源 ，， 频道：@kejiqu 群组：@kejiquchat

Meta 开源最新的 Llama 3.1 大模型

Meta 开源最新的 Llama 3.1 大模型 其它科技公司都想把 AI 产品买给你们，但扎克伯格（Mark Zuckerberg）选择免费送给你们。Meta 周一宣布了其最新的 Llama 3.1 大模型，其最大规模版本的参数有 4050 亿个，较小规模的版本有 700 亿和 80 亿个参数。Meta 称，Llama 3.1 在基准测试中的表现超过了 OpenAI 的 GPT-4o 和 Anthropic 的 Claude 3.5 Sonnet。Meta 表示，Llama 3.1 使用了逾 16,000 个英伟达 H100 GPU 进行训练，它认为相比私有大模型，部署成本会更低。扎克伯格称他与世界各地的开发者、企业和政府官员交流时，他们都表达了不希望被私有封闭供应商锁定的愿望，希望自己能控制模型，而 Llama 3.1 将能满足他们的要求。 via Solidot

Meta发布全新大型语言模型LLaMA，加入硅谷AI竞赛

Meta发布全新大型语言模型LLaMA，加入硅谷AI竞赛 当地时间2月24日，Meta公司发布一款新的人工智能大型语言模型LLaMA，加入微软、谷歌等硅谷公司的竞赛。Meta首席执行官扎克伯格在Instagram表示，LLaMA模型旨在帮助研究人员推进工作，在生成文本、对话、总结书面材料、证明数学定理或预测蛋白质结构等更复杂的任务方面“有很大的前景”。Meta表示，在大多数基准测试中，参数仅为十分之一的LLaMA-13B的性能优于OpenAI推出的GPT3(175B)，也即支持ChatGPT的GPT3.5的前身。 来源 ， 来自：雷锋 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot

Meta 公司将发布 LLaMA 的商业版本

Meta 公司将发布 LLaMA 的商业版本 LLaMA 是 Meta 开源的大型语言模型（LLM），于今年 2 月公开发布，并提供给研究人员和学者使用，它有 70 亿、130 亿、330 亿和 650 亿等不同参数规模。开源的 LLaMA 中并没有包括其所使用的权重数据，但很快这些权重数据被“意外”泄露，并迅速引爆了一系列基于它的开源创新。尽管开源人工智能模型已经存在，但 Meta 的 LLaMA 商业化仍是重要的一步，因为它比市场上现有的许多开源 LLM 都要大，而且它来自全球最大的科技公司之一。来源 ， 来自：雷锋 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot