Meta 发布了 80 亿和 300 亿参数版本的 Llama 3

Meta 发布了 80 亿和 300 亿参数版本的 Llama 3 Meta 发布了 80 亿和 300 亿参数版本的模型，有 4050 亿参数的版本还在训练之中，将在未来几个月发布，将支持多模和多种语言间的交流，以及更长的上下文窗口。Llama 3 是开放模型，源代码和权重托管在和 Hugging Face 上。Meta 还开放了它的 AI 聊天服务 Meta AI，类似 OpenAI 的 ChatGPT，访问也无需注册，但如果要保留聊天记录需要登陆。Meta AI 支持美国、澳大利亚、加拿大、加纳、牙买加、马拉维、新西兰、尼日利亚、巴基斯坦、新加坡、南非、乌干达、赞比亚和津巴布韦等国家和地区的用户访问，可能因为欧盟的法律限制该服务目前不对欧盟用户开放。来源 ，， 频道：@kejiqu 群组：@kejiquchat

4050亿参数 Meta或将7月23日发布迄今最强大Llama 3模型

4050亿参数 Meta或将7月23日发布迄今最强大Llama 3模型 Meta公司拒绝对上述消息置评。周五盘中，低开的Meta股价跌幅收窄，盘初曾跌3.6%，午盘跌不足2%，仍将在周四大幅回落超4%后连跌两日，或将刷新6月28日以来收盘低位。去年7月Meta发布的Llama 2有三个版本，最大版本70B的参数规模为700亿。今年4月，Meta发布Llama 3Meta，称它为“迄今为止能力最强的开源LLM”。当时推出的Llama 3有8B和70B两个版本。Meta CEO扎克伯格当时称，大版本的Llama 3将有超过4000亿参数。Meta并未透露会不会将4000亿参数规模的Llama 3开源，当时它还在接受训练。对比前代，Llama 3有了质的飞跃。Llama 2使用2万亿个 token进行训练，而训练Llama 3大版本的token超过15 万亿。Meta称，由于预训练和训练后的改进，其预训练和指令调优的模型是目前8B和70B两个参数规模的最佳模型。在训练后程序得到改进后，模型的错误拒绝率（FRR）大幅下降，一致性提高，模型响应的多样性增加。 在推理、代码生成和指令跟踪等功能方面，Llama 3相比Llama 2有极大改进，使Llama 3更易于操控。4月Meta展示，8B和70B版本的Llama 3指令调优模型在大规模多任务语言理解数据集（MMLU）、研究生水平专家推理（GPQA）、数学评测集（GSM8K）、编程多语言测试（HumanEval）等方面的测评得分都高于Mistral、谷歌的Gemma和Gemini和Anthropic的Claude 3。8B和70B版本的预训练Llama 3多种性能测评优于Mistral、Gemma、Gemini和Mixtral。当时社交媒体的网友评论称，根据基准测试，当前的Llama 3模型不完全是 GPT-4 级别的，但仍在训练中的较大尺寸的模型将达到 GPT-4 级别。英伟达高级科学家Jim Fan认为，Llama 3的推出已经脱离了技术层面的进步，更是开源模型与顶尖闭源模型可分庭抗礼的象征。从Jim Fan分享的基准测试可以看出，Llama 3 400B 的实力几乎媲美 Claude“超大杯”以及新版 GPT-4 Turbo，将成为“分水岭”，相信它将释放巨大的研究潜力，推动整个生态系统的发展，开源社区或将能用上GPT-4级别的模型。此后有消息称，研究人员尚未开始对Llama 3进行微调，还未决定Llama 3是否将是多模态模型；正式版的Llama 3将会在今年7月正式推出。不同于OpenAI等开发商，Meta致力于开源LLM，不过，这个赛道也越来越拥挤。谷歌、特斯拉CEO马斯克旗下的xAI和Mistral 等竞争对手也发布了免费的AI模型。Llama 3问世后，同在4月亮相的4800亿参数模型Arctic击败Llama 3、Mixtra，刷新了全球最大开源模型的纪录。Arctic基于全新的Dense-MoE架构设计，由一个10B的稠密Tranformer模型和128×3.66B的MoE MLP组成，并在3.5万亿个token上进行了训练。相比Llama 3 8B和Llama 2 70B，Arctic所用的训练计算资源不到它们的一半，评估指标却取得了相当的分数。 ... PC版： 手机版：

ℹMeta 推出全新 Llama 3 模型，Meta.Ai 网页版、AI 聊天本地软体皆能免费玩到了#

ℹMeta 推出全新 Llama 3 模型，Meta.Ai 网页版、AI 聊天本地软体皆能免费玩到了# 稍早 Meta 正式推出新一代 LLM 大型语言模型 Llama 3，号称是目前最强大的开源模型，有 80 忆个参数（8B）和 700 忆...

Meta 开源最新的 Llama 3.1 大模型

Meta 开源最新的 Llama 3.1 大模型 其它科技公司都想把 AI 产品买给你们，但扎克伯格（Mark Zuckerberg）选择免费送给你们。Meta 周一宣布了其最新的 Llama 3.1 大模型，其最大规模版本的参数有 4050 亿个，较小规模的版本有 700 亿和 80 亿个参数。Meta 称，Llama 3.1 在基准测试中的表现超过了 OpenAI 的 GPT-4o 和 Anthropic 的 Claude 3.5 Sonnet。Meta 表示，Llama 3.1 使用了逾 16,000 个英伟达 H100 GPU 进行训练，它认为相比私有大模型，部署成本会更低。扎克伯格称他与世界各地的开发者、企业和政府官员交流时，他们都表达了不希望被私有封闭供应商锁定的愿望，希望自己能控制模型，而 Llama 3.1 将能满足他们的要求。 via Solidot

4050亿参数！Meta或将7月23日发布迄今最强大Llama 3模型

4050亿参数！Meta或将7月23日发布迄今最强大Llama 3模型 不到两周后，我们可能就会见到迄今为止最强大的开源Llama 3模型。 美东时间7月12日周五，媒体援引一名Meta Platforms的员工消息称，Meta计划7月23日发布Llama 3模型的最大版本。这一最新版模型将拥有4050亿参数，也将是多模态模型，这意味着它将能够理解和生成图像和文本。 Meta公司拒绝对上述消息置评。周五盘中，低开的Meta股价跌幅收窄，盘初曾跌3.6%，午盘跌不足2%，仍将在周四大幅回落超4%后连跌两日，或将刷新6月28日以来收盘低位。 标签: #Meta #Llama3 #AI 频道: @GodlyNews1 投稿: @GodlyNewsBot

Meta 推出 AI 编程工具 Code Llama，商业领域免费可用

Meta 推出 AI 编程工具 Code Llama，商业领域免费可用 Meta 现推出了一个名为的 AI 编码工具，号称“最先进的大型编码语言模型”。该模型基于 Llama 2 大型语言模型打造，可以理解为“Llama 2 的写代码专用版”，可用于“生成新的代码并调试人类编写的工作”，目前已上线 Github。 Meta 指出，Code Llama 能够根据代码核自然语言提示 / 要求生成你想要的代码和有关代码的自然语言，或者在指向特定代码时进行完善和调试。 除了基础版的 Code Llama 外，Meta 还推出了专为 Python 设计的版本 Code Llama-Python，以及一个能够理解自然语言指令的版本 Code Llama-Instrct。 据悉，Code Llama 将采用与 Llama 2 相同的社区许可，并对研究和商业领域免费开放。来源 ， 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot