4050亿参数 Meta或将7月23日发布迄今最强大Llama 3模型

4050亿参数 Meta或将7月23日发布迄今最强大Llama 3模型 Meta公司拒绝对上述消息置评。周五盘中，低开的Meta股价跌幅收窄，盘初曾跌3.6%，午盘跌不足2%，仍将在周四大幅回落超4%后连跌两日，或将刷新6月28日以来收盘低位。去年7月Meta发布的Llama 2有三个版本，最大版本70B的参数规模为700亿。今年4月，Meta发布Llama 3Meta，称它为“迄今为止能力最强的开源LLM”。当时推出的Llama 3有8B和70B两个版本。Meta CEO扎克伯格当时称，大版本的Llama 3将有超过4000亿参数。Meta并未透露会不会将4000亿参数规模的Llama 3开源，当时它还在接受训练。对比前代，Llama 3有了质的飞跃。Llama 2使用2万亿个 token进行训练，而训练Llama 3大版本的token超过15 万亿。Meta称，由于预训练和训练后的改进，其预训练和指令调优的模型是目前8B和70B两个参数规模的最佳模型。在训练后程序得到改进后，模型的错误拒绝率（FRR）大幅下降，一致性提高，模型响应的多样性增加。 在推理、代码生成和指令跟踪等功能方面，Llama 3相比Llama 2有极大改进，使Llama 3更易于操控。4月Meta展示，8B和70B版本的Llama 3指令调优模型在大规模多任务语言理解数据集（MMLU）、研究生水平专家推理（GPQA）、数学评测集（GSM8K）、编程多语言测试（HumanEval）等方面的测评得分都高于Mistral、谷歌的Gemma和Gemini和Anthropic的Claude 3。8B和70B版本的预训练Llama 3多种性能测评优于Mistral、Gemma、Gemini和Mixtral。当时社交媒体的网友评论称，根据基准测试，当前的Llama 3模型不完全是 GPT-4 级别的，但仍在训练中的较大尺寸的模型将达到 GPT-4 级别。英伟达高级科学家Jim Fan认为，Llama 3的推出已经脱离了技术层面的进步，更是开源模型与顶尖闭源模型可分庭抗礼的象征。从Jim Fan分享的基准测试可以看出，Llama 3 400B 的实力几乎媲美 Claude“超大杯”以及新版 GPT-4 Turbo，将成为“分水岭”，相信它将释放巨大的研究潜力，推动整个生态系统的发展，开源社区或将能用上GPT-4级别的模型。此后有消息称，研究人员尚未开始对Llama 3进行微调，还未决定Llama 3是否将是多模态模型；正式版的Llama 3将会在今年7月正式推出。不同于OpenAI等开发商，Meta致力于开源LLM，不过，这个赛道也越来越拥挤。谷歌、特斯拉CEO马斯克旗下的xAI和Mistral 等竞争对手也发布了免费的AI模型。Llama 3问世后，同在4月亮相的4800亿参数模型Arctic击败Llama 3、Mixtra，刷新了全球最大开源模型的纪录。Arctic基于全新的Dense-MoE架构设计，由一个10B的稠密Tranformer模型和128×3.66B的MoE MLP组成，并在3.5万亿个token上进行了训练。相比Llama 3 8B和Llama 2 70B，Arctic所用的训练计算资源不到它们的一半，评估指标却取得了相当的分数。 ... PC版： 手机版：

4050亿参数！Meta或将7月23日发布迄今最强大Llama 3模型

4050亿参数！Meta或将7月23日发布迄今最强大Llama 3模型 不到两周后，我们可能就会见到迄今为止最强大的开源Llama 3模型。 美东时间7月12日周五，媒体援引一名Meta Platforms的员工消息称，Meta计划7月23日发布Llama 3模型的最大版本。这一最新版模型将拥有4050亿参数，也将是多模态模型，这意味着它将能够理解和生成图像和文本。 Meta公司拒绝对上述消息置评。周五盘中，低开的Meta股价跌幅收窄，盘初曾跌3.6%，午盘跌不足2%，仍将在周四大幅回落超4%后连跌两日，或将刷新6月28日以来收盘低位。 标签: #Meta #Llama3 #AI 频道: @GodlyNews1 投稿: @GodlyNewsBot

传Meta将在7月发布Llama 3 回答更大胆，能处理有争议问题

传Meta将在7月发布Llama 3 回答更大胆，能处理有争议问题 为预防模型回答可能引起争议的问题，Meta引入了多项安全措施。然而，根据Meta内部员工的说法，这些安全措施让Llama 2的回答过于谨慎，缺乏灵活性，这在Meta的管理层和这款大模型研究人员之间引起了一些不满。虽然对于如何制造炸弹或实施谋杀等极端问题，实施安全回答措施是非常必要的。但问题在于，Llama2连对一些争议性较低的问题也采取了回避策略。例如，当询问如何在上班时间摸鱼时，Llama2的回答是：“尊重并遵守公司的政策和指导方针是至关重要的。”这种回避策略也适用于如何捉弄朋友、赢得战争或关闭汽车引擎等其他问题。Meta的工作人员表示，Llama 2采取这种保守策略是为了避免潜在的公关灾难。但据知情人士透露，研究人员目前正在尝试放宽Llama 3的安全措施，以便在用户提出困难问题时，能够提供更多的交互和背景信息，而不是简单地回避这些棘手的问题。理论上，Llama 3将拥有更强大的语义理解能力，能够准确辨别一个单词在不同上下文中的多重含义。例如，Llama 3可能会理解英文“kill a vehicle’sengine”（关闭机动车的发动机）中的“kill”是指“关闭”，而非“杀害”。据悉，Meta计划在未来几周内为Llama 3分配专门负责语气和安全培训的内部人员，以提升模型的反应灵敏度和精确度。尽管计划在7月发布Llama 3，但发布时间表仍可能调整。作为一款开源大语言模型，Llama 3不仅将支持Meta旗下的人工智能助手，还将向外部开发者免费提供，以便他们开发自己的聊天机器人。随着Meta试图使Llama3在处理难题时更加自由，这凸显了人工智能公司面临的挑战：在开发吸引用户的有趣产品的同时，还要避免产生不恰当或不准确的回答引起争议。就在上周，谷歌因其Gemini聊天机器人的图像生成功能出现历史不符合问题而被迫暂停该功能。对此，谷歌高级副总裁普拉巴卡·拉加万（Prabhakar Raghavan）在一篇博客文章中解释说，该公司已对该功能进行了调整，以确保它不会落入过去图像生成技术的陷阱，如产生暴力或色情图像。但他也承认，这种调整在某些情况下导致了“过度补偿”，在其他情况下则表现得“过于保守”。Llama作为Meta人工智能战略的核心，对公司具有重大意义。Meta希望通过人工智能技术提升其广告工具的效果，并增强社交媒体平台的吸引力。本月早些时候，Meta首席执行官马克·扎克伯格（Mark Zuckerberg）向投资者表示，今年的重点包括推出Llama3和“扩展Meta人工智能助手的实用性”。为了使Llama 3与OpenAI的GPT-4媲美，Meta正努力赋予Llama 3多模态能力，即理解和处理文本、图像或视频等多种信息的能力。然而，据Meta内部人士透露，由于研究人员尚未开始对Llama3进行微调，因此尚不清楚其是否将具备多模态功能。微调是开发过程的关键环节，通过为现有模型提供额外数据，使其能够学习新信息或任务。据知情人士透露，Llama 3的最大版本预计将拥有超过1400亿个参数，远超Llama 2，这意味着模型在训练中能学习的内容范围将大幅扩展。参数数量越多，通常意味着模型能提供的结果越精确，不过较小的模型可能在处理速度上更有优势。Llama 3正在由Meta旗下的独立基础人工智能研究团队（FAIR）以外的生成人工智能团队开发。与此同时，尽管人们对Llama 3充满期待，Meta也面临着人才竞争的挑战。据了解，负责监督Llama2和Llama 3安全的研究员路易斯·马丁（Louis Martin）以及负责强化学习的凯文·斯通（Kevin Stone）在本月都已离开公司。在科技行业，如何处理人工智能安全问题的讨论越来越激烈。特斯拉首席执行官埃隆·马斯克（Elon Musk）便是其中一位颇具影响力的。他于2015年帮助创立了OpenAI，但近年来一直对所谓的“觉醒”人工智能机器人持怀疑态度，这些机器人在处理敏感话题时的表现不佳。2023年底，马斯克推出了名为Grok的聊天机器人，旨在提供一个未经过滤的聊天体验。然而，随着用户报告称Grok开始失控，行为越来越像ChatGPT，马斯克将此归咎于互联网信息训练的局限。他在X平台上的一篇文章中指出，互联网上“充斥着带有觉醒色彩的垃圾信息”。 ... PC版： 手机版：