Meta发布功能更强大的Code Llama 70B模型 可与GitHub Copilot相媲美

Meta发布功能更强大的Code Llama 70B模型 可与GitHub Copilot相媲美 Code Llama 70B 已在 5000 亿个字节的代码和相关数据基础上进行了训练。它可以处理和生成较长的代码序列，这要归功于 10 万个词组的上下文窗口。据 Meta 公司介绍，Code Llama 70B 使用一种称为自我关注的技术来理解代码结构。它可以根据文本或片段提示实现算法、排序、搜索等功能，适用于 Python、C++、Javascript 和 Java 等多种语言。这款人工智能驱动的工具包括针对特定任务进行微调的变体。其中一个变体是 CodeLlama-70B-Instruct，它经过训练可以理解自然语言指令。还有一个以 Python 为重点的版本，名为 CodeLlama-70B-Python。根据 Meta 的说法，通过对 1000 亿个 Python 代码标记的额外训练，它生成 Python 代码的"流畅性和准确性无与伦比"。"编写和编辑代码已成为当今人工智能模型最重要的用途之一，"Meta 公司首席执行官马克-扎克伯格在 Facebook 上的一篇文章中写道。"事实证明，代码能力对于人工智能模型更严谨、更合乎逻辑地处理其他领域的信息也非常重要。"Code Llama 70B可以在与早期 Code Llama 模型相同的开放许可下免费下载： 公司称，这种许可允许学术和商业用户修改模型。微软旗下的GitHub于 2023 年 7 月推出了 Copilot Chat。开发人员可以就自己的代码向 Copilot 提问，获得代码特定部分的解释，甚至让 Copilot 修复代码中的错误。最近，Google也推出了 Duet AI 和 Gemini Pro，这是由人工智能驱动的代码完成和生成工具。 ... PC版： 手机版：

Meta确认其Llama 3开源大语言模型将于下个月推出

Meta确认其Llama 3开源大语言模型将于下个月推出 Meta 公司全球事务总裁尼克-克莱格（Nick Clegg）说："我们希望在下个月内，甚至更短的时间内，开始推出我们新的下一代基础模型套件 Llama 3。"他的描述听起来像是要发布该产品的几个不同迭代或版本。"今年内，我们将发布一系列具有不同功能、不同通用性的模型，很快就会开始发布。"Meta 首席产品官 Chris Cox 补充说，计划用 Llama 3 支持 Meta 的多个产品。一年多前，OpenAI 推出了 ChatGPT，并将人工智能生成式问答变成了日常的主流体验，这让 Meta 和Google等其他大型科技公司措手不及。Meta 公司在人工智能方面基本上采取了非常谨慎的态度，但这并没有得到公众的认可，以前版本的 Llama 被批评为能力过于有限。(Llama 2于 2023 年 7 月公开发布）。第一版 Llama 并未对外发布，但仍在网上泄露）。与前几代产品相比，Llama 3 的功能更强大，不仅能更准确地回答问题，还能回答更广泛的问题，其中可能包括更具争议性的话题。该公司希望这将使产品受到用户的欢迎。"随着时间的推移，我们的目标是让由 Llama 驱动的 Meta AI 成为世界上最有用的助手，"人工智能研究副总裁 Joelle Pineau 说。"要达到这个目标，还有相当多的工作要做。"该公司没有谈及《Llama 3》中使用的参数的大小，也没有提供它将如何工作的任何演示。预计它将拥有约 1400 亿个参数，而最大的 Llama 2 型号只有 700 亿个参数。最值得注意的是，Meta 的 Llama 系列是作为开源产品构建的，代表了一种不同的哲学方法，即人工智能作为一种更广泛的技术应如何发展。与专有模式相比，Meta 希望通过这种方式获得更多开发者的青睐。但 Meta 似乎也在谨慎行事，尤其是在文本生成之外的其他生成式人工智能方面。皮诺说，公司尚未发布图像生成工具 Emu。考克斯说："延迟、安全性和易用性都非常重要，只有这样才能生成令你自豪的图像，并代表你的创意背景。"具有讽刺意味的是，或者可以说是意料之中的，即使在 Meta 公司努力推出 Llama 3 的同时，公司内部也有一些对生成式人工智能持怀疑态度的重要人士。兼任 Meta 首席人工智能科学家的著名人工智能学者 Yann LeCun 对生成式人工智能的整体局限性进行了抨击，并表示他将赌注押在生成式人工智能之后。他预测这将是联合嵌入式预测架构（JEPA），这是一种训练模型和产生结果的不同方法，Meta 公司一直在使用这种方法在图像生成领域构建更准确的预测性人工智能。"人工智能的未来是 JEPA。它不是生成式人工智能，"他说。"我们得给克里斯的产品部门改个名字"。 ... PC版： 手机版：

Meta发布Llama 3 称其是目前最好的开放式模型之一

Meta发布Llama 3 称其是目前最好的开放式模型之一 Meta 称，与上一代 Llama 模型 Llama 2 8B 和 Llama 2 70B 相比，新模型 Llama 3 8B（包含 80 亿个参数）和 Llama 3 70B（包含 700 亿个参数）在性能上有了"重大飞跃"。(参数从本质上定义了人工智能模型处理问题的能力，比如分析和生成文本；一般来说，参数数越高的模型比参数数越低的模型能力越强）。事实上，Meta 表示，就各自的参数数而言，Llama 3 8B 和 Llama 3 70B 是在两个定制的 24,000 GPU 集群上训练出来的，是当今性能最好的生成式人工智能模型之一。话说得很满，那么，Meta 公司是如何证明这一点的呢？该公司指出了 Llama 3 模型在 MMLU（用于测量知识）、ARC（用于测量技能习得）和 DROP（用于测试模型对文本块的推理能力）等流行的人工智能基准上的得分。正如我们之前所写，这些基准的实用性和有效性还有待商榷。但无论好坏，它们仍然是 Meta 等人工智能玩家评估其模型的少数标准化方法之一。在至少九项基准测试中，Llama 3 8B 优于其他开源模型，如 Mistral 的Mistral 7B和 Google 的Gemma 7B，这两个模型都包含 70 亿个参数：这些基准包括：MMLU、ARC、DROP、GPQA（一组生物、物理和化学相关问题）、HumanEval（代码生成测试）、GSM-8K（数学单词问题）、MATH（另一种数学基准）、AGIEval（解决问题测试集）和 BIG-Bench Hard（常识推理评估）。现在，Mistral 7B 和 Gemma 7B 并不完全处于最前沿（Mistral 7B 于去年 9 月发布），在 Meta 引用的一些基准测试中，Llama 3 8B 的得分仅比这两款产品高几个百分点。但 Meta 还声称，参数数更多的 Llama 3 型号 Llama 3 70B 与旗舰生成式人工智能模型（包括Google Gemini 系列的最新产品 Gemini 1.5 Pro）相比也具有竞争力。图片来源：MetaLlama 3 70B 在 MMLU、HumanEval 和 GSM-8K 三项基准测试中均优于 Gemini 1.5 Pro，而且，虽然它无法与 Anthropic 性能最强的 Claude 3 Opus 相媲美，但 Llama 3 70B 在五项基准测试（MMLU、GPQA、HumanEval、GSM-8K 和 MATH）中的得分均优于 Claude 3 系列中性能最弱的 Claude 3 Sonnet。值得注意的是，Meta 还开发了自己的测试集，涵盖了从编码、创作到推理、总结等各种用例，令人惊喜的是，Llama 3 70B 在与 Mistral Medium 模型、OpenAI 的 GPT-3.5 和 Claude Sonnet 的竞争中脱颖而出！- Llama 3 70B 在与 Mistral 的 Mistral Medium 模型、OpenAI 的 GPT-3.5 和 Claude Sonnet 的竞争中脱颖而出。Meta 表示，为了保持客观性，它禁止其建模团队访问这组数据，但很明显，鉴于 Meta 自己设计了这项测试，我们必须对结果持谨慎态度。在质量方面，Meta 表示，新 Llama 模型的用户可以期待更高的"可操控性"、更低的拒绝回答问题的可能性，以及更高的琐碎问题、与历史和 STEM 领域（如工程和科学）相关的问题和一般编码建议的准确性。这在一定程度上要归功于一个更大的数据集：一个由 15 万亿个标记组成的集合，或者说一个令人难以置信的 750,000,000,000 单词，是 Llama 2 训练集的七倍。这些数据从何而来？Meta 公司不愿透露，只表示数据来自"公开来源"，包含的代码数量是 Llama 2 训练数据集的四倍，其中 5%包含非英语数据（约 30 种语言），以提高非英语语言的性能。Meta 还表示，它使用了合成数据（即人工智能生成的数据）来创建较长的文档，供 Llama 3 模型训练使用，由于这种方法存在潜在的性能缺陷，因此颇受争议。Meta 在一篇博文中写道："虽然我们今天发布的模型仅针对英语输出进行了微调，但数据多样性的增加有助于模型更好地识别细微差别和模式，并在各种任务中表现出色。"许多生成式人工智能供应商将训练数据视为一种竞争优势，因此对训练数据和相关信息守口如瓶。但是，训练数据的细节也是知识产权相关诉讼的潜在来源，这是另一个不愿意透露太多信息的原因。最近的报道显示，Meta 公司为了追赶人工智能竞争对手的步伐，曾一度不顾公司律师的警告，将受版权保护的电子书用于人工智能训练；包括喜剧演员莎拉-西尔弗曼（Sarah Silverman）在内的作者正在对 Meta 和 OpenAI 提起诉讼，指控这两家公司未经授权使用受版权保护的数据进行训练。那么，生成式人工智能模型（包括 Llama 2）的另外两个常见问题毒性和偏差又是怎么回事呢？Llama 3 是否在这些方面有所改进？Meta 声称：是的。Meta 表示，公司开发了新的数据过滤管道，以提高模型训练数据的质量，并更新了一对生成式人工智能安全套件 Llama Guard 和 CybersecEval，以防止 Llama 3 模型和其他模型的滥用和不必要的文本生成。该公司还发布了一款新工具 Code Shield，旨在检测生成式人工智能模型中可能引入安全漏洞的代码。不过，过滤并非万无一失，Llama Guard、CybersecEval 和 Code Shield 等工具也只能做到这一步。我们需要进一步观察 Llama 3 型号在实际运用时的表现如何，包括学术界对其他基准的测试。Meta公司表示，Llama 3模型现在已经可以下载，并在Facebook、Instagram、WhatsApp、Messenger和网络上为Meta公司的Meta人工智能助手提供支持，不久将以托管形式在各种云平台上托管，包括AWS、Databricks、Google Cloud、Hugging Face、Kaggle、IBM的WatsonX、Microsoft Azure、NVIDIA的NIM和Snowflake。未来，还将提供针对 AMD、AWS、戴尔、英特尔、NVIDIA 和高通硬件优化的模型版本。而且，功能更强大的型号即将问世。Meta 表示，它目前正在训练的 Llama 3 模型参数超过 4000 亿个这些模型能够"用多种语言交流"、接收更多数据、理解图像和其他模式以及文本，这将使 Llama 3 系列与 Hugging Face 的Idefics2 等公开发布的版本保持一致。"我们近期的目标是让 Llama 3 成为多语言、多模态、具有更长上下文的产品，并继续提高推理和编码等核心（大型语言模型）功能的整体性能，"Meta 在一篇博文中写道。"还有很多事情要做"。 ... PC版： 手机版：

帮开发者构建生成式 AI 应用，Meta 和微软合作推出开源模型 Llama 2

帮开发者构建生成式 AI 应用，Meta 和微软合作推出开源模型 Llama 2 Meta 和微软近日合作推出 Llama 2，这是 Meta 公司的下一代开源大型语言模型，可以免费用于研究和商业用途。 微软在新闻稿中表示，Llama 2 旨在帮助开发者和组织，构建生成式人工智能工具和体验。 Azure 客户可以在 Azure 平台上更轻松、更安全地微调和部署 7B、13B 和 70B 参数的 Llama 2 模型，此外通过优化可以在 Windows 本地运行。 Llama 2 模型与 Azure AI 的结合使开发人员能够利用 Azure AI 的强大工具进行模型训练、微调、推理，特别是支持 AI 安全的功能。 微软表示在 Windows 中加入 Llama 2 模型，有助于推动 Windows 成为开发人员根据客户需求构建人工智能体验的最佳场所，并释放他们使用 Windows Subsystem for Linux (WSL)、Windows 终端、Microsoft Visual Studio 和 VS Code 等世界级工具进行构建的能力。 、 、

Meta 确认其 Llama 3 开源大型语言模型将于下个月推出

Meta 确认其 Llama 3 开源大型语言模型将于下个月推出 在4月9日于伦敦举行的一次活动中，Meta 确认计划在下个月内首次发布 Llama 3，这是用于驱动生成式人工智能助手的下一代大型语言模型。Meta 全球事务总裁 Nick Clegg 说：“在接下来的一个月内，实际上更短，我们希望开始推出我们的新一代模型套件 Llama 3。”他的描述听起来像是要发布该产品的几个不同迭代或版本。“今年[发布]的不同版本，将有许多不同的模型具有不同的功能，而且很快就会开始。”Meta 首席产品官 Chris Cox 补充说，该计划将通过 Llama 3 为 Meta 的多种产品提供动力。

传Meta将在7月发布Llama 3 回答更大胆，能处理有争议问题

传Meta将在7月发布Llama 3 回答更大胆，能处理有争议问题 为预防模型回答可能引起争议的问题，Meta引入了多项安全措施。然而，根据Meta内部员工的说法，这些安全措施让Llama 2的回答过于谨慎，缺乏灵活性，这在Meta的管理层和这款大模型研究人员之间引起了一些不满。虽然对于如何制造炸弹或实施谋杀等极端问题，实施安全回答措施是非常必要的。但问题在于，Llama2连对一些争议性较低的问题也采取了回避策略。例如，当询问如何在上班时间摸鱼时，Llama2的回答是：“尊重并遵守公司的政策和指导方针是至关重要的。”这种回避策略也适用于如何捉弄朋友、赢得战争或关闭汽车引擎等其他问题。Meta的工作人员表示，Llama 2采取这种保守策略是为了避免潜在的公关灾难。但据知情人士透露，研究人员目前正在尝试放宽Llama 3的安全措施，以便在用户提出困难问题时，能够提供更多的交互和背景信息，而不是简单地回避这些棘手的问题。理论上，Llama 3将拥有更强大的语义理解能力，能够准确辨别一个单词在不同上下文中的多重含义。例如，Llama 3可能会理解英文“kill a vehicle’sengine”（关闭机动车的发动机）中的“kill”是指“关闭”，而非“杀害”。据悉，Meta计划在未来几周内为Llama 3分配专门负责语气和安全培训的内部人员，以提升模型的反应灵敏度和精确度。尽管计划在7月发布Llama 3，但发布时间表仍可能调整。作为一款开源大语言模型，Llama 3不仅将支持Meta旗下的人工智能助手，还将向外部开发者免费提供，以便他们开发自己的聊天机器人。随着Meta试图使Llama3在处理难题时更加自由，这凸显了人工智能公司面临的挑战：在开发吸引用户的有趣产品的同时，还要避免产生不恰当或不准确的回答引起争议。就在上周，谷歌因其Gemini聊天机器人的图像生成功能出现历史不符合问题而被迫暂停该功能。对此，谷歌高级副总裁普拉巴卡·拉加万（Prabhakar Raghavan）在一篇博客文章中解释说，该公司已对该功能进行了调整，以确保它不会落入过去图像生成技术的陷阱，如产生暴力或色情图像。但他也承认，这种调整在某些情况下导致了“过度补偿”，在其他情况下则表现得“过于保守”。Llama作为Meta人工智能战略的核心，对公司具有重大意义。Meta希望通过人工智能技术提升其广告工具的效果，并增强社交媒体平台的吸引力。本月早些时候，Meta首席执行官马克·扎克伯格（Mark Zuckerberg）向投资者表示，今年的重点包括推出Llama3和“扩展Meta人工智能助手的实用性”。为了使Llama 3与OpenAI的GPT-4媲美，Meta正努力赋予Llama 3多模态能力，即理解和处理文本、图像或视频等多种信息的能力。然而，据Meta内部人士透露，由于研究人员尚未开始对Llama3进行微调，因此尚不清楚其是否将具备多模态功能。微调是开发过程的关键环节，通过为现有模型提供额外数据，使其能够学习新信息或任务。据知情人士透露，Llama 3的最大版本预计将拥有超过1400亿个参数，远超Llama 2，这意味着模型在训练中能学习的内容范围将大幅扩展。参数数量越多，通常意味着模型能提供的结果越精确，不过较小的模型可能在处理速度上更有优势。Llama 3正在由Meta旗下的独立基础人工智能研究团队（FAIR）以外的生成人工智能团队开发。与此同时，尽管人们对Llama 3充满期待，Meta也面临着人才竞争的挑战。据了解，负责监督Llama2和Llama 3安全的研究员路易斯·马丁（Louis Martin）以及负责强化学习的凯文·斯通（Kevin Stone）在本月都已离开公司。在科技行业，如何处理人工智能安全问题的讨论越来越激烈。特斯拉首席执行官埃隆·马斯克（Elon Musk）便是其中一位颇具影响力的。他于2015年帮助创立了OpenAI，但近年来一直对所谓的“觉醒”人工智能机器人持怀疑态度，这些机器人在处理敏感话题时的表现不佳。2023年底，马斯克推出了名为Grok的聊天机器人，旨在提供一个未经过滤的聊天体验。然而，随着用户报告称Grok开始失控，行为越来越像ChatGPT，马斯克将此归咎于互联网信息训练的局限。他在X平台上的一篇文章中指出，互联网上“充斥着带有觉醒色彩的垃圾信息”。 ... PC版： 手机版：