帮开发者构建生成式 AI 应用，Meta 和微软合作推出开源模型 Llama 2

帮开发者构建生成式 AI 应用，Meta 和微软合作推出开源模型 Llama 2 Meta 和微软近日合作推出 Llama 2，这是 Meta 公司的下一代开源大型语言模型，可以免费用于研究和商业用途。 微软在新闻稿中表示，Llama 2 旨在帮助开发者和组织，构建生成式人工智能工具和体验。 Azure 客户可以在 Azure 平台上更轻松、更安全地微调和部署 7B、13B 和 70B 参数的 Llama 2 模型，此外通过优化可以在 Windows 本地运行。 Llama 2 模型与 Azure AI 的结合使开发人员能够利用 Azure AI 的强大工具进行模型训练、微调、推理，特别是支持 AI 安全的功能。 微软表示在 Windows 中加入 Llama 2 模型，有助于推动 Windows 成为开发人员根据客户需求构建人工智能体验的最佳场所，并释放他们使用 Windows Subsystem for Linux (WSL)、Windows 终端、Microsoft Visual Studio 和 VS Code 等世界级工具进行构建的能力。 、 、

阿里云成为首家支持 Meta 开源 AI 模型 Llama 的中国企业

阿里云成为首家支持 Meta 开源 AI 模型 Llama 的中国企业 阿里云近日宣布，该公司已成为首家支持 Meta 开源 AI 模型 Llama 的中国企业，并允许其中国企业用户开发基于该模型的程序。 阿里云官方微信公众号表示，该公司在中国推出了第一个针对 Llama2 的系列的培训和部署解决方案，并欢迎所有开发者在阿里云上创建定制的大模型。 阿里云表示，为方便开发者群体，阿里云机器学习平台 PAI 在国内率先对 Llama2 系列模型进行深度适配，推出了轻量级微调、全参数微调、推理服务等场景的最佳实践方案，助力开发者快速基于 Llama2 进行再训练，搭建自己的专属大模型。 来自：雷锋 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot

Meta宣布推出Llama 2(羊驼2) 提供7B~70B模型 开源免费可商用

Meta宣布推出Llama 2(羊驼2) 提供7B~70B模型 开源免费可商用 今天 Meta 发布 Llama 2 也就是羊驼 2 模型，提供 7B、13B 和 70B 参数版本，该模型开源、免费、可商用，这也是为什么最近一段时间有大量新模型出现，对开源社区来说，只要有高质量模型被开源出来，那接下来就是社区成员登场，微调、优化、定制、整合，然后就可以生成更多模型了。 羊驼 2 预训练模型接受了 2 万亿个 tokens 的训练，上下文长度是 Llama 1 的两倍，是的其上下文长度从 2048 提升到了 4096，其微调模型接受了超过 100 万个人类标注的训练。 根据 Meta AI 研究团队的测试，羊驼 2 在不少测试中表现都比较优异 (相对其他开源模型)，包括推理、编程、熟练程度和知识测试。 (需要提供Email地址) 来源 ， 来自：雷锋 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot

Meta确认其Llama 3开源大语言模型将于下个月推出

Meta确认其Llama 3开源大语言模型将于下个月推出 Meta 公司全球事务总裁尼克-克莱格（Nick Clegg）说："我们希望在下个月内，甚至更短的时间内，开始推出我们新的下一代基础模型套件 Llama 3。"他的描述听起来像是要发布该产品的几个不同迭代或版本。"今年内，我们将发布一系列具有不同功能、不同通用性的模型，很快就会开始发布。"Meta 首席产品官 Chris Cox 补充说，计划用 Llama 3 支持 Meta 的多个产品。一年多前，OpenAI 推出了 ChatGPT，并将人工智能生成式问答变成了日常的主流体验，这让 Meta 和Google等其他大型科技公司措手不及。Meta 公司在人工智能方面基本上采取了非常谨慎的态度，但这并没有得到公众的认可，以前版本的 Llama 被批评为能力过于有限。(Llama 2于 2023 年 7 月公开发布）。第一版 Llama 并未对外发布，但仍在网上泄露）。与前几代产品相比，Llama 3 的功能更强大，不仅能更准确地回答问题，还能回答更广泛的问题，其中可能包括更具争议性的话题。该公司希望这将使产品受到用户的欢迎。"随着时间的推移，我们的目标是让由 Llama 驱动的 Meta AI 成为世界上最有用的助手，"人工智能研究副总裁 Joelle Pineau 说。"要达到这个目标，还有相当多的工作要做。"该公司没有谈及《Llama 3》中使用的参数的大小，也没有提供它将如何工作的任何演示。预计它将拥有约 1400 亿个参数，而最大的 Llama 2 型号只有 700 亿个参数。最值得注意的是，Meta 的 Llama 系列是作为开源产品构建的，代表了一种不同的哲学方法，即人工智能作为一种更广泛的技术应如何发展。与专有模式相比，Meta 希望通过这种方式获得更多开发者的青睐。但 Meta 似乎也在谨慎行事，尤其是在文本生成之外的其他生成式人工智能方面。皮诺说，公司尚未发布图像生成工具 Emu。考克斯说："延迟、安全性和易用性都非常重要，只有这样才能生成令你自豪的图像，并代表你的创意背景。"具有讽刺意味的是，或者可以说是意料之中的，即使在 Meta 公司努力推出 Llama 3 的同时，公司内部也有一些对生成式人工智能持怀疑态度的重要人士。兼任 Meta 首席人工智能科学家的著名人工智能学者 Yann LeCun 对生成式人工智能的整体局限性进行了抨击，并表示他将赌注押在生成式人工智能之后。他预测这将是联合嵌入式预测架构（JEPA），这是一种训练模型和产生结果的不同方法，Meta 公司一直在使用这种方法在图像生成领域构建更准确的预测性人工智能。"人工智能的未来是 JEPA。它不是生成式人工智能，"他说。"我们得给克里斯的产品部门改个名字"。 ... PC版： 手机版：

Meta 开源最新的 Llama 3.1 大模型

Meta 开源最新的 Llama 3.1 大模型 其它科技公司都想把 AI 产品买给你们，但扎克伯格（Mark Zuckerberg）选择免费送给你们。Meta 周一宣布了其最新的 Llama 3.1 大模型，其最大规模版本的参数有 4050 亿个，较小规模的版本有 700 亿和 80 亿个参数。Meta 称，Llama 3.1 在基准测试中的表现超过了 OpenAI 的 GPT-4o 和 Anthropic 的 Claude 3.5 Sonnet。Meta 表示，Llama 3.1 使用了逾 16,000 个英伟达 H100 GPU 进行训练，它认为相比私有大模型，部署成本会更低。扎克伯格称他与世界各地的开发者、企业和政府官员交流时，他们都表达了不希望被私有封闭供应商锁定的愿望，希望自己能控制模型，而 Llama 3.1 将能满足他们的要求。 via Solidot

4050亿参数 Meta或将7月23日发布迄今最强大Llama 3模型

4050亿参数 Meta或将7月23日发布迄今最强大Llama 3模型 Meta公司拒绝对上述消息置评。周五盘中，低开的Meta股价跌幅收窄，盘初曾跌3.6%，午盘跌不足2%，仍将在周四大幅回落超4%后连跌两日，或将刷新6月28日以来收盘低位。去年7月Meta发布的Llama 2有三个版本，最大版本70B的参数规模为700亿。今年4月，Meta发布Llama 3Meta，称它为“迄今为止能力最强的开源LLM”。当时推出的Llama 3有8B和70B两个版本。Meta CEO扎克伯格当时称，大版本的Llama 3将有超过4000亿参数。Meta并未透露会不会将4000亿参数规模的Llama 3开源，当时它还在接受训练。对比前代，Llama 3有了质的飞跃。Llama 2使用2万亿个 token进行训练，而训练Llama 3大版本的token超过15 万亿。Meta称，由于预训练和训练后的改进，其预训练和指令调优的模型是目前8B和70B两个参数规模的最佳模型。在训练后程序得到改进后，模型的错误拒绝率（FRR）大幅下降，一致性提高，模型响应的多样性增加。 在推理、代码生成和指令跟踪等功能方面，Llama 3相比Llama 2有极大改进，使Llama 3更易于操控。4月Meta展示，8B和70B版本的Llama 3指令调优模型在大规模多任务语言理解数据集（MMLU）、研究生水平专家推理（GPQA）、数学评测集（GSM8K）、编程多语言测试（HumanEval）等方面的测评得分都高于Mistral、谷歌的Gemma和Gemini和Anthropic的Claude 3。8B和70B版本的预训练Llama 3多种性能测评优于Mistral、Gemma、Gemini和Mixtral。当时社交媒体的网友评论称，根据基准测试，当前的Llama 3模型不完全是 GPT-4 级别的，但仍在训练中的较大尺寸的模型将达到 GPT-4 级别。英伟达高级科学家Jim Fan认为，Llama 3的推出已经脱离了技术层面的进步，更是开源模型与顶尖闭源模型可分庭抗礼的象征。从Jim Fan分享的基准测试可以看出，Llama 3 400B 的实力几乎媲美 Claude“超大杯”以及新版 GPT-4 Turbo，将成为“分水岭”，相信它将释放巨大的研究潜力，推动整个生态系统的发展，开源社区或将能用上GPT-4级别的模型。此后有消息称，研究人员尚未开始对Llama 3进行微调，还未决定Llama 3是否将是多模态模型；正式版的Llama 3将会在今年7月正式推出。不同于OpenAI等开发商，Meta致力于开源LLM，不过，这个赛道也越来越拥挤。谷歌、特斯拉CEO马斯克旗下的xAI和Mistral 等竞争对手也发布了免费的AI模型。Llama 3问世后，同在4月亮相的4800亿参数模型Arctic击败Llama 3、Mixtra，刷新了全球最大开源模型的纪录。Arctic基于全新的Dense-MoE架构设计，由一个10B的稠密Tranformer模型和128×3.66B的MoE MLP组成，并在3.5万亿个token上进行了训练。相比Llama 3 8B和Llama 2 70B，Arctic所用的训练计算资源不到它们的一半，评估指标却取得了相当的分数。 ... PC版： 手机版：