Meta 开源最新的 Llama 3.1 大模型

Meta 开源最新的 Llama 3.1 大模型 其它科技公司都想把 AI 产品买给你们，但扎克伯格（Mark Zuckerberg）选择免费送给你们。Meta 周一宣布了其最新的 Llama 3.1 大模型，其最大规模版本的参数有 4050 亿个，较小规模的版本有 700 亿和 80 亿个参数。Meta 称，Llama 3.1 在基准测试中的表现超过了 OpenAI 的 GPT-4o 和 Anthropic 的 Claude 3.5 Sonnet。Meta 表示，Llama 3.1 使用了逾 16,000 个英伟达 H100 GPU 进行训练，它认为相比私有大模型，部署成本会更低。扎克伯格称他与世界各地的开发者、企业和政府官员交流时，他们都表达了不希望被私有封闭供应商锁定的愿望，希望自己能控制模型，而 Llama 3.1 将能满足他们的要求。 via Solidot

帮开发者构建生成式 AI 应用，Meta 和微软合作推出开源模型 Llama 2

帮开发者构建生成式 AI 应用，Meta 和微软合作推出开源模型 Llama 2 Meta 和微软近日合作推出 Llama 2，这是 Meta 公司的下一代开源大型语言模型，可以免费用于研究和商业用途。 微软在新闻稿中表示，Llama 2 旨在帮助开发者和组织，构建生成式人工智能工具和体验。 Azure 客户可以在 Azure 平台上更轻松、更安全地微调和部署 7B、13B 和 70B 参数的 Llama 2 模型，此外通过优化可以在 Windows 本地运行。 Llama 2 模型与 Azure AI 的结合使开发人员能够利用 Azure AI 的强大工具进行模型训练、微调、推理，特别是支持 AI 安全的功能。 微软表示在 Windows 中加入 Llama 2 模型，有助于推动 Windows 成为开发人员根据客户需求构建人工智能体验的最佳场所，并释放他们使用 Windows Subsystem for Linux (WSL)、Windows 终端、Microsoft Visual Studio 和 VS Code 等世界级工具进行构建的能力。 、 、

谷歌与 Hugging Face 合作，帮助开发人员训练 AI 模型

谷歌与 Hugging Face 合作，帮助开发人员训练 AI 模型 谷歌云与 AI 模型托管平台 Hugging Face 建立了新的合作伙伴关系，让开发人员无需支付谷歌云订阅费用即可构建、训练和部署 AI 模型。现在，使用 Hugging Face 平台的外部开发人员将能够 “经济高效” 地访问谷歌的张量处理单元 (TPU) 和 GPU 超级计算机，其中包括数千台 Nvidia 的热门且出口受限的 H100。谷歌表示，Hugging Face 用户可以在 “2024 年上半年” 开始使用人工智能应用构建平台 Vertex AI 和 Kubernetes 引擎，帮助训练和微调模型。 一一

Meta新一代AI芯片亮相：优化推荐系统 但不能训练大模型

Meta新一代AI芯片亮相：优化推荐系统 但不能训练大模型 这款芯片是Meta训练与推理加速器项目(MTIA)的最新版本，MTIA是Meta专门为AI工作负载设计的定制芯片系列，可以对Facebook和Instagram上的内容进行排名和推荐。该公司去年发布了首款MTIA产品。据Meta介绍，新一代AI芯片由台积电代工，采用了其5纳米工艺制程。MTIA也是该公司更广泛产品开发的一部分，针对Meta独特的工作负载和系统进行了优化。与前一个版本相比，新的MTIA在计算能力和内存带宽上都提高了一倍多，同时保持了与其工作负载的紧密联系，可以更好地服务全球用户，提供个性化的推荐和优化的用户体验。Meta表示：“为了实现我们定制芯片的雄心壮志，我们不仅要投资于计算芯片，还要投资于内存带宽、网络、容量以及其他下一代硬件系统。”Meta转向AI服务使其对计算能力的需求不断增长，一方面，该公司要让Facebook、Instagram等应用接入AI功能，另一方面，Meta正在开发自己的大语言模型，以期与OpenAI的ChatGPT展开竞争。去年10月，Meta表示，将在支持AI的基础设施上投入多达350亿美元，包括数据中心和硬件。“到2024年，AI将成为我们最大的投资领域，”首席执行官扎克伯格当时告诉投资者。后续发展也确如扎克伯格所言，但这笔支出的很大一部分流向了英伟达。据悉，此前Meta已经购买了数十万张英伟达上一代芯片H100，以支持其升级内容推荐系统和生成式AI产品。到2024年底，Meta的基础设施将包括35万张H100，每张售价为2.5万-3万美元。当然，不单单是Meta，越来越多的公司都在开发AI芯片，包括微软、谷歌、亚马逊等科技公司。不过，这显然不是一个快速解决方案。到目前为止，这些努力并没有减少业界对英伟达AI芯片的需求。AI热潮使英伟达成为世界第三大最有价值的科技公司，仅次于微软和苹果公司。在2024财年，该公司数据中心业务营收475亿美元，而前一年仅为150亿美元。分析人士预测，到2025财年，这一数字将再增加一倍以上。相关文章:Meta推出新款AI芯片 旨在降低对英伟达的依赖 ... PC版： 手机版：

：从入门到精通，利用NVIDIA GPU进行数学和机器学习的加速计算，适用于希望扩展算法至GPU的研究人员和应用专家

：从入门到精通，利用NVIDIA GPU进行数学和机器学习的加速计算，适用于希望扩展算法至GPU的研究人员和应用专家 CUDA（统一计算设备架构）是 NVIDIA 开发的并行计算平台和编程模型。它允许软件开发人员利用 NVIDIA GPU（图形处理单元）巨大的并行处理能力来执行通用计算任务，而不仅仅是其传统的图形渲染角色。 GPU 设计有数千个更小、更高效的核心，经过优化可同时处理多个任务。这使得它们非常适合可分解为许多独立操作的任务，例如科学模拟、机器学习、视频处理等。与传统的仅使用 CPU 的代码相比，CUDA 可显著提高合适应用程序的速度。 GPU 可以并行处理大量数据，从而加速在 CPU 上需要更长时间的计算。对于某些类型的工作负载，GPU 比 CPU 更节能，可提供更高的每瓦性能。

Meta确认其Llama 3开源大语言模型将于下个月推出

Meta确认其Llama 3开源大语言模型将于下个月推出 Meta 公司全球事务总裁尼克-克莱格（Nick Clegg）说："我们希望在下个月内，甚至更短的时间内，开始推出我们新的下一代基础模型套件 Llama 3。"他的描述听起来像是要发布该产品的几个不同迭代或版本。"今年内，我们将发布一系列具有不同功能、不同通用性的模型，很快就会开始发布。"Meta 首席产品官 Chris Cox 补充说，计划用 Llama 3 支持 Meta 的多个产品。一年多前，OpenAI 推出了 ChatGPT，并将人工智能生成式问答变成了日常的主流体验，这让 Meta 和Google等其他大型科技公司措手不及。Meta 公司在人工智能方面基本上采取了非常谨慎的态度，但这并没有得到公众的认可，以前版本的 Llama 被批评为能力过于有限。(Llama 2于 2023 年 7 月公开发布）。第一版 Llama 并未对外发布，但仍在网上泄露）。与前几代产品相比，Llama 3 的功能更强大，不仅能更准确地回答问题，还能回答更广泛的问题，其中可能包括更具争议性的话题。该公司希望这将使产品受到用户的欢迎。"随着时间的推移，我们的目标是让由 Llama 驱动的 Meta AI 成为世界上最有用的助手，"人工智能研究副总裁 Joelle Pineau 说。"要达到这个目标，还有相当多的工作要做。"该公司没有谈及《Llama 3》中使用的参数的大小，也没有提供它将如何工作的任何演示。预计它将拥有约 1400 亿个参数，而最大的 Llama 2 型号只有 700 亿个参数。最值得注意的是，Meta 的 Llama 系列是作为开源产品构建的，代表了一种不同的哲学方法，即人工智能作为一种更广泛的技术应如何发展。与专有模式相比，Meta 希望通过这种方式获得更多开发者的青睐。但 Meta 似乎也在谨慎行事，尤其是在文本生成之外的其他生成式人工智能方面。皮诺说，公司尚未发布图像生成工具 Emu。考克斯说："延迟、安全性和易用性都非常重要，只有这样才能生成令你自豪的图像，并代表你的创意背景。"具有讽刺意味的是，或者可以说是意料之中的，即使在 Meta 公司努力推出 Llama 3 的同时，公司内部也有一些对生成式人工智能持怀疑态度的重要人士。兼任 Meta 首席人工智能科学家的著名人工智能学者 Yann LeCun 对生成式人工智能的整体局限性进行了抨击，并表示他将赌注押在生成式人工智能之后。他预测这将是联合嵌入式预测架构（JEPA），这是一种训练模型和产生结果的不同方法，Meta 公司一直在使用这种方法在图像生成领域构建更准确的预测性人工智能。"人工智能的未来是 JEPA。它不是生成式人工智能，"他说。"我们得给克里斯的产品部门改个名字"。 ... PC版： 手机版：