Meta新一代AI芯片亮相：优化推荐系统 但不能训练大模型

Meta新一代AI芯片亮相：优化推荐系统 但不能训练大模型 这款芯片是Meta训练与推理加速器项目(MTIA)的最新版本，MTIA是Meta专门为AI工作负载设计的定制芯片系列，可以对Facebook和Instagram上的内容进行排名和推荐。该公司去年发布了首款MTIA产品。据Meta介绍，新一代AI芯片由台积电代工，采用了其5纳米工艺制程。MTIA也是该公司更广泛产品开发的一部分，针对Meta独特的工作负载和系统进行了优化。与前一个版本相比，新的MTIA在计算能力和内存带宽上都提高了一倍多，同时保持了与其工作负载的紧密联系，可以更好地服务全球用户，提供个性化的推荐和优化的用户体验。Meta表示：“为了实现我们定制芯片的雄心壮志，我们不仅要投资于计算芯片，还要投资于内存带宽、网络、容量以及其他下一代硬件系统。”Meta转向AI服务使其对计算能力的需求不断增长，一方面，该公司要让Facebook、Instagram等应用接入AI功能，另一方面，Meta正在开发自己的大语言模型，以期与OpenAI的ChatGPT展开竞争。去年10月，Meta表示，将在支持AI的基础设施上投入多达350亿美元，包括数据中心和硬件。“到2024年，AI将成为我们最大的投资领域，”首席执行官扎克伯格当时告诉投资者。后续发展也确如扎克伯格所言，但这笔支出的很大一部分流向了英伟达。据悉，此前Meta已经购买了数十万张英伟达上一代芯片H100，以支持其升级内容推荐系统和生成式AI产品。到2024年底，Meta的基础设施将包括35万张H100，每张售价为2.5万-3万美元。当然，不单单是Meta，越来越多的公司都在开发AI芯片，包括微软、谷歌、亚马逊等科技公司。不过，这显然不是一个快速解决方案。到目前为止，这些努力并没有减少业界对英伟达AI芯片的需求。AI热潮使英伟达成为世界第三大最有价值的科技公司，仅次于微软和苹果公司。在2024财年，该公司数据中心业务营收475亿美元，而前一年仅为150亿美元。分析人士预测，到2025财年，这一数字将再增加一倍以上。相关文章:Meta推出新款AI芯片 旨在降低对英伟达的依赖 ... PC版： 手机版：

【Apple 推出新一代 M2 Pro 和 M2 Max 芯片】M2 Pro 和 M2 Max 芯片强势驱动 MacBook P

【Apple 推出新一代 M2 Pro 和 M2 Max 芯片】M2 Pro 和 M2 Max 芯片强势驱动 MacBook Pro 和 Mac mini，搭载更为强大的中央处理器和图形处理器，配备高达 96GB 统一内存。 #抽屉IT

英伟达发布新一代数据中心超级芯片

英伟达发布新一代数据中心超级芯片 在周二的主题演讲中，黄仁勋介绍了下一代 DGX GH200 Grace Hopper 超级芯片，专为 OpenAI 的 ChatGPT 等大内存生成性人工智能模型设计，以扩展全球的数据中心。 在发布会前的新闻发布会上，英伟达的超大规模和高性能计算部门主管 Ian Buck 告诉记者，GH200 比该公司的 H100 数据中心系统容纳了更多的内存和更大的带宽。GH200 采用了英伟达的 Hopper GPU 架构，并将其与 Arm Ltd. 的 Grace CPU 架构结合起来。该芯片拥有 141 GB 的 HBM3 内存，以及每秒 5 TB 的带宽。 GH200 可以在 NVLink 的双 GH200 系统中叠加使用，使内存增加 3.5 倍，带宽增加两倍。这两种产品都将在 2024 年第二季度上市，但英伟达没有透露定价。

黄仁勋公布NVIDIA路线图：明年升级Blackwell芯片 后年推出新一代AI平台

黄仁勋公布NVIDIA路线图：明年升级Blackwell芯片 后年推出新一代AI平台 在演讲开头，黄仁勋称自己很想用中文进行本次演讲，但因为要说的内容太多，对他而言难度过高。黄仁勋表示，自己的演讲有两个重点，即加速计算和AI，这两个要素“将能够重启电脑产业”。随后，黄仁勋花了较大篇幅来强调英伟达运算平台CUDA的重要性。黄仁勋表示，作为使用神经网络来进行深度学习的平台，CUDA显著推动了计算机科学在近20年内的进展。现在，全球已有500万名CUDA开发者。黄仁勋指出，CUDA已经实现了“良性循环”，能够在运算基础不断增长的情况下，扩大生态系统，令成本不断下降：“这将促使更多的开发人员提出更多的想法，带来更多的需求实验，成为伟大事业的开端。”黄仁勋称CUDA平台已实现良性循环。来源：英伟达直播此外，黄仁勋还重点介绍了英伟达仿真平台Omniverse。据介绍，Omniverse已经帮助众多大厂实现了数字孪生。例如，通过运用Omniverse，工厂可以事先规划流水线，气象学家可以预测极端气候等等。谈到英伟达的核心产品芯片，黄仁勋再次重申“买越多、省越多”。黄仁勋表示，计算机行业在中央处理器（CPU）上运行的引擎，其性能扩展速度已经大大降低。然而，需要处理的数据“继续呈指数级增长”，如果保持原状，人们将不得不经历计算膨胀和计算成本的提升。而在这种情况下，有一种更好的方法增强计算机的处理性能，那就是通过计算机增强CPU来提供加速计算：“现在，CPU的扩展速度逐渐放缓，最终会基本走向停止。我们应该让每一个处理密集型应用程序都得到加速，每个数据中心也就会得到加速。加速计算是非常明智的，这是普通常识。”黄仁勋宣传CPU和GPU相结合的加速计算。来源：英伟达直播在台上，黄仁勋又一次展示了英伟达在今年3月GTC大会上推出的最新Blackwell芯片，以及由其组装而成的机箱，乃至规模庞大的数据中心示意图。黄仁勋自豪地表示：“只有英伟达能做到，只有我们能做到。”更重要的是，黄仁勋透露，随着Blackwell芯片开始生产，英伟达计划每年升级AI加速器和AI芯片，预计将于2025年推出Blackwell Ultra，在2026年推出名为“Rubin”的下一代AI平台，该平台将采用HBM4内存。此前，天风国际分析师郭明𫓹预测，英伟达的下一代AI芯片“Rubin”系列/R100将在2025年第四季度开始量产。黄仁勋“剧透”英伟达此后的芯片规划。来源：英伟达直播就在半个月前，在发布2025财年第一财季财报后的英伟达业绩会上，黄仁勋曾表示，Blackwell芯片已经在“满负荷生产”，预计年内为公司“带来大量收入”。黄仁勋还屡次强调“我们正在加速”，称将在AI芯片上实现“一年一上新”。本次演讲的最后，话题又回到了机器人身上。据介绍，比亚迪、西门子、泰瑞达和Alphabet 旗下公司Intrinsic等全球十多家机器人行业领先企业已经在研究、开发和生产中采用NVIDIA Isaac机器人平台。黄仁勋表示：“机器人时代已经到来。有朝一日，移动的物体都将实现自主运行。”在截至4月28日的2025财年第一财季，英伟达期内实现营收260.44亿美元，同比上涨262%；净利润148.81亿美元，同比上涨628%。同时，该公司对下一季度的业绩做出指引，预测2025财年第二财季的销售额将达到280亿美元，上下浮动2%，高于市场预期的266亿美元。发布第一财季财报后，英伟达股价一度迅速飙升，助公司股价突破1000美元。当地时间5月31日，英伟达（Nasdaq：NVDA）股价收于每股1095.95美元，跌0.82%，总市值2.70万亿美元。据Wind数据，在过去的2023年中，英伟达股价涨幅超230%，今年以来涨幅已达到121.39%。 ... PC版： 手机版：

Meta第二代自研AI芯投产 摆脱英伟达依赖

Meta第二代自研AI芯投产 摆脱英伟达依赖 对此，Meta的发言人表示：“我们认为，我们自主开发的加速器将与市面上的GPU相得益彰，为Meta的任务提供最佳的性能与效率平衡。”除了更高效地运行的推荐模型外，Meta还需要为自家的生成式AI应用，以及正在训练的GPT-4开源竞品Llama 3提供算力。Meta的AI贴纸功能，此前在Messenger、Instagram和WhatsApp上都处于测试阶段OpenAI工程师Jason Wei在Meta的一次AI活动中听到，Meta现在有足够的算力来训练Llama 3和4。Llama 3计划达到GPT-4的性能水平，但仍将免费提供不难看出，Meta的目标非常明确在减少对英伟达芯片依赖的同时，尽可能控制AI任务的成本。Meta成英伟达大客户Meta CEO小扎最近宣布，他计划到今年年底部署35万颗英伟达H100 GPU，总共将有约60万颗GPU运行和训练AI系统。这也让Meta成为了继微软之后，英伟达最大的已知客户。小扎表示，目前Meta内部正在训练下一代模型Llama 3。在35万块H100上训练的Llama 3，无法想象会有多大！Omdia的研究数据显示，Meta在2023年H100的出货量为15万块，与微软持平，且是其他公司出货量的3倍。小扎称，“如果算上英伟达A100和其他AI芯片，到2024年底，Meta将拥有近60万个GPU等效算力”。性能更强、尺寸更大的模型，导致更高的AI工作负载，让成本直接螺旋式上升。据《华尔街日报》的一位匿名人士称，今年头几个月，每有一个客户，微软每月在Github Copilot上的损失就超过20美元，甚至某些用户每月的损失高达80美元，尽管微软已经向用户收取每月10美元的费用。之所以赔钱，是因为生成代码的AI模型运行成本高昂。如此高的成本，让大科技公司们不得不寻求别的出路。除了Meta之外，OpenAI和微软也在试图打造自己专有的AI芯片以及更高效的模型，来打破螺旋式上升的成本。此前外媒曾报道，Sam Altman正计划筹集数十亿美元，为OpenAI建起全球性的半导体晶圆厂网络，为此他已经在和中东投资者以及台积电谈判专为大模型定制AI芯去年5月，Meta首次展示了最新芯片系列“Meta训练和推理加速器”（MTIA），旨在加快并降低运行神经网络的成本。MTIA是一种ASIC，一种将不同电路组合在一块板上的芯片，允许对其进行编程，以并行执行一项或多项任务。内部公告称，Met首款芯片将在2025年投入使用，同时数据中心开启测试。不过，据路透社报道，Artemis已经是MTIA的更高级版本。其实，第一代的MITA早就从2020年开始了，当时MITA v1采用的是7nm工艺。该芯片内部内存可以从128MB扩展到128GB，同时，在Meta设计的基准测试中，MITA在处理中低复杂度的AI模型时，效率要比GPU还高。在芯片的内存和网络部分，Meta表示，依然有不少工作要做。随着AI模型的规模越来越大，MITA也即将遇到瓶颈，因此需要将工作量分担到多个芯片上。当时，Meta团队还设计了第一代MTIA加速器，同样采用台积电7nm，运行频率为800MHz，在INT8精度下提供102.4 TOPS，在FP16精度下提供51.2 TFLOPS。它的热设计功耗（TDP）为25W。2022年1月，Meta还推出了超算RSC AI，并表示要为元宇宙铺路。RSC包含2000个英伟达DGX A100系统，16000个英伟达A100 GPU。这款超算与Penguin Computing、英伟达和Pure Storage合作组装，目前已完成第二阶段的建设。 ... PC版： 手机版：

Meta正在招募芯片工程师以开发下一代AI和ML专用加速器

Meta正在招募芯片工程师以开发下一代AI和ML专用加速器 根据最近在网上发布的招聘信息，Meta 公司希望招聘高技能的硬件工程师来开发新一代专用集成电路（ASIC）设计。ASIC 芯片在硬件层面为特定的计算用途而定制，这意味着它们不像传统 CPU 那样用于通用用途。但是，ASIC 在其设计用途上也非常高效，例如为人工智能工作负载和聊天机器人服务提供机器学习算法。Meta公司最新招聘职位分布在印度班加罗尔和加利福尼亚桑尼维尔。在印度，Facebook 母公司正在招聘一名ASIC 工程师，为其数据中心构建硬件加速器。招聘信息称，这名新员工将成为 ASIC 团队不可或缺的一员，该团队致力于开发最先进的芯片架构，以加速人工智能/机器学习算法。尽管人工智能应用对能源的需求巨大，但 Meta 仍希望打造"绿色"数据中心加速器。新任 ASIC 工程师需要开发新的先进硬件架构和算法，以支持和测试这些新芯片。该职位的职责包括开发性能和功能模型以验证新架构，创建机器学习内核以分析 ASIC 芯片，以及针对 ML 工作负载优化架构。Facebook 公司正在寻找至少拥有计算机科学或工程学士学位、10 年以上工作经验并了解处理器、内存系统和片上互连网络等计算机架构概念的人才。应聘者还需要在 C++（和 C）等低级面向对象编程语言方面有丰富的经验。Meta的一些与ASIC架构相关的招聘信息最早是在2023年12月发布的，但两周前又重新发布了。该公司此前曾表示，希望开发自己的"推理加速器"，并将于 2024 年上线。据 NVIDIA 首席执行官黄仁勋（Jensen Huang）称，GPU 在改善 Meta 的"推荐引擎"和公司整体收入方面发挥了关键作用。但 NVIDIA 也表示，在不久的将来，它很可能无法为任何从事人工智能业务的人提供足够的 GPU 加速器。Meta 似乎也在研究人工通用智能 （AGI）这一难以捉摸的概念，这对于最新的 GPU 技术来说是一项极其艰巨的任务，但对于专用的 ASIC 芯片设计来说，却能从中获益匪浅。 ... PC版： 手机版：