微软推出两款自研芯片：Azure Maia 100 和 Azure Cobalt 100

微软推出两款自研芯片：Azure Maia 100 和 Azure Cobalt 100 当地时间 11 月 15 日周三，微软在西雅图举办的 Ignite 全球技术大会上，发布了两款自研芯片：Azure Maia 100 和 Azure Cobalt 100。 微软表示，Azure Maia 100 是一款 AI 加速器芯片，用于 OpenAI 模型、Bing、GitHub Copilot 和 ChatGPT 等 AI 工作负载运行云端训练和推理。Azure Cobalt 100 则是一款基于 Arm 架构的云原生芯片，针对通用工作负载的性能、功率和成本效益进行了优化。 微软还表示，他们不打算出售这些芯片，而是将它们用于为其自己的订阅软件产品提供支持，并作为其 Azure 云计算服务的一部分。

Meta第二代自研AI芯投产 摆脱英伟达依赖

Meta第二代自研AI芯投产 摆脱英伟达依赖 对此，Meta的发言人表示：“我们认为，我们自主开发的加速器将与市面上的GPU相得益彰，为Meta的任务提供最佳的性能与效率平衡。”除了更高效地运行的推荐模型外，Meta还需要为自家的生成式AI应用，以及正在训练的GPT-4开源竞品Llama 3提供算力。Meta的AI贴纸功能，此前在Messenger、Instagram和WhatsApp上都处于测试阶段OpenAI工程师Jason Wei在Meta的一次AI活动中听到，Meta现在有足够的算力来训练Llama 3和4。Llama 3计划达到GPT-4的性能水平，但仍将免费提供不难看出，Meta的目标非常明确在减少对英伟达芯片依赖的同时，尽可能控制AI任务的成本。Meta成英伟达大客户Meta CEO小扎最近宣布，他计划到今年年底部署35万颗英伟达H100 GPU，总共将有约60万颗GPU运行和训练AI系统。这也让Meta成为了继微软之后，英伟达最大的已知客户。小扎表示，目前Meta内部正在训练下一代模型Llama 3。在35万块H100上训练的Llama 3，无法想象会有多大！Omdia的研究数据显示，Meta在2023年H100的出货量为15万块，与微软持平，且是其他公司出货量的3倍。小扎称，“如果算上英伟达A100和其他AI芯片，到2024年底，Meta将拥有近60万个GPU等效算力”。性能更强、尺寸更大的模型，导致更高的AI工作负载，让成本直接螺旋式上升。据《华尔街日报》的一位匿名人士称，今年头几个月，每有一个客户，微软每月在Github Copilot上的损失就超过20美元，甚至某些用户每月的损失高达80美元，尽管微软已经向用户收取每月10美元的费用。之所以赔钱，是因为生成代码的AI模型运行成本高昂。如此高的成本，让大科技公司们不得不寻求别的出路。除了Meta之外，OpenAI和微软也在试图打造自己专有的AI芯片以及更高效的模型，来打破螺旋式上升的成本。此前外媒曾报道，Sam Altman正计划筹集数十亿美元，为OpenAI建起全球性的半导体晶圆厂网络，为此他已经在和中东投资者以及台积电谈判专为大模型定制AI芯去年5月，Meta首次展示了最新芯片系列“Meta训练和推理加速器”（MTIA），旨在加快并降低运行神经网络的成本。MTIA是一种ASIC，一种将不同电路组合在一块板上的芯片，允许对其进行编程，以并行执行一项或多项任务。内部公告称，Met首款芯片将在2025年投入使用，同时数据中心开启测试。不过，据路透社报道，Artemis已经是MTIA的更高级版本。其实，第一代的MITA早就从2020年开始了，当时MITA v1采用的是7nm工艺。该芯片内部内存可以从128MB扩展到128GB，同时，在Meta设计的基准测试中，MITA在处理中低复杂度的AI模型时，效率要比GPU还高。在芯片的内存和网络部分，Meta表示，依然有不少工作要做。随着AI模型的规模越来越大，MITA也即将遇到瓶颈，因此需要将工作量分担到多个芯片上。当时，Meta团队还设计了第一代MTIA加速器，同样采用台积电7nm，运行频率为800MHz，在INT8精度下提供102.4 TOPS，在FP16精度下提供51.2 TFLOPS。它的热设计功耗（TDP）为25W。2022年1月，Meta还推出了超算RSC AI，并表示要为元宇宙铺路。RSC包含2000个英伟达DGX A100系统，16000个英伟达A100 GPU。这款超算与Penguin Computing、英伟达和Pure Storage合作组装，目前已完成第二阶段的建设。 ... PC版： 手机版：

Meta号称自研AI芯片 为何转身买了英伟达35万个GPU？

Meta号称自研AI芯片 为何转身买了英伟达35万个GPU？ 高调自研的Meta转身狂购英伟达芯片Meta首席科学家杨立昆（Yann LeCun）上个月在旧金山举行的一次活动中强调了GPU对于构建通用人工智能（AGI）的重要性。他说：“如果你认为AGI时代正在到来，你就必须购买更多的GPU。这是一场人工智能战争，而英伟达正在提供武器。”Meta第三季度财报显示，2024财年的总支出将在940亿美元至990亿美元之间，部分原因是在算力方面的扩张。矛盾的是：之前，Meta的打算是自研芯片，不依赖英伟达。2023年，Meta公司首度曾公开其自研芯片的进展，表示开始计划开发一种用于训练人工智能模型的内部芯片，他们将这款新型芯片取名Meta训练和推理加速器，简称MTIA（MTIA v1），将其归类为加速人工智能训练和推理工作负载的“芯片家族”，并定计划于2025年推出。这种定制芯片采用开源芯片架构RISC-V，在类型上属于ASIC专用集成电路。巨头自研芯片不顺利2023年OpenAI 大模型爆火以来，互联网巨头对AI芯片的需求一夜爆发，一时间重金难求一卡。为了避免受制于人，节省费用，各大巨头纷纷宣布自研AI芯片。亚马逊似乎占据了先机，已拥有两款AI专用芯片训练芯片Trainium和推理芯片Inferentia；谷歌则拥有第四代张量处理单元（TPU）。相比之下，微软、Meta等还在很大程度上依赖于英伟达、AMD和英特尔等芯片制造商的现成或定制硬件。报道称，微软一直在秘密研发自己的AI芯片，代号雅典娜（Athena）。该芯片由台积电代工，采用5nm先进制程，计划最早于2024年推出。MTIA的 v1，字面性能也很强，采用台积电7nm制程工艺，运行频率800MHz，TDP仅为25W，INT8整数运算能力为102.4 TOPS，FP16浮点运算能力为51.2 TFLOPS。但从目前的进度上看，微软、Meta的进度并不算快，微软一直在订购英伟达的芯片，Meta此次高调宣布购入35万个H100，也表明，自身研发并不顺利。AI算力竞争是否再次展开据OpenAI测算，从2012年开始，全球AI训练所用的计算量呈现指数增长，平均每3.43个月便会翻一倍。2023年，各巨头对AI芯片的抢购，一度让英伟达H100持续涨价缺货。根据研究机构Raymond James的分析师预测，每个英伟达H100芯片售价为25000至30000美元。按此价格范围计算，Meta在这些芯片上的支出将至少接近百亿美元。Meta为何不吝于成本，斥巨资买入英伟达芯片。扎克伯格在周四的文章中还表示，将把人工智能投资与AR/VR驱动的元宇宙愿景联系起来，并计划推出Llama大型语言模型的下一个版本。从上述表态中可以看出，Meta的自身业务深入发展，需要算力的支持，这是根本原因。对于全球互联网巨头、科技公司来说，2024年的竞争已经开始，新的一轮算力竞争是否就此拉开序幕。 ... PC版： 手机版：