Meta第二代自研AI芯投产 摆脱英伟达依赖

Meta第二代自研AI芯投产 摆脱英伟达依赖 对此,Meta的发言人表示:“我们认为,我们自主开发的加速器将与市面上的GPU相得益彰,为Meta的任务提供最佳的性能与效率平衡。”除了更高效地运行的推荐模型外,Meta还需要为自家的生成式AI应用,以及正在训练的GPT-4开源竞品Llama 3提供算力。Meta的AI贴纸功能,此前在Messenger、Instagram和WhatsApp上都处于测试阶段OpenAI工程师Jason Wei在Meta的一次AI活动中听到,Meta现在有足够的算力来训练Llama 3和4。Llama 3计划达到GPT-4的性能水平,但仍将免费提供不难看出,Meta的目标非常明确在减少对英伟达芯片依赖的同时,尽可能控制AI任务的成本。Meta成英伟达大客户Meta CEO小扎最近宣布,他计划到今年年底部署35万颗英伟达H100 GPU,总共将有约60万颗GPU运行和训练AI系统。这也让Meta成为了继微软之后,英伟达最大的已知客户。小扎表示,目前Meta内部正在训练下一代模型Llama 3。在35万块H100上训练的Llama 3,无法想象会有多大!Omdia的研究数据显示,Meta在2023年H100的出货量为15万块,与微软持平,且是其他公司出货量的3倍。小扎称,“如果算上英伟达A100和其他AI芯片,到2024年底,Meta将拥有近60万个GPU等效算力”。性能更强、尺寸更大的模型,导致更高的AI工作负载,让成本直接螺旋式上升。据《华尔街日报》的一位匿名人士称,今年头几个月,每有一个客户,微软每月在Github Copilot上的损失就超过20美元,甚至某些用户每月的损失高达80美元,尽管微软已经向用户收取每月10美元的费用。之所以赔钱,是因为生成代码的AI模型运行成本高昂。如此高的成本,让大科技公司们不得不寻求别的出路。除了Meta之外,OpenAI和微软也在试图打造自己专有的AI芯片以及更高效的模型,来打破螺旋式上升的成本。此前外媒曾报道,Sam Altman正计划筹集数十亿美元,为OpenAI建起全球性的半导体晶圆厂网络,为此他已经在和中东投资者以及台积电谈判专为大模型定制AI芯去年5月,Meta首次展示了最新芯片系列“Meta训练和推理加速器”(MTIA),旨在加快并降低运行神经网络的成本。MTIA是一种ASIC,一种将不同电路组合在一块板上的芯片,允许对其进行编程,以并行执行一项或多项任务。内部公告称,Met首款芯片将在2025年投入使用,同时数据中心开启测试。不过,据路透社报道,Artemis已经是MTIA的更高级版本。其实,第一代的MITA早就从2020年开始了,当时MITA v1采用的是7nm工艺。该芯片内部内存可以从128MB扩展到128GB,同时,在Meta设计的基准测试中,MITA在处理中低复杂度的AI模型时,效率要比GPU还高。在芯片的内存和网络部分,Meta表示,依然有不少工作要做。随着AI模型的规模越来越大,MITA也即将遇到瓶颈,因此需要将工作量分担到多个芯片上。当时,Meta团队还设计了第一代MTIA加速器,同样采用台积电7nm,运行频率为800MHz,在INT8精度下提供102.4 TOPS,在FP16精度下提供51.2 TFLOPS。它的热设计功耗(TDP)为25W。2022年1月,Meta还推出了超算RSC AI,并表示要为元宇宙铺路。RSC包含2000个英伟达DGX A100系统,16000个英伟达A100 GPU。这款超算与Penguin Computing、英伟达和Pure Storage合作组装,目前已完成第二阶段的建设。 ... PC版: 手机版:

相关推荐

封面图片

Meta号称自研AI芯片 为何转身买了英伟达35万个GPU?

Meta号称自研AI芯片 为何转身买了英伟达35万个GPU? 高调自研的Meta转身狂购英伟达芯片Meta首席科学家杨立昆(Yann LeCun)上个月在旧金山举行的一次活动中强调了GPU对于构建通用人工智能(AGI)的重要性。他说:“如果你认为AGI时代正在到来,你就必须购买更多的GPU。这是一场人工智能战争,而英伟达正在提供武器。”Meta第三季度财报显示,2024财年的总支出将在940亿美元至990亿美元之间,部分原因是在算力方面的扩张。矛盾的是:之前,Meta的打算是自研芯片,不依赖英伟达。2023年,Meta公司首度曾公开其自研芯片的进展,表示开始计划开发一种用于训练人工智能模型的内部芯片,他们将这款新型芯片取名Meta训练和推理加速器,简称MTIA(MTIA v1),将其归类为加速人工智能训练和推理工作负载的“芯片家族”,并定计划于2025年推出。这种定制芯片采用开源芯片架构RISC-V,在类型上属于ASIC专用集成电路。巨头自研芯片不顺利2023年OpenAI 大模型爆火以来,互联网巨头对AI芯片的需求一夜爆发,一时间重金难求一卡。为了避免受制于人,节省费用,各大巨头纷纷宣布自研AI芯片。亚马逊似乎占据了先机,已拥有两款AI专用芯片训练芯片Trainium和推理芯片Inferentia;谷歌则拥有第四代张量处理单元(TPU)。相比之下,微软、Meta等还在很大程度上依赖于英伟达、AMD和英特尔等芯片制造商的现成或定制硬件。报道称,微软一直在秘密研发自己的AI芯片,代号雅典娜(Athena)。该芯片由台积电代工,采用5nm先进制程,计划最早于2024年推出。MTIA的 v1,字面性能也很强,采用台积电7nm制程工艺,运行频率800MHz,TDP仅为25W,INT8整数运算能力为102.4 TOPS,FP16浮点运算能力为51.2 TFLOPS。但从目前的进度上看,微软、Meta的进度并不算快,微软一直在订购英伟达的芯片,Meta此次高调宣布购入35万个H100,也表明,自身研发并不顺利。AI算力竞争是否再次展开据OpenAI测算,从2012年开始,全球AI训练所用的计算量呈现指数增长,平均每3.43个月便会翻一倍。2023年,各巨头对AI芯片的抢购,一度让英伟达H100持续涨价缺货。根据研究机构Raymond James的分析师预测,每个英伟达H100芯片售价为25000至30000美元。按此价格范围计算,Meta在这些芯片上的支出将至少接近百亿美元。Meta为何不吝于成本,斥巨资买入英伟达芯片。扎克伯格在周四的文章中还表示,将把人工智能投资与AR/VR驱动的元宇宙愿景联系起来,并计划推出Llama大型语言模型的下一个版本。从上述表态中可以看出,Meta的自身业务深入发展,需要算力的支持,这是根本原因。对于全球互联网巨头、科技公司来说,2024年的竞争已经开始,新的一轮算力竞争是否就此拉开序幕。 ... PC版: 手机版:

封面图片

Meta将率先使用英伟达最新人工智能芯片

Meta将率先使用英伟达最新人工智能芯片 英伟达首席财务官科莱特·克雷斯(Colette Kress)周二告诉金融分析师,“我们将在今年晚些时候上市”,但也表示,新GPU的出货量要到2025年才会增加。而社交媒体巨头 Meta 是英伟达最大的客户之一,此前该公司购买了英伟达公司数十万上一代芯片。Meta 首席执行官马克·扎克伯格 在 1 月份就曾透露,该公司计划会在今年年底前将大约 350,000 个早期芯片(称为 H100)储存在库存中。本次Meta社交平台的发言人向外媒公布的最新消息显示,在今年晚些时候,会收到英伟达推出的全新的人工智能芯片,而且还透露,收到的将是英伟达的首批出货。此前,扎克伯格在周一的一份声明中表示,Meta 计划使用 Blackwell 来训练该公司的骆驼模型。该公司目前正在上周宣布的两个GPU集群上训练第三代模型,每个集群包含约24,000个H100 GPU。Meta 发言人表示,Meta 计划继续使用这些集群来训练 Llama 3,并将 Blackwell 用于该模型的未来几代。 ... PC版: 手机版:

封面图片

Meta 新建两座数据中心集群:内含超 4.9 万块英伟达 H100 GPU,专门训练 Llama3

Meta 新建两座数据中心集群:内含超 4.9 万块英伟达 H100 GPU,专门训练 Llama3 据悉,这两座数据中心的唯一目的,是在消费者特定应用领域(IT之家注:包含声音或图像识别)中进行 AI 研究和大语言模型的开发,每个集群都包含了 24576 块英伟达 H100 AI GPU,将用于自家大语言模型 Llama 3 的训练。

封面图片

Meta推出新款AI芯片 旨在降低对英伟达的依赖

Meta推出新款AI芯片 旨在降低对英伟达的依赖 Meta转向人工智能服务带来了更高的算力需求。去年这家社交媒体巨头发布了自己的人工智能模型,来与OpenAI的ChatGPT竞争。该公司还给其社交应用程序增加了新的AI功能,包括定制的贴纸和名人脸的聊天机器人角色。去年10月,该公司表示将向支持人工智能的基础设施投入高达350亿美元,包括数据中心和硬件。其首席执行官扎克伯格当时对投资者表示:“人工智能将是我们2024年最大的投资领域。”这些支出中的很大一部分可能仍将流向生产热门的H100显卡的英伟达。今年早些时候,扎克伯格表示将采购35万块每块售价数万美元的此类芯片。但自研芯片的科技巨头也越来越多。除了Meta,亚马逊旗下AWS、微软公司和Alphabet Inc.旗下谷歌也都在试图摆脱这种代价高昂的依赖性。然而该进程难以一蹴而就。到目前为止,这些努力并没有削弱业界对英伟达人工智能加速器的旺盛需求。 ... PC版: 手机版:

封面图片

Meta 公司当地时间 12 日通过官方新闻稿公布了两座新的数据中心集群,该公司正希望通过英伟达的 GPU,在以 AI 为重点的

Meta 公司当地时间 12 日通过官方新闻稿公布了两座新的数据中心集群,该公司正希望通过英伟达的 GPU,在以 AI 为重点的开发中脱颖而出。据悉,这两座数据中心的唯一目的,是在消费者特定应用领域(包含声音或图像识别)中进行 AI 研究和大语言模型的开发,每个集群都包含了 24576 块英伟达 H100 AI GPU,将用于自家大语言模型 Llama 3 的训练。 两座新建的数据中心集群都具有 400Gbps 互联功能,其中一个集群采用了 Meta 基于 Arista 7800 自主开发的 Fabric 解决方案,而另一个集群则采用了英伟达的 Quantum2 InfiniBand Fabric,以确保无缝互连体验。 此外,集群基于 Meta 自家的开放式 GPU Grand Teton AI 平台,可通过提高主机到 GPU 的带宽和计算能力,充分利用现代加速器的功能。Meta 官方表示,这些集群的高性能网络结构的效率及关键存储决策、配合每个集群中的 H100 GPU,能够为更大、更复杂的模型提供支持,为通用人工智能产品开发、AI 研究的进步铺路。 Meta 首席执行官扎克伯格1 月表示,预估到今年年底,我们将拥有大约 35 万片英伟达 H100 加速卡,如果算上其它 GPU 的话,其计算能力相当于 60 万片 H100。 via 匿名 标签: #Meta #AI 频道: @GodlyNews1 投稿: @GodlyNewsBot

封面图片

英伟达最新人工智能芯片H200开始供货

英伟达最新人工智能芯片H200开始供货 3月27日,英伟达宣布,开始供货尖端图像处理半导体 (GPU) “H200”。H200 是面向人工智能的半导体,性能超过现在的主打 GPU “H100”。英伟达相继推出最新的人工智能半导体,目的是保持较高的市场份额。英伟达3月27日公布了 H200 的性能评测结果。用 Meta 的大规模语言模型 (LLM) “Llama 2”进行了比较,结果显示,与 H100 相比,H200 使生成式人工智能导出答案的处理速度最高提高了45%。

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人