马斯克称Grok 3约需要10万张英伟达H100训练 目前最大的问题就是卡不够

马斯克称Grok3约需要10万张英伟达H100训练目前最大的问题就是卡不够马斯克表示人工智能技术的进步目前主要受两个因素制约:第一个是先进处理器,例如想要获得10万张H100加速卡并不容易,这不仅需要耗费大量的资金,也因为英伟达产能问题需排队;第二就是电力供应的限制。H100加速卡的最大功耗约为700W,10万张H100加速卡同时运作则会产生7,000万W也就是70MW,70MW的功率对于一个企业来说已经是个相当高的用电功率,但不要忘记这些加速卡还需要大量的工业制冷设备进行散热。因此运营一个包含10万张H100加速卡的数据中心的功率是个天文数字,这对人工智能公司来说用电成本可能都需要花费大量的资金。不过电力问题总得来说还是可以解决的,但芯片供应在未来两年能不能赶上来还是个大问题,尤其是现在初创人工智能公司非常多,每个公司都需要大量的加速卡,所以xAI想要购买更多的显卡可能也需要更长时间。...PC版:https://www.cnbeta.com.tw/articles/soft/1426877.htm手机版:https://m.cnbeta.com.tw/view/1426877.htm

相关推荐

封面图片

机构预估:部署 Sora 需要 72 万片英伟达加速卡,价值 216 亿美元

机构预估:部署Sora需要72万片英伟达加速卡,价值216亿美元市场调查机构FactorialFunds近日发布报告,认为OpenAI部署文本转视频模型Sora,在峰值期需要72万片英伟达H100AI加速卡。如果按照每片英伟达H100AI加速卡3万美元成本计算,72万片需要216亿美元(当前约1561.68亿元人民币)。而这仅仅只是H100加速卡的成本,想要运行必然消耗大量的电力,每片H100功耗为700W,72万片就是504000000W。FactorialFunds预估训练Sora1个月,需要使用4200到10500片英伟达H100AI加速卡,如果使用单片H100加速卡,生成1分钟视频需要渲染12分钟。

封面图片

机构:部署 Sora 需要72万片英伟达加速卡 价值216亿美元

机构:部署Sora需要72万片英伟达加速卡价值216亿美元3月27日消息,市场调查机构FactorialFunds近日发布报告,认为OpenAI部署文本转视频模型Sora,在峰值期需要72万片英伟达H100AI加速卡。如果按照每片英伟达H100AI加速卡3万美元成本计算,72万片需要216亿美元。而这仅仅只是H100加速卡的成本。FactorialFunds预估训练Sora1个月,需要使用4200到10500片英伟达H100AI加速卡,如果使用单片H100加速卡,生成1分钟视频需要渲染12分钟。——、

封面图片

GPT-5被指需要5万张H100显卡才能训练 NVIDIA赚麻了

GPT-5被指需要5万张H100显卡才能训练NVIDIA赚麻了除了OpenAI之外,其他公司对高性能AI显卡的需求也居高不下,Meta、谷歌、微软、苹果、特斯拉及马斯克自己都在搞各种AI,预测总需求高达43.2万张H100显卡,价值超过150亿美元。这还只是国外网友分析的美国科技行业需求,实际上国内的需求不比美国少,即便只能购买特供版的A800、H800加速卡,但这没有妨碍国内公司投身AI大模型,不惜加价抢购AI显卡。在当前的市场上,只有NVIDIA才能满足AI显卡的需求,AMD及Intel的AI显卡不仅性能、生态上存在问题,而且供货也跟不上,AMD的大杀器MI300X要到年底才能出货,2024年才能大批量上市。归根到底,这波又是NVIDIA赚麻了,AI显卡的需求将持续到2024年底,这一年半中都是供不应求的情况,H100显卡售价25万元起步,加价的话就难说了,涨幅波动很大。...PC版:https://www.cnbeta.com.tw/articles/soft/1375421.htm手机版:https://m.cnbeta.com.tw/view/1375421.htm

封面图片

Meta 新建两座数据中心集群:内含超 4.9 万块英伟达 H100 GPU,专门训练 Llama3

Meta公司当地时间12日通过官方新闻稿公布了两座新的数据中心集群,该公司正希望通过英伟达的GPU,在以AI为重点的开发中脱颖而出。据悉,这两座数据中心的唯一目的,是在消费者特定应用领域(包含声音或图像识别)中进行AI研究和大语言模型的开发,每个集群都包含了24576块英伟达H100AIGPU,将用于自家大语言模型Llama3的训练。两座新建的数据中心集群都具有400Gbps互联功能,其中一个集群采用了Meta基于Arista7800自主开发的Fabric解决方案,而另一个集群则采用了英伟达的Quantum2InfiniBandFabric,以确保无缝互连体验。此外,集群基于Meta自家的开放式GPUGrandTetonAI平台,可通过提高主机到GPU的带宽和计算能力,充分利用现代加速器的功能。Meta官方表示,这些集群的高性能网络结构的效率及关键存储决策、配合每个集群中的H100GPU,能够为更大、更复杂的模型提供支持,为通用人工智能产品开发、AI研究的进步铺路。Meta首席执行官扎克伯格1月表示,预估到今年年底,我们将拥有大约35万片英伟达H100加速卡,如果算上其它GPU的话,其计算能力相当于60万片H100。via匿名标签:#Meta#AI频道:@GodlyNews1投稿:@GodlyNewsBot

封面图片

研究机构预估:部署Sora需要72万片英伟达加速卡 价值216亿美元

研究机构预估:部署Sora需要72万片英伟达加速卡价值216亿美元考虑到每片英伟达H100AI加速卡的成本约为3万美元,这一数字意味着仅仅是加速卡的成本就高达惊人的216亿美元(约合人民币1561亿元)。而这仅仅是冰山一角,因为除了加速卡,训练Sora还需要投入大量的其他硬件成本,包括高性能服务器、稳定的电力供应等。FactorialFunds还预估,训练Sora一个月需要使用的英伟达H100AI加速卡数量在4200到10500片之间。生成1分钟的视频也需要进行长达12分钟的渲染,这进一步凸显了Sora模型在运算和数据处理方面的巨大需求。与此同时,我们也不能忽视AI技术对于能源的巨大消耗。此前有报道指出,ChatGPT为了响应用户请求,每天消耗的电力可能超过50万千瓦时,这几乎是美国普通家庭平均用电量的1.7万多倍。考虑到电力成本,这相当于每天需要支付高达53万元的电费,一年下来光是电费就要花费近2亿元。英伟达CEO黄仁勋在公开演讲中指出,AI未来发展与光伏和储能紧密相连。特斯拉CEO马斯克也提出类似看法,AI在两年内年将由“缺硅”变为“缺电”,而这可能阻碍AI的发展。...PC版:https://www.cnbeta.com.tw/articles/soft/1425263.htm手机版:https://m.cnbeta.com.tw/view/1425263.htm

封面图片

马斯克:训练下一代 AI 聊天机器人 Grok 3 需要 10 万块英伟达 GPU

马斯克:训练下一代AI聊天机器人Grok3需要10万块英伟达GPU特斯拉CEO埃隆・马斯克日前表示,训练下一代AI聊天机器人Grok3需要10万块英伟达的H100GPU芯片。马斯克周一在一场XSpaces音频采访中称,训练当前的Grok2使用了大约2万块H10芯片,而训练新的Grok3将需要10万块。可以想象,Grok4需要的计算能力将超乎想象。(环球市场播报)

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人