研究机构预估:部署Sora需要72万片英伟达加速卡 价值216亿美元

研究机构预估:部署Sora需要72万片英伟达加速卡 价值216亿美元 考虑到每片英伟达H100 AI加速卡的成本约为3万美元,这一数字意味着仅仅是加速卡的成本就高达惊人的216亿美元(约合人民币1561亿元)。而这仅仅是冰山一角,因为除了加速卡,训练Sora还需要投入大量的其他硬件成本,包括高性能服务器、稳定的电力供应等。Factorial Funds还预估,训练Sora一个月需要使用的英伟达H100 AI加速卡数量在4200到10500片之间。生成1分钟的视频也需要进行长达12分钟的渲染,这进一步凸显了Sora模型在运算和数据处理方面的巨大需求。与此同时,我们也不能忽视AI技术对于能源的巨大消耗。此前有报道指出,ChatGPT为了响应用户请求,每天消耗的电力可能超过50万千瓦时,这几乎是美国普通家庭平均用电量的1.7万多倍。考虑到电力成本,这相当于每天需要支付高达53万元的电费,一年下来光是电费就要花费近2亿元。英伟达CEO黄仁勋在公开演讲中指出,AI未来发展与光伏和储能紧密相连。特斯拉CEO马斯克也提出类似看法,AI在两年内年将由“缺硅”变为“缺电”,而这可能阻碍AI的发展。 ... PC版: 手机版:

相关推荐

封面图片

机构:部署 Sora 需要72万片英伟达加速卡 价值216亿美元

机构:部署 Sora 需要72万片英伟达加速卡 价值216亿美元 3月27日消息,市场调查机构 Factorial Funds 近日发布报告,认为 OpenAI 部署文本转视频模型 Sora,在峰值期需要72万片英伟达 H100 AI 加速卡。 如果按照每片英伟达 H100 AI 加速卡3万美元成本计算,72万片需要216亿美元。而这仅仅只是 H100 加速卡的成本。Factorial Funds 预估训练 Sora 1个月,需要使用4200到10500片英伟达 H100 AI 加速卡,如果使用单片 H100 加速卡,生成1分钟视频需要渲染12分钟。 、

封面图片

人工智能公司MosaicML称不要迷信英伟达芯片 AMD芯片提供类似性能

人工智能公司MosaicML称不要迷信英伟达芯片 AMD芯片提供类似性能 目前在人工智能热潮下英伟达股价水涨船高,之前业内基本都认同英伟达的 A100/H100 加速卡提供最佳的性能,所以英伟达的这些专用加速卡被各大公司哄抢。 人工智能初创公司MosaicML在后称大家不应该迷信英伟达芯片 , 因为AMD米兰芯片的性能并不差。该公司使用多种工具对英伟达A100加速卡和AMD MI250加速卡进行测试,测试显示MI250加速卡也足够用。 MosaicML称在基于实际工作负载测试中,AMD MI250加速卡的每GPU数据吞吐量相当于英伟达A100 40GB版的 80%,是A100 80GB版的73%。因此确实有差距但差距并不算大,对人工智能公司来说并不是非得高价抢购英伟达显卡,其他加速卡也能用。来源 , 来自:雷锋 频道:@kejiqu 群组:@kejiquchat 投稿:@kejiqubot

封面图片

AMD 王牌加速卡 MI300X 出世:训练 AI 模型比英伟达 H100 最高快 60%

AMD 王牌加速卡 MI300X 出世:训练 AI 模型比英伟达 H100 最高快 60% ======== 有美国商务部禁售认证 ======== 8说了,半年后咸鱼见,商务部再牛逼能有咸鱼牛逼吗

封面图片

马斯克称Grok 3约需要10万张英伟达H100训练 目前最大的问题就是卡不够

马斯克称Grok 3约需要10万张英伟达H100训练 目前最大的问题就是卡不够 马斯克表示人工智能技术的进步目前主要受两个因素制约:第一个是先进处理器,例如想要获得 10 万张 H100 加速卡并不容易,这不仅需要耗费大量的资金,也因为英伟达产能问题需排队;第二就是电力供应的限制。H100 加速卡的最大功耗约为 700W,10 万张 H100 加速卡同时运作则会产生 7,000 万 W 也就是 70MW,70MW 的功率对于一个企业来说已经是个相当高的用电功率,但不要忘记这些加速卡还需要大量的工业制冷设备进行散热。因此运营一个包含 10 万张 H100 加速卡的数据中心的功率是个天文数字,这对人工智能公司来说用电成本可能都需要花费大量的资金。不过电力问题总得来说还是可以解决的,但芯片供应在未来两年能不能赶上来还是个大问题,尤其是现在初创人工智能公司非常多,每个公司都需要大量的加速卡,所以 xAI 想要购买更多的显卡可能也需要更长时间。 ... PC版: 手机版:

封面图片

AMD 正式发布 MI300 加速器,性能较英伟达 H100 芯片提高 60%

AMD 正式发布 MI300 加速器,性能较英伟达 H100 芯片提高 60% 在美国加州圣何塞举行的 AI 特别活动中,AMD 宣布正式推出其旗舰 AI GPU 加速器 MI300X,并称其性能比英伟达的 H100 芯片提高了 60%。 据 AMD 介绍,新芯片为性能最高的芯片,拥有超过 1500 亿个晶体管。与英伟达 H100 芯片相比,AMD 新芯片的内存为其 2.4 倍,内存带宽为其 1.6 倍,训练性能与 H100 芯片相当,在运行 AI 模型方面则比英伟达快得多。 、

封面图片

最近,有行业人士估计,英伟达每售出一块H100 GPU加速器,其对应的利润率可以到大约823%:根据财务咨询公司Raymond

最近,有行业人士估计,英伟达每售出一块H100 GPU加速器,其对应的利润率可以到大约823%:根据财务咨询公司Raymond James的数据,目前,作为英伟达这款高性能计算加速器售价最便宜的PCIe版本,其市场价现在也已经达到了25,000至30,000美元,而作为对比,这款加速器在包括芯片和其他组件在内的成本价为3,320美元。 更关键的是,即使价格已经来到了如此高的位置,英伟达的芯片仍然是供不应求:目前,英伟达GPU的销量已经大到每次出货都不怎么会有剩余,甚至其与AI相关的产品的订单都已经排到了2024年。 在英伟达排起长队的买家里,除了诸如微软,Meta等市面上耳熟能详的的科技巨头外,甚至包括了一些来自中东的主权基金:据报道,沙特阿拉伯和阿联酋已经各自从英伟达购买了数千块高性能GPU,以帮助自己实现”成为人工智能领域领导者“的梦想。其中,在沙特的订单中英伟达H100的单个价格已经达到了4万美元一块。 另外,有分析师认为,随着芯片需求的持续“爆表”,2024年英伟达数据中心和AI芯片收入或达750亿至900亿,而到2027年,随着AI加速器市场的规模可能达到1500亿美元,英伟达的市值也将随着其收入进一步走高。 值得注意的是,本次对英伟达芯片成本分析的深度尚不清楚,因为除了纯制造成本之外,通常来说这些芯片的制作还包括了大量的“隐形”费用产品开发需要的时间和资源。考虑到像H100这样的产品的产品开发周期中的工程师和其他参与者,英伟达的研发成本很可能将拉高最终的开发成本:跟据美国招聘网站Glassdoor的数据显示,英伟达电子硬件工程师的平均年薪约为20万美元左右,而在开发像H100这样的芯片往往需要大量包括工程师在内的专业工作人员数千小时的工作,因此,在考虑H100这类芯片背后的成本时,需要考虑和计算的不单单是所需物料的制造成本。 英伟达将在本周四发布自己上一季度的财报,或许届时我们将从中窥见老黄和他的公司到底“赚” 了多少钱。 标签: #显卡 #英伟达 频道: @GodlyNews1 投稿: @GodlyNewsBot

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人