研究机构预估：部署Sora需要72万片英伟达加速卡 价值216亿美元

研究机构预估：部署Sora需要72万片英伟达加速卡 价值216亿美元 考虑到每片英伟达H100 AI加速卡的成本约为3万美元，这一数字意味着仅仅是加速卡的成本就高达惊人的216亿美元（约合人民币1561亿元）。而这仅仅是冰山一角，因为除了加速卡，训练Sora还需要投入大量的其他硬件成本，包括高性能服务器、稳定的电力供应等。Factorial Funds还预估，训练Sora一个月需要使用的英伟达H100 AI加速卡数量在4200到10500片之间。生成1分钟的视频也需要进行长达12分钟的渲染，这进一步凸显了Sora模型在运算和数据处理方面的巨大需求。与此同时，我们也不能忽视AI技术对于能源的巨大消耗。此前有报道指出，ChatGPT为了响应用户请求，每天消耗的电力可能超过50万千瓦时，这几乎是美国普通家庭平均用电量的1.7万多倍。考虑到电力成本，这相当于每天需要支付高达53万元的电费，一年下来光是电费就要花费近2亿元。英伟达CEO黄仁勋在公开演讲中指出，AI未来发展与光伏和储能紧密相连。特斯拉CEO马斯克也提出类似看法，AI在两年内年将由“缺硅”变为“缺电”，而这可能阻碍AI的发展。 ... PC版： 手机版：

马斯克称Grok 3约需要10万张英伟达H100训练 目前最大的问题就是卡不够

马斯克称Grok 3约需要10万张英伟达H100训练 目前最大的问题就是卡不够 马斯克表示人工智能技术的进步目前主要受两个因素制约：第一个是先进处理器，例如想要获得 10 万张 H100 加速卡并不容易，这不仅需要耗费大量的资金，也因为英伟达产能问题需排队；第二就是电力供应的限制。H100 加速卡的最大功耗约为 700W，10 万张 H100 加速卡同时运作则会产生 7,000 万 W 也就是 70MW，70MW 的功率对于一个企业来说已经是个相当高的用电功率，但不要忘记这些加速卡还需要大量的工业制冷设备进行散热。因此运营一个包含 10 万张 H100 加速卡的数据中心的功率是个天文数字，这对人工智能公司来说用电成本可能都需要花费大量的资金。不过电力问题总得来说还是可以解决的，但芯片供应在未来两年能不能赶上来还是个大问题，尤其是现在初创人工智能公司非常多，每个公司都需要大量的加速卡，所以 xAI 想要购买更多的显卡可能也需要更长时间。 ... PC版： 手机版：

人工智能公司MosaicML称不要迷信英伟达芯片 AMD芯片提供类似性能

人工智能公司MosaicML称不要迷信英伟达芯片 AMD芯片提供类似性能 目前在人工智能热潮下英伟达股价水涨船高，之前业内基本都认同英伟达的 A100/H100 加速卡提供最佳的性能，所以英伟达的这些专用加速卡被各大公司哄抢。 人工智能初创公司MosaicML在后称大家不应该迷信英伟达芯片 , 因为AMD米兰芯片的性能并不差。该公司使用多种工具对英伟达A100加速卡和AMD MI250加速卡进行测试，测试显示MI250加速卡也足够用。 MosaicML称在基于实际工作负载测试中，AMD MI250加速卡的每GPU数据吞吐量相当于英伟达A100 40GB版的 80%，是A100 80GB版的73%。因此确实有差距但差距并不算大，对人工智能公司来说并不是非得高价抢购英伟达显卡，其他加速卡也能用。来源 ， 来自：雷锋 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot

AMD 王牌加速卡 MI300X 出世：训练 AI 模型比英伟达 H100 最高快 60%

AMD 王牌加速卡 MI300X 出世：训练 AI 模型比英伟达 H100 最高快 60% ======== 有美国商务部禁售认证 ======== 8说了，半年后咸鱼见，商务部再牛逼能有咸鱼牛逼吗

【海力士和镁光将为英伟达下一代AI加速卡B100，提供HBM3E】

【海力士和镁光将为英伟达下一代AI加速卡B100，提供HBM3E】 华尔街见闻从供应链多个渠道独家获悉，英伟达下一代AI加速卡B100的第五代高带宽内存HBM3E，将由海力士和镁光供应。其中，海力士的相关产品测试已从2024年第二季度提前至2024年一季度。此前供应链有消息显示，英伟达B100发布日期已从今年四季度提前至今年二季度。（作者 陈群）

AMD 正式发布 MI300 加速器，性能较英伟达 H100 芯片提高 60%

AMD 正式发布 MI300 加速器，性能较英伟达 H100 芯片提高 60% 在美国加州圣何塞举行的 AI 特别活动中，AMD 宣布正式推出其旗舰 AI GPU 加速器 MI300X，并称其性能比英伟达的 H100 芯片提高了 60%。 据 AMD 介绍，新芯片为性能最高的芯片，拥有超过 1500 亿个晶体管。与英伟达 H100 芯片相比，AMD 新芯片的内存为其 2.4 倍，内存带宽为其 1.6 倍，训练性能与 H100 芯片相当，在运行 AI 模型方面则比英伟达快得多。 、