机构：部署 Sora 需要72万片英伟达加速卡 价值216亿美元

机构：部署 Sora 需要72万片英伟达加速卡 价值216亿美元 3月27日消息，市场调查机构 Factorial Funds 近日发布报告，认为 OpenAI 部署文本转视频模型 Sora，在峰值期需要72万片英伟达 H100 AI 加速卡。 如果按照每片英伟达 H100 AI 加速卡3万美元成本计算，72万片需要216亿美元。而这仅仅只是 H100 加速卡的成本。Factorial Funds 预估训练 Sora 1个月，需要使用4200到10500片英伟达 H100 AI 加速卡，如果使用单片 H100 加速卡，生成1分钟视频需要渲染12分钟。 、

马斯克：训练Grok 3用了10万块英伟达H100 年底上线 会很特别

马斯克：训练Grok 3用了10万块英伟达H100 年底上线 会很特别 这里所说的H100是英伟达开发的图形处理单元，也称为Hopper，是专门用于处理大语言模型（LLMs）数据的AI芯片。随着科技公司竞相开发更智能的AI产品，这些芯片成了硅谷的热门商品。每块英伟达H100人工智能芯片的价格估计在3万美元左右，也有人估计价格高达4万美元，如果批量购买的话可能会有折扣。通过简单计算，单单训练Grok 3就用了价值30亿至40亿美元的人工智能芯片，目前不确定这些芯片是否是马斯克公司直接购买的，此前报道称，马斯克旗下的xAI公司正在与甲骨文谈判，计划在未来几年内花费100亿美元租用云服务器。近年来，马斯克的公司已直接购买了大量的H100芯片。据报道，马斯克曾将原本供特斯拉使用的价值5亿美元的H100芯片转给了X公司。相较于Grok 2，使用10万块H100训练Grok 3无疑是一个巨大的提升。今年4月，马斯克在接受挪威主权基金负责人尼科莱·坦根(Nicolai Tangen)的采访时表示，训练Grok 2需要大约2万块H100。目前，xAI已发布了Grok-1和Grok-1.5版本，最新版本仅对X平台上的早期测试者和现有用户开放。马斯克在周一的帖子中透露，Grok 2计划于今年8月推出，并暗示Grok 3将于年底发布。xAI没有回应置评请求。10万块H100芯片听起来很多，但其他科技巨头，如Meta，也在大量购买GPU芯片。Meta首席执行官马克·扎克伯格（Mark Zuckerberg）今年1月曾表示，到2024年底，Meta将购买约35万块英伟达H100芯片，并表示包括其他类型的GPU在内，Meta将拥有约60万块芯片。如果是这样的话，Meta将为构建自家人工智能能力花掉大约180亿美元。这些芯片的积累也导致了过去一年中顶尖AI人才的招聘竞争变得异常激烈。AI初创公司Perplexity的创始人兼首席执行官阿拉文德·斯里尼瓦斯（Aravind Srinivas）谈到了他试图从Meta挖角一位资深研究人员的经历，但对方因扎克伯格拥有大量AI芯片而拒绝了他的邀请。“我试图聘请一位非常资深的Meta研究员，他们的回答是：‘等你有了1万块H100 GPU再来找我。’”斯里尼瓦斯说。 ... PC版： 手机版：

AMD 王牌加速卡 MI300X 出世：训练 AI 模型比英伟达 H100 最高快 60%

AMD 王牌加速卡 MI300X 出世：训练 AI 模型比英伟达 H100 最高快 60% ======== 有美国商务部禁售认证 ======== 8说了，半年后咸鱼见，商务部再牛逼能有咸鱼牛逼吗

研究机构预估：部署Sora需要72万片英伟达加速卡 价值216亿美元

研究机构预估：部署Sora需要72万片英伟达加速卡 价值216亿美元 考虑到每片英伟达H100 AI加速卡的成本约为3万美元，这一数字意味着仅仅是加速卡的成本就高达惊人的216亿美元（约合人民币1561亿元）。而这仅仅是冰山一角，因为除了加速卡，训练Sora还需要投入大量的其他硬件成本，包括高性能服务器、稳定的电力供应等。Factorial Funds还预估，训练Sora一个月需要使用的英伟达H100 AI加速卡数量在4200到10500片之间。生成1分钟的视频也需要进行长达12分钟的渲染，这进一步凸显了Sora模型在运算和数据处理方面的巨大需求。与此同时，我们也不能忽视AI技术对于能源的巨大消耗。此前有报道指出，ChatGPT为了响应用户请求，每天消耗的电力可能超过50万千瓦时，这几乎是美国普通家庭平均用电量的1.7万多倍。考虑到电力成本，这相当于每天需要支付高达53万元的电费，一年下来光是电费就要花费近2亿元。英伟达CEO黄仁勋在公开演讲中指出，AI未来发展与光伏和储能紧密相连。特斯拉CEO马斯克也提出类似看法，AI在两年内年将由“缺硅”变为“缺电”，而这可能阻碍AI的发展。 ... PC版： 手机版：

人工智能公司MosaicML称不要迷信英伟达芯片 AMD芯片提供类似性能

人工智能公司MosaicML称不要迷信英伟达芯片 AMD芯片提供类似性能 目前在人工智能热潮下英伟达股价水涨船高，之前业内基本都认同英伟达的 A100/H100 加速卡提供最佳的性能，所以英伟达的这些专用加速卡被各大公司哄抢。 人工智能初创公司MosaicML在后称大家不应该迷信英伟达芯片 , 因为AMD米兰芯片的性能并不差。该公司使用多种工具对英伟达A100加速卡和AMD MI250加速卡进行测试，测试显示MI250加速卡也足够用。 MosaicML称在基于实际工作负载测试中，AMD MI250加速卡的每GPU数据吞吐量相当于英伟达A100 40GB版的 80%，是A100 80GB版的73%。因此确实有差距但差距并不算大，对人工智能公司来说并不是非得高价抢购英伟达显卡，其他加速卡也能用。来源 ， 来自：雷锋 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot

[整理] 对 Groq 的 LUP 运行Llama 70B 模型和同等规模英伟达显卡的成本对比，目前成本上相比英伟达没啥优势。

[整理] 对 Groq 的 LUP 运行Llama 70B 模型和同等规模英伟达显卡的成本对比，目前成本上相比英伟达没啥优势。 先说结论由于 LUP 这个卡显存太低，所以运行同样的模型需要的数量比英伟达的 H100 多的多。 成本主要来自于卡的购买成本，比H100 贵 3 倍。运营成本也比 H100 贵很多。 完整解释 这可能是首次对使用 GroqInc 硬件运行 Llama2-70b 的运营成本进行分析。 首先，我必须说我非常欣赏 Groq 的产品。它们性能卓越，潜力巨大。下面的内容仅是展示在与行业领头羊竞争时可能遇到的挑战，但随着时间推移，我对它充满期待。 每张 Groq 卡的内存为 230MB。考虑到 LLaMA 70b 模型，假设采用 int8 量化技术（一种降低数据精度以减少存储需求的技术）并完全忽略在模型推理（即模型执行过程中的数据处理）时的内存消耗，至少需要 305 张这样的卡。但实际上，根据报告，需要的卡数多达 572 张，因此我们的计算将基于这个数字。 每张 Groq 卡的价格是 $20,000，因此购买 572 张卡的总成本为 $11.44 百万。当然，考虑到销售策略和大规模购买的优惠，实际价格可能会更低，但我们暂时按照标价来计算。 对于 572 张卡片，平均每张卡的功耗为 185W，总功耗达到 105.8kW，这还不包括附加的外围设备。（实际的能耗可能会更高） 目前，数据中心每千瓦每月的电费平均为 $200，这意味着每年的电费为 105.8 * 200 * 12 = $254,000。 事实上，使用 4 张 H100 卡可以达到 Groq 一半的性能，因此 8 张卡组成的 H100 盒子在性能上大致等同于上述 Groq 配置。一个 8 卡的 H100 盒子的名义最大功率是 10kW（实际上大约在 8-9 kW），因此其年电费约为 $24,000 或略低。 目前，一个 8 卡的 H100 盒子的价格大约为 $300,000。 因此，如果运营三年，Groq 硬件的购买成本是 $114.4 万，运营成本为 $76.2万。而对于一个 8 卡的 H100 盒子，硬件购买成本为 $30 万，运营成本约为 $7.2 万或稍低。 以上数字仅为估算值。如果我有任何重大错误，请不吝指正。 来源：