机构：部署 Sora 需要72万片英伟达加速卡 价值216亿美元

机构：部署Sora需要72万片英伟达加速卡价值216亿美元3月27日消息，市场调查机构FactorialFunds近日发布报告，认为OpenAI部署文本转视频模型Sora，在峰值期需要72万片英伟达H100AI加速卡。如果按照每片英伟达H100AI加速卡3万美元成本计算，72万片需要216亿美元。而这仅仅只是H100加速卡的成本。FactorialFunds预估训练Sora1个月，需要使用4200到10500片英伟达H100AI加速卡，如果使用单片H100加速卡，生成1分钟视频需要渲染12分钟。——、

研究机构预估：部署Sora需要72万片英伟达加速卡 价值216亿美元

研究机构预估：部署Sora需要72万片英伟达加速卡价值216亿美元考虑到每片英伟达H100AI加速卡的成本约为3万美元，这一数字意味着仅仅是加速卡的成本就高达惊人的216亿美元（约合人民币1561亿元）。而这仅仅是冰山一角，因为除了加速卡，训练Sora还需要投入大量的其他硬件成本，包括高性能服务器、稳定的电力供应等。FactorialFunds还预估，训练Sora一个月需要使用的英伟达H100AI加速卡数量在4200到10500片之间。生成1分钟的视频也需要进行长达12分钟的渲染，这进一步凸显了Sora模型在运算和数据处理方面的巨大需求。与此同时，我们也不能忽视AI技术对于能源的巨大消耗。此前有报道指出，ChatGPT为了响应用户请求，每天消耗的电力可能超过50万千瓦时，这几乎是美国普通家庭平均用电量的1.7万多倍。考虑到电力成本，这相当于每天需要支付高达53万元的电费，一年下来光是电费就要花费近2亿元。英伟达CEO黄仁勋在公开演讲中指出，AI未来发展与光伏和储能紧密相连。特斯拉CEO马斯克也提出类似看法，AI在两年内年将由“缺硅”变为“缺电”，而这可能阻碍AI的发展。...PC版：https://www.cnbeta.com.tw/articles/soft/1425263.htm手机版：https://m.cnbeta.com.tw/view/1425263.htm

英伟达第二次为中国特供加速卡H800

英伟达第二次为中国特供加速卡H800昨晚的GTC2023春季图形大会上，NVIDIA又确认为中国市场开发了第二个特供版H800，基于已有的H100调整而来，符合美政府的规定。NVIDIA没有透露H800的具体变化，外媒称和A800类似，将芯片间互连带宽缩减了一半，如果用于AI训练会消耗更长的时间。阿里巴巴、百度、腾讯BAT三巨头都已经用上了H800加速卡。H100加速卡采用全新的Hopper架构，GH100GPU核心，台积电4nm制造工艺、CoWoS2.5D封装技术，集成800亿个晶体管，核心面积814平方毫米。它拥有18432个CUDA核心、576个Tensor核心、60MB二级缓存，可搭配6144-bit位宽的六颗HBM3/HBM2e，总容量80GB，支持PCIe5.0、第四代NVLink总线。两种样式，其中SXM版本15872个CUDA核心、528个Tensor核心，显存带宽3.35TB/s，NVLink带宽900GB/s，PCIe5.0带宽128GB/s，热设计功耗最高700W。PCIe5.0版本14952个CUDA核心、456个Tensor核心，显存带宽2TB/s，NVLink带宽600GB/s，PCIe5.0带宽128GB/s，热设计功耗300-350W。目前尚不清楚中国特供的H800是哪种样式，猜测很可能是PCIe，那么NVLink互连带宽就只有300GB/s，PCIe5.0则应该不会缩水。A800规格表H100规格表：精简一下带宽就是H800H100加速卡...PC版：https://www.cnbeta.com.tw/articles/soft/1350665.htm手机版：https://m.cnbeta.com.tw/view/1350665.htm

马斯克称Grok 3约需要10万张英伟达H100训练 目前最大的问题就是卡不够

马斯克称Grok3约需要10万张英伟达H100训练目前最大的问题就是卡不够马斯克表示人工智能技术的进步目前主要受两个因素制约：第一个是先进处理器，例如想要获得10万张H100加速卡并不容易，这不仅需要耗费大量的资金，也因为英伟达产能问题需排队；第二就是电力供应的限制。H100加速卡的最大功耗约为700W，10万张H100加速卡同时运作则会产生7,000万W也就是70MW，70MW的功率对于一个企业来说已经是个相当高的用电功率，但不要忘记这些加速卡还需要大量的工业制冷设备进行散热。因此运营一个包含10万张H100加速卡的数据中心的功率是个天文数字，这对人工智能公司来说用电成本可能都需要花费大量的资金。不过电力问题总得来说还是可以解决的，但芯片供应在未来两年能不能赶上来还是个大问题，尤其是现在初创人工智能公司非常多，每个公司都需要大量的加速卡，所以xAI想要购买更多的显卡可能也需要更长时间。...PC版：https://www.cnbeta.com.tw/articles/soft/1426877.htm手机版：https://m.cnbeta.com.tw/view/1426877.htm

人工智能公司MosaicML称不要迷信英伟达芯片 AMD芯片提供类似性能

人工智能公司MosaicML称不要迷信英伟达芯片AMD芯片提供类似性能目前在人工智能热潮下英伟达股价水涨船高，之前业内基本都认同英伟达的A100/H100加速卡提供最佳的性能，所以英伟达的这些专用加速卡被各大公司哄抢。人工智能初创公司MosaicML在后称大家不应该迷信英伟达芯片,因为AMD米兰芯片的性能并不差。该公司使用多种工具对英伟达A100加速卡和AMDMI250加速卡进行测试，测试显示MI250加速卡也足够用。MosaicML称在基于实际工作负载测试中，AMDMI250加速卡的每GPU数据吞吐量相当于英伟达A10040GB版的80%，是A10080GB版的73%。因此确实有差距但差距并不算大，对人工智能公司来说并不是非得高价抢购英伟达显卡，其他加速卡也能用。来源，来自：雷锋频道：@kejiqu群组：@kejiquchat投稿：@kejiqubot

传英伟达正在开发120GB HBM2e显存的Hopper H100 PCIe加速卡

传英伟达正在开发120GBHBM2e显存的HopperH100PCIe加速卡近日有消息称，英伟达正在开发一款HopperH100PCIe加速卡，特点是具有高达120GB的HBM2e显存。截至目前，该公司已经发布了两个版本的HopperH100GPU，分别是SXM5和PCIe板型。虽然两款SKU都配备了80GBVRAM，但前者用上了全新的HBM3标准、而后者仍为HBM2e。PC版：https://www.cnbeta.com/articles/soft/1320781.htm手机版：https://m.cnbeta.com/view/1320781.htm