NVIDIA液冷"AI GPU"数据中心成本高昂 组件价格飙升

NVIDIA液冷"AI GPU"数据中心成本高昂 组件价格飙升 有鉴于此,台湾《经济日报》报道称,由于各公司都想尽早抓住机遇,因此对水冷解决方案的需求大增。台湾热能管理协会主席透露,水冷过程中涉及的重要组件在市场上已经断货,这归咎于人工智能的炒作,以及个人和客户如何利用这种情况人为制造此类组件的短缺。该官员透露,水冷数据中心是人工智能市场的未来,对未来产品的可持续性至关重要。许多公司都意识到了对水冷服务器和数据中心的巨大需求,并正在开设专门的工厂,专注于生产此类冷却设备。英伟达公司首席执行官本人也重申了水冷对于数据中心发展的重要性,他表示,未来的数据中心将通过液体散热来冷却。值得注意的是,以 Blackwell 为核心的 AI GPU 服务器可能会大量采用水冷技术,但由于设置过程(板载板和配水方法)非常敏感,目前供应有限,造成了瓶颈,导致价格飙升。现在,这意味着即将投入使用的数据中心的价格将比以前的数据中心相对较高,这不仅是因为一代又一代的升级,还因为采用液体冷却可能会很昂贵。如果行业不尽快解决供应链效率低下的问题,可能会造成订单积压。 ... PC版: 手机版:

相关推荐

封面图片

大摩:数据中心算力成本正在迅速下降

大摩:数据中心算力成本正在迅速下降 摩根士丹利在3月24日的AI报告中指出,随着GPU技术的不断进步,例如英伟达从Hopper发展到Blackwell GPU架构,GAI的算力成本正显著降低。展望未来,大摩预测,AI算力成本将迅速下降,AI算力需求将蓬勃增长,预计2024/27全球数据中心电力需求将占到全球的~2%/4%,但电力基础设施可能跟不上这一增长形势。因此,大摩指出,能够满足AI快速增长电力需求的公司将从这一趋势中收益,特别是那些能够减少数据中心供电延迟的电力解决方案提供商。AI算力成本迅速下降大摩指出,随着GPU效率的提高,数据中心算力成本正在迅速下降,以英伟达最新发布的Blackwell为例,只占到hopper能耗的一半,具体来看:数据中心模型显示,使用Hopper GPU的数据中心每teraFLOPs(每秒万亿次浮点运算)资本成本为14.26美元,而Blackwell数据中心的成本为7.48美元,这意味着当从Hopper GPU升级到Blackwell GPU时,资本成本每teraFLOPs下降约50%。数据中心建设成本方面,Blackwell数据中心的总设施资本成本(包括GPU)为33.49亿美元,而Hopper数据中心的总设施资本成本为35.83亿美元。这些成本是针对假设的100MW 数据中心,并且包括了8个芯片/服务器和70%的服务器利用率。在每兆瓦时电力成本为100美元的假设下,Hopper数据中心的年度电力成本约为每teraFLOPs 0.24美元,而Blackwell数据中心的年度电力成本约为每teraFLOPs 0.14美元。这种下降主要是由于随着技术进步,GPU在能效方面的改进,使得在相同的电力消耗下能够提供更多的算力。AI算力需求激增 给电力基础设施带来挑战与此同时,大摩预测,AI电力需求将迅猛增长,在基准情景下,预计2023-27年全球数据中心电力需求(包括GAI)为430748太瓦时(TWh),相当于2024/27年全球电力需求的2%4%。具体来看:在基准情景下(GPU利用率从60%提高到70%),数据中心在2023-27年的总电力容量将为70/122吉瓦。2023-27年GAI电力需求的复合年增长率为~105%,而同期全球数据中心电力需求(包括GAI)的复合年增长率将为~20%。牛市情景下(反映90%的芯片利用率),预计2023-27年全球数据中心电力需求为~446/820太瓦时。而熊市情景下(反映50%的利用率),预计2023-27年数据中心电力需求为~415/677太瓦时。此外,大摩还提到,其减少可再生能源服务占新数据中心电力的百分比,因为数据(如亚马逊/Talen交易)表明不可再生能源将发挥更大的作用。进一步来看,大摩指出,根据对全球数据中心电力需求预测,预计将给电力基础设施带来挑战,包括输电线路容量限制、规划和许可延误以及供应链瓶颈。因此,展望未来,能够满足AI快速增长能源需求的公司,特别是那些能够减少数据中心供电延迟的电力解决方案提供商将受市场欢迎。大摩表示,全球各地数据中心增长有所不同,但相似之处在于,数据中心公司和超大规模公司经常与电力开发公司合作,以最大限度地减少供电延迟,降低成本并减少排放。在美国,我们看到了合作伙伴关系的最初迹象,超大规模企业和核电厂所有者在核电厂建立新的大型数据中心,有利于电力公用事业Constellation Energy和独立电力生产商与能源贸易商Vistra等 。而且我们还看到了现场发电的可能,这可能有利于许多电力股。在欧洲,到2035年,欧洲国家的数据中心需求将推动电力增长五倍,低估值欧洲电力股将受益,入西班牙私营跨国电力公司Iberdrola,芬兰能源企业Fortum。在东盟,马来西亚、新加坡和泰国电力需求强劲增长。为了最大限度地减少“供电时间”,我们看到数据中心开发商与东盟当地电力公司建立伙伴关系:英伟达和马来西亚杨忠礼集团合作,计划在马来西亚打造价值43亿美元的人工智能数据中心,泰国最大的私人发电公司海湾Gulf和泰国电信AIS开始建设新的泰国数据中心,新加坡电信Singtel、印尼电信公司Telkom于印度尼西亚能源公司Medco Power就其在印度尼西亚的第一个数据中心项目建立战略合作伙伴关系。 ... PC版: 手机版:

封面图片

预计NVIDIA今年数据中心收入达460亿美元 持续在AI领域占据主导地位

预计NVIDIA今年数据中心收入达460亿美元 持续在AI领域占据主导地位 NVIDIA将在 2024 年"统治"人工智能市场,预计该公司今年将从数据中心领域获得"高达"460 亿美元的收入,创造新的记录。强大的人工智能 GPU 产品组合和未来发布将使其在 2024 年继续保持“山丘之王”的地位... PC版: 手机版:

封面图片

特斯拉德克萨斯州新数据中心安装了一组巨型“GPU风扇”

特斯拉德克萨斯州新数据中心安装了一组巨型“GPU风扇” 这些绝对巨大的风扇将用于特斯拉奥斯汀道场数据中心的冷却大楼,许多人将其与显卡相提并论。一位用户贴出梗图,冷却风扇上被P上了一张制作好的 RTX 5090 照片。虽然这些帖子很有趣,但这些怪兽风扇对特斯拉来说可是正经事。该公司在人工智能领域的雄心壮志可能需要大量的冷却设备,以防止高能耗的 GPU 机架融化成一滩硅片。人工智能模型训练是一种令人难以置信的计算密集型工作负载,对图形处理器的依赖程度远远高于 CPU。例如,像 NVIDIA 猛兽 H100 这样的 GPU 需要液体冷却才能充分发挥作用。因此,人工智能的蓬勃发展迫使人们重新思考数据中心的设计和建造方式,以应对疯狂的冷却需求。视频显示,特斯拉也在利用这种基础设施参与游戏。视频还显示,现场似乎正在进行人工水库的基础工作,工作人员正在上面铺设巨大的黑板。虽然特斯拉没有详细说明其用途,但保持健康的水供应对大型数据中心的冷却系统和发电需求至关重要。最大的服务器群每年可消耗数十亿加仑的水。在幕后,该设施的竣工之路并非一帆风顺。The Information的一篇报道称,埃隆-马斯克(Elon Musk)对项目的延误"大发雷霆",因为该项目对于实现特斯拉电动汽车完全自动驾驶功能的愿景至关重要。早在四月中旬,马斯克就曾参观过这一工地,但他发现,由于交货不及时、恶劣天气和其他施工问题,该设施的屋顶和地面仍有大部分缺失。他的隧道工程公司 The Boring Company 本应建造一条地下道路,供赛博特卡车自动穿越校园。但由于这条隧道尚未建成,数据中心的地面层一直处于停工状态。事情很快就败露了项目基础设施主管 Amir Mirshahi 被革职。特斯拉的整体情况也不尽如人意。米尔萨希被解雇一周后,特斯拉裁员10%,这很可能是公司电动汽车需求放缓的结果。在这个充满挑战的季度,特斯拉的汽车交付量同比下降了 8.5%,几位高管也已经告别了这家电动汽车制造商。 ... PC版: 手机版:

封面图片

Intel发布全新数据中心浸没式液冷装置 可冷却上千瓦

Intel发布全新数据中心浸没式液冷装置 可冷却上千瓦 目前,该方案已经通过了验证性测试(POC),达到预期效果,但是未披露具体散热能力有多高,估计至少上千瓦。Intel G-Flow浸没式液冷方案涵盖了创新的浸没式液冷机柜,以及配套的液冷服务器散热。它采用了新颖的浸没式系统设计,无需额外能耗,就能显著增加通过CPU、GPU散热器的冷却液流量。这种优化的流体管理,不仅实现了高效的强迫对流换热模式,还显著提高了冷却介质的使用效率和系统散热效能。该技术还引入了创新的转接板设计,可解决浸没式液冷机柜、服务器设计之间需要解耦的难题,并可满足Intel至强6处理器、Intel Gaudi AI加速器等的散热需求。Intel还认为,更绿色环保、低成本的合成油,也有望作为冷却介质,解决千瓦级散热问题。值得一提的是,Intel中国数据中心液冷创新加速计划也同步登场,联合浸没式液冷制造商绿色云图、立讯技术,服务器OEM、ODM厂商,合成油冷却液供应商等,共同研发了基于G-Flow浸没式液冷解决方案的样机,并经过了严苛测试。 ... PC版: 手机版:

封面图片

【传美国将对中国断供高端GPU:AMD及NVIDIA已暂停供货】AMD及NVIDIA对中国大陆断供面向数据中心的高端GPU计算卡

【传美国将对中国断供高端GPU:AMD及NVIDIA已暂停供货】AMD及NVIDIA对中国大陆断供面向数据中心的高端GPU计算卡,将对于中国大陆的云计算产业及人工智能产业发展带来极为不利的影响。 #抽屉IT

封面图片

NVIDIA数据中心GPU出货量在2023年超400万片 占市场份额的98%

NVIDIA数据中心GPU出货量在2023年超400万片 占市场份额的98% 这是我们第一次看到英伟达公司公布出货量数据,因为在以前,这些数据仅仅是根据总体营收估算的。2023 年是英伟达公司在数据中心和人工智能市场"超级周期"的起点,这得益于 Hopper GPU 和产品为公司带来的巨大需求,以及人工智能热潮的兴起,所有其他大型科技公司都参与了这项技术的整合。由于拥有足够的计算能力是必要的,英伟达是最能利用这一炒作的公司,有趣的是,我们现在有数据来支持这一说法。根据TechInsights的数据,英伟达在2023年的数据中心GPU出货量约为376万片,比2022年多出近100万片。该公司成功获得了高达98%的市场份额,毁灭性地几百了AMD和英特尔等竞争对手。2023 年数据中心 GPU 的总出货量约为 385 万片,考虑到英伟达在其中所占的份额,可以说竞争对手毫无胜算。报告显示,英伟达(NVIDIA)以 362 亿美元的收入占据了 98% 的市场份额,是 2022 年的三倍。有趣的是,由于 AMD 和英特尔的出货量仅为 50 万片左右(AMD 50 万,英特尔 40 万),因此它们在市场总收入中所占的份额很小。TechInsights表示,现在还没有足够的人工智能硬件来维持市场需求,而且由于大部分需求实际上都是针对英伟达的产品,因此竞争对手现在肯定很难取得长足进步,但希望还是有的,因为分析师们期待多样化。随着 Blackwell 产品进入供应链,我们可以想象 NVIDIA 在市场上将会遇到怎样的吸引力。虽然 AMD 和英特尔等竞争对手的替代产品正在获得市场的青睐,但要想挑战英伟达的威力,还需要更多的努力。 ... PC版: 手机版:

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人