NVIDIA液冷"AI GPU"数据中心成本高昂 组件价格飙升

NVIDIA液冷"AI GPU"数据中心成本高昂 组件价格飙升 有鉴于此,台湾《经济日报》报道称,由于各公司都想尽早抓住机遇,因此对水冷解决方案的需求大增。台湾热能管理协会主席透露,水冷过程中涉及的重要组件在市场上已经断货,这归咎于人工智能的炒作,以及个人和客户如何利用这种情况人为制造此类组件的短缺。该官员透露,水冷数据中心是人工智能市场的未来,对未来产品的可持续性至关重要。许多公司都意识到了对水冷服务器和数据中心的巨大需求,并正在开设专门的工厂,专注于生产此类冷却设备。英伟达公司首席执行官本人也重申了水冷对于数据中心发展的重要性,他表示,未来的数据中心将通过液体散热来冷却。值得注意的是,以 Blackwell 为核心的 AI GPU 服务器可能会大量采用水冷技术,但由于设置过程(板载板和配水方法)非常敏感,目前供应有限,造成了瓶颈,导致价格飙升。现在,这意味着即将投入使用的数据中心的价格将比以前的数据中心相对较高,这不仅是因为一代又一代的升级,还因为采用液体冷却可能会很昂贵。如果行业不尽快解决供应链效率低下的问题,可能会造成订单积压。 ... PC版: 手机版:

相关推荐

封面图片

NVIDIA数据中心GPU出货量在2023年超400万片 占市场份额的98%

NVIDIA数据中心GPU出货量在2023年超400万片 占市场份额的98% 这是我们第一次看到英伟达公司公布出货量数据,因为在以前,这些数据仅仅是根据总体营收估算的。2023 年是英伟达公司在数据中心和人工智能市场"超级周期"的起点,这得益于 Hopper GPU 和产品为公司带来的巨大需求,以及人工智能热潮的兴起,所有其他大型科技公司都参与了这项技术的整合。由于拥有足够的计算能力是必要的,英伟达是最能利用这一炒作的公司,有趣的是,我们现在有数据来支持这一说法。根据TechInsights的数据,英伟达在2023年的数据中心GPU出货量约为376万片,比2022年多出近100万片。该公司成功获得了高达98%的市场份额,毁灭性地几百了AMD和英特尔等竞争对手。2023 年数据中心 GPU 的总出货量约为 385 万片,考虑到英伟达在其中所占的份额,可以说竞争对手毫无胜算。报告显示,英伟达(NVIDIA)以 362 亿美元的收入占据了 98% 的市场份额,是 2022 年的三倍。有趣的是,由于 AMD 和英特尔的出货量仅为 50 万片左右(AMD 50 万,英特尔 40 万),因此它们在市场总收入中所占的份额很小。TechInsights表示,现在还没有足够的人工智能硬件来维持市场需求,而且由于大部分需求实际上都是针对英伟达的产品,因此竞争对手现在肯定很难取得长足进步,但希望还是有的,因为分析师们期待多样化。随着 Blackwell 产品进入供应链,我们可以想象 NVIDIA 在市场上将会遇到怎样的吸引力。虽然 AMD 和英特尔等竞争对手的替代产品正在获得市场的青睐,但要想挑战英伟达的威力,还需要更多的努力。 ... PC版: 手机版:

封面图片

特斯拉德克萨斯州新数据中心安装了一组巨型“GPU风扇”

特斯拉德克萨斯州新数据中心安装了一组巨型“GPU风扇” 这些绝对巨大的风扇将用于特斯拉奥斯汀道场数据中心的冷却大楼,许多人将其与显卡相提并论。一位用户贴出梗图,冷却风扇上被P上了一张制作好的 RTX 5090 照片。虽然这些帖子很有趣,但这些怪兽风扇对特斯拉来说可是正经事。该公司在人工智能领域的雄心壮志可能需要大量的冷却设备,以防止高能耗的 GPU 机架融化成一滩硅片。人工智能模型训练是一种令人难以置信的计算密集型工作负载,对图形处理器的依赖程度远远高于 CPU。例如,像 NVIDIA 猛兽 H100 这样的 GPU 需要液体冷却才能充分发挥作用。因此,人工智能的蓬勃发展迫使人们重新思考数据中心的设计和建造方式,以应对疯狂的冷却需求。视频显示,特斯拉也在利用这种基础设施参与游戏。视频还显示,现场似乎正在进行人工水库的基础工作,工作人员正在上面铺设巨大的黑板。虽然特斯拉没有详细说明其用途,但保持健康的水供应对大型数据中心的冷却系统和发电需求至关重要。最大的服务器群每年可消耗数十亿加仑的水。在幕后,该设施的竣工之路并非一帆风顺。The Information的一篇报道称,埃隆-马斯克(Elon Musk)对项目的延误"大发雷霆",因为该项目对于实现特斯拉电动汽车完全自动驾驶功能的愿景至关重要。早在四月中旬,马斯克就曾参观过这一工地,但他发现,由于交货不及时、恶劣天气和其他施工问题,该设施的屋顶和地面仍有大部分缺失。他的隧道工程公司 The Boring Company 本应建造一条地下道路,供赛博特卡车自动穿越校园。但由于这条隧道尚未建成,数据中心的地面层一直处于停工状态。事情很快就败露了项目基础设施主管 Amir Mirshahi 被革职。特斯拉的整体情况也不尽如人意。米尔萨希被解雇一周后,特斯拉裁员10%,这很可能是公司电动汽车需求放缓的结果。在这个充满挑战的季度,特斯拉的汽车交付量同比下降了 8.5%,几位高管也已经告别了这家电动汽车制造商。 ... PC版: 手机版:

封面图片

大摩:数据中心算力成本正在迅速下降

大摩:数据中心算力成本正在迅速下降 摩根士丹利在3月24日的AI报告中指出,随着GPU技术的不断进步,例如英伟达从Hopper发展到Blackwell GPU架构,GAI的算力成本正显著降低。展望未来,大摩预测,AI算力成本将迅速下降,AI算力需求将蓬勃增长,预计2024/27全球数据中心电力需求将占到全球的~2%/4%,但电力基础设施可能跟不上这一增长形势。因此,大摩指出,能够满足AI快速增长电力需求的公司将从这一趋势中收益,特别是那些能够减少数据中心供电延迟的电力解决方案提供商。AI算力成本迅速下降大摩指出,随着GPU效率的提高,数据中心算力成本正在迅速下降,以英伟达最新发布的Blackwell为例,只占到hopper能耗的一半,具体来看:数据中心模型显示,使用Hopper GPU的数据中心每teraFLOPs(每秒万亿次浮点运算)资本成本为14.26美元,而Blackwell数据中心的成本为7.48美元,这意味着当从Hopper GPU升级到Blackwell GPU时,资本成本每teraFLOPs下降约50%。数据中心建设成本方面,Blackwell数据中心的总设施资本成本(包括GPU)为33.49亿美元,而Hopper数据中心的总设施资本成本为35.83亿美元。这些成本是针对假设的100MW 数据中心,并且包括了8个芯片/服务器和70%的服务器利用率。在每兆瓦时电力成本为100美元的假设下,Hopper数据中心的年度电力成本约为每teraFLOPs 0.24美元,而Blackwell数据中心的年度电力成本约为每teraFLOPs 0.14美元。这种下降主要是由于随着技术进步,GPU在能效方面的改进,使得在相同的电力消耗下能够提供更多的算力。AI算力需求激增 给电力基础设施带来挑战与此同时,大摩预测,AI电力需求将迅猛增长,在基准情景下,预计2023-27年全球数据中心电力需求(包括GAI)为430748太瓦时(TWh),相当于2024/27年全球电力需求的2%4%。具体来看:在基准情景下(GPU利用率从60%提高到70%),数据中心在2023-27年的总电力容量将为70/122吉瓦。2023-27年GAI电力需求的复合年增长率为~105%,而同期全球数据中心电力需求(包括GAI)的复合年增长率将为~20%。牛市情景下(反映90%的芯片利用率),预计2023-27年全球数据中心电力需求为~446/820太瓦时。而熊市情景下(反映50%的利用率),预计2023-27年数据中心电力需求为~415/677太瓦时。此外,大摩还提到,其减少可再生能源服务占新数据中心电力的百分比,因为数据(如亚马逊/Talen交易)表明不可再生能源将发挥更大的作用。进一步来看,大摩指出,根据对全球数据中心电力需求预测,预计将给电力基础设施带来挑战,包括输电线路容量限制、规划和许可延误以及供应链瓶颈。因此,展望未来,能够满足AI快速增长能源需求的公司,特别是那些能够减少数据中心供电延迟的电力解决方案提供商将受市场欢迎。大摩表示,全球各地数据中心增长有所不同,但相似之处在于,数据中心公司和超大规模公司经常与电力开发公司合作,以最大限度地减少供电延迟,降低成本并减少排放。在美国,我们看到了合作伙伴关系的最初迹象,超大规模企业和核电厂所有者在核电厂建立新的大型数据中心,有利于电力公用事业Constellation Energy和独立电力生产商与能源贸易商Vistra等 。而且我们还看到了现场发电的可能,这可能有利于许多电力股。在欧洲,到2035年,欧洲国家的数据中心需求将推动电力增长五倍,低估值欧洲电力股将受益,入西班牙私营跨国电力公司Iberdrola,芬兰能源企业Fortum。在东盟,马来西亚、新加坡和泰国电力需求强劲增长。为了最大限度地减少“供电时间”,我们看到数据中心开发商与东盟当地电力公司建立伙伴关系:英伟达和马来西亚杨忠礼集团合作,计划在马来西亚打造价值43亿美元的人工智能数据中心,泰国最大的私人发电公司海湾Gulf和泰国电信AIS开始建设新的泰国数据中心,新加坡电信Singtel、印尼电信公司Telkom于印度尼西亚能源公司Medco Power就其在印度尼西亚的第一个数据中心项目建立战略合作伙伴关系。 ... PC版: 手机版:

封面图片

夏普将与KDDI等协商构建AI数据中心

夏普将与KDDI等协商构建AI数据中心 夏普公司3日正式宣布,为了设立面向人工智能的数据中心,与 KDDI 等就启动协商达成一致。全资子公司堺显示器产品公司将在今年9月底前停产大型液晶面板,夏普计划利用其场地打造新的收益来源。夏普已于2日同系统外包开发商 Datasection 及美国企业等3家公司达成协议。用于生成式AI学习和推理等的图形处理器 (GPU) 将采购美国英伟达的下一代型号。预计将建成亚洲最大规模的数据中心。夏普方面称,通过确保大规模电力及场地,“力争构建能迅速应对各类课题的AI数据中心”。

封面图片

缺电后是缺水?摩根大通:到2030年,数据中心每天将消耗4.5亿加仑的水

缺电后是缺水?摩根大通:到2030年,数据中心每天将消耗4.5亿加仑的水 AI狂潮仍在继续,由于不少华尔街大行预计本世纪末美国的生成式人工智能数据中心数量将爆发,各投资机构纷纷投资于“增强美国力量”(Powering up America)的主题,包括电网公司、铜、金、银和铀等大宗商品,以及人工智能芯片制造商。然而,水消耗的问题却相对而言被忽视了。摩根大通的亚太股票研究部门最近公布题为《深入探讨电力、冷却、电网和ESG影响》(Deep Dive into Power, Cooling, Electric Grid and ESG implications)的研报,详细阐述了基础设施对人工智能发展的影响。文中专门介绍了人工智能数据中心对电力的消耗。同时,高盛此前也发现,在“下一代AI交易”飙升之际,弗吉尼亚州的商业电力需求大幅怎个假。此外,即使是黑石集团首席执行官史蒂夫·施瓦茨曼(Steve Schwarzman)和贝莱德董事长兼首席执行官拉里·芬克(Larry Fink)也纷纷加入电网和AI投资主题,因为未来几年内有很多上行空间除非AI需求崩溃。值得注意的是,摩根大通的研报在报告结尾部分强调:“尽管数据中心因大量的电力消耗而容易重点关注,但相对而言,数据中心的高耗水基本被忽视了,而这也是数据中心运营的基本特质。”摩根大通引用Bluefield Research的数据在研报中指出,全球数据中心的总用水量(包括现场冷却和非现场发电)从2017年到2022年每年增长6%。研报说,到2030年,用水量可能会跃升至每天4.5亿加仑。这就相当于,每天大约需要681个奥运会标准的游泳池的淡水,来冷却全球数据中心。研报介绍,数据中心的用水方式与碳排放类似,数据中心的用水也可以分为范围1、范围2和范围3。在这种情况下,范围1指的是用于现场服务器冷却的水,范围2指的是用于发电的场外用水。范围3被认为是服务器制造供应链用水。具体而言,范围2的用水是数据中心与发电相关的间接用水。传统的热电厂(如燃煤电厂、天然气电厂等)加热水以产生蒸汽,蒸汽用于旋转涡轮机发电。水也用于冷却塔中的散热。值得注意的是,当使用热电时,数据中心的范围2用水足迹可能远大于范围1。研报指出:“考虑到范围1和范围2操作所需要的取水量,到2027年,要满足全球AI需求,数据中心相关的取水量可能达到42亿至66亿立方米,超过半个英国的年度总取水量。”研报进一步指出,在水资源稀缺的地区,数据中心的巨大用水需求可能引发竞争加剧,可能会影响水资源的可用性,甚至导致数据中心关闭。“为了消除服务器产生的热量,每天有数百万加仑的水在冷却系统中蒸发,这是数据中心的大部分用水。” ... PC版: 手机版:

封面图片

Intel发布全新数据中心浸没式液冷装置 可冷却上千瓦

Intel发布全新数据中心浸没式液冷装置 可冷却上千瓦 目前,该方案已经通过了验证性测试(POC),达到预期效果,但是未披露具体散热能力有多高,估计至少上千瓦。Intel G-Flow浸没式液冷方案涵盖了创新的浸没式液冷机柜,以及配套的液冷服务器散热。它采用了新颖的浸没式系统设计,无需额外能耗,就能显著增加通过CPU、GPU散热器的冷却液流量。这种优化的流体管理,不仅实现了高效的强迫对流换热模式,还显著提高了冷却介质的使用效率和系统散热效能。该技术还引入了创新的转接板设计,可解决浸没式液冷机柜、服务器设计之间需要解耦的难题,并可满足Intel至强6处理器、Intel Gaudi AI加速器等的散热需求。Intel还认为,更绿色环保、低成本的合成油,也有望作为冷却介质,解决千瓦级散热问题。值得一提的是,Intel中国数据中心液冷创新加速计划也同步登场,联合浸没式液冷制造商绿色云图、立讯技术,服务器OEM、ODM厂商,合成油冷却液供应商等,共同研发了基于G-Flow浸没式液冷解决方案的样机,并经过了严苛测试。 ... PC版: 手机版:

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人