马斯克：训练Grok 3用了10万块英伟达H100 年底上线 会很特别

马斯克：训练Grok 3用了10万块英伟达H100 年底上线 会很特别 这里所说的H100是英伟达开发的图形处理单元，也称为Hopper，是专门用于处理大语言模型（LLMs）数据的AI芯片。随着科技公司竞相开发更智能的AI产品，这些芯片成了硅谷的热门商品。每块英伟达H100人工智能芯片的价格估计在3万美元左右，也有人估计价格高达4万美元，如果批量购买的话可能会有折扣。通过简单计算，单单训练Grok 3就用了价值30亿至40亿美元的人工智能芯片，目前不确定这些芯片是否是马斯克公司直接购买的，此前报道称，马斯克旗下的xAI公司正在与甲骨文谈判，计划在未来几年内花费100亿美元租用云服务器。近年来，马斯克的公司已直接购买了大量的H100芯片。据报道，马斯克曾将原本供特斯拉使用的价值5亿美元的H100芯片转给了X公司。相较于Grok 2，使用10万块H100训练Grok 3无疑是一个巨大的提升。今年4月，马斯克在接受挪威主权基金负责人尼科莱·坦根(Nicolai Tangen)的采访时表示，训练Grok 2需要大约2万块H100。目前，xAI已发布了Grok-1和Grok-1.5版本，最新版本仅对X平台上的早期测试者和现有用户开放。马斯克在周一的帖子中透露，Grok 2计划于今年8月推出，并暗示Grok 3将于年底发布。xAI没有回应置评请求。10万块H100芯片听起来很多，但其他科技巨头，如Meta，也在大量购买GPU芯片。Meta首席执行官马克·扎克伯格（Mark Zuckerberg）今年1月曾表示，到2024年底，Meta将购买约35万块英伟达H100芯片，并表示包括其他类型的GPU在内，Meta将拥有约60万块芯片。如果是这样的话，Meta将为构建自家人工智能能力花掉大约180亿美元。这些芯片的积累也导致了过去一年中顶尖AI人才的招聘竞争变得异常激烈。AI初创公司Perplexity的创始人兼首席执行官阿拉文德·斯里尼瓦斯（Aravind Srinivas）谈到了他试图从Meta挖角一位资深研究人员的经历，但对方因扎克伯格拥有大量AI芯片而拒绝了他的邀请。“我试图聘请一位非常资深的Meta研究员，他们的回答是：‘等你有了1万块H100 GPU再来找我。’”斯里尼瓦斯说。 ... PC版： 手机版：

相关推荐

封面图片

马斯克：将至少花费90亿美元购买30万块英伟达AI芯片

马斯克：将至少花费90亿美元购买30万块英伟达AI芯片 早在4月份，用户“The Technology Brother”就在社交平台X上发帖称，马克·扎克伯格旗下的Meta积累了世界上最多的（之一）英伟达H100 GPU，总计达到约35万块。但马斯克当时对特斯拉和xAI 在该表格中的排名持不同意见。他指出：“如果衡量正确，特斯拉应该是第二多，X/xAI第三多。”今日，马斯克给出了xAI即将到来的芯片购买狂潮的一些可靠的预测。在回应一项在线调查时，马斯克宣布，xAI的下一步大动作可能是明年夏天推出配备30万块B200 GPU的数据中心。而英伟达CEO黄仁勋今年3月曾透露，该公司最新的B200 GPU的价格可能在3万美元至4万美元之间。按照3万美元的最低价位计算，意味着xAI将斥资90亿美元购买约30万块B200 GPU。如果xAI能够执行马斯克的这一雄心勃勃的计划，意味着它将在未来几个月投资至少目前估值的一半来购买英伟达的AI芯片。 ... PC版： 手机版：
封面图片

马斯克证实xAI将自行打造超级计算机训练Grok大语言模型

马斯克证实xAI将自行打造超级计算机训练Grok大语言模型 PANews 7月11日消息，据IT之家报道，马斯克证实其名下人工智能初创企业xAI已结束与甲骨文扩大现有协议、租用英伟达芯片的洽谈。他表示，xAI正打造一台拥有10万块英伟达H100 GPU的超级计算机，预计将在本月晚些时候交付并开始训练。他指出，“这将成为全球范围内功能最强大的训练集群，并且领先优势巨大”，“我们的核心竞争力在于比任何其他的人工智能公司都更快，这是缩小差距的唯一途径”。 在此之前，xAI已经从甲骨文租用了2.4万块的H100芯片（的算力），并用它们训练出了Grok 2。他表示Grok 2 目前正处于最终的打磨阶段，只需要进行些许微调和Bug修复就可以发布，预计最快下个月发布。今年5月有报道称，两家公司接近达成扩大合作关系的协议，xAI将斥资约100亿美元向甲骨文租用云服务器、为期数年。
封面图片

马斯克称Grok 3约需要10万张英伟达H100训练 目前最大的问题就是卡不够

马斯克称Grok 3约需要10万张英伟达H100训练 目前最大的问题就是卡不够 马斯克表示人工智能技术的进步目前主要受两个因素制约：第一个是先进处理器，例如想要获得 10 万张 H100 加速卡并不容易，这不仅需要耗费大量的资金，也因为英伟达产能问题需排队；第二就是电力供应的限制。H100 加速卡的最大功耗约为 700W，10 万张 H100 加速卡同时运作则会产生 7,000 万 W 也就是 70MW，70MW 的功率对于一个企业来说已经是个相当高的用电功率，但不要忘记这些加速卡还需要大量的工业制冷设备进行散热。因此运营一个包含 10 万张 H100 加速卡的数据中心的功率是个天文数字，这对人工智能公司来说用电成本可能都需要花费大量的资金。不过电力问题总得来说还是可以解决的，但芯片供应在未来两年能不能赶上来还是个大问题，尤其是现在初创人工智能公司非常多，每个公司都需要大量的加速卡，所以 xAI 想要购买更多的显卡可能也需要更长时间。 ... PC版： 手机版：
封面图片

马斯克证实 xAI 将自行打造超级计算机训练 Grok 大语言模型

马斯克证实 xAI 将自行打造超级计算机训练 Grok 大语言模型 马斯克证实其名下人工智能初创企业 xAI 已结束与甲骨文扩大现有协议、租用英伟达芯片的洽谈。他表示，xAI 正打造一台拥有 10 万块英伟达 H100 GPU 的超级计算机，预计将在本月晚些时候交付并开始训练。 他指出，“这将成为全球范围内功能最强大的训练集群，并且领先优势巨大”，“我们的核心竞争力在于比任何其他的人工智能公司都更快，这是缩小差距的唯一途径”。
封面图片

马斯克预测明年 AI 将比最聪明的人更聪明

马斯克预测明年 AI 将比最聪明的人更聪明 马斯克4月8日在接受挪威财富基金首席执行官尼古拉·坦根采访时说，人工智能受到电力供应的限制，而他旗下的 xAI 初创公司的人工智能聊天机器人 Grok 的下一个版本是预计将于五月份完成培训。当被问及通用人工的发展时间表时，马斯克称：“如果我们将通用人工智能定义为比最聪明的人更聪明，这可能在明年，比如在两年内实现。”先进芯片的缺乏阻碍了 Grok 2 模型的训练。马斯克表示，训练 Grok 2 模型需要大约2万块英伟达 H100 GPU，并补充说，Grok 3 模型及更高版本将需要10万块英伟达 H100 芯片。补充说，虽然迄今为止芯片短缺是人工智能发展的一大制约因素，但电力供应在未来一两年将至关重要。在谈到电动汽车时，马斯克重申中国汽车制造商是“世界上最具竞争力的”，并对特斯拉构成“最严峻的竞争挑战”。
封面图片

马斯克称到2024年底特斯拉的AI训练能力将相当于约85000件H100 芯片

马斯克称到2024年底特斯拉的AI训练能力将相当于约85000件H100 芯片 早在今年 1 月，埃隆-马斯克（Elon Musk）在确认对特斯拉 Dojo 超级计算机投资 5 亿美元（相当于约 1 万个 H100 GPU）的同时，还宣布这家电动汽车巨头"今年在英伟达硬件上的花费将超过这个数字"，因为"在人工智能领域具有竞争力的赌注目前每年至少有几十亿美元"。现在，埃隆-马斯克（Elon Musk）透露了他在人工智能方面的真正雄心壮志：到 2024 年底，特斯拉的人工智能训练计算能力将同比增长约 467%，达到 85000 等效单位的NVIDIA H100 GPU。这种激进的扩张已经迫使特斯拉牺牲其自由现金流。作为2024 年第一季度财报的一部分，这家电动汽车巨头透露，"受第一季度库存增加 27 亿美元和人工智能基础设施资本支出 10 亿美元的影响，该季度自由现金流为-25 亿美元。"埃隆-马斯克（Elon Musk）也在其人工智能企业 xAI 积极部署人工智能计算能力。我们在最近的一篇文章中指出，xAI 目前可能拥有 2.6 万到 3 万块英伟达（NVIDIA）的人工智能显卡。英伟达的 H100 芯片预计将在今年某个时候让位于最新的GB200 Grace Blackwell 超级芯片。该芯片结合了一个基于Arms的Grace CPU和两个Blackwell B100 GPU，可以部署一个包含27万亿个参数的人工智能模型。此外，这款超级芯片在执行聊天机器人提供答案等任务时，速度有望提高30 倍。 ... PC版： 手机版：

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人