谷歌公布其训练 PaLM 模型的超级计算机细节

谷歌公布其训练 PaLM 模型的超级计算机细节 谷歌的 PaLM 模型是迄今为止其公开披露的最大的语言模型,谷歌通过将其分割到由 4,000 个芯片组成的两台超级计算机上,历时 50 天训练而成。此外,Midjourney 也使用该系统来训练其模型。谷歌称,对于同等规模的系统,采用这些芯片比基于英伟达 A100 芯片的系统快 1.7 倍,省电 1.9 倍。但谷歌没有与英伟达目前的旗舰产品 H100 芯片进行比较,因为 H100 是在谷歌的芯片之后上市的,而且是用更新的技术制造的。来源 , 来自:雷锋 频道:@kejiqu 群组:@kejiquchat 投稿:@kejiqubot

相关推荐

封面图片

马斯克证实 xAI 将自行打造超级计算机训练 Grok 大语言模型

马斯克证实 xAI 将自行打造超级计算机训练 Grok 大语言模型 马斯克证实其名下人工智能初创企业 xAI 已结束与甲骨文扩大现有协议、租用英伟达芯片的洽谈。他表示,xAI 正打造一台拥有 10 万块英伟达 H100 GPU 的超级计算机,预计将在本月晚些时候交付并开始训练。 他指出,“这将成为全球范围内功能最强大的训练集群,并且领先优势巨大”,“我们的核心竞争力在于比任何其他的人工智能公司都更快,这是缩小差距的唯一途径”。

封面图片

马斯克证实xAI将自行打造超级计算机训练Grok大语言模型

马斯克证实xAI将自行打造超级计算机训练Grok大语言模型 PANews 7月11日消息,据IT之家报道,马斯克证实其名下人工智能初创企业xAI已结束与甲骨文扩大现有协议、租用英伟达芯片的洽谈。他表示,xAI正打造一台拥有10万块英伟达H100 GPU的超级计算机,预计将在本月晚些时候交付并开始训练。他指出,“这将成为全球范围内功能最强大的训练集群,并且领先优势巨大”,“我们的核心竞争力在于比任何其他的人工智能公司都更快,这是缩小差距的唯一途径”。 在此之前,xAI已经从甲骨文租用了2.4万块的H100芯片(的算力),并用它们训练出了Grok 2。他表示Grok 2 目前正处于最终的打磨阶段,只需要进行些许微调和Bug修复就可以发布,预计最快下个月发布。今年5月有报道称,两家公司接近达成扩大合作关系的协议,xAI将斥资约100亿美元向甲骨文租用云服务器、为期数年。

封面图片

戴尔、超微为 xAI 超级计算机提供服务器机架

戴尔、超微为 xAI 超级计算机提供服务器机架 总部位于旧金山的超微证实了与 xAI 的合作,该公司以与 Nvidia 等芯片公司关系密切及其液冷技术而闻名。戴尔首席执行官迈克尔·戴尔也在 X 上的另一篇帖子中表示,该公司正在与人工智能巨头 Nvidia 合作建立一个“AI 工厂”,为 xAI 的下一个版本的聊天机器人 Grok 提供动力。据5 月份报道,马斯克告诉投资者,他的人工智能初创公司 xAI 计划建造一台超级计算机,为其下一代人工智能聊天机器人 Grok 提供动力。训练 xAI 的 Grok 等人工智能模型需要数万块芯片,而这些芯片供不应求。今年早些时候,马斯克表示,训练 Grok 2 模型需要大约 20000 个 Nvidia H100 图形处理单元 (GPU),并补充说,Grok 3 模型及以后的模型将需要 100000 个 Nvidia H100 芯片。据《Information》报道,马斯克表示,他希望在 2025 年秋季之前让这台计划中的超级计算机投入运行。马斯克去年创立了 xAI,作为微软支持的 OpenAI 和 Alphabet 旗下谷歌的挑战者。马斯克也是 OpenAI 的联合创始人。 ... PC版: 手机版:

封面图片

NVIDIA展示数据中心级超级计算机Eos 在TOP 500榜单中名列第9位

NVIDIA展示数据中心级超级计算机Eos 在TOP 500榜单中名列第9位 Eos由576套英伟达DGX H100系统、NVIDIA Quantum-2 InfiniBand网络和软件组成,可提供总计18.4 exaflops的FP8人工智能性能。Eos超级计算机于11月在2023年超级计算贸易展上亮相,Eos以希腊神话中每天打开黎明之门的女神命名,体现了英伟达致力于推动人工智能技术发展的承诺。每台DGX H100系统都配备了8颗英伟达H100 Tensor Core GPU。Eos总共配备了4,608个H100 GPU。因此,Eos 可以处理最大的人工智能工作负载,以训练大型语言模型、推荐系统、量子模拟等。它展示了NVIDIA技术在大规模工作时的能力。Eos的诞生恰逢人们正在利用生成式人工智能改变世界,从药物发现到聊天机器人再到自主机器等等。为了实现这些突破,他们需要的不仅仅是人工智能专业知识和开发技能。他们需要一个人工智能工厂一个随时可用的专用人工智能引擎,它可以帮助提高他们大规模构建人工智能模型的能力。Eos在全球最快超级计算机TOP 500 榜单中名列第 9 位,推动了人工智能技术和基础设施的发展。它包括NVIDIA先进的加速计算和网络,以及先进的软件产品,如NVIDIA Base Command和NVIDIA AI Enterprise。Eos的架构针对需要在大型加速计算节点集群中实现超低延迟和高吞吐量互联的人工智能工作负载进行了优化,使其成为希望扩展人工智能能力的企业的理想解决方案。基于英伟达Quantum-2 InfiniBand与网内计算技术,其网络架构支持400 Gb/s的数据传输速度,促进了训练复杂人工智能模型所必需的大型数据集的快速移动。Eos的核心是由英伟达DGX H100系统支持的开创性DGX SuperPOD架构。该架构旨在为人工智能和计算领域提供能够进行大规模计算的紧密集成的全栈系统。随着全球企业和开发人员都在寻求利用人工智能的力量,Eos作为一种关键资源,有望加速人工智能应用的发展。 ... PC版: 手机版:

封面图片

Inflection AI宣布打造2.2万块H100计算卡的AI超级计算机

Inflection AI宣布打造2.2万块H100计算卡的AI超级计算机 一家名为"Inflection AI"的人工智能创业公司近日宣布,他们计划利用2.2万块NVIDIA H100计算卡打造一台规模宏大的AI超级计算机。这台超级计算机将由近700个机柜组成,每个机柜还将配备四块Intel至强处理器,旨在提供卓越的计算能力。据悉,该系统的功耗预计将达到31兆瓦,相当于每小时消耗3.1万度电。 Inflection AI此次计划打造的AI超级计算机被视为世界顶级之一,而能够轻松获取大量NVIDIA H100计算卡的原因在于,NVIDIA正准备对该公司进行投资。来源 , 来自:雷锋 频道:@kejiqu 群组:@kejiquchat 投稿:@kejiqubot

封面图片

NVIDIA与日本合作开发尖端的ABCI-Q量子超级计算机

NVIDIA与日本合作开发尖端的ABCI-Q量子超级计算机 这个新项目名为 ABCI-Q,将完全由英伟达公司的加速和量子计算平台提供算力,预示着该系统将实现高性能和高效率。这台日本超级计算机还将与富士通公司合作建造。英伟达公司在早些时候的一篇博客文章中表示,该公司计划将其英伟达 CUDA-Q 平台集成到该系统中。该平台是一种开源资源,允许用户利用量子经典应用。CUDA-Q将作为超级计算机的一个组成部分,可以轻松集成相关的CPU和GPU。此外,Team Green还计划安装2000个英伟达H100人工智能GPU,并采用最新的英伟达Quantum-2 InfiniBand互联技术。NVIDIA高性能计算与量子计算总监 Tim Costa对此表示,研究人员需要高性能仿真来解决量子计算中最棘手的问题。CUDA-Q 和 NVIDIA H100 可帮助 ABCI 等先驱取得关键进展,加快量子集成超级计算的发展。日本的 ABCI-Q 超级计算机是该国技术创新阶段的一部分,他们计划利用量子计算和人工智能等当代技术的优势,在主流消费行业中领跑。几个月前,英伟达公司首席执行官黄仁勋会见了日本首相岸田文雄,双方谈到了加强多领域合作,为日本的需求提供稳定的人工智能设备供应。ABCI-Q 的发布只是日本与英伟达之间建立广泛合作关系的第一步。 ... PC版: 手机版:

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人