谷歌公布其训练 PaLM 模型的超级计算机细节

谷歌公布其训练 PaLM 模型的超级计算机细节 谷歌的 PaLM 模型是迄今为止其公开披露的最大的语言模型,谷歌通过将其分割到由 4,000 个芯片组成的两台超级计算机上,历时 50 天训练而成。此外,Midjourney 也使用该系统来训练其模型。谷歌称,对于同等规模的系统,采用这些芯片比基于英伟达 A100 芯片的系统快 1.7 倍,省电 1.9 倍。但谷歌没有与英伟达目前的旗舰产品 H100 芯片进行比较,因为 H100 是在谷歌的芯片之后上市的,而且是用更新的技术制造的。来源 , 来自:雷锋 频道:@kejiqu 群组:@kejiquchat 投稿:@kejiqubot

相关推荐

封面图片

戴尔、超微为 xAI 超级计算机提供服务器机架

戴尔、超微为 xAI 超级计算机提供服务器机架 总部位于旧金山的超微证实了与 xAI 的合作,该公司以与 Nvidia 等芯片公司关系密切及其液冷技术而闻名。戴尔首席执行官迈克尔·戴尔也在 X 上的另一篇帖子中表示,该公司正在与人工智能巨头 Nvidia 合作建立一个“AI 工厂”,为 xAI 的下一个版本的聊天机器人 Grok 提供动力。据5 月份报道,马斯克告诉投资者,他的人工智能初创公司 xAI 计划建造一台超级计算机,为其下一代人工智能聊天机器人 Grok 提供动力。训练 xAI 的 Grok 等人工智能模型需要数万块芯片,而这些芯片供不应求。今年早些时候,马斯克表示,训练 Grok 2 模型需要大约 20000 个 Nvidia H100 图形处理单元 (GPU),并补充说,Grok 3 模型及以后的模型将需要 100000 个 Nvidia H100 芯片。据《Information》报道,马斯克表示,他希望在 2025 年秋季之前让这台计划中的超级计算机投入运行。马斯克去年创立了 xAI,作为微软支持的 OpenAI 和 Alphabet 旗下谷歌的挑战者。马斯克也是 OpenAI 的联合创始人。 ... PC版: 手机版:

封面图片

NVIDIA展示数据中心级超级计算机Eos 在TOP 500榜单中名列第9位

NVIDIA展示数据中心级超级计算机Eos 在TOP 500榜单中名列第9位 Eos由576套英伟达DGX H100系统、NVIDIA Quantum-2 InfiniBand网络和软件组成,可提供总计18.4 exaflops的FP8人工智能性能。Eos超级计算机于11月在2023年超级计算贸易展上亮相,Eos以希腊神话中每天打开黎明之门的女神命名,体现了英伟达致力于推动人工智能技术发展的承诺。每台DGX H100系统都配备了8颗英伟达H100 Tensor Core GPU。Eos总共配备了4,608个H100 GPU。因此,Eos 可以处理最大的人工智能工作负载,以训练大型语言模型、推荐系统、量子模拟等。它展示了NVIDIA技术在大规模工作时的能力。Eos的诞生恰逢人们正在利用生成式人工智能改变世界,从药物发现到聊天机器人再到自主机器等等。为了实现这些突破,他们需要的不仅仅是人工智能专业知识和开发技能。他们需要一个人工智能工厂一个随时可用的专用人工智能引擎,它可以帮助提高他们大规模构建人工智能模型的能力。Eos在全球最快超级计算机TOP 500 榜单中名列第 9 位,推动了人工智能技术和基础设施的发展。它包括NVIDIA先进的加速计算和网络,以及先进的软件产品,如NVIDIA Base Command和NVIDIA AI Enterprise。Eos的架构针对需要在大型加速计算节点集群中实现超低延迟和高吞吐量互联的人工智能工作负载进行了优化,使其成为希望扩展人工智能能力的企业的理想解决方案。基于英伟达Quantum-2 InfiniBand与网内计算技术,其网络架构支持400 Gb/s的数据传输速度,促进了训练复杂人工智能模型所必需的大型数据集的快速移动。Eos的核心是由英伟达DGX H100系统支持的开创性DGX SuperPOD架构。该架构旨在为人工智能和计算领域提供能够进行大规模计算的紧密集成的全栈系统。随着全球企业和开发人员都在寻求利用人工智能的力量,Eos作为一种关键资源,有望加速人工智能应用的发展。 ... PC版: 手机版:

封面图片

Inflection AI宣布打造2.2万块H100计算卡的AI超级计算机

Inflection AI宣布打造2.2万块H100计算卡的AI超级计算机 一家名为"Inflection AI"的人工智能创业公司近日宣布,他们计划利用2.2万块NVIDIA H100计算卡打造一台规模宏大的AI超级计算机。这台超级计算机将由近700个机柜组成,每个机柜还将配备四块Intel至强处理器,旨在提供卓越的计算能力。据悉,该系统的功耗预计将达到31兆瓦,相当于每小时消耗3.1万度电。 Inflection AI此次计划打造的AI超级计算机被视为世界顶级之一,而能够轻松获取大量NVIDIA H100计算卡的原因在于,NVIDIA正准备对该公司进行投资。来源 , 来自:雷锋 频道:@kejiqu 群组:@kejiquchat 投稿:@kejiqubot

封面图片

NVIDIA与日本合作开发尖端的ABCI-Q量子超级计算机

NVIDIA与日本合作开发尖端的ABCI-Q量子超级计算机 这个新项目名为 ABCI-Q,将完全由英伟达公司的加速和量子计算平台提供算力,预示着该系统将实现高性能和高效率。这台日本超级计算机还将与富士通公司合作建造。英伟达公司在早些时候的一篇博客文章中表示,该公司计划将其英伟达 CUDA-Q 平台集成到该系统中。该平台是一种开源资源,允许用户利用量子经典应用。CUDA-Q将作为超级计算机的一个组成部分,可以轻松集成相关的CPU和GPU。此外,Team Green还计划安装2000个英伟达H100人工智能GPU,并采用最新的英伟达Quantum-2 InfiniBand互联技术。NVIDIA高性能计算与量子计算总监 Tim Costa对此表示,研究人员需要高性能仿真来解决量子计算中最棘手的问题。CUDA-Q 和 NVIDIA H100 可帮助 ABCI 等先驱取得关键进展,加快量子集成超级计算的发展。日本的 ABCI-Q 超级计算机是该国技术创新阶段的一部分,他们计划利用量子计算和人工智能等当代技术的优势,在主流消费行业中领跑。几个月前,英伟达公司首席执行官黄仁勋会见了日本首相岸田文雄,双方谈到了加强多领域合作,为日本的需求提供稳定的人工智能设备供应。ABCI-Q 的发布只是日本与英伟达之间建立广泛合作关系的第一步。 ... PC版: 手机版:

封面图片

谷歌与 Hugging Face 合作,帮助开发人员训练 AI 模型

谷歌与 Hugging Face 合作,帮助开发人员训练 AI 模型 谷歌云与 AI 模型托管平台 Hugging Face 建立了新的合作伙伴关系,让开发人员无需支付谷歌云订阅费用即可构建、训练和部署 AI 模型。现在,使用 Hugging Face 平台的外部开发人员将能够 “经济高效” 地访问谷歌的张量处理单元 (TPU) 和 GPU 超级计算机,其中包括数千台 Nvidia 的热门且出口受限的 H100。谷歌表示,Hugging Face 用户可以在 “2024 年上半年” 开始使用人工智能应用构建平台 Vertex AI 和 Kubernetes 引擎,帮助训练和微调模型。 一一

封面图片

特斯拉开始生产可以媲美超算榜首的 Dojo 超级计算机

特斯拉开始生产可以媲美超算榜首的 Dojo 超级计算机 特斯拉在 2023 年第二季度财报中概述了大规模解决车辆自动驾驶问题所需的四大技术支柱:超大型真实世界数据集、神经网络训练、车辆硬件和车辆软件。特斯拉表示,它已经开始生产用于训练其自动驾驶车队的 Dojo 超级计算机,该计算机宣布于 2019 年。特斯拉已经拥有一台基于英伟达 GPU 的大型超级计算机,它是世界上最强大的超级计算机之一,但新的 Dojo 定制计算机使用的是特斯拉设计的芯片。此前,马斯克曾宣称,Dojo 的运算能力将达到 1 ExaFLOP。目前,据公开披露的信息,美国橡树岭国家实验室的超级计算机 Frontier 是全球首台达到 ExaFLOP 级别的计算机,也是唯一一台。来源 , 来自:雷锋 频道:@kejiqu 群组:@kejiquchat 投稿:@kejiqubot

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人