谷歌公布其训练 PaLM 模型的超级计算机细节

谷歌公布其训练 PaLM 模型的超级计算机细节 谷歌的 PaLM 模型是迄今为止其公开披露的最大的语言模型,谷歌通过将其分割到由 4,000 个芯片组成的两台超级计算机上,历时 50 天训练而成。此外,Midjourney 也使用该系统来训练其模型。谷歌称,对于同等规模的系统,采用这些芯片比基于英伟达 A100 芯片的系统快 1.7 倍,省电 1.9 倍。但谷歌没有与英伟达目前的旗舰产品 H100 芯片进行比较,因为 H100 是在谷歌的芯片之后上市的,而且是用更新的技术制造的。来源 , 来自:雷锋 频道:@kejiqu 群组:@kejiquchat 投稿:@kejiqubot

相关推荐

封面图片

马斯克证实 xAI 将自行打造超级计算机训练 Grok 大语言模型

马斯克证实 xAI 将自行打造超级计算机训练 Grok 大语言模型 马斯克证实其名下人工智能初创企业 xAI 已结束与甲骨文扩大现有协议、租用英伟达芯片的洽谈。他表示,xAI 正打造一台拥有 10 万块英伟达 H100 GPU 的超级计算机,预计将在本月晚些时候交付并开始训练。 他指出,“这将成为全球范围内功能最强大的训练集群,并且领先优势巨大”,“我们的核心竞争力在于比任何其他的人工智能公司都更快,这是缩小差距的唯一途径”。

封面图片

马斯克证实xAI将自行打造超级计算机训练Grok大语言模型

马斯克证实xAI将自行打造超级计算机训练Grok大语言模型 PANews 7月11日消息,据IT之家报道,马斯克证实其名下人工智能初创企业xAI已结束与甲骨文扩大现有协议、租用英伟达芯片的洽谈。他表示,xAI正打造一台拥有10万块英伟达H100 GPU的超级计算机,预计将在本月晚些时候交付并开始训练。他指出,“这将成为全球范围内功能最强大的训练集群,并且领先优势巨大”,“我们的核心竞争力在于比任何其他的人工智能公司都更快,这是缩小差距的唯一途径”。 在此之前,xAI已经从甲骨文租用了2.4万块的H100芯片(的算力),并用它们训练出了Grok 2。他表示Grok 2 目前正处于最终的打磨阶段,只需要进行些许微调和Bug修复就可以发布,预计最快下个月发布。今年5月有报道称,两家公司接近达成扩大合作关系的协议,xAI将斥资约100亿美元向甲骨文租用云服务器、为期数年。

封面图片

戴尔、超微为 xAI 超级计算机提供服务器机架

戴尔、超微为 xAI 超级计算机提供服务器机架 总部位于旧金山的超微证实了与 xAI 的合作,该公司以与 Nvidia 等芯片公司关系密切及其液冷技术而闻名。戴尔首席执行官迈克尔·戴尔也在 X 上的另一篇帖子中表示,该公司正在与人工智能巨头 Nvidia 合作建立一个“AI 工厂”,为 xAI 的下一个版本的聊天机器人 Grok 提供动力。据5 月份报道,马斯克告诉投资者,他的人工智能初创公司 xAI 计划建造一台超级计算机,为其下一代人工智能聊天机器人 Grok 提供动力。训练 xAI 的 Grok 等人工智能模型需要数万块芯片,而这些芯片供不应求。今年早些时候,马斯克表示,训练 Grok 2 模型需要大约 20000 个 Nvidia H100 图形处理单元 (GPU),并补充说,Grok 3 模型及以后的模型将需要 100000 个 Nvidia H100 芯片。据《Information》报道,马斯克表示,他希望在 2025 年秋季之前让这台计划中的超级计算机投入运行。马斯克去年创立了 xAI,作为微软支持的 OpenAI 和 Alphabet 旗下谷歌的挑战者。马斯克也是 OpenAI 的联合创始人。 ... PC版: 手机版:

封面图片

NVIDIA展示数据中心级超级计算机Eos 在TOP 500榜单中名列第9位

NVIDIA展示数据中心级超级计算机Eos 在TOP 500榜单中名列第9位 Eos由576套英伟达DGX H100系统、NVIDIA Quantum-2 InfiniBand网络和软件组成,可提供总计18.4 exaflops的FP8人工智能性能。Eos超级计算机于11月在2023年超级计算贸易展上亮相,Eos以希腊神话中每天打开黎明之门的女神命名,体现了英伟达致力于推动人工智能技术发展的承诺。每台DGX H100系统都配备了8颗英伟达H100 Tensor Core GPU。Eos总共配备了4,608个H100 GPU。因此,Eos 可以处理最大的人工智能工作负载,以训练大型语言模型、推荐系统、量子模拟等。它展示了NVIDIA技术在大规模工作时的能力。Eos的诞生恰逢人们正在利用生成式人工智能改变世界,从药物发现到聊天机器人再到自主机器等等。为了实现这些突破,他们需要的不仅仅是人工智能专业知识和开发技能。他们需要一个人工智能工厂一个随时可用的专用人工智能引擎,它可以帮助提高他们大规模构建人工智能模型的能力。Eos在全球最快超级计算机TOP 500 榜单中名列第 9 位,推动了人工智能技术和基础设施的发展。它包括NVIDIA先进的加速计算和网络,以及先进的软件产品,如NVIDIA Base Command和NVIDIA AI Enterprise。Eos的架构针对需要在大型加速计算节点集群中实现超低延迟和高吞吐量互联的人工智能工作负载进行了优化,使其成为希望扩展人工智能能力的企业的理想解决方案。基于英伟达Quantum-2 InfiniBand与网内计算技术,其网络架构支持400 Gb/s的数据传输速度,促进了训练复杂人工智能模型所必需的大型数据集的快速移动。Eos的核心是由英伟达DGX H100系统支持的开创性DGX SuperPOD架构。该架构旨在为人工智能和计算领域提供能够进行大规模计算的紧密集成的全栈系统。随着全球企业和开发人员都在寻求利用人工智能的力量,Eos作为一种关键资源,有望加速人工智能应用的发展。 ... PC版: 手机版:

封面图片

Inflection AI宣布打造2.2万块H100计算卡的AI超级计算机

Inflection AI宣布打造2.2万块H100计算卡的AI超级计算机 一家名为"Inflection AI"的人工智能创业公司近日宣布,他们计划利用2.2万块NVIDIA H100计算卡打造一台规模宏大的AI超级计算机。这台超级计算机将由近700个机柜组成,每个机柜还将配备四块Intel至强处理器,旨在提供卓越的计算能力。据悉,该系统的功耗预计将达到31兆瓦,相当于每小时消耗3.1万度电。 Inflection AI此次计划打造的AI超级计算机被视为世界顶级之一,而能够轻松获取大量NVIDIA H100计算卡的原因在于,NVIDIA正准备对该公司进行投资。来源 , 来自:雷锋 频道:@kejiqu 群组:@kejiquchat 投稿:@kejiqubot

封面图片

谷歌与 Hugging Face 合作,帮助开发人员训练 AI 模型

谷歌与 Hugging Face 合作,帮助开发人员训练 AI 模型 谷歌云与 AI 模型托管平台 Hugging Face 建立了新的合作伙伴关系,让开发人员无需支付谷歌云订阅费用即可构建、训练和部署 AI 模型。现在,使用 Hugging Face 平台的外部开发人员将能够 “经济高效” 地访问谷歌的张量处理单元 (TPU) 和 GPU 超级计算机,其中包括数千台 Nvidia 的热门且出口受限的 H100。谷歌表示,Hugging Face 用户可以在 “2024 年上半年” 开始使用人工智能应用构建平台 Vertex AI 和 Kubernetes 引擎,帮助训练和微调模型。 一一

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人