谷歌公布其训练 PaLM 模型的超级计算机细节

谷歌公布其训练 PaLM 模型的超级计算机细节 谷歌的 PaLM 模型是迄今为止其公开披露的最大的语言模型，谷歌通过将其分割到由 4,000 个芯片组成的两台超级计算机上，历时 50 天训练而成。此外，Midjourney 也使用该系统来训练其模型。谷歌称，对于同等规模的系统，采用这些芯片比基于英伟达 A100 芯片的系统快 1.7 倍，省电 1.9 倍。但谷歌没有与英伟达目前的旗舰产品 H100 芯片进行比较，因为 H100 是在谷歌的芯片之后上市的，而且是用更新的技术制造的。来源 ， 来自：雷锋 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot