谷歌公布其训练 PaLM 模型的超级计算机细节
谷歌公布其训练 PaLM 模型的超级计算机细节
谷歌的 PaLM 模型是迄今为止其公开披露的最大的语言模型,谷歌通过将其分割到由 4,000 个芯片组成的两台超级计算机上,历时 50 天训练而成。此外,Midjourney 也使用该系统来训练其模型。谷歌称,对于同等规模的系统,采用这些芯片比基于英伟达 A100 芯片的系统快 1.7 倍,省电 1.9 倍。但谷歌没有与英伟达目前的旗舰产品 H100 芯片进行比较,因为 H100 是在谷歌的芯片之后上市的,而且是用更新的技术制造的。来源 ,
来自:雷锋
频道:@kejiqu
群组:@kejiquchat
投稿:@kejiqubot