谷歌首次公布AI超级计算机技术细节 希望摆脱英伟达芯片依赖

谷歌首次公布AI超级计算机技术细节希望摆脱英伟达芯片依赖谷歌研究人员当地时间4月4日在线发表一篇论文，首次公布了用于训练人工智能模型的超级计算机的技术细节，并宣称该系统比英伟达的超算系统更快且功耗更低。谷歌新发表的这篇题为《TPUv4：用于机器学习的光学可重构超级计算机，硬件支持嵌入》的文章介绍了谷歌自己设计的定制TPU芯片。谷歌目前90%以上的人工智能训练工作都使用这些芯片。PC版：https://www.cnbeta.com.tw/articles/soft/1353147.htm手机版：https://m.cnbeta.com.tw/view/1353147.htm

谷歌公布新一代AI超算 称比英伟达A100更快、更节能

谷歌公布新一代AI超算称比英伟达A100更快、更节能目前，谷歌TPU已经进入第四代。谷歌公司在周二发布了一篇科学论文，详细介绍了如何利用自己开发的定制光开关将4000多个芯片连接成一个超级计算机。对于构建AI超级计算机的公司来说，改善这些连接已经成为竞争的关键点，因为所谓的大规模语言模型正在不断增大，已无法在单个芯片上存储，而这些模型正驱动着谷歌的Bard或OpenAI的ChatGPT等技术。这类模型必须分布在成千上万的芯片之间，然后这些芯片要在数周或更长时间内协同工作来训练模型。谷歌的PaLM模型，是迄今为止公开披露的最大语言模型，它通过分布在两台4000芯片的超级计算机上进行了50天的训练。谷歌表示，其超级计算机可以轻松地动态重新配置芯片之间的连接，有助于避免故障并进行性能优化。“电路交换使得我们能够轻松避开故障组件，”谷歌高级研究员NormJouppi和谷歌杰出工程师DavidPatterson在一篇关于该系统的博客文章中写道。“这种灵活性甚至使我们能够改变超级计算机互联网络的拓扑结构，以加速ML（机器学习）模型的性能。”虽然谷歌直到现在才公开其超级计算机的详细信息，但它自2020年以来就已经在俄克拉荷马州梅斯县的数据中心内运行。谷歌表示，初创公司Midjourney使用该系统来训练其模型，该模型在输入几个词的文本后可以生成新的图像。谷歌在论文中表示，与相同规模的系统相比，它的超级计算机比基于英伟达A100芯片的系统更快1.7倍，更节能1.9倍。据了解，A100芯片早于第四代TPU面市。谷歌表示，它没有将第四代TPU与英伟达当前旗舰H100芯片进行比较，因为H100是在谷歌这款芯片应用后上市的，并且采用了更新的技术。谷歌暗示正在研发一款新的TPU，将与英伟达H100竞争，但没有提供详细信息。Jouppi告诉媒体，谷歌有“充足的未来芯片储备”。...PC版：https://www.cnbeta.com.tw/articles/soft/1353045.htm手机版：https://m.cnbeta.com.tw/view/1353045.htm

谷歌宣布新的人工智能处理芯片和云 “超级计算机”

谷歌宣布新的人工智能处理芯片和云“超级计算机”据科技新闻网站Engadget报道，谷歌已经宣布创建其最强大的TPU(正式名称为张量处理单元)，CloudTPUv5p，以及来自谷歌云的人工智能超级计算机。CloudTPUv5p是一个人工智能加速器，训练和服务模型。CloudTPUv5p是在之前的版本（如v5e和v4）基础上进行的改进。根据谷歌的说法，与TPUv4相比，TPUv5p的浮点运算性能（FLOPs）提升了两倍，每个机架的FLOPs性能扩展性提高了四倍。此外，它训练LLM模型的速度比TPUv4快2.8倍，嵌入密集模型的速度比TPUv4快1.9倍。而新的人工智能超级计算机，包括一个集成系统，具有开放软件、性能优化硬件、机器学习框架和灵活的消费模型。其想法是，与单独看待每个部分相比，这种合并将提高生产力和效率。

特斯拉已经开始生产Dojo超级计算机 训练其自动驾驶车队

特斯拉已经开始生产Dojo超级计算机训练其自动驾驶车队该公司在报告中表示：“我们正在内部开发这些支柱。本月，我们开始生产我们的道场训练计算机，这是向更快更便宜的神经网络训练迈出的一步。”特斯拉已经拥有一个基于英伟达GPU的超级计算机，它是世界上最强大的计算机之一，但新的道场定制计算机使用了特斯拉设计的芯片。2019年，特斯拉首席执行官埃隆·马斯克给这台“超强大的训练计算机”起了一个名字：道场（Dojo）。此前，马斯克曾声称，道场将能够达到每秒一亿亿次（1018）浮点运算。这是一种难以置信的能力。“要想匹配一台每秒可执行一亿亿次浮点运算的计算机系统所能做的事情，你必须每秒进行一次计算，持续31688765000年”，《网络世界》（NetworkWorld）写道。在2021年的特斯拉AI日（AIDay），道场仍然是一个进行中的项目。高管们展示了其第一块芯片和训练模组（trainingtiles），这些模组最终将发展成一个完整的道场集群或“超级节点”。特斯拉表示，它将在一个托盘中组合2x3个模组，并在一个计算机柜中放置两个托盘，每个柜子可提供超过100petaflops（每秒1015次浮点运算）的计算能力。在一个由10个柜子组成的系统中，特斯拉的道场超级节点将突破每秒一亿亿次浮点运算的计算能力。一年后，在2022年的AI日上，特斯拉展示了道场的一些进展，包括拥有一个完整的系统托盘。当时，特斯拉谈到了在2023年初拥有一个完整的集群。不过现在看来，可能要到2024年初才能实现。...PC版：https://www.cnbeta.com.tw/articles/soft/1372013.htm手机版：https://m.cnbeta.com.tw/view/1372013.htm

谷歌发布AI语言模型PaLM 2 挑战OpenAI的GPT-4

谷歌发布AI语言模型PaLM2挑战OpenAI的GPT-4皮查伊称：“PaLM2在逻辑和推理方面进行了广泛的训练，具有极强的逻辑和推理能力。同时，它还接受了多语言文本训练，支持100多种语言。谷歌在2022年4月首次发布了PaLM语言模型。谷歌高级研究总监斯拉夫·彼得罗夫（SlavPetrov）称，最新的PaLM2在一系列基于文本的任务上表现更好，包括推理、编码和翻译等。他说：“与PaLM1相比，PaLM2有了显著提升。”对于PaLM2，谷歌工程师在一份研究论文中称，该系统的语言熟练程度“足以教授这门语言”。与其他大型语言模型一样，PaLM2与其说是一款单一产品，不如说是一系列产品。它拥有不同的版本，可部署在消费者和企业环境中。确切而言，PaLM2分为四种规格，从小到大依次为Gecko、Otter、Bison和Unicorn，依据特定领域的数据进行了微调，以执行企业客户的特定任务。其中，体积最小的Gecko可以在手机上运行，每秒可处理20个Token，大约相当于16或17个单词。谷歌还称，PaLM2已被用于支持自家的25项功能和产品，其中包括AI聊天机器人Bard，以及谷歌文档、幻灯片和工作表等。...PC版：https://www.cnbeta.com.tw/articles/soft/1359045.htm手机版：https://m.cnbeta.com.tw/view/1359045.htm

传特斯拉增加台积电代工订单 扩产D1超级计算机芯片

传特斯拉增加台积电代工订单扩产D1超级计算机芯片特斯拉使用Dojo超级计算机训练高级驾驶辅助系统和完全自动驾驶系统的人工智能模型。随着FSD、自动驾驶出租车和Optimus机器人等项目的推出，Dojo超级计算机对公司运营的贡献可能会更大。特斯拉增加DojoD1芯片订单也有助于台积电。据报道，台积电与特斯拉的交易使得与高性能计算相关的订单有所增加。虽然特斯拉和台积电都没有对此事发表评论，但业内已经公开知晓这两家公司的业务关系。随着Dojo超级计算机的加入，特斯拉或许能够减少对英伟达GPU芯片产品的依赖。特斯拉一直是英伟达的重要客户，有报道称特斯拉最近启用了一款新的超级计算机，搭载了1万块英伟达H100GPU芯片。这个系统耗资约3亿美元，将用于各种人工智能应用。特斯拉人工智能官方账号在社交媒体X上发布了一系列关于Dojo超级计算机的帖子，展现了其宏大目标。特斯拉表示，Dojo超级计算机于2022年7月开始投产，并预计到2024年1月，其算力将进入世界前五。到2024年10月，特斯拉预计Dojo超级计算机将拥有每秒百亿亿次（100Exa-flop）的计算能力。...PC版：https://www.cnbeta.com.tw/articles/soft/1386321.htm手机版：https://m.cnbeta.com.tw/view/1386321.htm