谷歌公布其训练 PaLM 模型的超级计算机细节

谷歌公布其训练 PaLM 模型的超级计算机细节 谷歌的 PaLM 模型是迄今为止其公开披露的最大的语言模型，谷歌通过将其分割到由 4,000 个芯片组成的两台超级计算机上，历时 50 天训练而成。此外，Midjourney 也使用该系统来训练其模型。谷歌称，对于同等规模的系统，采用这些芯片比基于英伟达 A100 芯片的系统快 1.7 倍，省电 1.9 倍。但谷歌没有与英伟达目前的旗舰产品 H100 芯片进行比较，因为 H100 是在谷歌的芯片之后上市的，而且是用更新的技术制造的。来源 ， 来自：雷锋 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot

英特尔在整个CPU和GPU产品组合中为微软Phi-3 AI模型做好了准备

英特尔在整个CPU和GPU产品组合中为微软Phi-3 AI模型做好了准备 在讨论细节之前，我们先来看看微软的 Phi-3 开放模型系列。该公司的新 GenAI 模型侧重于在更小、更高效的层面上提供功能，偏离了行业规范。有了Phi-3，我们可以看到小语言模型（SLM）的出现，它是处理能力有限的低功耗设备的理想选择。英特尔已成为首批在其产品阵容中支持 SLM 的硬件制造商之一，现在英特尔的 Gaudi AI 加速器、至强和酷睿 Ultra CPU 以及英特尔的 Arc GPU（独立和集成）都已优化，以支持微软的 Phi-3 型号。英特尔公司副总裁兼数据中心与人工智能软件部总经理 Pallavi Mahajan 介绍说："我们利用业内最新的人工智能模型和软件，为客户和开发人员提供强大的人工智能解决方案。与人工智能软件生态系统中的其他领导者（如微软）积极合作，是让人工智能无处不在的关键。我们很荣幸能与微软密切合作，确保英特尔硬件（涵盖数据中心、边缘和客户端）积极支持几种新的Phi-3模型。"微软发布了多个 Phi-3 GenAI 模型，并根据各自的参数进行了分类。这些型号包括迷你型、小型和中型；有趣的是，英特尔展示了其所有开放型号产品的性能。从英特尔第六代至强 CPU（Granite Rapids）开始，该公司对 Phi-3 中型 4k 和 128k 变体进行了基准测试，与第五代至强（Emerald Rapids）相比，该平台的性能提高了 2 倍。谈到英特尔的酷睿Ultra CPU平台，该公司表示，Phi-3型号将催化边缘人工智能进程，并将提供"个性化和响应速度"等多项优势。为此，该公司用英特尔酷睿 Ultra 7 165H 对 Phi-3 mini 机型进行了测试，板载的独立 GPU 为 Arc A770，基准测试确实显示出令人印象深刻的性能和词元生成延迟。微软Phi-3人工智能模型的首次亮相确实将为个性化人工智能计算时代打开新的大门，而凭借现代处理器所拥有的性能，运行这样的模型完全不是问题。 ... PC版： 手机版：

戴尔、超微为 xAI 超级计算机提供服务器机架

戴尔、超微为 xAI 超级计算机提供服务器机架 总部位于旧金山的超微证实了与 xAI 的合作，该公司以与 Nvidia 等芯片公司关系密切及其液冷技术而闻名。戴尔首席执行官迈克尔·戴尔也在 X 上的另一篇帖子中表示，该公司正在与人工智能巨头 Nvidia 合作建立一个“AI 工厂”，为 xAI 的下一个版本的聊天机器人 Grok 提供动力。据5 月份报道，马斯克告诉投资者，他的人工智能初创公司 xAI 计划建造一台超级计算机，为其下一代人工智能聊天机器人 Grok 提供动力。训练 xAI 的 Grok 等人工智能模型需要数万块芯片，而这些芯片供不应求。今年早些时候，马斯克表示，训练 Grok 2 模型需要大约 20000 个 Nvidia H100 图形处理单元 （GPU），并补充说，Grok 3 模型及以后的模型将需要 100000 个 Nvidia H100 芯片。据《Information》报道，马斯克表示，他希望在 2025 年秋季之前让这台计划中的超级计算机投入运行。马斯克去年创立了 xAI，作为微软支持的 OpenAI 和 Alphabet 旗下谷歌的挑战者。马斯克也是 OpenAI 的联合创始人。 ... PC版： 手机版：

| #指南本项目是一个围绕开源大模型、针对国内初学者、基于 AutoDL 平台的中国宝宝专属大模型教程，针对各类开源大模型提供包

| #指南 本项目是一个围绕开源大模型、针对国内初学者、基于 AutoDL 平台的中国宝宝专属大模型教程，针对各类开源大模型提供包括环境配置、本地部署、高效微调等技能在内的全流程指导，简化开源大模型的部署、使用和应用流程，让更多的普通学生、研究者更好地使用开源大模型，帮助开源、自由的大模型更快融入到普通学习者的生活中。 本项目的主要内容包括： 基于 AutoDL 平台（可扩展，例如阿里云）的开源 LLM 环境配置指南，针对不同模型要求提供不同的详细环境配置步骤； 针对国内外主流开源 LLM 的部署使用教程，包括 LLaMA、ChatGLM、InternLM 等； 开源 LLM 的部署应用指导，包括命令行调用、在线 Demo 部署、LangChain 框架集成等； 开源 LLM 的全量微调、高效微调方法，包括分布式全量微调、LoRA、ptuning 等。 本项目适合以下学习者： 想要使用或体验 LLM，但无条件获得或使用相关 API； 希望长期、低成本、大量应用 LLM； 对开源 LLM 感兴趣，想要亲自上手开源 LLM； NLP 在学，希望进一步学习 LLM； 希望结合开源 LLM，打造领域特色的私域 LLM； 以及最广大、最普通的学生群体。

直到去年，Meta在处理AI工作负载时，主要使用的还是CPU。CPU是计算机的主力芯片，几十年来数据中心用的也是CPU，但它在A

直到去年，Meta在处理AI工作负载时，主要使用的还是CPU。CPU是计算机的主力芯片，几十年来数据中心用的也是CPU，但它在AI工作上表现并不佳。 据悉，Meta还曾自研芯片，在内部设计的定制芯片上进行推理。 但在2021年，Meta还是失望地发现，比起GPU，这种双管齐下的方法速度更慢、效率更低。而且GPU在运行不同类型的模型上，远比Meta的芯片更灵活。 标签: #Meta #AI 频道: @GodlyNews1 投稿: @Godlynewsbot

富士通发布"Fugaku-LLM" 在超级计算机"富岳"上训练的日语增强大语言模型

富士通发布"Fugaku-LLM" 在超级计算机"富岳"上训练的日语增强大语言模型 理化学研究所的超级计算机 Fugaku为了在 Fugaku 上训练大型语言模型，研究人员开发了分布式训练方法，包括将深度学习框架 Megatron-DeepSpeed 移植到 Fugaku，以优化变形金刚在 Fugaku 上的性能。他们加速了 Transformers 的密集矩阵乘法库，并通过结合三种并行化技术优化了 Fugaku 的通信性能，还加速了 Tofu 互联 D 上的集体通信库。Fugaku-LLM 有 130 亿个参数，比日本广泛开发的 70 亿个参数模型更大。Fugaku-LLM 增强了日语能力，在日语 MT-Bench 中平均得分 5.5，是使用日本原始数据训练的开放模型中最高的。特别是人文和社会科学任务的基准性能达到了 9.18 分的惊人高分。Fugaku-LLM 是在 CyberAgent 收集的日语专有数据、英语数据和其他数据的基础上进行训练的。Fugaku-LLM 的源代码可在 GitHub 上获取，模型可在 Hugging Face 上获取。只要用户遵守许可证，Fugaku-LLM 可用于研究和商业目的。未来，随着更多研究人员和工程师参与改进模型及其应用，训练效率将得到提高，从而实现下一代创新研究和商业应用，例如科学模拟与生成式人工智能的联动，以及拥有成千上万人工智能的虚拟社区的社会模拟。研究背景近年来，大型语言模型（LLM）的发展十分活跃，尤其是在美国。其中，由 OpenAI 开发的 ChatGPT(6) 的迅速普及，对研发、经济体系和国家安全产生了深远影响。除美国外，其他国家也在本国投入大量人力和计算资源开发 LLM。日本也需要确保用于人工智能研究的计算资源，以免在这场全球竞赛中落后。人们对日本的旗舰超级计算机系统"Fugaku"寄予厚望，因此有必要改善在"Fugaku"上进行大规模分布式培训的计算环境，以满足这些期望。因此，东京工业大学、东北大学、富士通公司、理化学研究所、名古屋大学、CyberAgent 和 Kotoba Technologies 启动了一项关于开发大型语言模型的联合研究项目。各机构/公司的作用东京工业大学：大型语言模型的总体监督、并行化和通信加速（通过三种并行化组合优化通信性能，加速 Tofu 互联 D 上的集体通信）东北大学收集训练数据和选择模型富士通加速计算和通信（加速 Tofu 互联 D 上的集体通信、优化流水线并行化的性能）以及实施预训练和训练后微调理化学研究所：大规模语言模型的分布式并行化和通信加速（Tofu 互联 D 上的集体通信加速）名古屋大学研究 Fugaku-LLM 在 3D 生成式人工智能中的应用方法CyberAgent：提供训练数据Kotoba Technologies：将深度学习框架移植到 Fugaku未来发展这项研究的成果将通过 GitHub 和 Hugging Face 公开，以便其他研究人员和工程师可以利用这些成果进一步开发大型语言模型。只要用户遵守许可协议，Fugaku-LLM 可用于研究和商业目的。从 2024 年 5 月 10 日起，Fugaku-LLM 还将通过富士通研究门户网站提供给用户。未来，随着越来越多的研究人员和工程师参与到模型及其应用的改进中来，训练的效率将得到提高，从而实现下一代创新研究和商业应用，例如科学模拟与生成式人工智能的联系，以及拥有成千上万人工智能的虚拟社区的社会模拟。本研究得到了 Fugaku 政策支持提案"利用 Fugaku 开发大型语言模型的分布式并行训练"（提案号：hp230254）的支持。 ... PC版： 手机版：