英特尔推出性能超越英伟达 H100 的 Gaudi 3 AI 加速芯片

英特尔推出性能超越英伟达 H100 的 Gaudi 3 AI 加速芯片 英特尔 Vision 2024 大会的第二天，英特尔正式推出了 Gaudi 3 加速芯片。Gaudi 3 使用台积电 5nm 工艺制造，热设计功耗为 900W ，FP8 精度下的峰值性能为 1835 TFLOPS。英特尔称 Gaudi 3 在 16 个芯片组成的加速集群中以 FP8 精度训练 Llama2-13B 时比性能 H100 高出 1.7 倍。同时，英特尔预计 Gaudi 3 的推理性能将比 H200/H100 提高 1.3 倍到 1.5 倍，能效比将高 2.3 倍。英特尔已经向客户提供了样片，并将在第三季度正式批量交付。

前不久，麻省理工 Guangxuan Xiao 等人推出的 StreamingLLM能够在不牺牲推理速度和生成效果的前提下实现多

前不久，麻省理工 Guangxuan Xiao 等人推出的 StreamingLLM能够在不牺牲推理速度和生成效果的前提下实现多轮对话总共 400 万个 token 的流式输入，22.2 倍的推理速度提升。 但 StreamingLLM 使用原生 PyTorch 实现，对于多轮对话推理场景落地应用的低成本、低延迟、高吞吐等需求仍有优化空间。 因此，知名 AI 框架 Colossal-AI 开源了 ，基于 TensorRT 实现了 StreamingLLM，可以 进一步提升大模型推理性能 46%，为多轮对话推理提供了高效可靠的落地方案。

拜登政府计划阻止英伟达等出口高性能AI芯片 英伟达回应

拜登政府计划阻止英伟达等出口高性能AI芯片 英伟达回应 ================= 根据最新的规则，英伟达包括A800和H800在内的芯片对华出口都将受到影响。新规将在向公众征求30天意见后生效

英伟达 H100 (Hopper ) 首次亮相 MLPerf，测试结果刷新纪录

英伟达 H100 (Hopper ) 首次亮相 MLPerf，测试结果刷新纪录 北京时间 9 月 9 日，MLCommons 社区发布了最新的 MLPerf 2.1 基准测试结果，新一轮基准测试拥有近 5300 个性能结果和 2400 个功耗测量结果，分别比上一轮提升了 1.37 倍和 1.09 倍，MLPerf 的适用范围进一步扩大。 阿里巴巴、华硕、Azure、壁仞科技、戴尔、富士通、技嘉、H3C、HPE、浪潮、英特尔、Krai、联想、Moffett、Nettrix、Neural Magic、英伟达、OctoML、高通、SAPEON 和 Supermicro 均是本轮测试的贡献者。 其中，英伟达表现依然亮眼，首次携 H100 （又名 Hopper）参加 MLPerf 测试，并在所有工作负载中刷新世界纪录。这些测试结果表明，对于那些需要在高级 AI 模型上获得最高性能的用户来说，Hopper 是最优选择。 此外，NVIDIA A100 Tensor Core GPU 和用于 AI 机器人的 NVIDIA Jetson AGX Orin模块在所有 MLPerf 测试中继续表现出整体领先的推理性能，包括图像和语音识别自然语言处理和推荐系统。前文： 来自：雷锋 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot

全球首块英伟达H200 AI超级芯片交付 黄仁勋给OpenAI“送货上门”

全球首块英伟达H200 AI超级芯片交付 黄仁勋给OpenAI“送货上门” H200基于英伟达Hopper架构打造，并配备英伟达H200 Tensor Core GPU，处理速度为4.8TB/秒。H200拥有141GB的内存，与前代产品H100相比，H200的容量几乎翻了一番，运行大模型的综合性能相比前代H100提升了60%到90%。英伟达此前表示，H200在运行GPT-3时的性能，将比原始A100高出18倍，同时也比H100快11倍左右。值得一提的是，H200还将与H100兼容，使用H100训练/推理模型的AI企业，可以无缝更换成最新的H200芯片。 ... PC版： 手机版：

英伟达AI芯片为何领先？黄仁勋在股东大会上透露10多年前的押注

英伟达AI芯片为何领先？黄仁勋在股东大会上透露10多年前的押注 黄仁勋在英伟达股东大会的问答环节做出了上述评论。过去一年，英伟达股价累计飙升了200%以上，该公司在AI芯片市场的主导地位让华尔街备受鼓舞。最近，英伟达进行了1:10拆股，市值超过了3万亿美元，一度成为了世界上最具价值的上市公司。黄仁勋阐述了保持公司地位的总体战略，并没有点名竞争对手。他认为，英伟达业务已经从之前的聚焦游戏“转变为”专注于数据中心。该公司还在寻求为其AI创造新的市场，比如工业机器人，目标是与每一家电脑制造商和云提供商合作。他表示，英伟达AI芯片提供了“最低的总拥有成本”。言外之意就是，虽然其他芯片可能更便宜，但考虑到它们的性能和运行成本，英伟达的芯片更实惠。黄仁勋指出，英伟达最终实现了一个“良性循环”。这是科技行业中的一个术语，指的是当一个平台拥有最多用户时，它就能够进行必要的改进，从而吸引更多用户。“借助每一家主要云提供商和计算机制造商，英伟达的平台实现了广泛可用，为开发人员和客户创造了一个庞大而有吸引力的安装基础，这使得我们的平台对我们的客户更有价值。”他表示。英伟达股东对公司的表现感到满意，并批准了一项名为“薪酬话语权”的非约束性投票。目前，英伟达高管的薪酬由工资和各种限制性股票组成。英伟达年报显示，黄仁勋在2024财年获得了大约3400万美元的薪酬，较2023年增长了60%。 ... PC版： 手机版：