CPU推理提升4到5倍,苹果用闪存加速大模型推理,Siri 2.0要来了? #抽屉IT

None

相关推荐

封面图片

Transformer后继有模!MSRA提出全新大模型基础架构:推理速度8倍提升,内存占用减少70% #抽屉IT

封面图片

苹果 Siri 团队内幕曝光:挣扎、斗争、重组 #抽屉IT

封面图片

OpenAI大模型GPT-5要来了!“提升很大”

OpenAI大模型GPT-5要来了!“提升很大” “它的性能非常棒,提升很大。”一位看过GPT-5大模型演示的CEO表示。该CEO表示,OpenAI使用他的公司独有的用例和数据展示了GPT-5。他说,OpenAI还提到了该模型尚未发布的其他功能,包括调用OpenAI正在开发的AI代理来自主执行任务。企业客户向OpenAI付费使用增强版ChatGPT。随着OpenAI拓展业务,其CEO山姆·奥特曼(Sam Altman)打造自己不断壮大的AI帝国,面向企业客户的销售成为了OpenAI的主要收入来源。不过,OpenAI尚未设定GPT-5的发布日期,这意味着公司内部对于这款大模型的发布时间预期可能会发生变化。据知情人士透露,OpenAI仍在训练GPT-5。在训练完成后,OpenAI将在内部对GPT-5进行安全测试,并进一步进行“红队”测试。在“红队”测试过程中,OpenAI员工和一些通常经过精选的外部人员会以各种方式对该工具进行挑战,以便在其向公众发布之前发现问题。知情人士指出,目前还没有GPT-5完成安全测试的具体时间表,所以该模型的发布日期可能会因为这一过程而推迟。GPT-4退化一年前,OpenAI针对ChatGPT发布了最后一次重大更新,该聊天机器人目前使用的是GPT-4大模型。OpenAI称,GPT-4的响应比之前的GPT-3要快得多,准确得多。OpenAI在2023年晚些时候发布了更强大的GPT-4 Turbo模型,以解决一个被称为“懒惰”的问题,因为该模型有时会拒绝回答提示问题。像GPT-4这样的大语言模型是通过从网络上收集的大量数据进行训练的,以权威的语调回应用户提示,呈现出类似人类语言模式的特点。这种语调以及所提供信息的质量可能会受到训练数据的影响,具体取决于OpenAI在开发和维护工作中所使用的数据更新或其他变化。目前,社交媒体Reddit上的几个论坛一直在抱怨GPT-4的退化和ChatGPT的糟糕输出。知情人士透露,OpenAI内部人士希望GPT-5更加可靠,给公众和企业客户留下深刻印象。与此同时,OpenAI还卷入了版权诉讼中。从技术上讲,AI模型的许多最关键训练数据都归版权所有者所有。OpenAI和许多其他科技公司都反对更新联邦法规,以限制大模型如何获取和使用这些材料。目前,OpenAI正在应对《纽约时报》等数据版权所有者发起的诉讼。截至发稿,OpenAI发言人尚未就此置评。 ... PC版: 手机版:

封面图片

Intel发布Gaudi 3 AI加速器:4倍性能提升、无惧1800亿参数大模型

Intel发布Gaudi 3 AI加速器:4倍性能提升、无惧1800亿参数大模型 数据显示,预计到2030年,全球半导体市场规模将达1万亿美元,AI是主要推动力,不过在2023年,只有10%的企业能够成功将其AIGC项目产品化。Intel的最新解决方案,有望帮助企业应对推广AI项目时所面临的挑战,加速实现AIGC落地商用。Intel现有的Gaudi 2诞生于2022年5月,并于2023年7月正式引入中国,拥有极高的深度学习性能、效率,以及极高的性价比。它采用台积电7nm工艺制造,集成24个可编程的Tenor张量核心(TPC)、48MB SRAM缓存、21个10万兆内部互连以太网接口(ROCEv2 RDMA)、96GB HBM2E高带宽内存(总带宽2.4TB/s)、多媒体引擎等,支持PCIe 4.0 x16,最高功耗800W,可满足大规模语言模型、生成式AI模型的强算力需求。新一代的Gaudi 3面向AI训练和推理,升级为台积电5nm工艺,带来了2倍的FP8 AI算力、4倍的BF16 AI算力、2倍的网络带宽、1.5倍的内存带宽。对比NVIDIA H100,它在流行LLM上的推理性能领先50%、训练时间快40%。Gaudi 3预计可大幅缩短70亿和130亿参数Llama2模型、1750亿参数GPT-3模型的训练时间。在Llama 70亿/700亿参数、Falcon 1800亿参数大型语言模型上,Gaudi 3的推理吞吐量和能效也都非常出色。Gaudi 3提供多种灵活的形态,包括OAM兼容夹层卡、通用基板、PCIe扩展卡,满足不同应用需求。Gaudi 3提供开放的、基于社区的软件,以及行业标准以太网网络,可以灵活地从单个节点扩展到拥有数千个节点的集群、超级集群和超大集群,支持大规模的推理、微调和训练。Gaudi 3 AI加速器具备高性能、经济实用、节能、可快速部署等优点,能够充分满足复杂性、成本效益、碎片化、数据可靠性、合规性等AI应用需求。Gaudi 3将于2024年第二季度面向OEM厂商出货,包括戴尔、慧与、联想、超威等。目前,Intel Gaudi加速器的行业客户及合作伙伴有NAVER、博世(Bosch)、IBM、Ola/Krutrim、NielsenIQ、Seekr、IFF、CtrlS Group、Bharti Airtel、Landing AI、Roboflow、Infosys,等等。此外,Intel还宣布联合Anyscale、DataStax、Domino、Hugging Face、KX Systems、MariaDB、MinIO、Qdrant、RedHat、Redis、SAP、SAS、VMware、Yellowbrick、Zilliz等伙伴,共同创建一个开放平台,助力企业推动AI创新。该计划旨在开发开放的、多供应商的AIGC系统,通过RAG(检索增强生成)技术,提供一流的部署便利性、性能和价值。初始阶段,Intel将利用至强处理器、Gaudi加速器,推出AIGC流水线的参考实现,发布技术概念框架,并继续加强Intel Tiber开发者云平台基础设施的功能。 ... PC版: 手机版:

封面图片

用KV缓存加速GPT模型的推理过程,用KV(Key-Value)缓存来提高Transformer模型推理的速度 |

封面图片

因果推理效果比肩ChatGPT,封神榜推出燃灯模型 #抽屉IT

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人