前不久,麻省理工 Guangxuan Xiao 等人推出的 StreamingLLM能够在不牺牲推理速度和生成效果的前提下实现多

前不久,麻省理工 Guangxuan Xiao 等人推出的 StreamingLLM能够在不牺牲推理速度和生成效果的前提下实现多轮对话总共 400 万个 token 的流式输入,22.2 倍的推理速度提升。 但 StreamingLLM 使用原生 PyTorch 实现,对于多轮对话推理场景落地应用的低成本、低延迟、高吞吐等需求仍有优化空间。 因此,知名 AI 框架 Colossal-AI 开源了 ,基于 TensorRT 实现了 StreamingLLM,可以 进一步提升大模型推理性能 46%,为多轮对话推理提供了高效可靠的落地方案。

相关推荐

封面图片

麻省理工学院研究人员开发出对图像质量影响最小的超快速图像生成方法

麻省理工学院研究人员开发出对图像质量影响最小的超快速图像生成方法 图像生成人工智能通常采用一种称为扩散的过程,通过几个采样步骤来完善视觉输出,以达到最终希望"逼真"的结果。研究人员表示,扩散模型可以生成高质量的图像,但需要数十次前向传递。Adobe 研究中心和麻省理工学院的专家们正在引入一种名为"分布匹配蒸馏"(DMD)的技术。这一程序将多步扩散模型简化为一步图像生成解决方案。由此产生的模型可以生成与Stable Diffusion 1.5 等"传统"扩散模型相当的图像,但速度要快上几个数量级。"我们的核心理念是训练两个扩散模型,不仅能估计目标真实分布的得分函数,还能估计假分布的得分函数。"研究人员称,他们的模型可以在现代 GPU 硬件上每秒生成 20 幅图像。上面的视频短片重点介绍了 DMD 与 Stable Diffusion 1.5 相比的图像生成能力。标清每幅图像需要 1.4 秒,而 DMD 只需几分之一秒就能生成类似的图像。虽然在质量和性能之间有所权衡,但最终结果仍在普通用户可接受的范围之内。该团队发表的关于新渲染方法的文章展示了使用 DMD 生成图像结果的更多示例。它比较了稳定扩散和 DMD,同时提供了生成图像的重要文字提示。主题包括通过虚拟数码单反相机镜头取景的一只狗、多洛米蒂山脉、森林中一只神奇的鹿、一只鹦鹉宝宝的 3D 渲染、独角兽、胡须、汽车、猫,甚至更多的狗。分布匹配蒸馏法并不是第一种用于生成人工智能图像的单步方法。Stability AI 公司开发了一种被称为逆向扩散蒸馏(ADD)的技术,用于实时生成 100 万像素的图像。该公司通过 ADD 训练其 SDXL Turbo 模型,在单个 NVIDIA A100 AI GPU 加速器上实现了仅 207 毫秒的图像生成速度。Stability 的 ADD 采用了与麻省理工学院的 DMD 类似的方法。 ... PC版: 手机版:

封面图片

AMIE是一个基于大语言模型(LLM)的研究型AI系统,用于医学诊断推理和对话。它通过真实世界的数据集进行训练,包括医学推理、医

AMIE是一个基于大语言模型(LLM)的研究型AI系统,用于医学诊断推理和对话。它通过真实世界的数据集进行训练,包括医学推理、医学总结和真实世界的临床对话。 AMIE使用了一种新的自弈仿真对话学习环境,可以在大量的疾病条件、专科和患者环境下提高诊断对话的质量。 研究人员设计了一项随机双盲交叉研究,使用经验证的患者角色扮演者通过在线多轮同步文本聊天与执业医生或AMIE系统进行虚拟远程客观结构化临床考试(OSCE)。 在149个不同科室的病例中,与20名初级保健医生相比,AMIE在诊断准确性和咨询质量的多个方面表现更好,从专科医生和患者角色的视角看是这样。 AMIE作为辅助工具可显著提高临床医生解决复杂病例的诊断准确率,但AMIE有一定局限性,这项研究应谨慎解释,不能代表日常临床实践。需要更多研究来实现安全可靠的AI系统。 临床专业知识仍然短缺,AMIE是探索AI系统与熟练临床医生相当属性的未来愿景的尝试,但还需要大量科学研究。

封面图片

《小爱同学 2.0.0.231.zip》

《小爱同学 2.0.0.231.zip》 简介:小米推出的智能语音助手升级版本,集成先进AI技术提升交互体验,支持语音指令控制智能设备、信息查询及生活服务。此次更新优化了响应速度和多轮对话能力,适配更多IoT产品。 亮点:强化自然语言理解模块,新增方言识别功能;深度融入米家生态链,可跨平台协同操作;界面设计更简洁,隐私保护机制升级。 标签: #智能语音助手#AI交互#小米生态#智能家居#多设备协同#隐私安全#版本更新 更新日期:2025-04-17 04:08:52 链接:https://pan.quark.cn/s/df169c64ee57

封面图片

科大讯飞:明日发布星火认知 AI 大模型 V1.5,同步上线配套 App

科大讯飞:明日发布星火认知 AI 大模型 V1.5,同步上线配套 App 科大讯飞发布公告,宣布该公司将在 6 月 9 日 14 点召开“讯飞星火认知大模型 V1.5 发布会”,会中将介绍 “讯飞星火认知大模型”的新进展,并发布配套“星火”App 及“星火助手中心”。 据介绍,“讯飞星火认知大模型”V1.5 开放式问答取得了一定突破,多轮对话和数学能力得到了升级,此外,模型的“文本生成”、“语言理解”、“逻辑推理能力”都得到了持续提升。 科大讯飞表示,星火认知大模型在学习、医疗、工业、办公等领域进一步的商业落地成果将在发布会中同时公布。同时,该公司还将推出星火 App,提升手机端交互体验。并推出星火助手中心,打造“覆盖工作及生活场景的快捷助手”,“开启人机协作共创的新生态”。 官方表示,从公司星火大模型内测到发布以来,获得市场认可,“中文已超越 ChatGPT”,在“国内大模型中遥遥领先”,同时其在应用方面,公司拥有教育、医疗、金融、汽车等行业数据积累,并有望通过 AI 模型接入提升项目或单品客单价。 来自:雷锋 频道:@kejiqu 群组:@kejiquchat 投稿:@kejiqubot

封面图片

iOS 18首个正式版无缘:曝苹果AI Siri跳票至2025年

iOS 18首个正式版无缘:曝苹果AI Siri跳票至2025年 公开资料显示,从2011年到现在,苹果Siri基本没有太大变化,除了呼出指令从“hey Siri”简化为“Siri”之外,很难从体验上给予用户新鲜感。Siri的智能化程度相当有限,但随着AI时代的到来,苹果将会基于类似于ChatGPT一样的自然语言模型实现全新的智能助理,让用户能够与Siri展开多轮对话。据悉,苹果工程师团队需要大量时间来重构Siri的底层,因为苹果不会在WWDC上介绍Siri的各项全新功能。按照苹果规划,2025年的iOS 18将会内置更高级的AI Siri,届时Siri的响应生成能力会有大幅提升,它将深度理解用户的需求,智能整合联系人、公司、日程活动、地点、日期等信息,让对话和工作更加自然、高效。 ... PC版: 手机版:

封面图片

SQL-GPT 是一款强大的工具,它能够通过简单的文字描述,自动生成符合要求的 SQL 查询语句。无论你是在快速生成复杂查询还是

SQL-GPT 是一款强大的工具,它能够通过简单的文字描述,自动生成符合要求的 SQL 查询语句。无论你是在快速生成复杂查询还是与数据库进行交互,SQL_GPT 都能够显著提升你的效率和工作流程。 功能列表 自动生成 SQL 查询: 只需简单的文字描述,工具将自动生成符合要求的 SQL 查询语句。 错误修正建议: 在查询存在错误时,工具会提供智能的修正建议,快速解决问题。 数据库连接管理: 轻松配置和管理多个数据库连接,直接在工具内执行生成的 SQL 查询。 多数据库兼容: 工具兼容多种主流数据库系统,适用于不同项目的需求。 代理访问支持: 针对特定场景,可以通过系统代理来访问 GPT 服务。 多 API KEY 轮询:可设置多个备选 API KEY 来访问 GPT,提升稳定性。 SQL语句优化:通过GPT的能力根据数据库的结构进行SQL语句优化。 Java持久层SQL语句生成:结合SQL以及数据库结构信息来自动生成Java持久层语句,如:Mybatis。 多轮对话:通过多轮对话的方式来实现对生成SQL的不断优化。 对文件系统对话:通过引入向量数据库来完成对文件系统信息的整理,完整和文件系统的对话。 增加缓存操作来加速文件对话:通过引入多种的redis结构体来完成对向量数据库的访问加速。平均提高30%的查找速度、 数据自动可视化分析: 在通过数据库操作完数据之后,通过对数据进行分析来展示数据的基础信息。 | #工具

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人