为了让 LLM 记住更多、记得更好,研究者们正在不断努力。最近,来自 MIT、Meta AI、CMU 的研究者提出了一种名为「S

为了让 LLM 记住更多、记得更好,研究者们正在不断努力。最近,来自 MIT、Meta AI、CMU 的研究者提出了一种名为「StreamingLLM」的方法,使语言模型能够流畅地处理无穷无尽的文本。 StreamingLLM 的工作原理是识别并保存模型固有的「注意力池」(attention sinks)锚定其推理的初始 token。结合最近 token 的滚动缓存,StreamingLLM 的推理速度提高了 22 倍,而不需要牺牲任何的准确性。短短几天,该项目在 GitHub 平台已斩获 2.5K 星。 ||

相关推荐

封面图片

作为 2024 开年王炸,Sora 的出现树立了一个全新的追赶目标,每个文生视频的研究者都想在最短的时间内复现 Sora 的效果

作为 2024 开年王炸,Sora 的出现树立了一个全新的追赶目标,每个文生视频的研究者都想在最短的时间内复现 Sora 的效果。 最近,新加坡国立大学尤洋团队开源的一个名为 OpenDiT 的项目为训练和部署 DiT 模型打开了新思路。 OpenDiT 是一个易于使用、快速且内存高效的系统,专门用于提高 DiT 应用程序的训练和推理效率,包括文本到视频生成和文本到图像生成。 |

封面图片

【香港大学等机构研究者推出开源智能体框架OpenAgents,功能与ChatGPTPlus近似】

【香港大学等机构研究者推出开源智能体框架OpenAgents,功能与ChatGPTPlus近似】 来自香港大学、XLang 实验室、Sea AI 实验室和 Salesforce 的研究者近日联合打造了一款用于真实世界生产力工具的开源智能体框架 OpenAgents,并开源了全栈代码。据悉,OpenAgents 用基于「大语言模型」(LLMs)的技术和全栈工程代码尝试近似复刻了 ChatGPT Plus 的功能,既能执行 Python/SQL 代码,熟练调用工具,也能上网找地图发帖子。 快讯/广告 联系 @xingkong888885

封面图片

22日,记者从哈尔滨工业大学(深圳)获悉,该校空间科学与应用技术研究院教授袁丁及其合作研究者首次观测到电磁波(光波)动态传播,证

22日,记者从哈尔滨工业大学(深圳)获悉,该校空间科学与应用技术研究院教授袁丁及其合作研究者首次观测到电磁波(光波)动态传播,证实太阳日冕的特殊结构以及行星等大型天体可作为电磁信号放大器,或可实现星际间通讯或者能量传输。相关研究成果发表在《自然·通讯》上。据了解,该研究将为国家重大科技基础设施“空间环境地面模拟装置”提供理论依据和数值模型基础。 via 匿名 标签: #电磁波 频道: @GodlyNews1 投稿: @GodlyNewsBot

封面图片

最近经常见到的一个问题:“国产 AI 什么时候能追上国外?” 其实在我的视线范围内,华人研究者在这个领域贡献了快一半以上的研究成

最近经常见到的一个问题:“国产 AI 什么时候能追上国外?” 其实在我的视线范围内,华人研究者在这个领域贡献了快一半以上的研究成果,而且 AI 开源社区里非常核心的技术方案:ControlNet, AnimateDiff, LCM, IPAdapter, InstantID.. 清一色的都是华人作者,而且都很年轻。世界不是一个离我们很远的舞台,我们就是舞台中重要的一部分。

封面图片

TLDR: MIT 的研究者制造出了一种纸一样薄的扬声器。它使用压电材料作为振动源,并通过让这些压电材料形成小的穹顶形状来让它们

TLDR: MIT 的研究者制造出了一种纸一样薄的扬声器。它使用压电材料作为振动源,并通过让这些压电材料形成小的穹顶形状来让它们自由振动。这种扬声器耗电比普通扬声器低一个数量级,声音保真度好,加工简单适合大规模生产。 演示视频:

封面图片

【这是GPT-4变笨的新解释变笨的本质是知识没进脑子?】在最近的一篇论文中,加州大学圣克鲁斯分校研究者的新发现或可解释 GPT-

【这是GPT-4变笨的新解释变笨的本质是知识没进脑子?】在最近的一篇论文中,加州大学圣克鲁斯分校研究者的新发现或可解释 GPT-4 性能下降的深层原因:LLM在「见过的」任务上表现出色,而在新任务上则表现糟糕。这意味着,LLM只是基于近似检索的模仿智能方法,主要是记忆东西,而没有任何程度的理解。 #抽屉IT

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人