RAG(Retrieval Augmented Generation)是一种将检索到的信息作为上下文提供给大语言模型来产生回答的

(RetrievalAugmentedGeneration)是一种将检索到的信息作为上下文提供给大语言模型来产生回答的技术。它是2022年后最流行的大语言模型系统架构之一,有很多产品都是基于RAG构建的。LangChain和LlamaIndex是两个流行的开源RAG库。RAG由搜索和大语言模型提示组成,可以看作是搜索+大语言模型的结合。基本流程包括:将文本分块,用TransformerEncoder模型将这些块嵌入为向量,将向量放入索引,构造提示,让大语言模型基于检索到的上下文来回答用户查询。本文详细介绍和说明了RAG中的各种高级技术和算法,以及对这些技术的参考实现,旨在帮助开发者更深入地了解RAG技术。

相关推荐

封面图片

128k上下文+多语言+工具:Cohere开放企业级应用大模型Command R+

128k上下文+多语言+工具:Cohere开放企业级应用大模型Cohere推出CommandR+模型,一个为应对企业级工作负载而构建的最强大、最具可扩展性的大型语言模型(LLM)。-CommandR+首先在MicrosoftAzure上推出,旨在加速企业AI的采用。它加入了Cohere的R系列LLM,专注于在高效率和强准确性之间取得平衡,使企业能从概念验证走向生产。-CommandR+具有128ktoken的上下文窗口,旨在提供同类最佳的性能,包括:-先进的检索增强生成(RAG)和引用,以减少幻觉-支持10种关键语言的多语言覆盖,以支持全球业务运营-工具使用,以实现复杂业务流程的自动化-CommandR+在各方面都优于CommandR,在类似模型的基准测试中表现出色。-开发人员和企业可以从今天开始在Azure上访问Cohere的最新模型,很快也将在Oracle云基础设施(OCI)以及未来几周内的其他云平台上提供。CommandR+也将立即在Cohere的托管API上提供。-Atomicwork等企业客户可以利用CommandR+来改善数字工作场所体验,加速企业生产力。思考:-Cohere推出CommandR+,进一步丰富了其企业级LLM产品线,展现了其在企业AI市场的雄心和实力。与微软Azure的合作有望加速其企业客户的拓展。-CommandR+在CommandR的基础上进行了全面升级,128ktoken的上下文窗口、多语言支持、工具使用等特性使其能够胜任更加复杂多样的企业应用场景。这表明Cohere对企业需求有着深刻洞察。-RAG和引用功能有助于提高模型输出的可靠性,减少幻觉,这对于企业级应用至关重要。可以看出Cohere在兼顾性能的同时,也非常重视模型的可控性。-与微软、甲骨文等云计算巨头合作,使CommandR+能够在多个主流云平台上快速部署,降低了企业的采用门槛。这种开放的生态策略有利于加速其市场渗透。-Atomicwork等企业客户的支持表明CommandR+具有显著的商业价值。将LLM与企业数字化转型相结合,有望催生更多创新性的应用。-CommandR+的推出标志着Cohere在企业级AI市场的发力,其强大的性能和完善的生态有望帮助其在竞争中占据优势地位。不过,企业AI的落地仍面临数据安全、伦理合规等诸多挑战,Cohere还需要在这些方面持续投入。

封面图片

史料RAG:用向量数据库基于RAG(检索增强生成)方式搭建一个中国历史问答应用,这个应用接受用户的询问,从历史语料库中检索相关的

:用向量数据库基于RAG(检索增强生成)方式搭建一个中国历史问答应用,这个应用接受用户的询问,从历史语料库中检索相关的历史资料片段,利用大语言模型给出较为可靠的回答。相比于直接询问大模型,这种方式具有回答准确率高,不容易产生大模型的“幻觉”问题等优点。本项目实现了两种使用方式:“Milvus方案“在本地启动一个Milvus向量数据库的Docker服务,使用LlamaIndex框架和本地BAAI/bge-base-zh-v1.5Embedding模型实现RAG的业务逻辑。“ZillizCloudPipelines方案”使用云上的知识库检索服务ZillizCloudPipelines,该服务包括了RAG流程的文档切片、向量化、向量检索等功能。两种方案均使用OpenAI的GPT4作为大语言模型。

封面图片

Google全新大模型突然发布:百万上下文 仅靠提示学会新语言

Google全新大模型突然发布:百万上下文仅靠提示学会新语言现在仅仅中杯1.5Pro版就能越级打平上一代大杯1.0Ultra版,更是在27项测试中超越平级的1.0Pro。支持100万token上下文窗口,迄今为止大模型中最长,直接甩开对手一个量级。这还只是对外发布的版本,Google更是透露了内部研究版本已经能直冲1000万。现在Gemini能处理的内容,可换算成超过70万单词,或1小时视频、11小时音频、超过3万行代码。没错,这些数据模态Gemini1.5都已经内建支持。从今天起,开发者和客户就可以在VertexAPI或AIStudio申请试用。刚刚收到消息还在震惊中的网友们belike:还有人直接@了OpenAI的奥特曼,这你们不跟进一波?上下文理解能力拉满目前Google已放出三个不同任务的演示视频,只能说Gemini1.5是个抽象派(doge)。在第一段演示视频中,展示的是Gemini1.5处理长视频的能力。使用的视频是巴斯特·基顿(BusterKeaton)的44分钟电影,共696161token。演示中直接上传了电影,并给了模型这样的提示词:找到从人的口袋中取出一张纸的那一刻,并告诉我一些关于它的关键信息以及时间码。随后,模型立刻处理,输入框旁边带有一个“计时器”实时记录所耗时间:不到一分钟,模型做出了回应,指出12:01的时候有个人从兜里掏出了一张纸,内容是高盛典当经纪公司的一张当票,并且还给出了当票上的时间、成本等详细信息。随后经查证,确认模型给出的12:01这个时间点准确无误:除了纯文字prompt,还有更多玩法。直接给模型一张抽象“场景图”,询问“发生这种情况时的时间码是多少?”。同样不到一分钟,模型准确给出了的电影对应的时间点15:34。在第二段演示视频中,Google展示了Gemini1.5分析和理解复杂代码库的能力。用到的是Three.js,这是一个3DJavascript库,包含约100000行代码、示例、文档等。演示中他们将所有内容放到了一个txt文件中,共816767token,输入给模型并要求它“找到三个示例来学习角色动画”。结果模型查看了数百个示例后筛选出了三个关于混合骨骼动画、姿势、面部动画的示例。这只是开胃小菜。接下来只用文字询问模型“动画LittleTokyo的demo是由什么控制?”模型不仅找到了这个demo,并且解释了动画嵌入在gLTF模型中。并且还能实现“定制代码”。让模型“给一些代码,添加一个滑块来控制动画的速度。使用其它演示所具有的那种GUI”。Gemini1.5分分钟给出了可以成功运行的代码,动画右上角出现了一个可控速的滑块:当然也可以做“代码定位”。仅靠一张demo的图片,Gemini1.5就能在代码库中从数百个demo中,找到该图对应动画的代码:还能修改代码,让地形变得平坦,并解释其中的工作原理:修改代码这一块,对文本几何体的修改也不在话下:第三个演示视频展示的是Gemini1.5的文档处理能力。选用的是阿波罗11号登月任务的402页PDF记录,共326658token。要求Gemini1.5“找到三个搞笑时刻,并列出文字记录以及表情符号引述”:30秒,模型给出了回应,其一是迈克尔·柯林斯的这句话“我敢打赌你一定要喝一杯咖啡”,经查询文档中的确有记录:更抽象一点,绘制一个靴子的图片,询问模型“这是什么时刻”。模型正确地将其识别为这是Neil在月球上的第一步:最后同样可以询问模型快速定位这一时刻在文档中对应的时间位置:差不多的抽象风同样适用于1382页、732000token的《悲惨世界》,一张图定位小说位置。仅从提示词中学会一门新语言对于Gemini1.5的技术细节,Google遵循了OpenAI开的好头,只发布技术报告而非论文。其中透露Gemini1.5使用了MoE架构,但没有更多细节。与上代1.0Pro相比,1.5Pro在数学、科学、推理、多语言、视频理解上进步最大,并达到1.0Ultra层次。为验证长上下文窗口的性能,使用了开源社区通行的大海捞针测试,也就是在长文本中准确找到可以藏起来的一处关键事实。结果50万token之前的表现非常完美,一直到千万token,Gemini1.5也只失误了5次。此外还将测试扩展到多模态版本,如在视频画面的某一帧中藏一句话,给的例子是在阿尔法狗的纪录片中藏了“Thesecretwordis‘needle’”字样。结果在视频、音频测试中都实现了100%的召回率。特别是音频中,对比GPT-4+Whisper的结果,差距非常明显。此外GoogleDeepMind团队还测试了一项高难任务,仅通过长提示词让模型学会全新的技能。输入一整本语法书,Gemini1.5Pro就能在翻译全球不到200人使用的Kalamang上达到人类水平。相比之下,GPT-4Turbo和Claude2.1一次只能看完半本书,想获得这个技能就必须要微调或者使用外部工具了。也难怪有网友看过后惊呼,“哥们这是要把RAG玩死啊”。OneMoreThingGoogle还公布了一波已在业务中采用Gemini大模型的客户。其中有三星手机这样的大厂,也有像Jasper这种靠GPT起家的创业公司,甚至OpenAI董事AdamD‘Angelo旗下的Quora。与OpenAI形成了直接竞争关系。对此,一位网友道出了大家的心声:真希望这能促使OpenAI发布他们的下一代大模型。参考链接:[1]https://twitter.com/JeffDean/status/1758146022726041615[2]https://storage.googleapis.com/deepmind-media/gemini/gemini_v1_5_report.pdf[3]https://blog.google/technology/ai/google-gemini-next-generation-model-february-2024/#gemini-15...PC版:https://www.cnbeta.com.tw/articles/soft/1418747.htm手机版:https://m.cnbeta.com.tw/view/1418747.htm

封面图片

LLM得上下文越来越长,模型搜寻信息的能力却未必线性提升

LLM得上下文越来越长,模型搜寻信息的能力却未必线性提升总体而言,模型会更注意开头的文本准确性方面,有时上下文更长的Claude100k表现不如ChatGPT16k利用ChatDoc/ChatPDF来获取信息并帮助模型筛选信息块、或重新排序信息块也能提升效果最后,价格高贵的GPT4效果拔群https://arxiv.org/pdf/2307.03172.pdfhttps://t.co/oL91J2TVAm

封面图片

RAG目前面临的挑战包括适应更广泛的上下文窗口、提高对虚假信息的抵抗能力、理解规模化定律,以及开发可投入生产的系统。此外,人们也

RAG目前面临的挑战包括适应更广泛的上下文窗口、提高对虚假信息的抵抗能力、理解规模化定律,以及开发可投入生产的系统。此外,人们也在关注多模态RAG和为评估制定更细致的标准。RAG工具构建RAG系统可以使用包括LangChain和LlamaIndex在内的工具,以及针对不同目的的专业工具。云服务提供商也在提供以RAG为中心的服务,以促进RAG应用的发展。原文链接:https://www.promptingguide.ai/research/rag

封面图片

百川智能宣布推出Baichuan2-192K 上下文窗口长超GPT-4约14倍

百川智能宣布推出Baichuan2-192K上下文窗口长超GPT-4约14倍今年9月25日,百川智能宣布已开放Baichuan2的API接口,进军企业级市场,开启商业化进程。此次Baichuan2-192K将以API调用和私有化部署的方式提供给企业用户,目前百川智能已启动Baichuan2-192K的API内测,开放给法律、媒体、金融等行业的核心合作伙伴。上下文窗口长度是大模型的核心技术之一,通过更大的上下文窗口,模型能够结合更多上下文内容获得更丰富的语义信息,更好的捕捉上下文的相关性、消除歧义,进而更加准确、流畅的生成内容,提升模型能力。...PC版:https://www.cnbeta.com.tw/articles/soft/1393115.htm手机版:https://m.cnbeta.com.tw/view/1393115.htm

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人