RAG(Retrieval Augmented Generation)是一种将检索到的信息作为上下文提供给大语言模型来产生回答的

(RetrievalAugmentedGeneration)是一种将检索到的信息作为上下文提供给大语言模型来产生回答的技术。它是2022年后最流行的大语言模型系统架构之一，有很多产品都是基于RAG构建的。LangChain和LlamaIndex是两个流行的开源RAG库。RAG由搜索和大语言模型提示组成，可以看作是搜索+大语言模型的结合。基本流程包括：将文本分块，用TransformerEncoder模型将这些块嵌入为向量，将向量放入索引，构造提示，让大语言模型基于检索到的上下文来回答用户查询。本文详细介绍和说明了RAG中的各种高级技术和算法，以及对这些技术的参考实现，旨在帮助开发者更深入地了解RAG技术。

LLM得上下文越来越长，模型搜寻信息的能力却未必线性提升

LLM得上下文越来越长，模型搜寻信息的能力却未必线性提升总体而言，模型会更注意开头的文本准确性方面，有时上下文更长的Claude100k表现不如ChatGPT16k利用ChatDoc/ChatPDF来获取信息并帮助模型筛选信息块、或重新排序信息块也能提升效果最后，价格高贵的GPT4效果拔群https://arxiv.org/pdf/2307.03172.pdfhttps://t.co/oL91J2TVAm