RAG(Retrieval Augmented Generation)是一种将检索到的信息作为上下文提供给大语言模型来产生回答的

(RetrievalAugmentedGeneration)是一种将检索到的信息作为上下文提供给大语言模型来产生回答的技术。它是2022年后最流行的大语言模型系统架构之一，有很多产品都是基于RAG构建的。LangChain和LlamaIndex是两个流行的开源RAG库。RAG由搜索和大语言模型提示组成，可以看作是搜索+大语言模型的结合。基本流程包括：将文本分块，用TransformerEncoder模型将这些块嵌入为向量，将向量放入索引，构造提示，让大语言模型基于检索到的上下文来回答用户查询。本文详细介绍和说明了RAG中的各种高级技术和算法，以及对这些技术的参考实现，旨在帮助开发者更深入地了解RAG技术。

史料RAG：用向量数据库基于RAG(检索增强生成)方式搭建一个中国历史问答应用，这个应用接受用户的询问，从历史语料库中检索相关的

：用向量数据库基于RAG(检索增强生成)方式搭建一个中国历史问答应用，这个应用接受用户的询问，从历史语料库中检索相关的历史资料片段，利用大语言模型给出较为可靠的回答。相比于直接询问大模型，这种方式具有回答准确率高，不容易产生大模型的“幻觉”问题等优点。本项目实现了两种使用方式：“Milvus方案“在本地启动一个Milvus向量数据库的Docker服务，使用LlamaIndex框架和本地BAAI/bge-base-zh-v1.5Embedding模型实现RAG的业务逻辑。“ZillizCloudPipelines方案”使用云上的知识库检索服务ZillizCloudPipelines，该服务包括了RAG流程的文档切片、向量化、向量检索等功能。两种方案均使用OpenAI的GPT4作为大语言模型。

Sycamore：一个对话式搜索和分析平台，适用于复杂的非结构化数据，例如文档、演示文稿、成绩单、嵌入式表格和内部知识存储库。

：一个对话式搜索和分析平台，适用于复杂的非结构化数据，例如文档、演示文稿、成绩单、嵌入式表格和内部知识存储库。它通过将人工智能引入数据准备、索引和检索来检索和综合高质量的答案。Sycamore可以轻松准备用于搜索和分析的非结构化数据，提供用于数据清理、信息提取、丰富、汇总和生成封装数据语义的向量嵌入的工具包。Sycamore使用你选择的生成式AI模型来使这些操作变得简单而有效，并且可以实现快速实验和迭代。此外，Sycamore使用OpenSearch进行索引，支持混合（向量+关键字）搜索、检索增强生成(RAG)管道、过滤、分析功能、会话记忆和其他功能来改进信息检索。特征自然语言、对话界面，可针对非结构化数据提出复杂问题。包括对来源段落和对话记忆的引用。包括对非结构化数据的各种查询操作，包括混合搜索、检索增强生成(RAG)和分析函数。通过高级数据分段、用于数据丰富的LLM支持的UDF、使用Python进行的高性能数据操作以及使用各种AI模型的向量嵌入，准备和丰富用于搜索和分析的复杂非结构化数据。自动数据爬虫（AmazonS3和HTTP）和Jupyter笔记本支持等有用的功能可用于创建和迭代数据准备脚本。可扩展、安全且可定制的OpenSearch后端，用于索引和数据检索。

Vector Search in 200 Lines of Rust：用200行Rust代码写一个向量搜索数据库

：用200行Rust代码写一个向量搜索数据库由于人工智能/机器学习的快速发展，向量数据库随处可见。虽然它们可以支持复杂的人工智能/机器学习应用，但向量搜索本身在概念上并不那么困难。这篇文章描述了Vector数据库的工作原理，并用不到200行Rust代码构建一个简单的VectorSearch库。所有代码都可以在这个Githubrepo中找到。在这里使用的方法基于流行的库annoy中使用的称为“局部敏感散列”的一系列算法。本文的目的不是介绍一种新奇的算法/库，而是描述矢量搜索如何使用真实的代码片段进行工作。

RAGFlow开源了一个RAG框架，有下面这些特点：

RAGFlow开源了一个RAG框架，有下面这些特点：RAGFlow的核心功能是文档的智能解析和管理，支持多种格式，并允许用户使用任何大型语言模型查询他们上传的文档。RAGFlow提供了多种智能文档处理模板，以满足不同行业和角色的需求，如会计、人力资源专业人员和研究人员。它还强调了智能文档处理的可视化和可解释性，允许用户查看文档处理结果，进行比较、修改和查询。RAGFlow的一个关键优势是它允许LLM以受控方式回答问题，提供了一种理性和基于证据的方法来消除幻觉。项目地址：https://github.com/infiniflow/ragflow

AIGC Weekly #18更新了，本期主要介绍了Mini GPT-4等开源项目以及一些传统互联网公司的AI尝试动态和其他一堆

AIGCWeekly#18更新了，本期主要介绍了MiniGPT-4等开源项目以及一些传统互联网公司的AI尝试动态和其他一堆非常值得阅读的内容。下面是上周一些行业动态和产品推荐，更多详细的内容可以去图里的竹白查看：https://op7418.zhubai.love/posts/2262249464033574912本周精选：上周值得关注的开源项目RedPajama：一个计划创建一套领先开源模型的项目：https://www.together.xyz/blog/redpajamaMiniGPT-4：取巧的方式实现了多模态能力：https://huggingface.co/spaces/Vision-CAIR/minigpt4StableDiffusion的开发商StabilityAI发布了开源大语言模型StableLM：https://t.co/as5GzLhMTo复旦训练的语言模型Moss开源了：https://github.com/OpenLMLab/MOSS一些传统互联网厂商的AI尝试RaycastAI逐步开放测试资格，这是功能介绍：https://t.co/MGhtEjidft谷歌计划构建新的搜索引擎：https://searchengineland.com/google-planning-new-search-engine-while-working-on-new-search-features-under-project-magi-395661AdobeFirefly可以通过自然语言编辑视频了：https://www.youtube.com/watch?v=30xueN12guw&t=1sWebflow推出了自己的AI能力：https://webflow.com/blog/power-of-ai产品推荐：AI论文速递：快速阅读近期AI论文：https://briefgpt.xyz/chatgptFinchat：一个金融信息的ChatGPT：https://finchat.io/VercelAIPlayground：免费使用多个语言模型进行对比：https://play.vercel.ai/r/mWjP5DtCodeamigo：利用AI学习代码：https://codeamigo.dev/