自己撸了一套完全离线的RAG。

自己撸了一套完全离线的RAG。 技术栈: - llama3替代OpenAI - nextjs做UI和api - postgresql pgvector 做存储 中间碰到一些坑,第一个国内开发就是网络的坑,大部分框架默认自带就是OpenAI的服务,但是被墙,有的框架写的太死,都不好配置代理... 第二个坑,OpenAI默认向量纬度是1536,但是llama3是4096,得手动搞一下数据库,它默认创建的时候是1536。 还有很多配置因为ts llamaindex可能太小众了,配置啥都没有,我得去读一下源码... 学习和参考了 @艾逗笔 的两个项目,感谢! 这个项目是用langchain来写的,不过可以学习一下他的输出prompt,以及RAG的写法。 总的来说要自己搞一下,该踩的坑还得得躺。

相关推荐

封面图片

一套完整的基于检索增强生成(RAG)架构的知识图谱建立和查询引擎,利用Pinecone向量数据库技术,能快速构建自定义的RAG模

一套完整的基于检索增强生成(RAG)架构的知识图谱建立和查询引擎,利用Pinecone向量数据库技术,能快速构建自定义的RAG模型,随时查询文档库给出相关回答,实现了完整的RAG工作流程:从文档的切分、embedding到会话记录管理、查询优化、上下文检索以及增强生成,可帮助开发者快速构建自己领域的问答系统,也支持迁移现有基于OpenAI API的应用 |

封面图片

elvis写了一篇非常详细的文章来介绍 RAG 生态的所有部分,还会添加清晰易懂的参考文献列表以及技术性编程教程帮助提高 RAG

elvis写了一篇非常详细的文章来介绍 RAG 生态的所有部分,还会添加清晰易懂的参考文献列表以及技术性编程教程帮助提高 RAG 系统的性能。 主要内容来自《大语言模型的检索增强生成:一项调查》这篇论文,我简要总结了一下文章每个部分的内容,感兴趣可以去看原文: 检索增强生成(Retrieval Augmented Generation, RAG)技术,旨在通过结合外部知识源,如数据库,来提升大语言模型(LLMs)的能力。它主要用于解决领域知识的缺失、事实性问题和生成错误。RAG特别适用于那些需要最新知识、又不需针对每个特定任务重复训练LLM的应用场景,比如对话代理和知识密集型任务。 RAG如何工作 RAG通过接收输入的提示信息,从资源如维基百科中检索相关文档,再将这些文档作为上下文来生成回答。这种方法使LLMs能够访问最新的信息,并生成更准确、更可控、更相关的内容。它能及时适应不断变化的信息,这对于LLM来说至关重要,因为它们的知识库本身是静态的。 RAG系统的发展 RAG系统已经从初级阶段(Naive RAG)发展到高级阶段(Advanced RAG)和模块化阶段(Modular RAG),以解决性能、成本和效率的限制。高级RAG通过优化不同阶段,如预检索、检索和检索后处理,来提高检索质量。模块化RAG则通过调整不同的功能模块来适应特定问题的背景,提供了更大的灵活性。 RAG系统的关键组成 检索:包括提升语义表示、对齐查询与文档,以及调整检索器输出以符合LLM的偏好。 生成:涉及将检索到的信息转化为连贯的文本,并在检索后对LLM进行微调。 增强:在生成任务中融合检索到的段落的上下文,包括不同阶段和增强数据源。 RAG与模型微调 RAG适合用于集成新知识,而模型微调则有助于提升模型的性能和效率。这两种方法可以互补,结合提示工程(Prompting Engineering),能够优化LLM在复杂和可扩展应用中的表现。 RAG的评估 RAG系统的评估基于检索到的上下文质量和生成的内容质量。评估指标包括规范化折扣累计增益(NDCG)、命中率、F1值和精确匹配(EM)等。评估重点是上下文的相关性、答案的准确性和相关性,以及抗噪声能力和信息整合能力。 RAG面临的挑战与未来展望

封面图片

微软昨晚重磅开源了强大无比的 RAG 方案GraphRAG。

微软昨晚重磅开源了强大无比的 RAG 方案GraphRAG。 在社区摘要应用中,GraphRAG 在全面性和多样性上以 70-80% 的胜率大幅领先于传统 RAG。 GraphRAG 是一种基于图的 RAG 工具,通过 LLM 从文档集合中自动提取丰富的知识图谱,助力处理私有或未知数据集的问答。 GraphRAG 能通过检测图中的“社区”(即密集连接的节点群组),从高层主题到低层话题,层次化地划分数据的语义结构。 它利用 LLM 为这些社区生成摘要,提供对数据集的全面概览,无需事先设定问题。 这种方法尤其适合回答全局性问题。 项目页面:

封面图片

知人知面不知心,当面一套背面一套

知人知面不知心,当面一套背面一套 网友投稿:#康孝颖 金木棉特区好心好意借钱帮你,说好的还钱日期也不还,搞失踪不回复,有认识的人避免下坑,要求很简单还我借给你的钱,欠债还钱天经地义,如果你不想还直接说,不需要还去删除聊天记录,我可以不要这个。

封面图片

知人知面不知心,当面一套背面一套

知人知面不知心,当面一套背面一套 网友投稿:#康孝颖 金木棉特区好心好意借钱帮你,说好的还钱日期也不还,搞失踪不回复,有认识的人避免下坑,要求很简单还我借给你的钱,欠债还钱天经地义,如果你不想还直接说,不需要还去删除聊天记录,我可以不要这个。 众联全站导航万能超级搜索

封面图片

.别安慰别人的时候一套一套,安慰自己的时候找个绳子套一套。

.别安慰别人的时候一套一套,安慰自己的时候找个绳子套一套。 .那些人人羡慕的精英,其实过得并不如你想象的那样好。但肯定比你是强得多。 .很多时候别人对你好,并不是因为别人喜欢你,而是因为他们喜欢对人好。

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人