企业定制LLM应用构建方案，将内部知识库作为模型的上下文，即作为提示的一部分，通过Fine-Tuning开源LLM，或者检索增强

企业定制LLM应用构建方案，将内部知识库作为模型的上下文，即作为提示的一部分，通过Fine-Tuning开源LLM，或者检索增强生成(RAG)的方式。性能取决于许多因素，如块的大小、块之间的重叠、嵌入技术等 |

128k上下文+多语言+工具：Cohere开放企业级应用大模型

128k上下文+多语言+工具：Cohere开放企业级应用大模型 Cohere推出Command R+模型，一个为应对企业级工作负载而构建的最强大、最具可扩展性的大型语言模型(LLM)。 - Command R+首先在Microsoft Azure上推出，旨在加速企业AI的采用。它加入了Cohere的R系列LLM，专注于在高效率和强准确性之间取得平衡，使企业能从概念验证走向生产。 - Command R+具有128k token的上下文窗口，旨在提供同类最佳的性能，包括： - 先进的检索增强生成(RAG)和引用，以减少幻觉 - 支持10种关键语言的多语言覆盖，以支持全球业务运营 - 工具使用，以实现复杂业务流程的自动化 - Command R+在各方面都优于Command R，在类似模型的基准测试中表现出色。 - 开发人员和企业可以从今天开始在Azure上访问Cohere的最新模型，很快也将在Oracle云基础设施(OCI)以及未来几周内的其他云平台上提供。Command R+也将立即在Cohere的托管API上提供。 - Atomicwork等企业客户可以利用Command R+来改善数字工作场所体验，加速企业生产力。 思考： - Cohere推出Command R+，进一步丰富了其企业级LLM产品线，展现了其在企业AI市场的雄心和实力。与微软Azure的合作有望加速其企业客户的拓展。 - Command R+在Command R的基础上进行了全面升级，128k token的上下文窗口、多语言支持、工具使用等特性使其能够胜任更加复杂多样的企业应用场景。这表明Cohere对企业需求有着深刻洞察。 - RAG和引用功能有助于提高模型输出的可靠性，减少幻觉，这对于企业级应用至关重要。可以看出Cohere在兼顾性能的同时，也非常重视模型的可控性。 - 与微软、甲骨文等云计算巨头合作，使Command R+能够在多个主流云平台上快速部署，降低了企业的采用门槛。这种开放的生态策略有利于加速其市场渗透。 - Atomicwork等企业客户的支持表明Command R+具有显著的商业价值。将LLM与企业数字化转型相结合，有望催生更多创新性的应用。 - Command R+的推出标志着Cohere在企业级AI市场的发力，其强大的性能和完善的生态有望帮助其在竞争中占据优势地位。不过，企业AI的落地仍面临数据安全、伦理合规等诸多挑战，Cohere还需要在这些方面持续投入。

一套完整的基于检索增强生成(RAG)架构的知识图谱建立和查询引擎，利用Pinecone向量数据库技术，能快速构建自定义的RAG模

一套完整的基于检索增强生成(RAG)架构的知识图谱建立和查询引擎，利用Pinecone向量数据库技术，能快速构建自定义的RAG模型，随时查询文档库给出相关回答，实现了完整的RAG工作流程：从文档的切分、embedding到会话记录管理、查询优化、上下文检索以及增强生成，可帮助开发者快速构建自己领域的问答系统，也支持迁移现有基于OpenAI API的应用 |

：用向量数据库基于RAG(检索增强生成)方式搭建一个中国历史问答应用，这个应用接受用户的询问，从历史语料库中检索相关的历史资料片

：用向量数据库基于RAG(检索增强生成)方式搭建一个中国历史问答应用，这个应用接受用户的询问，从历史语料库中检索相关的历史资料片段，利用大语言模型给出较为可靠的回答。 相比于直接询问大模型，这种方式具有回答准确率高，不容易产生大模型的“幻觉”问题等优点。 本项目实现了两种使用方式： “Milvus方案“在本地启动一个Milvus向量数据库的Docker服务，使用LlamaIndex框架和本地BAAI/bge-base-zh-v1.5Embedding模型实现RAG的业务逻辑。 “Zilliz Cloud Pipelines方案”使用云上的知识库检索服务Zilliz Cloud Pipelines，该服务包括了RAG流程的文档切片、向量化、向量检索等功能。 两种方案均使用OpenAI的GPT4作为大语言模型。

月之暗面发布 “上下文缓存” 技术，称最高可降本 90%

月之暗面发布 “上下文缓存” 技术，称最高可降本 90% 以 “价格战” 为代表的大模型降本仍在继续，但相比直接降价，北京月之暗面科技有限公司（简称 “月之暗面”）提出了增效方案。7 月 2 日，该公司对外宣布，其大模型 Kimi 正式开放平台正式公测新技术 上下文缓存技术（ContextCaching）。月之暗面方称，这项技术将降低开发者使用长文本旗舰大模型的成本，最高可降本达 90%。(澎湃新闻)

elvis写了一篇非常详细的文章来介绍 RAG 生态的所有部分，还会添加清晰易懂的参考文献列表以及技术性编程教程帮助提高 RAG

elvis写了一篇非常详细的文章来介绍 RAG 生态的所有部分，还会添加清晰易懂的参考文献列表以及技术性编程教程帮助提高 RAG 系统的性能。 主要内容来自《大语言模型的检索增强生成：一项调查》这篇论文，我简要总结了一下文章每个部分的内容，感兴趣可以去看原文： 检索增强生成（Retrieval Augmented Generation, RAG）技术，旨在通过结合外部知识源，如数据库，来提升大语言模型（LLMs）的能力。它主要用于解决领域知识的缺失、事实性问题和生成错误。RAG特别适用于那些需要最新知识、又不需针对每个特定任务重复训练LLM的应用场景，比如对话代理和知识密集型任务。 RAG如何工作 RAG通过接收输入的提示信息，从资源如维基百科中检索相关文档，再将这些文档作为上下文来生成回答。这种方法使LLMs能够访问最新的信息，并生成更准确、更可控、更相关的内容。它能及时适应不断变化的信息，这对于LLM来说至关重要，因为它们的知识库本身是静态的。 RAG系统的发展 RAG系统已经从初级阶段（Naive RAG）发展到高级阶段（Advanced RAG）和模块化阶段（Modular RAG），以解决性能、成本和效率的限制。高级RAG通过优化不同阶段，如预检索、检索和检索后处理，来提高检索质量。模块化RAG则通过调整不同的功能模块来适应特定问题的背景，提供了更大的灵活性。 RAG系统的关键组成 检索：包括提升语义表示、对齐查询与文档，以及调整检索器输出以符合LLM的偏好。 生成：涉及将检索到的信息转化为连贯的文本，并在检索后对LLM进行微调。 增强：在生成任务中融合检索到的段落的上下文，包括不同阶段和增强数据源。 RAG与模型微调 RAG适合用于集成新知识，而模型微调则有助于提升模型的性能和效率。这两种方法可以互补，结合提示工程（Prompting Engineering），能够优化LLM在复杂和可扩展应用中的表现。 RAG的评估 RAG系统的评估基于检索到的上下文质量和生成的内容质量。评估指标包括规范化折扣累计增益（NDCG）、命中率、F1值和精确匹配（EM）等。评估重点是上下文的相关性、答案的准确性和相关性，以及抗噪声能力和信息整合能力。 RAG面临的挑战与未来展望