企业定制LLM应用构建方案，将内部知识库作为模型的上下文，即作为提示的一部分，通过Fine-Tuning开源LLM，或者检索增强

企业定制LLM应用构建方案，将内部知识库作为模型的上下文，即作为提示的一部分，通过Fine-Tuning开源LLM，或者检索增强生成(RAG)的方式。性能取决于许多因素，如块的大小、块之间的重叠、嵌入技术等 |

128k上下文+多语言+工具：Cohere开放企业级应用大模型

128k上下文+多语言+工具：Cohere开放企业级应用大模型 Cohere推出Command R+模型，一个为应对企业级工作负载而构建的最强大、最具可扩展性的大型语言模型(LLM)。 - Command R+首先在Microsoft Azure上推出，旨在加速企业AI的采用。它加入了Cohere的R系列LLM，专注于在高效率和强准确性之间取得平衡，使企业能从概念验证走向生产。 - Command R+具有128k token的上下文窗口，旨在提供同类最佳的性能，包括： - 先进的检索增强生成(RAG)和引用，以减少幻觉 - 支持10种关键语言的多语言覆盖，以支持全球业务运营 - 工具使用，以实现复杂业务流程的自动化 - Command R+在各方面都优于Command R，在类似模型的基准测试中表现出色。 - 开发人员和企业可以从今天开始在Azure上访问Cohere的最新模型，很快也将在Oracle云基础设施(OCI)以及未来几周内的其他云平台上提供。Command R+也将立即在Cohere的托管API上提供。 - Atomicwork等企业客户可以利用Command R+来改善数字工作场所体验，加速企业生产力。 思考： - Cohere推出Command R+，进一步丰富了其企业级LLM产品线，展现了其在企业AI市场的雄心和实力。与微软Azure的合作有望加速其企业客户的拓展。 - Command R+在Command R的基础上进行了全面升级，128k token的上下文窗口、多语言支持、工具使用等特性使其能够胜任更加复杂多样的企业应用场景。这表明Cohere对企业需求有着深刻洞察。 - RAG和引用功能有助于提高模型输出的可靠性，减少幻觉，这对于企业级应用至关重要。可以看出Cohere在兼顾性能的同时，也非常重视模型的可控性。 - 与微软、甲骨文等云计算巨头合作，使Command R+能够在多个主流云平台上快速部署，降低了企业的采用门槛。这种开放的生态策略有利于加速其市场渗透。 - Atomicwork等企业客户的支持表明Command R+具有显著的商业价值。将LLM与企业数字化转型相结合，有望催生更多创新性的应用。 - Command R+的推出标志着Cohere在企业级AI市场的发力，其强大的性能和完善的生态有望帮助其在竞争中占据优势地位。不过，企业AI的落地仍面临数据安全、伦理合规等诸多挑战，Cohere还需要在这些方面持续投入。

一套完整的基于检索增强生成(RAG)架构的知识图谱建立和查询引擎，利用Pinecone向量数据库技术，能快速构建自定义的RAG模

一套完整的基于检索增强生成(RAG)架构的知识图谱建立和查询引擎，利用Pinecone向量数据库技术，能快速构建自定义的RAG模型，随时查询文档库给出相关回答，实现了完整的RAG工作流程：从文档的切分、embedding到会话记录管理、查询优化、上下文检索以及增强生成，可帮助开发者快速构建自己领域的问答系统，也支持迁移现有基于OpenAI API的应用 |

LLM得上下文越来越长，模型搜寻信息的能力却未必线性提升

LLM得上下文越来越长，模型搜寻信息的能力却未必线性提升 总体而言，模型会更注意开头的文本 准确性方面，有时上下文更长的Claude100k表现不如 ChatGPT16k 利用ChatDoc/ChatPDF 来获取信息并帮助模型筛选信息块、或重新排序信息块也能提升效果 最后，价格高贵的GPT4效果拔群

百川智能发布Baichuan2-192K大模型 | 上下文窗口长度高达192K，是目前全球最长的上下文窗口，能够一次处理约35万

百川智能发布Baichuan2-192K大模型 | 上下文窗口长度高达192K，是目前全球最长的上下文窗口，能够一次处理约35万个汉字。 官方宣称：Baichuan2-192K不仅在上下文窗口长度上超越Claude2，在长窗口文本生成质量、长上下文理解以及长文本问答、摘要等方面的表现也全面领先Claude2。 10项长文本评测7项取得SOTA，全面领先Claude2 Baichuan2-192K在Dureader、NarrativeQA、LSHT、TriviaQA等10项中英文长文本问答、摘要的评测集上表现优异，有7项取得SOTA，显著超过其他长窗口模型。 此外，LongEval的评测结果显示，在窗口长度超过100K后Baichuan2-192K依然能够保持非常强劲的性能，而其他开源或者商用模型在窗口长度增长后效果都出现了近乎直线下降的情况。Claude2也不例外，在窗口长度超过80K后整体效果下降非常严重。 Baichuan2-192K正式开启内测，已落地法律、媒体等诸多真实场景 Baichuan2-192K现已正式开启内测，以API调用的方式开放给百川智能的核心合作伙伴，已经与财经类媒体及律师事务所等机构达成了合作，将Baichuan2-192K全球领先的长上下文能力应用到了传媒、金融、法律等具体场景当中，不久后将全面开放。

：用向量数据库基于RAG(检索增强生成)方式搭建一个中国历史问答应用，这个应用接受用户的询问，从历史语料库中检索相关的历史资料片

：用向量数据库基于RAG(检索增强生成)方式搭建一个中国历史问答应用，这个应用接受用户的询问，从历史语料库中检索相关的历史资料片段，利用大语言模型给出较为可靠的回答。 相比于直接询问大模型，这种方式具有回答准确率高，不容易产生大模型的“幻觉”问题等优点。 本项目实现了两种使用方式： “Milvus方案“在本地启动一个Milvus向量数据库的Docker服务，使用LlamaIndex框架和本地BAAI/bge-base-zh-v1.5Embedding模型实现RAG的业务逻辑。 “Zilliz Cloud Pipelines方案”使用云上的知识库检索服务Zilliz Cloud Pipelines，该服务包括了RAG流程的文档切片、向量化、向量检索等功能。 两种方案均使用OpenAI的GPT4作为大语言模型。