月之暗面支持200万字上下文的Kimi智能助手启动内测

月之暗面支持200万字上下文的Kimi智能助手启动内测 从月之暗面获悉，3月18日，月之暗面Kimi智能助手在长上下文窗口技术上再次取得突破，无损上下文长度提升数量级到200万字。目前，支持200万字上下文的Kimi已启动内测。（上证报） 来源：雪球7X24资讯

以 “价格战” 为代表的大模型降本仍在继续，但相比直接降价，北京月之暗面科技有限公司提出了增效方案。7 月 2 日，该公司对外宣

以 “价格战” 为代表的大模型降本仍在继续，但相比直接降价，北京月之暗面科技有限公司提出了增效方案。7 月 2 日，该公司对外宣布，其大模型 Kimi 正式开放平台正式公测新技术 上下文缓存技术（Context Caching）。月之暗面方称，这项技术将降低开发者使用长文本旗舰大模型的成本，最高可降本达 90%。（澎湃新闻）

月之暗面开放了 KimiChat 200 万字上下文的内测申请

月之暗面开放了 KimiChat 200 万字上下文的内测申请 已经是慢讯了，不过还没申请的还可以去申请。有很多小伙伴尤其上学的群友喜欢用Claude，但是Claude封号太严重。 Kimi算是后来居上吧，去年12月分享过他的网页版，现在文档阅读、文件处理、联网等功能都有，算是国产里面做的非常好的了。 内测申请：https://kimi.moonshot.cn/ （点输入框下面第一条消息（如图））

(Retrieval Augmented Generation)是一种将检索到的信息作为上下文提供给大语言模型来产生回答的技术。

(Retrieval Augmented Generation)是一种将检索到的信息作为上下文提供给大语言模型来产生回答的技术。它是2022年后最流行的大语言模型系统架构之一，有很多产品都是基于RAG构建的。LangChain和LlamaIndex是两个流行的开源RAG库。 RAG由搜索和大语言模型提示组成，可以看作是搜索+大语言模型的结合。基本流程包括：将文本分块，用Transformer Encoder模型将这些块嵌入为向量，将向量放入索引，构造提示，让大语言模型基于检索到的上下文来回答用户查询。 本文详细介绍和说明了RAG中的各种高级技术和算法，以及对这些技术的参考实现，旨在帮助开发者更深入地了解RAG技术。

百川智能发布Baichuan2-192K大模型 | 上下文窗口长度高达192K，是目前全球最长的上下文窗口，能够一次处理约35万

百川智能发布Baichuan2-192K大模型 | 上下文窗口长度高达192K，是目前全球最长的上下文窗口，能够一次处理约35万个汉字。 官方宣称：Baichuan2-192K不仅在上下文窗口长度上超越Claude2，在长窗口文本生成质量、长上下文理解以及长文本问答、摘要等方面的表现也全面领先Claude2。 10项长文本评测7项取得SOTA，全面领先Claude2 Baichuan2-192K在Dureader、NarrativeQA、LSHT、TriviaQA等10项中英文长文本问答、摘要的评测集上表现优异，有7项取得SOTA，显著超过其他长窗口模型。 此外，LongEval的评测结果显示，在窗口长度超过100K后Baichuan2-192K依然能够保持非常强劲的性能，而其他开源或者商用模型在窗口长度增长后效果都出现了近乎直线下降的情况。Claude2也不例外，在窗口长度超过80K后整体效果下降非常严重。 Baichuan2-192K正式开启内测，已落地法律、媒体等诸多真实场景 Baichuan2-192K现已正式开启内测，以API调用的方式开放给百川智能的核心合作伙伴，已经与财经类媒体及律师事务所等机构达成了合作，将Baichuan2-192K全球领先的长上下文能力应用到了传媒、金融、法律等具体场景当中，不久后将全面开放。

LLM得上下文越来越长，模型搜寻信息的能力却未必线性提升

LLM得上下文越来越长，模型搜寻信息的能力却未必线性提升 总体而言，模型会更注意开头的文本 准确性方面，有时上下文更长的Claude100k表现不如 ChatGPT16k 利用ChatDoc/ChatPDF 来获取信息并帮助模型筛选信息块、或重新排序信息块也能提升效果 最后，价格高贵的GPT4效果拔群