16k的上下文虽然不如100k，但是也是比较经济和稳定的选择，embedding则是不靠谱的选择。未来上下文窗口一定会越来越长的

Claude支持100k上下文，视频demo：100k上下文能做什么https://vxtwitter.com/anthropicai/status/1656700154190389248

LLMGiraffe可以用来扩展LLM的上下文长度，它实现了将LLAMAv12K的上下文长度扩展为4K和16K。

100K上下文：Claude的最新更新将上下文窗口扩展到了100,000个文本Token，相当于约75000个单词，可以一次性提交数百页的资料进行处理和分析

LLM得上下文越来越长，模型搜寻信息的能力却未必线性提升

LLM得上下文越来越长，模型搜寻信息的能力却未必线性提升总体而言，模型会更注意开头的文本准确性方面，有时上下文更长的Claude100k表现不如ChatGPT16k利用ChatDoc/ChatPDF来获取信息并帮助模型筛选信息块、或重新排序信息块也能提升效果最后，价格高贵的GPT4效果拔群https://arxiv.org/pdf/2307.03172.pdfhttps://t.co/oL91J2TVAm

16k的上下文虽然不如100k，但是也是比较经济和稳定的选择，embedding则是不靠谱的选择。未来上下文窗口一定会越来越长的

相关推荐

Claude支持100k上下文，视频demo：100k上下文能做什么https://vxtwitter.com/anthropicai/status/1656700154190389248

LLMGiraffe可以用来扩展LLM的上下文长度，它实现了将LLAMAv12K的上下文长度扩展为4K和16K。

100K上下文：Claude的最新更新将上下文窗口扩展到了100,000个文本Token，相当于约75000个单词，可以一次性提交数百页的资料进行处理和分析

LLM得上下文越来越长，模型搜寻信息的能力却未必线性提升

商汤港股涨近15%，此前商汤发布日日新5.0大模型，推理上下文窗口200K。

，一种内存管理技术，通过虚拟上下文管理扩展了大型语言模型的上下文窗口，实现了处理长对话和文档分析任务的能力。