LLM得上下文越来越长，模型搜寻信息的能力却未必线性提升

LLM得上下文越来越长，模型搜寻信息的能力却未必线性提升总体而言，模型会更注意开头的文本准确性方面，有时上下文更长的Claude100k表现不如ChatGPT16k利用ChatDoc/ChatPDF来获取信息并帮助模型筛选信息块、或重新排序信息块也能提升效果最后，价格高贵的GPT4效果拔群https://arxiv.org/pdf/2307.03172.pdfhttps://t.co/oL91J2TVAm

Giraffe：世界上第一个商业可用的32K长上下文开源LLM（基于Llama-2）

Giraffe：世界上第一个商业可用的32K长上下文开源LLM（基于Llama-2）Giraffe是一个新的模型系列，它们是从已发布的基础LLaMA和LLaMA2模型进行微调的，其中包括了从LLaMA微调的4kGiraffe和16kGiraffe，以及从LLaMA2微调的32kGiraffe，并将它们的权重发布在HuggingFace上。Giraffe-32k在开源LLM领域成为一股强大的力量，Giraffe-32k可以执行更复杂的检索操作，出错更少，对于维护长时间对话或要求LLM帮助处理大型现有代码库至关重要。该研究强调了用于上下文长度探索的两种新方法。值得注意的是，ABACUS.AI的一种技术，称为truncation（截断），表现出极具潜力的结果。