最近不少宣称支持超长上下文的论文，但实际可用性却很差。有点像人类一目十行，LLM 看了但没注意到关键信息。

最近不少宣称支持超长上下文的论文，但实际可用性却很差。有点像人类一目十行，LLM看了但没注意到关键信息。目前可用性的平衡点可能还是100k以下。JimFan: I'mcallingtheMythofContextLength:Don'tgettooexcitedbyclaimsof1Moreven1Bcontexttokens.Youknowwhat,LSTMsalreadyachieveinfinitecontextlength25yrsago!Whattrulymattersishowwellthemodelactuallyusesthecontext.It'seasytomakeseeminglywild…