TWITTER · 人工智能
UC San Diego 研究揭示：长上下文检索失败原因在于上下文腐化，而非输入长度本身
一语总结UC San Diego 的一篇论文表明，长上下文检索失败源于上下文腐化——即引发注意力偏离的误导性相似陈述——而非输入长度本身，其中注意力稀释解释了最多 58% 的错误，仅占长度的 8%。
AI 总结
该论文考察了长上下文检索失败的原因，发现输入长度本身对性能衰减的贡献极小（最多仅 8%）。通过 126，473 次实验，研究表明，增加 32K 不相关文本几乎不影响准确率（在 Qwen2.5-1.5B 模型上保持 97%-100%）。然而，当不相关文本包含与正确答案相似但错误值值的陈述时，准确率会下降至 16%-33%。研究结论指出，对于 RAG 和智能体记忆系统，在将上下文传递给模型前进行去重和解决冲突 Statement，比截断 Token 更为关键。
UC San Diego 研究揭示：长上下文检索失败原因在于上下文腐化，而非输入长度本身
该论文考察了长上下文检索失败的原因，发现输入长度本身对性能衰减的贡献极小（最多仅 8%）。通过 126，473 次实验，研究表明，增加 32K 不相关文本几乎不影响准确率（在 Qwen2.5-1.5B 模型上保持 97%-100%）。然而，当不相关文本包含与正确答案相似但错误值值的陈述时，准确率会下降至 16%-33%。研究结论指出，对于 RAG 和智能体记忆系统，在将上下文传递给模型前进行去重和解决冲突 Statement，比截断 Token 更为关键。