一语总结
小红书 AllSpark 团队提出无需人工标注的合成数据管线，通过扰动真实文档切断模型参数记忆，结合 Gap Check 筛选依赖上下文的样本，将 35B 模型在 CL-bench 上提升至 24.6%，超越万亿参数模型。

AI 总结

小红书 AllSpark 团队针对大模型上下文学习能力不足的问题，设计了一套零人工标注的合成数据训练流水线。流水线从公开来源收集 3515 篇真实文档，利用 GLM-5.2 进行深度扰动（改名、数值扰动、章节重排等）切断模型参数记忆，再由教师模型 Qwen3.8-2.4T 生成题目、评分标准及原生推理轨迹，通过 Gap Check（p₊≥0.6、p₋≤0.3、p₊−p₋≥0.4）筛选出 9625 条真正依赖上下文的高质量样本。以 Qwen3.6-35B-A3B 为学生模型，先 SFT 再 GSPO 强化学习，CL-bench 准确率从 13.7% 提升至 24.6%，超过万亿参数前沿模型 Qwen3.8-2.4T（23.9%）。实验发现：最强教师不等于最好学生，SFT 预热对 RL 收敛至关重要。提升显著迁移至长上下文理解、指令遵循与推理能力，代码能力略有下降。论文已开源，为上下文学习研究提供可复现路径。

核心要点

文档扰动合成管线零标注构造上下文学习数据
保留真实文档复杂度，通过 GLM-5.2 深度改写（专有名词替换、数值扰动、结构打乱）切断模型参数记忆，迫使教师模型必须读文档推理，从而暴露依赖上下文的推理轨迹供学生模仿。
Gap Check 机制精准筛选依赖上下文的高质量样本
让教师模型带/不带文档各答一次，裁判模型打分得到 p₊ 与 p₋，仅保留 p₊≥0.6、p₋≤0.3、p₊−p₋≥0.4 的样本，32.5% 低质量样本被过滤，确保训练信号纯粹来自上下文利用能力。
35B 学生模型经 SFT+RL 超越万亿参数前沿模型
Qwen3.6-35B-A3B 在 CL-bench 上从 13.7% 提升至 24.6%，超过 Qwen3.8-2.4T（23.9%）与 HY3（23.5%），证明合成数据管线能以小模型实现大模型级的上下文学习能力。
最强教师 ≠ 最好学生，SFT 预热是 RL 收敛关键
Kimi-K3（CL-bench 27.0%）教出的学生最弱（19.7%），中游教师 Qwen3.8-2.4T 教出最强学生；直接 RL 仅达 16.9%，而 SFT 后再 RL 使不同教师的学生收敛至同一高水平（24.5%/24.6%）。
能力提升广泛迁移至长上下文、指令遵循与推理
通用评测显示指令遵循、长上下文理解、推理能力显著提升，知识类持平、代码略降，与管线设计意图（教“如何用上下文”而非灌输知识）高度一致。

怎么让大模型更好地利用上下文？小红书 AllSpark 提出增强上下文学习能力的数据管线

小红书 AllSpark 团队公开零标注成本合成数据管线：深度扰动真实文档切断参数记忆，Gap Check 筛出依赖上下文的样本，35B 模型 CL-bench 从 13.7% 提到 24.6%，超万亿参数前沿模型；背诵审计与消融完整、论文开源，数据工程可复现路径清晰。

文章金句

"
让模型读一份几十页的手册，再据此回答问题、执行操作，是真实业务中最常见的用法之一。

"
扰动为什么关键？团队做过一次背诵审计：面对某知名技术标准的题目，模型在不给文档的情况下凭记忆答得近乎全对；同一份标准被改写后，它几乎得了零分，记忆里的知识与改写后的实体发生了冲突。

"
最强教师 ≠ 最好学生。Kimi-K3 本身在 CL-bench 上最强（27.0%），教出的学生却最弱（19.7%）；成绩中游的 Qwen3.8-2.4T 教出了最好的学生（22.8%）。

"
以 SFT 为起步 RL 能取得更好的效果。不对基座做 SFT、直接 RL 只能到 16.9%。而两位不同教师 SFT 出的学生（19.8% 与 22.8%），经过 RL 后几乎收敛到同一水平（24.5% 与 24.6%）。

"
预训练教会了模型文档的内容，却没有教会它如何按文档办事。

怎么让大模型更好地利用上下文？小红书 AllSpark 提出增强上下文学习能力的数据管线

文章金句

相关推荐