ARTICLE · 人工智能

小红书 NeurIPS 2026|用推理模型自己的思维链作 hint,1000 条数据教会模型“少想”

作者:小红书技术REDtech 来源:小红书技术REDtech 2026-10-22 17:59 16 分钟 140 阅读 3947 字
AI 与智能应用推理模型模型发布数学强化学习
一语总结

小红书提出 Hint Tuning 方法,通过将推理模型的思维链切片作为提示,让模型学会按题目难度动态调整思考长度,在数学基准上实现 31.5% 的 token 节省,同时保持准确率稳定。

AI 总结

推理模型在处理简单问题时往往过度思考,导致不必要的计算开销。本文介绍的 Hint Tuning 方法通过分析推理模型与指令模型之间的差异,构建了一种基于最小有效提示的训练策略。该方法利用 1000 条数据,让模型学会区分需要深度分析的难题和可以直接快速解决的简单题,从而显著提高了推理效率。

核心要点
  1. 推理模型在简单问题上过度思考,导致效率低下。

    实验对比显示,推理模型在解决简单问题时,输出的 token 数量是指令模型的 5~8 倍,其中大部分是重复的验证步骤,并没有增加实际的理解或准确性。

  2. Hint Tuning 方法通过最小有效提示来优化思考长度。

    该方法将推理模型的思维链切成片段,并测试指令模型在这些片段的帮助下是否能正确回答。通过这种方式,可以确定每道题所需的最小思考量,并以此为基础构建训练数据,让模型学会按需分配计算资源。

  3. 实验结果证明了该方法的有效性。

    在多个数学基准测试中,应用 Hint Tuning 的模型平均节省了 31.5% 的推理 token,同时保持了与原始模型相当的准确率。这表明模型能够成功区分简单和困难问题,并相应地调整其思考深度。

小红书 NeurIPS 2026|用推理模型自己的思维链作 hint,1000 条数据教会模型“少想”

推理模型在处理简单问题时往往过度思考,导致不必要的计算开销。本文介绍的 Hint Tuning 方法通过分析推理模型与指令模型之间的差异,构建了一种基于最小有效提示的训练策略。该方法利用 1000 条数据,让模型学会区分需要深度分析的难题和可以直接快速解决的简单题,从而显著提高了推理效率。

小红书 REDtech 团队 NeurIPS 2026 一手工作:把推理模型自己的思维链切片作 hint,以「最小有效提示」自动决定思考长度,1000 条数据一次 SFT 即让模型按难度分配思考,token 省 31.5% 准确率持平,代码模型数据全开源。适合关注推理效率的读者。

文章金句

"

简单题直接答,难题再深度思考,让推理模型按题目难度分配思考长度。

"

把推理模型自己的思维链切成片段作为 hint 交给同家族的 Instruct 模型,很多题只需开头几段、甚至不给提示就能答对。

"

在准确率相当的情况下,Hint Tuning 的平均输出最短,按总生成量算所需数据少 25~640 倍。