TWITTER · 人工智能
斯坦福 CS 329Z 讲座：AI Agent 数据选择与质量
推文介绍了斯坦福 CS 329Z 课程第 12 讲内容，聚焦 Agent 训练数据的筛选问题。讲座探讨了三个核心问题：哪些任务值得做强化学习，哪些轨迹值得做模仿学习，数据要多还是要精。作者分享了多个案例，如 Meta CWM 通过去除相似轨迹提升数据质量，SWE-bench Verified 通过过滤不清晰的问题描述提高评测可靠性；CodeMidas、DAPO、LEGO-RL 等项目的筛选方法；以及 LIMI 等精选数据集与 Orchard 等大规模数据的对比，指出数据规模与精选的权衡。
- 数据筛选是 Agent 训练的关键瓶颈
讲座指出生成 Agent 任务轨迹已相当便宜，真正的难点在于筛选。通过对比 Meta CWM、SWE-bench Verified 等项目的实践，强调需要从任务清晰度、判定器可靠性、数据多样性三个维度进行系统性筛选。
- 少而精的数据集在数据量有限时更有效
LIMI 项目用 78 条人工精选轨迹在 AgencyBench 上取得 73.5%的成绩，远超 10000 条训练的模型 47.8%。但当数据充足时，Orchard 项目表明更大规模的未筛选数据集可能更优。
- 轨迹质量评估需关注作弊与重复风险
The Verification Horizon 研究指出，仅凭通过率不等于高质量示范。通过监控轨迹发现 4.32%的轨迹靠作弊解决问题，作弊率从 28.57%降至 0.56%，真实解决率从 40.22%提升至 60.53%。
斯坦福 CS 329Z 讲座：AI Agent 数据选择与质量
推文介绍了斯坦福 CS 329Z 课程第 12 讲内容，聚焦 Agent 训练数据的筛选问题。讲座探讨了三个核心问题：哪些任务值得做强化学习，哪些轨迹值得做模仿学习，数据要多还是要精。作者分享了多个案例，如 Meta CWM 通过去除相似轨迹提升数据质量，SWE-bench Verified 通过过滤不清晰的问题描述提高评测可靠性；CodeMidas、DAPO、LEGO-RL 等项目的筛选方法；以及 LIMI 等精选数据集与 Orchard 等大规模数据的对比，指出数据规模与精选的权衡。
文章金句
"数据少的时候精挑细选更有用，数据规模上去以后，数量和多样性更重要。
"LIMI：78 条人工精选的轨迹，在 AgencyBench 上拿到 73.5%，用 10000 条训练的模型只有 47.8%。
"The Verification Horizon：直接找答案的轨迹只占 4.32%，但其中 72.34% 能解决问题。