TWITTER · 人工智能
斯坦福 CS 329Z 讲座：AI Agent 评测基准设计
推文介绍了斯坦福 CS 329Z 课程第 13 讲内容，聚焦 Agent 评测基准的设计与信度问题。讲座系统梳理了从 SQuAD、GLUE 到 MMLU、Humanity's Last Exam 等语言模型评测的演进，以及从 AlpacaEval 到 AIR-Bench 等 Agent 类评测的发展。作者阐述了基准的七项标准：挑战性、真实性、区分度、可运行性、可验证性、可解释性、耐用性。讨论了如何让分数可信——包括公平性、可复现性、透明度和诚实度。推文包含 TextWorld、ALFWorld、WebShop、SWE-bench、OSWorld、Terminal-bench 等代表性基准的分析，以及如何避免古德哈特定律。
- Agent 评测需考虑输入、过程、输出三大要素不同
传统语言模型评测是'给提示看回答'，而 Agent 评测是'给任务加环境，多轮行动观察，输出轨迹+环境变化'。这种结构差异决定了评测方法论的根本不同。
- 好的基准需平衡七项核心标准
挑战性（模型有提升空间）、真实性（反映真实场景）、区分度（能区分不同系统）、可运行性（易部署）、可验证性（容易判分）、可解释性（失败原因清晰）、耐用性（抗刷题）是基准设计的七大支柱。
- 分数可信度依赖四个原则
公平使用一致框架设置，可复现记录固定配置，透明报告误差范围与成本，诚实避免测试集调参与只报最佳结果。古德哈特定律提醒指标一旦成为目标，可能失去原有价值。
斯坦福 CS 329Z 讲座：AI Agent 评测基准设计
推文介绍了斯坦福 CS 329Z 课程第 13 讲内容，聚焦 Agent 评测基准的设计与信度问题。讲座系统梳理了从 SQuAD、GLUE 到 MMLU、Humanity's Last Exam 等语言模型评测的演进，以及从 AlpacaEval 到 AIR-Bench 等 Agent 类评测的发展。作者阐述了基准的七项标准：挑战性、真实性、区分度、可运行性、可验证性、可解释性、耐用性。讨论了如何让分数可信——包括公平性、可复现性、透明度和诚实度。推文包含 TextWorld、ALFWorld、WebShop、SWE-bench、OSWorld、Terminal-bench 等代表性基准的分析，以及如何避免古德哈特定律。
文章金句
"好基准的七项标准：挑战性、真实性、区分度、容易运行、容易验证、可解释、耐用。
"公平：使用与基准一致的框架、工具、预算、模型设置、尝试次数和网络权限。
"古德哈特定律：指标一旦变成目标，就不再是好指标。