Cursor 评估负责人确认 Claude Fable 5 在 CursorBench 达 72.9% 新高

来源:Claude:Blog(网页) 2026年7月16日 00:00 AIHOT 评分:64 精选
摘要:Cursor 的模型评估负责人 Nate Schmidt 发现,Claude Fable 5 在其内部基准 CursorBench 上以 Max effort 模式达到 72.9%,创下新高。该模型在模糊的真实编程任务中表现出全局推理能力,例如在航天模拟器中仅凭一句提示自主规划并成功登月,而此前 Claude Opus 运行 12 小时以上仍无结果。
# Cursor 评估负责人确认 Claude Fable 5 在 CursorBench 达 72.9% 新高 - 来源:Claude:Blog(网页) - 发布时间:2026-07-17 00:00 - AIHOT 分数:64 - AIHOT 标记:精选 - AIHOT 链接:https://aihot.virxact.com/items/cmrp5pfjw0af6bitoudv35oqk - 原文链接:https://claude.com/blog/working-at-the-frontier-cursor ## 精选理由 Cursor 工程师用自家基准和太空模拟器实打实测试了 Claude Fable 5,从全局推理到自主规划路径的能力跃迁很具体,做编码 agent 的可以看看这个‘p99 问题’解法。 ## AI 摘要 Cursor 的模型评估负责人 Nate Schmidt 发现,Claude Fable 5 在其内部基准 CursorBench 上以 Max effort 模式达到 72.9%,创下新高。该模型在模糊的真实编程任务中表现出全局推理能力,例如在航天模拟器中仅凭一句提示自主规划并成功登月,而此前 Claude Opus 运行 12 小时以上仍无结果。 ## 正文 Nate Schmidt 在 Cursor 的工作是评估前沿模型处理长期、真实世界工程问题的能力。以下是他为何以及如何认为 Claude Fable 5 改变了编码智能体能力上限的评估标准。 分类 企业 AI 产品 Claude 平台 日期 2026 年 7 月 17 日 阅读时间 5 分钟 https://claude.com/blog/working-at-the-frontier-cursor Cursor 是一款用于构建专业软件的 AI 编码智能体。它支持所有主要前沿模型以及 Cursor 自有的模型,这使得该公司成为评判各模型实际性能的异常中立的裁判。 Nate Schmidt 是维护这份评分卡的工程师。他在 Cursor 负责评估和模型行为研究:研究模型如何成功、如何失败,以及是什么原因让开发者会在任务中途悄悄切换模型。当同事和客户想了解新版本的表现时,就会来找他。 随着时间的推移,Schmidt 的团队注意到,公开的基准测试分数与开发者对这些模型的真实接受度已不再吻合,于是他们构建了自己的评估体系:CursorBench。 CursorBench 旨在捕捉工程师实际提示模型时那种混乱、定义不明确的方式。其中一个评估任务只是粘贴一段堆栈跟踪信息,附带一个单词"fix",模型必须自行推断意图、找到根本原因并验证修改。另一个任务则告诉模型错误的模块出了问题,以此测试模型是会质疑用户的假设,还是会顺着假设走进死胡同。 当 Claude Fable 5 运行该评估时,该模型在 Max effort 模式下达到了 72.9%,创下新高,展现了智能体编码工具在搭配合适模型时所能达到的能力。 Claude Fable 5 在 Max effort 模式下达到了 72.9%,创下新高。 但当 Schmidt 在自己的工程工作流和个人测试中使用该模型时,他发现自己不再需要重复说明目标。那种持续的"保姆式"操作——提醒模型上下文、详细说明解决方案、审计结果——已不再必要。他可以直接交出一个问题,无论是他一直拖延的棘手重构,还是对细微边缘情况的推理,Claude Fable 5 都能解决。 “我不觉得需要从头训练 Claude Fable 5 才能理解我所处的世界和要解决的问题,”施密特说,“这个模型开箱即用,天然就具备这种感知能力。” 对整个任务进行推理 当施密特的团队用 CursorBench 测试新模型时,给出正确答案只是基本门槛。他们真正评估的是模型是否理解了被问的问题。 “很多评测看起来是这样的:这里有一个定义明确的问题,这些是约束条件,去修复它。但真实用户给我们的提示词根本不是那样的,”施密特说,“模型必须推断出用户遇到了问题、他们想表达什么,然后找出根本原因、修复问题、验证修复结果,并反馈回来。” Claude Fable 5 在这些模糊任务上得分太高,以至于 Cursor 团队开始起疑。 “要么是模型非常聪明,要么是模型在作弊,”他说。于是团队查看了追踪记录,阅读模型在那些最难任务上的实际推理过程——这些任务提示词看起来简单,但要破解就必须理解整个系统。 “我们不断看到模型挖掘出其他模型之前从未做到过的胜局,”他说。而且它完成这些任务时操作更少:相对于完成的工作量,token 使用效率很高。 然后施密特让 Claude Fable 5 接受了他个人最喜欢的测试之一:登陆月球。 几周前,他用一行提示词——建造一枚火箭并登陆月球——将 Claude Opus 接入了一个可编程太空飞行模拟器,让它在第二个显示器上运行了十二到十六个小时。模型会发射火箭,在轨道上耗尽燃料,于是添加更多燃料,结果因为火箭太重而无法冲出大气层。 他用同样的空白提示词重新做了实验,这次用的是 Claude Fable 5。几分钟后,火箭升空,在近地轨道停留,然后返回地面。和之前一样的失败。然后施密特阅读了对话记录。 “Fable 决定不在首次尝试时就直奔月球。它想先执行一次初始任务,仅仅进入轨道并收集遥测数据,然后用这些数据来指导下一次飞行。”几次尝试之后,他第二个显示器上的引擎噪音停止了。月球上出现了一个着陆器。整个过程耗时几个小时,而 Opus 花了十二个多小时却毫无结果。 “使用 Opus 时,它进行的是局部推理——思考刚刚发生了什么以及即将发生什么,”Schmidt 说。“而使用 Fable 时,它进行的是全局推理。它在思考整个任务。” Cursor 通过其内部基准测试 CursorBench 来运行所有模型,该基准用于评估模型在模拟真实开发者工作的任务上的表现。 何时寻求全局最优解 Schmidt 已经确定了一个简单的规则,来决定何时使用 Claude Fable 5 而非更便宜、智能程度较低的模型。 “如果你对从 A 到 B 的路径有清晰的认识,你可能不需要 Fable。如果你身处 A 点,却完全不知道 B 点在哪里,那么 Fable 就是一个绝佳的选择,”他说。“当我想以正确的方式构建某样东西时,Fable 是我首先想到的模型。” Claude Fable 5 还让他的团队能够专注于那些之前被搁置的项目——那些所有人都同意会更好,但没人能证明值得花上数周时间进行重写的项目——因为这个模型能够承担足够多的骨架工作。“它降低了处理这类任务的激活能量,”Schmidt 说。“它让我们能够朝着全局最优解而非局部最优解前进。” 这也改变了团队的协作方式。Cursor 团队运作精简,强调高度的个人所有权,很少开站会。现在,在接触共享代码之前,Schmidt 会让一个智能体读取他队友最近的提交记录并标记冲突,这样他们俩都不必停下手中的工作去检查。 为了平衡成本与性能,他的团队将 Claude Fable 5 与更快、更轻量的模型配对用于日常工作,并在能力成为瓶颈的问题上引入它。他说,在这种配置下,这个组合是他们运行过的最有效的方案。 “如果我要解决一个真正棘手的问题——那类 p99 级别的问题——我真正想优化的是‘解题时间’,”他说,“而我认为 Fable 是解决我们最困难问题的最佳模型。” Nate Schmidt 在各种评估中测试新模型,包括在太空飞行模拟器中对其进行全面考验。 下一步计划 尽管已经在 CursorBench 上对模型进行了全面测试,甚至还把它送上了“月球”,Schmidt 仍在寻找 Claude Fable 5 的极限。接下来,他想看看这个模型能无人值守地管理一个后端系统多长时间——持续数天到数周的运行是他的下一个实验。在 Cursor 内部,团队正在利用该模型主动寻找性能瓶颈和用户痛点,而不是等待报告,同时也在构建更复杂、更贴近现实的评估环境,以衡量未来可能出现的一切。 “有一类问题,人们甚至从未考虑过,因为它们看起来似乎无法解决,”他说,“有了 Fable,我很兴奋能去挑战这些难题。” 立即开始使用 Claude Fable。