Nate Schmidt 在 Cursor 的职责是评估前沿模型处理长期、真实世界工程问题的能力。以下将说明 Claude Fable 5 为何以及如何改变了编程智能体的能力评估标准。
- 分类企业 AI
- 产品Claude 平台
- 日期2026 年 7 月 17 日
- 阅读时长5分钟
- https://claude.com/blog/working-at-the-frontier-cursor
Cursor 是一款用于构建专业软件的 AI 编程智能体。它支持所有主流前沿模型以及 Cursor 自研模型，这使得该公司成为评估各模型实际性能的异常中立的裁判。
Nate Schmidt 正是维护这份评分卡的工程师。他在 Cursor 负责评估和模型行为研究：分析模型如何成功、如何失败，以及是什么原因让开发者在中途悄然切换模型。当同事和客户想了解新版本的表现时，都会来找他。
随着时间的推移，Schmidt 的团队注意到，公开基准测试分数与开发者对这些模型的真实接受度已不再吻合，于是他们构建了自己的评估体系：CursorBench。
CursorBench 的设计旨在捕捉工程师实际提示模型时那种混乱、定义不明确的方式。其中一项评估任务只是粘贴一段堆栈跟踪信息，附带一个单词"修复"，模型必须自行推断意图、找到根本原因并验证修改。另一项任务则告诉模型错误的模块有问题，以此测试模型是会质疑用户的假设，还是顺着假设走进死胡同。
当 Claude Fable 5 运行该评估时，该模型在最大努力模式下达到了 72.9%，创下新高，展现了智能体编程工具在搭配合适模型时所能达到的能力水平。
但当 Schmidt 在自己的工程工作流和个人测试中使用该模型时，他发现自己不再需要重复说明目标。那种持续的"保姆式"操作——提醒模型上下文、详细说明解决方案、审核结果——已经不再必要。他可以直接交出一个问题，无论是他一直拖延的棘手重构任务，还是对细微边缘情况的推理，Claude Fable 5 都能解决。
“我不觉得需要从头训练 Claude Fable 5 才能让它理解我所处的世界以及我要解决的问题，”Schmidt 说，“这个模型开箱即用，本身就具备这种感知能力。”
对整个任务进行推理
当 Schmidt 的团队用 CursorBench 测试一个新模型时，正确答案只是基本门槛。他们真正评估的是模型是否理解了被问的问题。
“很多评测看起来是这样的：这里有一个定义明确的问题，这里有约束条件，去修复它。但真实用户给我们的提示词根本不是那样的，”Schmidt 说，“模型必须推断出用户有一个问题以及他们想表达什么，识别根本原因，修复它，验证修复结果，然后汇报。”
Claude Fable 5 在这些模糊任务上得分如此之高，以至于 Cursor 团队开始感到怀疑。
“要么是两种情况之一：要么这个模型非常聪明，要么它在作弊，”他说。于是团队查看了追踪记录，阅读了模型在那些最难任务上的实际推理过程——那些提示词看起来简单，但破解它需要理解整个系统的任务。
“我们不断看到这个模型挖掘出之前没有其他模型能做到的胜利，”他说。而且它用更少的操作就达到了目标：相对于完成的工作量，token 使用效率很高。
然后 Schmidt 让 Claude Fable 5 接受了他最喜欢的个人测试之一：登陆月球。
几周前，他用一行提示词——建造一枚火箭并登陆月球——将 Claude Opus 接入了一个可编程的太空飞行模拟器，并在第二个显示器上让它运行了十二到十六个小时。模型会发射火箭，在轨道上耗尽燃料，然后添加更多燃料，接着因为火箭太重而无法脱离大气层。
他用同样的空白提示词重新进行了实验，这次使用的是 Claude Fable 5。几分钟后，火箭升空，停在了近地轨道，然后返回地面。和之前一样的失败。然后 Schmidt 阅读了记录。
“Fable 决定不在首次尝试时就直奔月球。它想先执行一次初始任务，仅仅进入轨道并收集遥测数据，然后用这些数据来指导下一次飞行。”几次尝试之后，他第二个显示器上的引擎噪音停止了。月球上出现了一台着陆器。整个过程耗时几个小时，而 Opus 花了十二个多小时却毫无结果。
“使用 Opus 时，它进行的是局部推理——思考刚刚发生了什么以及即将发生什么，”Schmidt 说。“而使用 Fable 时，它进行的是全局推理。它思考的是整个任务。”
何时寻求全局最优解
Schmidt 已经确定了一个简单的规则，来决定何时使用 Claude Fable 5 而非更便宜、智能程度较低的模型。
“如果你很清楚从 A 到 B 的路径是什么样的，你可能就不需要 Fable。如果你在 A 点，但完全不知道 B 点在哪里，那么 Fable 就是一个绝佳的选择，”他说。“当我想以正确的方式构建某样东西时，Fable 是我首先想到的模型。”
Claude Fable 5 还让他的团队能够专注于之前被搁置的项目——那些所有人都同意会更好、但没人能证明值得花上数周时间进行重写的项目——因为这个模型能够承担足够多的框架性工作。“它降低了处理这类任务的激活能量，”Schmidt 说。“它让我们能够朝着全局最优解而非局部最优解前进。”
它也改变了团队的协作方式。Cursor 团队运作精简，强调高度的个人所有权，很少开站会。现在，在接触共享代码之前，Schmidt 会让一个智能体读取他队友最近的提交记录并标记冲突，这样他们俩都不必停下手中的工作去同步。
为了平衡成本与性能，他的团队将 Claude Fable 5 与更快、更轻量的模型搭配用于日常工作，并在能力成为瓶颈的问题上引入它。他说，在这种配置下，这个组合是他们运行过的最有效的方案。
“如果我要解决一个真正棘手的问题——那百分之九十九的问题——我真正想优化的是‘解题时间’，”他说，“而我认为 Fable 是解决我们最困难问题的最佳模型。”
下一步计划
尽管已经在 CursorBench 上对模型进行了全面测试，甚至把它送上了“月球”，Schmidt 仍在寻找 Claude Fable 5 的极限。接下来，他想看看这个模型能无人值守地管理一个后端系统多长时间——数天到数周的持续运行是他的下一个实验。在 Cursor 内部，团队正在利用该模型主动寻找性能瓶颈和用户痛点，而不是等待报告，同时也在构建更复杂、更贴近现实的评测环境，以衡量未来可能出现的一切。
“有一类问题，人们甚至从未考虑过，因为它们看起来遥不可及，”他说，“有了 Fable，我很兴奋能去挑战这些难题。”
立即开始使用 Claude Fable。