AI Harness 对性能的影响超过模型本身:GPT-5.5 与 Opus 4.7 在第三方工具中得分更高

Tomer Tunguz 博客(VC 分析)·2026-07-28 08:00·34天前
AI 导读

Endor Labs 测试显示,同一模型在不同 harness 中性能差异巨大:GPT-5.5 在 Cursor 中功能正确率 87.2%,远超其在 Codex 原生环境中的 61.5%;Opus 4.7 在 Cursor 中得分 91.1%,高于 Claude Code 的 87.2%。Harness 决定发送的上下文与缓存策略,智能缓存可节省 40-80% 成本并提速 13-31%。

Tomer Tunguz 博客(VC 分析)
精选
66AI 编辑部评分,满分 100

AI Harness 对性能的影响超过模型本身:GPT-5.5 与 Opus 4.7 在第三方工具中得分更高

2026-07-28 08:00· 34天前
AI 导读

Endor Labs 测试显示,同一模型在不同 harness 中性能差异巨大:GPT-5.5 在 Cursor 中功能正确率 87.2%,远超其在 Codex 原生环境中的 61.5%;Opus 4.7 在 Cursor 中得分 91.1%,高于 Claude Code 的 87.2%。Harness 决定发送的上下文与缓存策略,智能缓存可节省 40-80% 成本并提速 13-31%。

推荐理由

作者引用同一模型在不同 harness 下的分数差与缓存研究,说明 harness 而非模型决定成本和表现,读者可借此审视自己的工具链选择。

正文 · AI 翻译

AI 工具链(harness)对性能的影响比模型本身更大。

Endor Labs 在同一周内用两套工具链运行了相同的模型。OpenAI 的 GPT-5.5 在其原生 Codex 工具链中功能正确率为 61.5%,而在 Cursor 工具链中为 87.2%,仅因运行时不同就产生了 25.7 个百分点的差距。Anthropic 的 Opus 4.7 在 Claude Code 中得分 87.2%,在 Cursor 中为 91.1%。

两款前沿模型在竞争对手的工具链中表现都优于自家发布的工具链。

工具链是 AI 技术栈中的关键支点。它们影响成本、质量和准确性。

在 OpenRouter 上,输入 token 占大语言模型流量的 86-98%。输出每 token 的成本是输入的 5 倍,但输入仍然占据账单大头,因为输入量要大得多。一年前,我在《Hungry, Hungry AI Model》中曾思考过这个比例问题。从业者当时说 95% 输入 / 5% 输出。在规模化场景下,他们是对的。

Stacked bar chart showing share of token volume by type for five OpenRouter models. Input tokens account for 85.7% to 98.2% of volume, with reasoning and completion making up the remainder.

因此,控制输入成本是一个极具价值的命题。模型本身无法控制这些成本,但工具链可以。工具链决定发送哪些上下文。这些上下文中有很大一部分在每次查询之间是重复的。智能地缓存这些内容可以节省 40-80%。一项针对 500 个长时程智能体会话的研究发现,成本降低 41-80%,首 token 延迟加快 13-31%,且节省效果从 500 token 到 50,000 token 的提示词呈线性增长。胜出的方案是只缓存稳定的前缀,并将动态内容放在缓存断点之后。

工具链还负责信息检索:要读取的代码、风格指南、投资简报中需要分析的部分。内容越简洁精准,成本就越低。

Cursor 的工具链在技术上与 Claude Code 逐项对标:动态工具获取、基于优先级的提示词前缀组装、双层缓存。这就是为什么 Opus 4.7 在 Cursor 中的得分高于 Claude Code,也是为什么 GPT-5.5 在 Codex 之外的功能正确率几乎翻倍。

捆绑方案并非没有可取之处。Claude Code 将缓存命中率视为可用性指标,在真实会话中命中率约为 96%,在同一版本的用户之间共享系统提示词缓存,并以 99% 的字节一致性构建分叉子智能体,节省 90% 的成本。

协同设计 harness、缓存 API 与模型,确实能换来真正的缓存纪律。但这份纪律存在于 harness 之中,而第三方 harness 同样可以达到同等水平,Cursor 的数据便证明了这一点。

Harness 已摆脱了“模型包装器”的批评之声;它如今是一位骑师,将 AI 的性能推向比培育者所想象的更远的地方。


  1. Endor Labs,“GPT-5.5 在 Agent 安全联赛中凭借 Cursor(而非 Codex)创下代码安全新纪录”,2026 年 4 月 27 日,https://www.endorlabs.com/learn/gpt-5-5-sets-a-new-code-security-record-with-cursor-not-codex-in-agent-security-league。Agent 安全联赛基准测试,基于卡内基梅隆大学的 Open SusVibes 框架。↩︎

  2. Tomasz Tunguz,“饥饿的 AI 模型”,2025 年 7 月 8 日,https://tomtunguz.com/input-output-ratio/ ↩︎

  3. Tomasz Tunguz,“Harness 是新的战场”,https://tomtunguz.com/the-harness-is-the-new-battleground/ ↩︎

  4. Lumer 等人,“不要破坏缓存:面向长周期智能体任务的提示词缓存评估”,arXiv:2601.06007,2026 年。https://arxiv.org/abs/2601.06007 ↩︎

  5. Anthropic,“构建 Claude Code 的经验教训:提示词缓存就是一切”,2026 年 4 月,https://claude.com/blog/lessons-from-building-claude-code-prompt-caching-is-everything;交换税数据来自 Digital Applied,“提示词缓存经济学:缓存优先的智能体设计”,2026 年 7 月,https://www.digitalapplied.com/blog/prompt-caching-economics-cache-first-agent-architecture-2026。 ↩︎

来源:Tomer Tunguz 博客(VC 分析)· tomtunguz.com