为 Claude Fable 5 设计「成本高效 Harness」
这种成本高效设计同样适用于 GPT-5.6 Sol,核心思路是:大多数任务的智能需求在 token 维度上是不对称的--少数 token 需要前沿判断力,多数 token 只需廉价执行。Harness 的价值在于识别这种不对称,在正确的位置注入前沿智能。
三种分配模式 1. Orchestrator Fable 5 担任编排者,委派廉价 worker 适用于:前期规划型 2. Advisor Fable 5 担任顾问,被低阶执行者咨询 适用于:判断散布全流程 3. Verifier Fable 5 担任验证者,检查产出 适用于:末端审查型(如 /goal 循环)
实验一:Parameter Golf Fable 5 作顾问在初始 + 2 检查点介入,Sonnet 5 作执行者跑 20 轮 ML 实验设计。以 34% token 成本拿到 Fable-solo 约 90% 的增益。 反直觉:前置规划无效--Fable 初始排序与有效方向反相关。真正价值来自中段检查点:Sonnet 5 易陷边际增益 hill-climbing,Fable 提供方向纠偏与重新排序。 结论:探索性任务中每轮结果都重塑下一步方向,判断力须散布全流程而非前置一次。
实验二:BrowseComp 多约束 Web 检索,测试委派 Sonnet worker 何时真省钱。 易子集(~0.37M tokens/题):Fable 单独更便宜,协调加价 60% 无收益。 完整集(~31M tokens/题):Fable 编排 + Sonnet worker,96% 分数 / 46% 成本,套利显现。 协调成本两大来源:边界重复(跨模型 token 计费至少两次)+ 扇出重叠(worker 互不通信、研究范围部分重合)。 临界条件:worker 吸收的 token 量须足够大,节省才能摊薄固定交接成本。且 Fable 自身 token 效率高,低 $/token 不等于真省钱--看净收益。
四条 Harness 设计准则 1. 审视任务形状--判断散布型 → 廉价执行者 + Fable 顾问;判断前置/审查型 → Fable 编排者或验证者。 2. 使用委派启发式--为 Claude 提供 worker 的"品味"与"智能"先验排序(如 theo 的模型 rank),帮助 harness 动态决定何时调用哪个模型。 3. 评估协调成本--确保委派的 token 量足够大以摊薄固定交接成本;Fable 5 自身 token 效率高,意味着"用便宜模型替代"未必真便宜。 4. 保证 prompt cache 命中--子 agent 应跨调用复用同一 worker 以累积缓存,避免每次 spawn 新 worker 重复支付 context write 费用。低 cache 命中率会直接抵消低 $/token 的成本优势。
终极走向 Fable 5 可根据任务即时自写 harness。本文提供的任务形状分析、委派成本权衡、cache 管理等考虑,正是让 Claude 自主生成"选择性施加前沿智能"的 cost-effective harness 所需的内化知识。