Michael Ilie、C. Daniel Freeman 和 Kevin K. Troy
2025 年 8 月，我们进行了一项实验，观察 Claude 能在多大程度上帮助 Anthropic 的员工——他们并非机器人专家——使用一款现成的四足机器人（以下简称机器狗）完成复杂（且有趣）的任务。我们将此称为“取物计划”。我们发现，使用当时最先进的模型（Claude Opus 4.1）帮助一个团队大幅超越了另一个只能依赖互联网和自身创造力的团队。配备 Claude 的团队完成的工作更多，速度也更快。
在我们将同事们拉到仓库进行实验之前，我们再次确认了 Opus 4.1 能否完全独立完成这些任务。毫无疑问，它做不到。就像没有 Claude 的团队一样，它在解决如何连接机器人这一初步任务上卡住了。
但 AI 模型的发展速度很快——甚至比今年 8 月差点撞上我们其中一个人工团队的失控机器狗还要快。
我们认为现在是时候重新审视“取物计划”，看看我们的新模型能否超越上一代。结果不仅做到了，而且 Claude Opus 4.7——在无需人工协助的情况下——完成所有参与者不到一年前完成的任务时，速度比最快的人类团队快了大约 20 倍。
这并不意味着大语言模型现在已经解决了机器人技术问题。远非如此。最新的 Claude 模型在使用机器人精确移动沙滩球（即“取物计划”中的“取物”部分）时仍然存在困难。而且，这些实验中的任何任务都不涉及更具挑战性的底层机器人控制要素，例如制定特定的驱动策略。然而，我们再次看到一种模式：首先，模型对人类有帮助。然后，人类对模型有帮助。最后，模型在很大程度上能够自己完成任务。我们在网络安全领域已经看到了这一点，现在同样的动态开始在 AI 与物理世界的交汇处显现。
我们做了什么？
最初的“Project Fetch”让多组 Anthropic 员工（随机分配为使用或不使用 Claude 进行工作）执行以下步骤：使用制造商提供的控制器操作机器狗，连接机器狗的视频和激光雷达传感器，编写并运行一个手动控制机器狗的程序，开发一种监控机器狗空间路径的方法，编写一个检测沙滩球的程序，最后将所有环节整合起来，自主取回球。
在这次自主化更新中，我们无法要求 Claude 使用物理控制器，也没有评估研究人员使用 Claude 编写的控制器取回球所花费的时间（不过我们确实确认了该控制器按预期工作）。在剩余的任务子集中，我们在 Claude Code 中运行了 Opus 4.7 的三轮试验，使用了自适应思维并将努力程度设置为最高。我们测量了每个目标的耗时，并对模型的成功程度进行了定性评估。
我们研究人员的角色仅限于将运行着 Claude Code 的笔记本电脑连接到机器狗上，输入初始提示词，批准命令，以及批准模型进入下一个任务。
Claude 在哪些方面表现出色？
非常简单：在八月份至少有一个人类团队完成的每一项任务上，Opus 4.7 完成相同任务的速度至少快十倍。¹ 如果考虑两个人类团队都完成的四项任务，Opus 4.7 平均比“无 Claude 团队”快 37 倍以上，比“有 Claude 团队”快 18 倍以上。
该表格比较了原始团队（有 Claude 团队和无 Claude 团队）与 Opus 4.7 在我们作为第二阶段测试的所有任务上的速度。
人类团队在多种与机器狗传感器交互的不同方法之间难以抉择，而 Opus 4.7 能够快速识别出最佳路径。它编写的大部分代码在第一次尝试时就有效（在原始实验中，有 Claude 团队和无 Claude 团队的情况并非如此）。事实上，当我们查看 Opus 4.7 生成的代码量时，就能看出其效率：它比两个人类团队都更成功或同样成功，同时生成的代码量比有 Claude 团队少了近十倍。
Opus 4.7 并非完美无缺。例如，它默认使用了一种过时的目标检测算法。但即便如此，它仍能绕过这个问题，并最终找到有效的解决方案。
我们观察到，对于模型已完成步骤的完成时间，其任务内差异（按绝对值计算）很小。（不过，前述次优算法选择很可能是导致某次沙滩球检测试验耗时远长于其他试验的原因。）总体而言，对于本次实验中处于其能力范围内的任务，Claude 现在已经相当可靠。（关于 Claude 仍无法完成的任务分析，请参见下一节。）
值得强调的是（正如我们在上一篇文章中所做的那样），这一进步并非源于为提升模型机器人能力而进行的协同努力。这些改进，如同大语言模型发展史上的许多其他进步一样，是从更通用的扩展中涌现出来的。
Claude 在哪些方面遇到了困难？
我们的实验人员在使用双手并经过一些练习后，能够操控机器狗轻轻地将沙滩球推回机器人出发的基地（一块人造草地）。这需要具备快速感知球是否偏离路线、该偏差与先前指令的关系、球当前的位置，以及如何调整后续输入以更精确地移动球的能力。这是一种人类擅长的闭环控制（至少在犯了一些错误并从中学习之后）。
在我们的第二阶段实验中，Claude 难以捕捉到这种精妙之处。与那些进入需要编写程序以实现自主取回沙滩球阶段的人类一样，Claude 能够将机器人移动到球后方，并将其定位以将球击回起点。但这样做的尝试控制得很差，并且（同样与我们的实验人员一样）未能成功。
我们一位在机器人领域经验比第一阶段志愿者更丰富的研究员，成功完成了自主取物任务的编程。如果给予更多时间和额外的辅助框架，我们认为当前世代的 Claude 极有可能也能做到同样的事。不过，接下来我们将关注的是，模型能否以它们在“取物项目”其他环节中展现出的同样速度和可靠性来完成这最后一项任务。
这意味着什么？
在撰写第一阶段报告时，我们强调了 LLM 如何能够为非专业用户使用机器人提供能力提升。如今这一点比以往更加明显。模型现在能更快地独立完成此前需要人与模型结对编程的工作，这意味着人们可以更快地过渡到对机器人的操控和使用阶段。而对于某些任务，由人类在回路中操控机器人，可能仍然胜过（虚拟）手按方向键的 AI 模型。
有趣且不同之处在于，我们现在似乎更接近这样一个世界：模型将能够相对轻松地使用现成的物理工具——至少在有限用途上是如此。这类似于 AI 模型在向更智能体的编码方式过渡时，使用字符串替换等现有软件编辑工具的情况。我们很可能正进入物理智能体 AI 的早期时代。
还需要更多研究来理解模型如何让这些物理工具更具定制性——无论是通过编写针对特定任务的控制策略，还是通过设计机器人系统。要实现这种更通用的、具备物理能力且可适应的语言模型愿景，可能还存在重大障碍。但正如我们所看到的，模型能力上看似巨大的差距也可能被迅速跨越。模型自行构建软件工具在不久前或许还显得匪夷所思，但这正在发生。认为硬件领域不会出现同样的发展轨迹，是不明智的。
更新于 6 月 18 日：更正了“取物项目”第一阶段的日期。
脚注
- 我们报告的是 Claude Opus 4.7 的结果，因为在运行本次实验时，它是我们最先进的非 Mythos 级模型。与 Claude Mythos Preview 进行的初步试验表明，由于我们实验的设置方式以及该模型的部署方式，它无法与其他模型进行同类比较。