OpenAI的Codex Computer Use功能实现了AI向通用桌面智能体的关键演进。该功能允许Codex在后台运行,通过模拟光标点击、键盘输入和屏幕感知来操作几乎任何Mac应用程序,即便应用未提供API。这有效填补了前端调试、UI走查和设计工具自动化等领域的长期空白。其主导者Ari Weinstein的职业轨迹始终围绕“让人与AI直接驱动电脑”这一核心,从开发被苹果收购的Workflow(现Shortcuts)到如今在OpenAI推动智能体的无缝后台操作,持续拓展人机交互边界。
Computer Use 让 Codex 从「编程 Agent」向「通用桌面 Agent」又迈进了一大步!
OpenAI 开发者关系负责人 @romainhuet 和 Codex Computer Use 主导者 @AriX 的对谈,重点讨论了 Computer Use 带来的变化。
这也是我最近对 Codex 和所有 Agents 最为满意的功能,现在用它来做自动化测试,后台并行、不抢占 Mac,有自己的光标,能看屏幕、点击、输入,几乎任何 Mac 应用(即使没有 API)都成为可被自动化的对象--尤其覆盖了前端调试、UI 走查、设计工具操作等长期空白地带。
关于 Ari Weinstein 还想多介绍一下,他的经历很传奇: 从 iOS 越狱社区出身,做出 Workflow → 被苹果收购成为 Shortcuts → 创办 Sky → 被 OpenAI 收购,如今在 OpenAI 主导 Codex Computer Use。他的职业主线,一直就是「让普通人和 AI 能直接驱动一台电脑」。