OpenAI Codex App的「Computer Use」功能通过获取macOS屏幕录制和辅助功能权限,使AI能直接观察并操作图形界面,自动化执行应用测试、浏览器操作、GUI Bug复现等任务。使用时需在prompt中@目标应用并清晰描述流程。其权限分为系统层和Codex内部应用白名单两层,安全上强调任务需具体、可中断,并禁止自动化终端或进行管理员认证。开发者应注意隔离浏览器会话,并让Codex在修改代码后重跑流程以形成验证闭环。
OpenAI Codex App「Computer Use」是我最近用过最惊讶和满意的功能,应该没有之一,快、准!如果你在用 Codex 却还没用过 Computer Use,或者还没用过 Codex 想找一个用起来的理由,Computer Use 必须用起来!
Computer Use:通过 屏幕录制 + 辅助功能 两项 macOS 系统权限,让 Codex 直接「看屏幕、动鼠标键盘」,操作 macOS 上的图形界面应用。 https://developers.openai.com/codex/app/computer-use
什么时候用它? · 测试 macOS app、iOS 模拟器流程、Codex 自己正在构建的桌面应用 · 需要浏览器操作的任务 · 复现只在 GUI 中出现的 bug · 改那些必须点 UI 才能改的应用设置 · 查看没有插件接入的应用或数据源里的信息 · 跨多个应用协作的工作流 · 在后台跑一个有界限的任务,自己同时做别的事
两个重要原则 · 本地在开发的 Web 应用,优先用 Codex 自带的 in-app browser,而不是 Computer Use 去开 Chrome · 目标应用如果有专属 plugin / MCP server,优先走结构化集成;Computer Use 仅用于必须「视觉操作」的场景
怎么触发? 在 prompt 里 @ Computer Use 或直接 @ AppName(如 @ Chrome),并清晰描述目标应用、窗口和流程。 这种「操作 → 改代码 → 再跑同一流程」的闭环,是它最有价值的用法之一:让 agent 能自己验证自己的修改。