Codec控制iPhone真的绝了!!! 分享一个真实用法: 我让 Agent 接管 iPhone 去理备忘录, 它数出 iCloud 里一共 878 条, 没一上来就大改, 先建议从置顶那几条动手。

光是把「到底有多少、该从哪下手」理清楚,我自己手动至少得搭进去两个星期。

几条能省时间的经验,一部分来自官方说明,一部分是这类 harness 几乎都会踩的: •AppleScript 的 click at 对镜像窗口无效--里面没有可访问性树,只有视频流 •输入时镜像窗口必须在最前台,执行中途别抢焦点,否则字会被吞一半 •type_text 之前先点进输入框,等键盘起来再打 •长列表用滚轮或 scroll_* 系列,比慢拖靠谱;慢拖在 iOS 列表上经常弹回去 •主屏图标不要用 tap_text("天气"),点中的是标签不是图标,看起来像没点中。主屏用 tap_icon(agent helper),App 内的按钮和列表行才用 tap_text •坐标不要跨调用缓存,窗口位置会变,每次 ocr() / swipe() 都会重取 bounds •没有多指,捏合缩放做不了;需要 Face ID 或相机流程的场景也不在这套能力里 •DRM 视频区域截出来可能是黑的