STORY · 事件已收束

Allen Institute for AI 发布 OSWorld2.0

1 个精选信源 · 1 篇报道持续 1最新动态 40天前
最新进展

OSWorld2.0:长时域真实世界计算机使用工作流基准

TIMELINE

报道时间线

1 条公开报道 · 官方一手 0 条 · 最新在前
  1. OSWorld2.0:长时域真实世界计算机使用工作流基准
    HuggingFace Daily Papers(社区热门论文)精选

    OSWorld2.0 发布,包含108个长时域计算机使用工作流,覆盖日常与专业任务。每项任务用户中位数约1.6小时完成,Claude Opus 4.7(最大思考)平均需318次工具调用(OSWorld 1.0约30次)。基准聚焦流交互、动态环境、跨源推理、隐式状态推断、视觉空间精度等真实挑战。任务基于真实输入工件和状态化用户档案,附安全报告。500步二元完成指标下,Claude Opus 4.8(最大思考+批量调用)得分最高仅20.6%(部分54.8%);GPT-5.5更省token但约13%。结果表明当前智能体远未达专业级:瓶颈不在基本GUI控制或编码,而是丢失约束、错过中途信息、猜测而非询问、跳过验证,尤其依赖隐藏状态时最差。

RELATED