arc-agi-3 is now saturated
GPT-6 Astra 由 @OpenAI 打造，在 ARC-AGI 上达到 SOTA（最先进水平）： - Astra 在 ARC-AGI-3 上得分 63%，通过新的 provider adapter harness 可达 99% - 在 ARC-AGI-3 的 96% 关卡上超越人类表现 - 它构建了我们所见过的对...
AI 导读
Greg Brockman 转发 @arcprize 的评测称 OpenAI 的 GPT-6 Astra 在 ARC-AGI-3 上取得 SOTA，他称该基准已饱和。Astra 标准 harness 得分 63%，经新的 Provider Adapter harness 达 99%，在 96% 的 ARC-AGI-3 关卡上超越人类表现；排行榜图还显示更高推理层级通常成本更低，因为 Astra 用更少动作通关，减少模型调用和 token 数。
Greg Brockman@gdb精选
71
AI 编辑部评分，满分 100Greg Brockman 转发 @arcprize 的评测称 OpenAI 的 GPT-6 Astra 在 ARC-AGI-3 上取得 SOTA，他称该基准已饱和。Astra 标准 harness 得分 63%，经新的 Provider Adapter harness 达 99%，在 96% 的 ARC-AGI-3 关卡上超越人类表现；排行榜图还显示更高推理层级通常成本更低，因为 Astra 用更少动作通关，减少模型调用和 token 数。
推荐理由
转发 ARC Prize 对 GPT-6 Astra 的评测数据，标准与 Provider Adapter 两种 harness 分差大，可据此了解 harness 对得分的影响。
来源：Greg Brockman· x.com