概述
我们发布了 PerceptionBench，这是一个将视觉感知能力独立出来，并作为一组原子能力进行评估的基准测试——这些能力是从当前模型的失败模式中发现的，而非预先定义。通过将前沿模型在 40 多个基准测试中的失败归因到其最早的视觉原因，我们提炼出 10 项感知能力和 3000 道经过验证的题目，每道题仅凭观察即可回答，无需推理或外部知识。
结果是一份精准的诊断，而非又一个分数。我们评估的所有模型准确率均未超过 60%，而总体分数几乎相同的模型可能表现出截然不同的感知优势和劣势。更引人注目的是，大量正确答案在重复提问时未能保持稳定——这证明当前模型往往是在猜测而非感知。PerceptionBench 旨在精确揭示感知在何处失效，并推动多模态 AI 朝着忠实且稳定地“看见”的方向发展。
模型总体准确率
准确率（%）
使用 PerceptionBench 比较模型
| # | 模型 | 总体 | 视觉关系 | 计数 | 属性 | 深度 | 位置 | 组成 | 前景/背景 | 上下文 | OCR | 幻觉 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 🥇 | GPT-5.6-Sol | 59.7 | 69.7 | 62.4 | 62.1 | 55.5 | 76.7 | 67.0 | 55.9 | 60.0 | 54.9 | 26.9 |
| 🥈 | Kimi-K3 | 58.5 | 68.5 | 59.7 | 59.4 | 52.7 | 70.6 | 59.5 | 55.9 | 53.7 | 61.2 | 42.1 |
| 🥉 | Claude-Fable-5 | 57.2 | 58.5 | 52.9 | 60.9 | 51.5 | 70.4 | 56.1 | 51.6 | 59.8 | 64.3 | 45.0 |
| 4 | Gemini-3.1-Pro | 56.2 | 58.8 | 56.9 | 61.8 | 50.0 | 52.7 | 61.7 | 54.8 | 61.2 | 64.3 | 40.6 |
| 5 | GPT-5.5 | 55.8 | 61.9 | 55.8 | 60.9 | 48.8 | 65.8 | 65.6 | 47.2 | 58.0 | 56.5 | 34.7 |
| 6 | Seed-2.1-Pro | 55.0 | 57.6 | 51.2 | 58.2 | 43.6 | 50.0 | 59.5 | 56.6 | 60.4 | 66.7 | 49.8 |
| 7 | Gemini-3.5-Flash | 51.5 | 53.0 | 43.3 | 53.9 | 49.1 | 50.3 | 54.5 | 51.4 | 52.9 | 58.8 | 50.2 |
| 8 | Qwen3.7-Plus | 51.1 | 59.1 | 53.3 | 55.8 | 48.5 | 52.7 | 55.9 | 46.8 | 52.2 | 54.5 | 29.5 |
| 9 | Qwen3.5-397B-A17B | 47.5 | 55.2 | 49.1 | 53.0 | 44.6 | 46.7 | 49.8 | 44.8 | 50.2 | 52.9 | 26.9 |
| 10 | Claude-Opus-4.8 | 47.2 | 51.4 | 44.2 | 49.4 | 40.6 | 58.8 | 48.4 | 40.7 | 44.7 | 54.1 | 38.7 |
| 11 | Kimi-K2.6 | 42.6 | 50.9 | 45.2 | 43.6 | 42.4 | 45.2 | 39.1 | 34.5 | 40.4 | 40.8 | 41.0 |
| 12 | Grok-4.5 | 41.0 | 47.0 | 35.2 | 39.4 | 41.2 | 39.7 | 43.7 | 36.2 | 39.6 | 43.9 | 44.7 |
| 13 | Gemma-4-31B | 40.7 | 42.7 | 33.9 | 40.3 | 39.1 | 44.9 | 43.7 | 39.0 | 45.9 | 46.7 | 32.1 |
| 14 | GLM-5V-Turbo | 39.6 | 41.2 | 40.0 | 41.2 | 41.2 | 43.9 | 45.2 | 36.6 | 32.9 | 43.5 | 28.0 |
| 15 | Minimax-M3 | 33.1 | 40.0 | 30.3 | 34.6 | 36.7 | 33.3 | 31.2 | 26.6 | 31.0 | 35.7 | 29.9 |
| 16 | GLM-4.6V | 32.5 | 35.2 | 31.8 | 35.2 | 29.1 | 30.6 | 34.8 | 29.3 | 33.7 | 39.2 | 26.9 |
每个源基准仅捕捉了感知错误的一个狭窄切片，而这些切片之间的重叠程度很弱（平均成对加权 Jaccard 系数为 0.20）。没有任何单一基准——或少数几个基准的组合——能够覆盖感知能力的全貌，这促使我们构建一个以能力为中心的基准，对这些碎片化的视角进行聚合与再平衡。
数据集
该数据集包含 3000 个高质量、经过验证的样本。其分布旨在将原子化的感知能力与混淆因素分离开来，并通过三个核心设计原则彰显其独特性：
- 基于失败的分类法：每一个类别都源自真实模型的失败案例，并归因于 40 多个现有基准中最早出现错误的那一步。
- 十大原子化感知类别：视觉关系、计数、属性、深度与 3D、定位、比较、细粒度识别、上下文整合、OCR 以及模型幻觉。
- 感知，而非推理：样本经过精心筛选、分解和难度平衡，使得难度源于感知而非推理。
关于质量的说明：为使该基准成为可靠的金标准，所有样本均经过了严格的验证和难度平衡，只保留了那些具有单一可验证答案的、真正属于感知层面的失败案例。
视觉定位
紫色线条连接了杯子的哪个部分？
答案：侧面
视觉定位
边 AC 的长度是多少？
答案：8
视觉属性
图片中出现了多少种不同颜色的帽子？
答案：2
视觉属性
图片中有多少个红点？
答案：10
视觉计数
有多少个人？
答案：8
视觉计数
u₁ 轴被分成了多少个相等的子区间？
答案：7
视觉关系
图中最右侧的音符触及了多少条五线谱线？
答案：2
视觉关系
有多少个双箭头？
答案：3
深度与 3D
桌子上有多少个盘子？
答案：3
深度与 3D
这些小立方体中有多少个面直接接触地面？
答案：4
OCR
蓝色的数字是多少？
答案：2
OCR
右下角方框中的数字是多少？
答案：3
视觉比较
图片中有多少个动物剪影是完全相同的？
答案：99
视觉比较
有多少种箭头方向？
答案：4
细粒度识别
棋盘上有多少个黑皇后？
答案：2
细粒度识别
有多少块电池？
答案：2
上下文整合
有多少只猴子触碰过轮毂罩？
答案：1
上下文整合
单元格 x 位于多少个圆的交点上？
答案：2
模型幻觉
图中出现了多少个黄色空心圆环？
答案：0
模型幻觉
卡车里有多少人？
答案：0
各类别任务分布
| 统计 | 数量 |
|---|---|
| 数据 | |
| 总计 | 3,000 |
| 原子感知类别 | 10 |
| 任务类别 | |
| 深度 3D 感知错误 | 330 (11.00%) |
| 视觉计数错误 | 330 (11.00%) |
| 细粒度识别错误 | 290 (9.67%) |
| 视觉关系错误 | 330 (11.00%) |
| 视觉属性错误 | 330 (11.00%) |
| 视觉定位错误 | 330 (11.00%) |
| 视觉比较错误 | 279 (9.30%) |
| 上下文整合错误 | 255 (8.50%) |
| 模型幻觉 | 271 (9.03%) |
| OCR 错误 | 255 (8.50%) |
结论
PerceptionBench 是一个简单但富有挑战性的基准测试，用于评估前沿模型中的原子视觉感知能力。它衡量的是多模态模型实际看到的内容，而非它们推断出的内容，从而为当前及未来多模态模型的感知能力提供忠实且细粒度的诊断。