# AI红队评测能证明什么、不能证明什么

- 来源：HuggingFace Daily Papers（社区热门论文）
- 发布时间：2026-07-23 08:00
- AIHOT 分数：78
- AIHOT 标记：精选
- AIHOT 链接：https://aihot.virxact.com/items/cmsi21pih0y7pronkjmhu6he9
- 原文链接：https://arxiv.org/abs/2607.21735

## 精选理由

用闭式解把安全评估的证据上限公式化后，论文算出现有基准对高频危害足够、对罕见灾难性危害差几个数量级——这为制定安全测试的预算和声明提供了数学依据。

## AI 摘要

一项新研究为AI红队评测划定了可计算的证据上限，即固定测试预算下单一结果能改变信念的最大倍数，并以闭式解定位其边界。研究发现，在可计算的危害率之上，中等规模基准足以按既定证据标准认证某类别，且零失败记录比单次复现的失败更具说服力；低于该阈值则任何可行规模的被动基准都无法提供指定安全证据。对八个评测套件的审计显示，现有基准对高频危害类别充分，但对罕见灾难性危害类别仍差数个数量级。

## 正文

对AI模型的红队评估支持某些主张而不支持另一些主张，而这两者之间的界限是可以计算的，而非仅仅是判断问题。我们将评估的证据上限定义为：在固定测试预算下，一个结果能使信念发生变动的最大倍数；我们针对基准零结果给出了其闭式解，并利用它精确定位了这一界限。我们发现，在某个可计算的危害率之上，一个规模适中的基准就能以既定的证据标准对某一类别进行认证，此时“零失败”是两种可能观测结果中更强的一种，其权重超过单次可复现的失败。在该比率之下，任何规模可行的被动基准都无法在固定评分规则和近似独立的试验结构下提供所规定的安全性证据。两种机制之间的交叉点具有闭式解。这一界限并非基准所特有：以程序假设的条件诱发率来表述，它同样涵盖自适应和自动化红队测试，并表明决定证据价值的是假设之间的区分度，而非攻击成功率。我们对照这一界限审计了八套评估体系，发现当前基准对于高频危害类别是充分的，但对于罕见、灾难性危害则相差数个数量级。安全性基准并非毫无信息量。它们所提供的信息针对的是特定且可计算的一组命题，而它们所需要的纪律是明确说明这些命题是什么。