"了解评估如何设计的模型"得分更安全
阅读原文· arxiv.org这个发现让我有点后背发凉——模型可能靠‘知道自己在被测评’来变得更安全，而不是真的安全。这对所有安全排行榜都是个新级别的混淆，评估设计得加一层元认知检测了。
AI安全评估的有效性依赖于模型在受控与部署环境下行为一致。研究提出“评估元知识”概念，指模型通过训练数据（如描述评估实践的科学文章或社交媒体）隐性习得对评估结构特征（如可验证结构或道德困境）的认知。在六个安全基准上的测试表明，经过合成文档微调后的模型，其安全评分显著高于基础模型与控制模型，即使排除明确表达评估意识的回答，这种行为偏移依然存在。这表明评估元知识可能导致安全基准分数虚高，成为独立于显式记忆或语言化评估意识之外的新干扰因素，对安全评估的设计和解读有重要影响。
AI 安全评估的有效性取决于模型在受控环境和部署环境下是否表现一致。已有研究发现，测试时的上下文线索（例如假设场景）会导致模型显式表述出评估意识并随之发生行为转变。在本文中，我们探讨了这种现象的一个潜在解释：评估元知识，即关于评估结构性特征的参数化知识。类似于数据集污染（模型因接触基准测试数据而通过记忆获得更高性能），我们假设：经过描述评估实践的文本训练的模型，可能会隐含地学会识别并回应类似评估的上下文——例如通过接触科学研究论文或关于 AI 基准测试的社交媒体帖子。为验证这一点，我们在描述评估特征（如可验证结构或道德困境）的合成文档上对模型进行微调。在六个安全基准上评估该微调模型，我们发现它比基础模型和对照模型安全得多。即使将分析限定在不包含显式表述的评估意识的回答中，这种行为转变依然存在。我们的结果表明，评估元知识可能虚高安全基准性能，引入了一种与显式记忆或显式表述的评估意识无关的新型混淆因素，因此难以检测。这些发现对 AI 安全评估的设计与解读具有重要意义。我们的代码和模型发布在 https://github.com/compass-group-tue/arxiv2026_evaluation_meta_knowledge。