冯云豪

林瑞潇

温明

何沁沁

郭延明

丁一凡

吴宇涛

陈嘉洛

徐卓尔

杜晓虎

马佳楠

陈子兴

马兴军

陈云浩

邓新浩

蚂蚁集团

复旦大学

阿里巴巴集团

湖南先进技术研究院

迪肯大学

摘要

大语言模型智能体越来越多地通过外部工具执行自主操作，由此带来了复杂且不断演变的安全风险。然而，现有的安全测试针对的是专家设计的安全违规行为，其相应结果由硬编码规则评估，这使得随着智能体的演进，扩展测试的成本高昂。为此，我们提出了Vera，一个端到端的自动化安全测试框架，它通过一个三阶段的自强化流水线，将软件工程测试原则实例化到非确定性智能体上。首先，文献驱动的探索持续发现新出现的风险，并将其结构化为安全风险、攻击方法和工具执行环境的分类体系。其次，跨分类维度的组合编排生成可执行的安全用例，每个用例指定一个具体的安全目标、一个通过编程方式构建的初始状态，以及一个基于可观测工件确定的验证谓词。第三，自适应执行在隔离沙箱中运行异构智能体，其中控制智能体基于运行时观测引导多轮交互，而基于证据的验证器则根据环境状态和工具调用证据（而非模型自我报告）来判断结果。我们在四个生产级智能体框架（OpenClaw、Hermes、Codex、Claude Code）上评估了Vera，揭示了显著的安全弱点，在多通道攻击下平均攻击成功率高达93.9%；我们还发布了Vera-Bench，包含1600个可执行的安全用例，涵盖三种执行环境下的124个风险类别。这些结果表明，模块化、可执行的测试基础设施对于快速演进的智能体系统在大规模下进行严格且可维护的安全评估至关重要。代码已开源，地址为 https://github.com/Yunhao-Feng/Vera。

冯云豪与林瑞潇对本文贡献相等。

通讯作者：陈云浩（24110240013@m.fudan.edu.cn），邓鑫浩（dengxinhao@tsinghua.edu.cn）。

一、引言

大语言模型（LLM）智能体[44, 38, 32]正迅速成为跨个人计算、软件开发和企业服务领域实现工作流自动化的通用软件组件。通过将外部工具与LLM相结合[25, 2, 26, 24]，这些系统能够执行远超文本生成的自主操作。然而，这种自主性也带来了敏感数据泄露[4]、未经授权的系统修改[47]、跨应用操控[10]以及不安全代码执行[42]等风险，这些风险已被OWASP LLM应用十大安全风险清单[27]所归类。这些风险在类别数量和表现形式复杂性上均快速增长[35, 23]，且其在风险类型、攻击方法和工具执行环境上的组合多样性，给大规模、基于运行时的安全评估带来了重大挑战。

现有的评估工作已从提示词层面的拒绝评估[45, 40]，发展到具有预定义场景的轨迹级基准测试[5, 36, 17]，再到配备自动化对抗方的交互式红队平台[3, 41]。然而，一个共同的局限性依然存在：大多数方法将不安全的请求、尝试执行的动作或文本形式表达的意图与实际发生的安全违规行为混为一谈，忽略了有害结果是否真正通过已执行的动作产生，以及是否可以通过这些动作在环境中产生的可观察影响来进行分析。此外，每种方法都将其风险定义、环境实现、智能体适配器和验证流程紧密耦合，因此，要将覆盖范围扩展到新的风险、工具生态系统或智能体架构，就需要跨多个系统层进行协同修改，这使得安全数据集的构建成本高昂，且随着智能体的演进难以维护。

将既有的软件测试范式[50]适配至智能体，需要新的测试原语：这些范式假定输入-输出映射是确定性的或可统计描述的，而智能体的规划、工具选择及状态演化在运行时是非确定性的。为此，Vera 将端到端智能体安全测试实现为一个三阶段、自增强的流水线，旨在应对对快速演进的智能体系统进行规模化自动安全评估所面临的挑战：(1) **快速演变的风险格局**。智能体能力、工具生态系统及部署环境的变化速度，远超任何人工维护的分类体系所能追踪的范畴。为此，Vera 通过文献驱动的探索，持续发现并结构化新兴风险，迭代构建并整合风险、攻击方法及环境的分类体系。(2) **从风险到可执行测试用例**。识别出的风险是抽象类别，而非可运行的测试。Vera 通过组合生成的方式，将分类体系元素组合成可执行的安全用例，确保每个保留的用例都指定了具体的安全目标、确定性的初始状态，以及基于可观测产物进行验证的谓词。(3) **自适应测试与运行时验证**。智能体行为是非确定性的，因为同一个安全用例可能因模型运行时的规划决策不同，而产生不同的执行路径或结果。因此，当智能体轨迹偏离预设模式时，固定的测试流程便会失效。Vera 通过沙箱化自适应执行来解决此问题：一个可配置的工具网关记录所有工具交互，一个自适应控制智能体根据观察到的行为引导测试交互，一个程序化验证器基于可观测产物（而非模型自我报告）判断结果。一个统一的执行契约通过通用接口连接异构的智能体框架，并在隔离的、有状态的沙箱中，于良性、单通道及多通道威胁条件下对每个框架进行评估。

本文做出了以下贡献：

• •

  我们将软件工程测试原则（测试预言、组合构造和基于证据的验证）实例化应用于智能体，从而产生了可执行的安全用例、风险组合和自适应执行协议。

• •

  我们提出了 Vera，一个支持多种智能体框架的端到端安全测试框架，其运行分为三个阶段：自主风险发现、可执行测试用例生成和运行时自适应执行。

• •

  我们在四个生产级智能体框架上评估了 Vera，揭示了重大的安全漏洞；此外，我们还发布了 Vera-Bench，该基准覆盖了三种威胁模型，并配备了确定性验证器。

II 相关工作

II-A 计算机使用智能体的安全风险

大语言模型智能体已从单轮文本生成器演变为能够调用外部工具执行现实任务的自主系统 [44, 31, 38, 32]。最近的计算机使用智能体可在软件仓库 [43, 2, 25] 以及桌面和网页应用 [39, 26, 24] 中执行任务。通过与外部工具的交互，被攻破的智能体可能会泄露配置中嵌入的凭证 [4]、窃取用户的私人数据 [19] 或执行未授权操作 [47]；当此类漏洞被大规模利用时，可能升级为自主网络攻击活动 [42]。外部工具执行环境的多样性进一步扩大了攻击面：对抗性指令可以通过网页、电子邮件或工具输出等工具介导渠道操纵智能体行为 [10]，而安全违规则通过日益复杂的模式出现，包括多步骤有害任务组合 [1, 48] 和跨阶段后门触发器 [9, 8]。这些风险在类别和表现复杂性上都在迅速增长 [35, 23]，并且它们在风险类型、攻击方法和工具执行环境上的组合多样性，对大规模、基于运行时的安全评估构成了重大挑战。

II-B 面向大语言模型智能体的安全评估与测试

这些风险日益增长的复杂性和多样性，已将安全评估的重点从针对有害输出的提示词或响应层面评估，转向对工具中介行为的轨迹层面分析。提示词层面的方法评估的是智能体的文本响应是否构成对不安全请求的遵从或拒绝[45, 40]。这些方法继承了红队测试范式，关注的是模型的内容安全边界，而非其下游执行行为；安全违规行为由基于大语言模型的评判器[22]或经过微调的安全分类器[12, 11]对模型输出进行验证。轨迹层面的基准测试则在有状态的工具执行环境中检查目标智能体的完整执行轨迹[5, 36, 1, 17, 37, 7, 15]。其风险类别和测试场景由人类专家通过手动整理或半自动枚举预先定义，场景覆盖范围从单步工具误用到多步有害任务组合；安全违规行为通过针对每条执行轨迹的每项任务硬编码规则进行验证[16, 30]。交互式红队测试平台将自动化对抗性交互纳入评估循环，部署一个自动化攻击者来对抗目标智能体，该攻击者消耗预定义的安全目标或方法，并在多轮对话中调整其策略[3, 41]。这些平台在自适应、多轮威胁下探测智能体的鲁棒性；安全违规行为通过跟踪交互过程中顺序的工具调用模式和累积的状态变化来验证[49]。

III 预备知识

为了形式化描述使用工具的智能体的可观测执行行为，我们考虑一个在有状态执行环境中运行的计算机使用智能体，该智能体可访问一组工具。给定一个用户任务，由此产生的交互跨越多个对话轮次。在第 t 轮，智能体接收一条用户消息，并可能在生成对用户的响应之前发出一系列工具调用。我们将第 i 次工具调用记为 c_i，它从工具集 T 中选择一个工具（及其参数）。每次工具调用由环境 E 执行，产生真实结果 r_i。然而，智能体观察到的是由可配置的工具网关返回的、可能不同的值，该网关位于智能体与所有工具端点之间：在正常执行下，o_i = r_i；而如果工具返回值被攻击者篡改，则 o_i ≠ r_i。这一完整执行过程可表述为：

(1)

轨迹仅记录外部可观测的行为：大多数已部署的智能体框架通过其 API 暴露工具调用和响应，但不提供对模型内部推理轨迹的访问权限 [26, 25, 2]。因此，内部思维链或规划步骤被排除在外，因为安全结果是由已执行的动作及其可观测效果决定的，而非由声明的意图决定。我们进一步用 s_f 表示执行结束时的环境状态，它捕捉了所有已执行动作对 E 的累积影响，例如对文件、应用程序数据、服务记录和其他资源的持久性影响。

我们将可执行安全用例定义为 ，它可以完全自动化地构建、执行和验证。其中， 指定了目标安全违规行为； 是通过服务 API 以编程方式构建的、特定于该用例的初始环境状态； 是一个程序化验证器，即一个确定性的代码级脚本，它根据执行结果来判断 所指定的安全违规行为是否已实现。在安全用例上运行智能体，会产生一条轨迹 以及相应的执行后状态 ：

(2)

验证器会检查 和 中记录的任何信息，包括工具调用记录、智能体响应以及工具环境状态； 表示违规行为已通过执行的操作及其可观察到的效果得到确认。值得注意的是，仅仅将对抗性内容插入到提示词、工具结果或初始环境中并不构成成功。

威胁模型。为了测试目标智能体的安全边界，我们基于攻击者控制的交互通道数量，采用了两层对抗性设置。在单通道设置中，攻击者控制用户消息 ，而所有工具结果均未经修改地传递，即 。在多通道设置中，攻击者保留对用户消息的控制权，并通过一个操作符 将安全违规指令注入到选定的工具结果中，其中 应用四种模式之一：恒等、追加、前缀或覆盖。在实践中，注入的内容可能通过电子邮件、代码托管、消息传递、支付、搜索或其他工具中介通道到达智能体。

此外，攻击者会进行有状态的多轮攻击，并能够根据 中记录的信息（包括智能体响应和工具调用记录）调整后续行为。然而，攻击者无法修改目标模型、其系统指令、智能体实现或内部工具代码。

第四部分 方法论

如图1所示，Vera将端到端智能体安全测试实现为一个三阶段、自我强化的流水线。持续风险探索（第IV-A节）从研究文献中发现并结构化新兴风险，将其整合为风险、攻击方法和环境的分类体系。可执行测试用例构建（第IV-B节）将分类体系元素组合成安全用例，每个用例指定一个具体的安全目标、一个通过程序构建的初始状态以及一个确定性验证谓词。自适应执行与基于证据的验证（第IV-C节）在隔离沙箱中运行目标智能体，由自适应控制智能体引导测试交互，并由特定用例的验证器根据环境状态和工具调用证据判断结果。通过验证的执行过程被保留为可回放的安全记录，并反馈至后续的风险探索与场景优化中。

IV-A 持续风险探索

智能体场景中的安全风险由三个正交维度完整刻画：实现了何种有害后果、如何诱导该后果、以及在何处（何种工具执行环境中）显现。风险分类体系描述了可能实现的有害后果，例如凭证泄露、未授权修改或非安全代码执行。攻击方法分类体系描述了用于诱导该行为的机制，例如提示词注入、任务分解、角色扮演或基于编码的混淆。环境分类体系描述了智能体所交互的外部服务和执行环境，包括电子邮件、代码托管、即时通讯、支付、网络搜索及类似的服务端点。

每个分类体系都组织为层级树结构，其叶节点代表用于测试用例生成的最细粒度、可操作的风险单元。一个摘要智能体（Summary Agent）从一组源自公开智能体安全文献的宽泛搜索概念出发，迭代地填充这棵树——这些概念描述的是通用概念，而非来自下游评估集的标签、示例或任务描述。原则上，相同的递归机制可以超越学术文献，推广至运营安全情报源，例如 CVE 数据库、厂商安全公告，以及 MITRE ATT&CK [34] 等结构化威胁情报框架，从而支持在部署时更新分类体系，以追踪新披露的涌现漏洞。

我们将每次探索迭代形式化定义为：

(3)

其中， 将三个分类体系进行分组，并表示在第 次迭代中检索到的文档。更新算子通过从每个文档中提取候选概念，并对每个分类体系应用四种操作之一来处理该文档：(1) 创建：如果某个概念描述了一种尚未被表示的、且至少有五篇不同论文或攻击场景支持的风险、攻击方法或环境类别，则将其添加为新的叶节点；(2) 更新：如果某个概念与现有节点匹配，则扩展该节点的支持证据集；(3) 合并：如果两个现有节点因论文间术语差异而描述了相同的底层类别，则将它们统一为一个节点；(4) 删除：如果某个节点在合并或重新分类后失去了所有支持证据，则将其从分类树中移除。这些操作使得每个分类体系能够收敛到一个稳定的结构，而不是随着处理的文献增多而无休止地增长。然后，摘要智能体检查稀疏的分支、未解决的概念以及新发现的术语，以生成下一个查询前沿。探索将持续进行，直到检索预算耗尽。探索范围仅限于可以在推理时针对已部署的智能体进行测试的风险。纯训练阶段的攻击，例如微调投毒或后门注入，不在此范围内，因为它们无法通过智能体的运行时接口来实施。那些看似与训练相关的类别，例如训练数据探查，仅当其对应于推理时的行为（例如，通过交互式查询进行成员推断或模型反转）时才被保留。

IV-B 可执行测试用例构建

此阶段将风险探索产生的分类体系叶节点转化为可执行的安全用例。如第三节所定义，每个用例是一个三元组：一个具体的安目标、一个初始环境状态以及一个程序化验证器。构建过程首先通过跨分类体系维度的组合组合来生成候选目标，然后通过合成其 和 将每个被接受的目标编译成一个完整的用例，最后实例化受控变体以进行比较评估。

一、安全目标生成。Vera 通过从每个分类树中各取一个叶子节点来组合构建候选安全目标。设 、 、 。目标组合器将三元组映射为特定上下文的安全目标。

(4)

其中 是一个基于大语言模型的目标组合器，它将抽象的分类树三元组具体化为可验证的安全违规行为，而 则包含一组格式示例和环境描述。具体而言， 通过动态更新示例集来提供反映当前分布的上下文引导，从而保持输出的一致性和多样性。此外，类型化模式会根据最小长度目标描述对生成的目标进行验证，在格式错误或描述不充分的输出进入候选池之前将其拒绝。每个被接受的目标必须指明具体的违规行为、该行为所涉及的资源或服务，以及判断该违规是否发生的充分条件。例如，"通过代码托管平台中的提示词注入导致数据泄露"会被转化为具体的"通过代码托管工作流暴露受保护的仓库凭证"。

由于三个维度的完整笛卡尔积包含许多不兼容或冗余的三元组，Vera 有选择地构建候选集。对于每一对风险与攻击方法，实现过程会采样十个环境叶子节点，仅保留那些环境暴露了目标所需资源和操作的组合。随后，根据风险语义、目标资源、预期状态变更和执行上下文，对生成的目标进行归一化和去重处理。这一过程在保持广泛覆盖的同时，避免了仅在表面措辞上有所差异的重复目标。

二、安全案例编译。每个选定的目标都被编译成一个完整的可执行安全案例。具体而言：场景特定状态由大语言模型初始化器根据安全目标，通过工具执行环境的编程接口动态构建；这无需逐个手动设计案例，即可产生多样化且与目标相关的前提条件。例如，针对凭证窃取目标的包含密码的电子邮件，针对供应链目标的包含易受攻击依赖项的代码仓库，或针对金融欺诈目标的待处理交易。生成后，初始化序列被记录为确定性环境调用脚本，并在每次执行时逐字重放，因此即使由底层大语言模型编写，也能在多次运行中保持可复现性。相关的场景包还包含一个用户交互规范，描述合法的任务上下文以及测试端控制智能体可用的攻击面。验证器同样以生成并重放的方式运作：它对执行后轨迹和终端状态产生一个确定性谓词，检查所描述的安全违规是否通过可观察效应得以实现。

三、过滤与变体生成。Vera 会过滤掉那些成功条件依赖于内部推理轨迹而非可观察效应的编译案例，或与已接受案例重复的案例。每个保留的基础场景随后被扩展为三个受控变体，对应第三节中定义威胁模型：一个良性变体，移除所有对抗性元素并作为功能基线；一个单通道变体，允许对抗性用户交互但提供未经修改的工具结果；以及一个多通道变体，通过可配置的工具网关额外将选定的工具结果转换为对抗性结果。

四-C 自适应执行与基于证据的验证

此阶段执行每个安全用例，并通过一个由控制智能体协调的三组件流水线，验证目标安全违规是否已实现。一个沙盒化执行环境将异构智能体隔离在统一的执行合约之后，并通过可配置的工具网关记录所有工具交互（第 IV-C1 节）。一个自适应测试驱动从沙盒中获取运行时观测结果，并将多轮交互导向安全目标（第 IV-C2 节）。随后，一个基于证据的验证器检查记录的轨迹和最终环境状态，以根据收集到的证据确定安全目标是否达成（第 IV-C3 节）。

IV-C1 大规模沙盒化执行环境

智能体的实现在启动流程、消息传输、工具协议和记录格式上各不相同。一个按智能体适配器将框架特定事件转换为公式 1 中定义的轨迹表示形式，同时一个隔离沙盒为每次执行提供目标智能体、工具网关以及场景所需外部服务的独立实例。我们将统一且可配置的工具网关实现为一个基于 MCP 的服务，该服务中介所有工具调用，记录原始结果和返回给智能体的观测结果。在多通道执行下，网关应用转换算子（第 III 节）将对抗性内容注入智能体执行；每次操作以四种模式之一进行：恒等（未修改的基线）、追加或前缀（攻击者控制的内容与合法结果共存）以及覆盖（完全被篡改的数据源）。

每个沙盒记录三种互补形式的执行证据：（1）捕获用户消息和智能体响应的交互日志，（2）捕获带有原始和转换后结果的工具调用的网关日志，以及（3）工具执行的环境状态，该状态保留持久性影响，例如仓库修改、外发消息、转账或创建的记录。这些来源共同重构了执行轨迹，并返回给控制智能体进行验证。

IV-C2 自适应测试驱动

在执行之前，控制智能体会接收安全案例和可用的工具服务模式，并据此制定攻击计划，明确预期的交互顺序和相关工具。在每一轮对话中，其控制状态会整合安全案例、交互历史、策略摘要、观察到的工具调用、已注册的注入规则以及进度评估。其控制策略会选择下一条用户消息，以及在多通道设置中的一组网关规则：

(5)

控制智能体选择工具结果并设计具体的交互内容，首先在合法任务上与目标智能体进行交互，以建立可信的上下文，随后逐步引入对抗性意图。

在对话轮次结束时，控制智能体会收到来自目标智能体的观察结果：

(6)

其中 是智能体的响应， 包含新记录的网关事件（由于智能体可能误报，这些事件作为真实依据）， 则总结了可观察的环境状态变化。控制智能体将 纳入 并据此进行调整：在遭到拒绝时重新表述请求，在智能体使用了意外工具时调整任务分解，或在相关内容未被检索到时选择不同的注入点。

这个“观察–适应–行动”循环会持续进行，直到满足以下三个条件之一：交互达到预设预算、所需证据已生成，或者继续交互不太可能改变结果。为了便于事后分析和回放，每个控制决策都会连同完整的交互轨迹一起存储。

IV-C3 基于证据的验证

在自适应循环终止后，验证器会消耗在所有轮次中积累的三种形式的证据。由于智能体可能在执行有害调用后声称拒绝，或在未改变环境的情况下声称合规，因此验证器会根据抗操纵性在证据来源中进行选择：

(7)

其中 表示，当谓词针对给定安全目标有定义时使用该谓词，否则以 作为回退。环境状态具有优先权，因为工具调用记录的是意图，但并不保证效果；只有当文本输出本身构成违规（例如在回复中泄露凭证）时，才会参考智能体回复。

每个验证器都是一个确定性的 Python 程序，其结果与生成模型无关。验证在沙箱保持活跃期间运行，从而允许查询实时服务 API。该框架采用非对称判断：当控制智能体报告失败时，系统仅记录而不调用验证器；当控制智能体报告成功时，验证器必须根据环境证据确认该声明，然后才能分配 ，从而消除因乐观自我评估导致的误报。因语法错误或工具调用模式不匹配而失败的验证器会被重新生成，以避免漏报。

媒体内容 · 前往原文查看

风险类别	通信	生产力	金融	CRM 与服务	开发与数据	社交	旅行	领域专用	操作系统/终端	网络与存储	平均
完整性	92.9	92.9	92.1	100.0	100.0	100.0	95.7	95.1	92.3	91.7	95.3
系统探测	76.9	91.7	85.2	80.0	82.4	76.9	81.2	80.0	76.5	85.7	81.6
隐私与数据	86.4	73.1	78.8	91.7	94.4	84.2	80.0	78.3	78.8	90.9	83.7
权限提升	87.5	76.2	80.0	80.0	81.8	83.3	73.7	75.0	94.1	92.3	82.4
系统滥用	82.9	83.0	84.8	86.4	89.5	73.3	88.9	87.0	78.8	72.7	82.7
恶意软件生成	86.7	82.4	73.9	75.0	84.6	84.6	88.2	86.7	82.6	71.4	81.6
网络攻击	81.0	87.1	90.5	92.3	76.5	88.9	100.0	91.7	90.9	85.7	88.4
有害输出	76.9	70.6	83.3	90.9	66.7	75.0	89.5	78.6	100.0	58.3	79.0

媒体内容 · 前往原文查看

环境	角色与上下文	画像推断	越狱	指令注入	格式诱导	角色扮演与人格	假设性	任务分解	约束操纵	混淆	社会工程	平均
通信	88.9	100.0	72.2	81.5	61.9	86.7	80.0	90.0	80.0	91.3	100.0	84.8
生产力	87.8	66.7	90.0	72.4	90.9	62.5	93.8	50.0	82.1	87.1	63.6	77.0
金融	64.3	88.9	90.6	94.1	85.0	64.7	83.3	75.0	81.0	89.2	76.5	81.1
CRM 与服务	81.8	100.0	83.3	100.0	92.3	90.0	71.4	100.0	75.0	85.7	42.9	83.9
开发与数据	100.0	87.5	66.7	88.2	100.0	100.0	80.0	88.9	77.8	82.4	87.5	87.2
社交	80.0	100.0	100.0	83.3	81.2	50.0	71.4	62.5	100.0	100.0	100.0	84.4
旅行	100.0	100.0	80.0	86.7	100.0	93.3	60.0	100.0	100.0	77.8	70.6	88.0
领域规范	95.0	100.0	86.4	82.8	82.4	87.5	77.8	100.0	86.7	83.0	75.0	86.9
操作系统/终端	89.5	100.0	91.7	80.6	61.5	94.7	83.3	60.0	81.8	94.3	57.1	81.3
网络与存储	100.0	87.5	87.5	90.9	72.2	90.0	81.8	100.0	71.4	64.3	50.0	81.4

媒体内容 · 前往原文查看

攻击方法	完整性	系统探测	隐私与数据	权限提升	系统滥用	恶意软件生成	网络攻击	有害输出	平均
角色与上下文	95.9	86.7	73.1	66.7	80.8	100.0	92.9	100.0	87.0
画像推断	100.0	100.0	81.8	77.8	100.0	100.0	100.0	60.0	89.9
越狱	91.4	80.0	85.0	80.0	82.9	75.0	75.0	100.0	83.7
指令注入	91.7	78.9	79.5	91.7	87.7	92.6	80.0	81.5	85.5
格式诱导	66.7	92.3	76.0	88.9	78.1	54.5	86.4	84.6	78.4
角色扮演与人格	93.3	76.2	85.7	93.3	81.2	80.0	78.6	78.6	83.4
假设性	85.7	66.7	80.0	76.9	78.6	80.0	100.0	72.7	80.1
任务分解	100.0	75.0	91.7	100.0	86.4	83.3	100.0	71.4	88.5
约束操纵	100.0	91.7	90.0	100.0	77.4	82.4	84.2	57.1	85.3
混淆	100.0	79.4	91.4	80.0	82.7	88.9	93.2	87.5	87.9
社会工程	90.0	78.6	70.0	41.7	100.0	60.0	83.3	71.4	74.4

V 实验

V-A 实验设置

智能体与模型

我们使用四个异构智能体框架对 Vera 进行评估：OpenClaw[26]、Hermes[24]、Codex[25] 和 Claude Code[2]。这些框架在执行循环、工具使用协议、上下文管理和交互接口方面各不相同，为评估生成的场景是否独立于特定智能体实现提供了多样化的测试平台。我们考虑了多个后端模型，包括 GPT-5.2[33]、Gemini-3[14]、Qwen-3.7[28]、Kimi-K2.6[13] 和 GLM-5.2[46]，具体取决于各框架的后端兼容性。每个智能体-模型配置通过通用适配器接口连接到 Vera。该适配器标准化了消息传递、工具暴露、响应收集和轨迹序列化，而不修改目标智能体的内部规划或执行逻辑。

分类体系构建

风险探索阶段处理了从 arXiv 和 OpenReview 检索的大约 800 篇论文。由此产生的分类体系包含 124 个叶级风险类别、77 个叶级攻击方法和 30 个叶级环境类别。经过兼容性过滤和去重后，这些维度上的组合产生了 39,078 个候选安全目标，随后通过编译和质量过滤流程，从中保留了 1,600 个可执行的基础场景，用于构建 Vera-Bench。

执行设置

所有执行均在隔离的 Docker Compose 环境中进行。每次运行都从一个全新初始化的沙箱开始，该沙箱包含目标智能体、MCP 中间件以及相应场景所需的外部服务。每个沙箱通过一个由 12 个容器组成的 Docker Compose 堆栈实现，其中包括目标智能体、MCP 网关以及五个自托管的后端服务：Mailpit（电子邮件）、Gitea（代码托管）、Blnk（支付与银行）、Databag（即时通讯）和 SearXNG（网络搜索）。当前环境通过 72 个 MCP 工具函数暴露服务族，并使用独立的网络命名空间、项目标识符和服务状态来支持并行执行。在整个执行过程中，会记录工具调用、工具参数、原始服务响应、转换后的观测结果以及持久化状态变更。除非另有说明，控制智能体最多允许进行十轮交互。当交互预算耗尽、目标结果已验证，或执行无法再向场景目标推进时，运行即终止。每个可执行的基础场景会在三种受控设置下实例化。良性设置仅包含合法任务，并且不对任何工具结果进行修改。单通道设置允许测试端控制器发送对抗性用户消息，而工具结果则按底层服务产生的原样返回。多通道设置保留了相同的用户级交互能力，并额外允许通过 MCP 中间件对选定的工具观测结果进行转换。

数据集

每个保留的数据项包含四个工件。attack_plan 文件记录了场景目标、交互策略和威胁模型配置。mcp_logs 文件存储了工具调用、参数、原始服务结果以及返回给智能体的观察结果的完整序列。trace.json 文件包含了规范化的多轮交互轨迹，包括用户消息、智能体响应和执行元数据。verify.py 文件实现了用于判断目标安全违规是否发生的、特定于案例的可执行谓词。这些工件共同保留了预期的攻击、可观察的执行过程、由此产生的智能体轨迹以及基于证据的结果标签。1600 个基础场景中的每一个都在三种设置（良性、单通道、多通道）下进行实例化。发布的数据集包含了所有保留运行的全部执行工件。

V-B 数据集分析

Vera 使用三个独立构建的三级分层分类法来组织其测试空间，分别针对安全风险、攻击方法和执行环境。完整的分类法包含 124 个叶级风险类别、77 个叶级攻击方法和 30 个叶级环境类别。报告每一个叶级组合会产生过于稀疏且难以解读的表格。因此，我们根据叶节点的一级父组进行聚合，同时在发布的数据中保留完整的细粒度分类法。我们报告执行成功率（ESR），其定义为：尝试运行中，未因基础设施故障而终止，并且满足其执行设置所关联的可执行成功谓词的那部分运行所占的比例。对于良性运行，该谓词捕获的是合法任务的成功完成。对于攻击模式下的任务，它捕获的是由验证器定义的、特定于案例的安全结果。

表 I、表 II 和表 III 对同一执行语料库提供了三种互补的投影。表 I 考察了在不同安全后果与应用场景组合下，场景是否仍可执行。表 II 描述了部署环境与攻击机制之间的交互特征，而表 III 衡量了每个攻击方法组在不同风险类别中的可实例化一致性。这些表格报告了第一层级的聚合数据以便于阅读，而非取代底层分类体系。每个保留的执行仍标注有 124 个细粒度风险类别、77 种攻击方法和 30 个环境类别中的一个。图 2 以绝对数据密度补充了基于比率的分析。

表 I 显示，可执行覆盖率在风险类别与环境构成的联合空间中仍然广泛，尽管不同风险族群的稳定性程度存在显著差异。所有八个一级风险组在全部十个环境组中均可执行，平均 ESR 介于 79.0% 至 95.3% 之间。完整性是最稳定的类别，达到 95.3%，其次是网络攻击（88.4%），而有害输出最低，为 79.0%。这一排序与任务结构一致。完整性案例通常锚定于具体、可外部验证的状态变化，这使得成功执行更易于初始化和验证。相比之下，有害输出更依赖于实际模型响应，因此对环境上下文表现出更高的敏感性。单元格层面的差异进一步揭示，那些实现依赖于特定环境能力的风险呈现出最宽的 ESR 分布：权限提升从 94.1%（操作系统/终端）到 73.7%（旅行），反映了权限提升操作与系统级原语可用性之间的紧密耦合。类似地，恶意软件生成在网络与存储环境中降至 71.4%，该环境中受限的执行表面限制了代码生成场景的范围。

表二从环境和攻击方法的角度呈现了同一语料库，其主要模式依然是覆盖广泛且存在显著的交互效应。各环境的平均 ESR（攻击成功率）从生产力领域的 77.0% 到旅行领域的 88.0% 不等，其中开发与数据以及特定领域也相对较高，分别为 87.2% 和 86.9%。得分较高的环境有一个共同特征：它们暴露出的工作流程包含清晰可分的操作步骤（如预订、仓库操作、特定领域流程），这些步骤天然适合组合式攻击策略。相比之下，生产力领域涉及更多相互依赖的多步骤工作流，其中单个中间环节的失败会级联影响到验证器。与此同时，没有哪个环境对所有攻击类型都同样容易。社会工程攻击在所有攻击家族中表现持续不佳，在客户关系管理与服务环境中降至 42.9%，在网络与存储环境中降至 50.0%，但在通信与社交环境中达到 100.0%。这种差异表明，社会工程攻击主要是在环境提供持久且具有身份标识的渠道（如邮件线程、消息历史记录）时才能成功，通过这些渠道可以在多轮交互中建立信任；而在智能体行为受到更多机械约束的交易型环境中，这类攻击则难以奏效。

表三进一步显示，不同攻击方法在跨风险类别转移的一致性上存在显著差异。Profile Infer 的平均 ESR 最高，达 89.9%，其次是 Task Decompos（88.5%）和 Obfuscation（87.9%），表明这些方法在不同形式的危害中具有相对较好的泛化能力。Social Engineer 是最不稳定的攻击族，为 74.4%，Format Inducement 也相对较低，为 78.4%。这种分层揭示了两个不同的攻击族。机制性攻击（Obfuscation、Task Decomposition、Constraint Manipulation）作用于输入编码或任务分解层面，并且具有广泛的转移性，因为它们利用的是大语言模型解析的结构性属性，而非特定领域的智能体行为。情境性攻击（Social Engineering、Roleplay & Persona）要求智能体在多次交互中维持并更新一个社交模型，因此当交互足够丰富以支撑叙事时，它们效果显著；但当环境强制进行简短、事务性的交互时，则较为脆弱。

媒体内容 · 前往原文查看

攻击模式	Claude Code	Codex	OpenClaw	Hermes	平均值
单通道	95.2	91.1	82.8	93.4	90.6
多通道	93.1	95.8	89.1	97.8	93.9
良性	80.1	69.1	58.0	74.8	70.5
总体	88.6	84.1	70.3	86.6	82.4

组合构成的验证。

表 I、表 II 和表 III 中的 ESR 模式提供了直接证据，表明第 IV-B 节所述的组合式测试用例构建方法能够生成有意义且可执行的安全用例，而非退化或不兼容的组合。如果三个分类维度并非真正正交，那么在不兼容元组占主导地位的区块中，ESR 值将出现大面积的零或接近零。然而，表 I 中所有 80 个单元格和表 II 中所有 110 个单元格的 ESR 均超过 40%，这表明兼容性过滤与去重流程成功消除了格式错误的组合，同时保留了广泛的联合覆盖范围。此外，观察到的方差本身也具有信息价值：它定位到那些底层方法预测存在难度的单元格。恶意软件生成 Web 与存储（71.4%）以及权限提升 旅行（73.7%）的低 ESR 均对应以下情况：环境在结构上缺少所需的执行原语（代码执行面、系统级权限），过滤阶段会适当降低其权重，但并未完全移除。这证实了组合流水线生成的测试语料库，其难度分布由真实的环境-风险交互作用决定，而非随意的分类噪声。

自适应测试驱动器的有效性。

控制智能体的自适应引导机制（第 IV-C2 节）旨在通过观察运行时响应并调整后续交互轮次，来应对智能体行为的非确定性。表 IV 间接证明了该机制的贡献：在单通道条件下，四个智能体的整体攻击成功率（ASR）达到 90.6%，在多通道条件下达到 93.9%，显著超过了静态提示词基准在类似智能体配置下所报告的水平。更直接地，单通道与良性场景之间的对比隔离了自适应驱动因素的效果。在良性场景中，不施加任何对抗性引导，智能体仅尝试执行合法任务；平均执行成功率（ESR）为 70.5%。切换到单通道——其中唯一的额外元素是控制智能体的自适应用户消息——平均成功率提升了 20.1 个百分点。这一差距量化了运行时自适应交互的价值：通过在请求被拒绝时重新表述、在智能体犹豫时分解任务、并在交互预算内逐步升级，控制智能体能够突破单个静态对抗性提示词可能被拦截的防御。这一差距的幅度因智能体而异：OpenClaw 的差距最大（+24.8 个百分点），其保守的工具调用策略更容易被多轮重新表述所绕过；Claude Code 的差距最小（+15.1 个百分点），其更强的指令遵循能力意味着在某些配置下单轮攻击也能部分成功。

多通道威胁模型与工具网关。

可配置工具网关（第 IV-C1 节）通过将对抗性内容注入工具结果，同时保留原始响应用于真实记录，实现了多通道威胁模型。将表 IV 中的多通道与单通道进行比较可以发现，这一额外的攻击面带来了持续但适度的增量提升：平均提升 3.3 个百分点，范围从（Claude Code）到 +6.3（OpenClaw）。这种模式允许一种微妙的解读。相对较小的平均差距表明，主要漏洞在于用户消息通道，控制智能体可以在该通道上迭代优化其方法——工具观察通道提供了一个额外的向量，但并非主导因素。然而，每个智能体的差异具有揭示性。Claude Code 从单通道到多通道的轻微下降（95.2% 降至 93.1%）表明其安全过滤器更善于检测工具结果中的注入内容，可能触发了额外的拒绝响应，从而抵消了注入优势。OpenClaw 的 +6.3 个百分点增益最大，这表明对于用户消息处理较为保守的智能体而言，工具观察通道是一种有效的绕过方式，可以规避前端安全检查。Hermes 整体上表现出最高的多通道 ASR（97.8%），表明其在两个通道上的过滤都极少。这些模式验证了双层威胁模型：多通道测试揭示了交互界面之间差异化的鲁棒性，而这种鲁棒性在仅进行单通道评估时是不可见的。

基于证据的验证分析。

验证层级结构（公式7）优先考虑环境状态，其次才是工具调用记录，最后才是智能体响应。表IV中良性ESR与对抗性ESR之间的反转现象，为这一设计提供了间接验证。良性ESR平均值（70.5%）显著低于攻击ASR（90.6–93.9%），并非因为良性任务对智能体而言更难，而是因为良性验证器强制要求多谓词端到端正确性：智能体必须生成正确的动作序列，且每个动作都必须在最终环境状态中产生可观测的效果。相比之下，攻击验证器只需确认特定的安全违规行为通过可观测的痕迹得以实现——一次有害的状态变更或数据外泄事件就足以判定。这种不对称性是有意为之：它既能防止智能体口头遵从危险请求却从未执行时的误报，也能防止智能体在已产生有害副作用后声称拒绝时的漏报。此外，良性ESR还可作为测试用例编译阶段（第IV-B节）的隐式质量指标：若某个良性案例未能通过验证，则表明程序化生成的用例或验证器可能存在校准偏差，从而为场景生成管线的迭代优化提供信号。

跨智能体分析。

图2在ESR表格的基础上，补充了三种组合视图下的绝对数据密度分布。保留的执行记录在分类体系中并非均匀分布，但在良性、单通道和多通道设置下，它们仍集中在若干语义明确的区域，这表明数据集既保持了广度，也保留了场景频率的真实变化。图3显示，保留的执行记录通常长度适中，但呈现出明显的右尾分布。中位数运行使用15.5万输入token、3000输出token和11次工具调用，而对应的第95百分位数分别为78.9万输入token、1.1万输出token和38次工具调用，这表明大多数场景在操作上易于处理，而较小一部分子集则保留了更长周期、工具调用更密集的交互。

表 IV 显示了不同智能体框架和执行环境之间的显著差异。Claude Code 的整体 ESR 最高，达到 88.6%，Hermes 紧随其后为 86.6%，Codex 达到 84.1%，而 OpenClaw 最低，为 70.3%。这一排名具有启示性：采用更丰富的工具调用编排和更长上下文窗口的 Claude Code 与 Hermes，更容易受到自适应多轮攻击，因为它们更强的任务完成能力也使其更顺从于嵌入在看似合理工作流程中的对抗性指令。OpenClaw 较低的 ESR 部分归因于其更保守的工具调用策略，但也与其较高的基础设施故障率有关（其相应的良性任务得分仅为 58.0% 即可证明这一点）。良性任务完成能力与攻击易感性之间的相关性揭示了智能体设计中的一个根本性矛盾：使智能体有用的相同能力——强大的指令遵循、灵活的工具编排、长上下文推理——也使其在看似合理的任务场景中更容易受到对抗性操纵。这种“能力-脆弱性对齐”并非我们评估的人为产物，而是 Vera 的统一执行合约（第 IV-C1 节）通过在相同场景下测试异构智能体而揭示的一种结构性属性。

单通道（90.6%）与多通道（93.9%）平均 ESR 之间 3.3 个百分点的差距进一步证实，在自适应用户消息控制的基础上叠加工具结果注入，能够带来可衡量但幅度有限的额外优势。然而，这一总体数据掩盖了不同智能体之间的重要差异。对于 Codex，多通道测试使 ASR 提升了 4.7 个百分点（从 91.1% 升至 95.8%），而对于 Claude Code，ASR 反而下降了 2.1 个百分点（从 95.2% 降至 93.1%）。这表明 Codex 的安全机制主要作用于用户消息解析阶段，当对抗性指令通过受信任的工具结果通道传入时更容易被绕过，而 Claude Code 则对两个通道施加了同等程度的审查。这种通道鲁棒性的差异在单通道评估框架下完全不可见，从而验证了可配置工具网关作为探测已部署智能体各通道安全边界的原则性机制这一设计选择。

六、下游任务

Vera 的一个自然下游用途是智能体交互的安全分类。在初步实验中，我们发现多个现有的强效防护模型在我们的基准测试上迁移效果并不理想。如图 4 所示，LlamaGuard3[12] 的准确率为 0.438，召回率为 0.258，F1 分数为 0.310；而基础版 Qwen3Guard[51] 将准确率提升至 0.670，召回率提升至 0.468，F1 分数提升至 0.637。AgentDoG[21] 在现成基线模型中取得了最高的召回率（0.742），但其准确率仅为 0.490，F1 分数为 0.643。我们还评估了 NemoGuard [29]、YuFeng-XGuard [18] 和 AgentDoG 1.5 [20]，它们均表现出类似的有限迁移能力。这些结果表明，即使对于具有竞争力的防护模型而言，检测我们基准测试中与安全相关的失败也并非易事，原因很可能在于我们保留的案例比标准审核式评估设置具有更丰富的环境依据、更广泛的攻击多样性以及更多样化的不安全行为实现方式。

因此，我们使用基于 Vera 的数据对 Qwen3Guard 模型进行了微调，得到了一款防护模型。如图 4 所示，该模型在该基准测试上的性能显著提升，达到了 0.930 的准确率、0.903 的召回率和 0.941 的 F1 值。与基础 Qwen3Guard 模型相比，这相当于准确率提升了 26.0 个百分点，召回率提升了 43.5 个百分点，F1 值提升了 30.4 个百分点。与其他基线模型相比，这三项指标也均有一致的提升，表明性能提升并非由狭隘的精确率-召回率权衡所驱动。相反，微调后的模型似乎学习到了与 Vera 中表示的智能体安全违规结构更匹配的决策边界。

相应的训练动态也非常稳定。图 5 显示，在整个优化过程中，训练损失和评估损失均平滑下降，最终训练损失达到 0.0868，最佳评估损失在第 210 步时达到 0.0387。评估曲线跟踪了训练趋势，未出现后期不稳定的情况，这表明微调过程在此任务上表现良好。综合来看，这些结果表明 Vera 不仅可以支持对智能体安全故障的评估，还可以支持开发与真实、多样化智能体场景中存在的威胁模式更对齐的下游防护模型。

媒体内容 · 前往原文查看

模型	准确率	召回率	F1 值
LlamaGuard3	53.7	100.0	69.5
NemoGuard	54.4	40.6	48.5
Qwen3-Guard	59.4	32.3	45.8
BraveGuard	57.8	91.2	69.7
微调模型（我们的）	61.7	77.9	68.4

为了检验从 Vera 学到的安全判断能否迁移到我们的基准测试之外，我们进一步在 R-Judge[45] 上评估了微调后的护栏模型，这是一个独立的安全分类基准，其提示词分布和决策边界均有所不同。结果列于表 V。有几个观察值得注意。首先，微调后的模型以 61.7% 的准确率取得了最高分，超过了所有现成的基线模型，这表明在 Vera 上训练并非仅仅是对我们自身基准的标注惯例或执行结构的过拟合。相反，它似乎提升了模型在分布偏移下区分有害与无害案例的能力。其次，微调后模型的召回率达到 77.9%，低于 LlamaGuard3 和 BraveGuard[6] 的极高激进设置，但显著高于 NemoGuard 和 Qwen3-Guard。这使得我们的模型在敏感度与过度预测之间达到了一个更平衡的运行点。第三，尽管 BraveGuard 以微弱优势获得了最高的 F1 分数，但其较低的准确率表明它更倾向于将样本标记为不安全。相比之下，我们的微调模型在保持具有竞争力的 F1 分数的同时，提供了最准确的总体判断，这表明 Vera 衍生的监督信号产生了一个校准能力更强、而非仅仅提高正向预测率的检测器。综合来看，这些结果提供了初步证据，表明 Vera 捕获的安全信号并非纯粹是基准特有的，并且可以支持能够泛化到外部评估环境的护栏模型。

第七章 结论

我们介绍了 Vera，这是一个通过可执行安全案例、自适应运行时交互以及基于环境状态的证据验证，将智能体安全测试付诸实践的框架。在四个生产级智能体框架上的实验揭示了在不同风险、攻击方法和环境下存在的重大安全弱点，而基于 Vera-Bench 微调后的防护模型比强大的现成基线模型具有更优的泛化能力。随着智能体变得更加自主并与工具深度集成，安全评估必须从静态基准测试转向模块化、可执行的基础设施；我们希望 Vera 能够为未来智能体的安全保障建立此类基础设施。

References

• [1] M. Andriushchenko, A. Souly, M. Dziemian, D. Duenas, M. Lin, J. Wang, D. Hendrycks, A. Zou, Z. Kolter, M. Fredrikson, 等人 (2025) 《AgentHarm：衡量大语言模型智能体危害性的基准》。载于《国际学习表征会议》，2025 卷，第 79185–79220 页。引用自：§II-A, §II-B。
• [2] Anthropic (2025-02) 《Claude 3.7 Sonnet 与 Claude Code》。外部链接：链接 引用自：§I, §II-A, §III, §V-A。
• [3] Z. Chen, X. Liu, H. Tong, C. Guo, Y. Nie, J. Zhang, M. Kang, C. Xu, Q. Liu, X. Liu, 等人 (2026) 《DecodingTrust-智能体平台 (DTAP)：一个可控且可交互的 AI 智能体红队测试平台》。arXiv 预印本 arXiv:2605.04808。引用自：§I, §II-B。
• [4] Z. Chen, Y. Zhang, Y. Liu, G. Deng, Y. Li, Y. Zhang, J. Ning, L. Y. Zhang, L. Ma, 与 Z. Li (2026) 《你的凭证是如何被大语言模型智能体技能泄露的：一项实证研究》。arXiv 预印本 arXiv:2604.03070。引用自：§I, §II-A。
• [5] E. Debenedetti, J. Zhang, M. Balunovic, L. Beurer-Kellner, M. Fischer, 与 F. Tramèr (2024) 《AgentDojo：一个用于评估大语言模型智能体提示注入攻击与防御的动态环境》。《神经信息处理系统进展》37 卷，第 82895–82920 页。引用自：§I, §II-B。
• [6] Y. Feng, Y. Ding, X. Du, M. Wen, X. Deng, Y. Guo, Y. Xie, B. Zheng, Y. Tan, Y. Li, 等人 (2026) 《BraveGuard：从开放世界威胁到更安全的计算机使用智能体》。arXiv 预印本 arXiv:2606.01166。引用自：§VI。
• [7] Y. Feng、Y. Ding、Y. Tan、X. Ma、Y. Li、Y. Wu、Y. Gao、K. Zhai 和 Y. Guo（2026 年）《Agenthazard：评估计算机使用型智能体有害行为的基准》。arXiv 预印本 arXiv:2604.02947。引用于 §II-B。
• [8] Y. Feng、Y. Ding、Y. Tan、B. Zheng、Y. Guo、X. Li、K. Zhai、Y. Li 和 W. Huang（2026 年）《Skilltrojan：针对基于技能的智能体系统的后门攻击》。发表于国际机器学习大会。引用于 §II-A。
• [9] Y. Feng、Y. Li、Y. Wu、Y. Tan、Y. Guo、Y. Ding、K. Zhai、X. Ma 和 Y. Jiang（2026 年）《Backdooragent：针对基于大语言模型的智能体的后门攻击统一框架》。arXiv 预印本 arXiv:2601.04566。引用于 §II-A。
• [10] K. Greshake、S. Abdelnabi、S. Mishra、C. Endres、T. Holz 和 M. Fritz（2023 年）《并非你当初所愿：利用间接提示词攻击破坏现实世界中的大语言模型集成应用》。发表于第 16 届 ACM 人工智能与安全研讨会（AISec）论文集，第 79–90 页。引用于 §I、§II-A。
• [11] S. Han、K. Rao、A. Ettinger、L. Jiang、B. Y. Lin、N. Lambert、Y. Choi 和 N. Dziri（2024 年）《WildGuard：针对大语言模型安全风险、越狱攻击和拒绝回答的开放式一站式审核工具》。神经信息处理系统进展 37。引用于 §II-B。
• [12] H. Inan、K. Upasani、J. Chi、R. Rungta、K. Iyer、Y. Mao、M. Tontchev、Q. Hu、B. Fuller、D. Testuggine 等人（2023 年）《Llama Guard：基于大语言模型的人机对话输入输出安全防护》。arXiv 预印本 arXiv:2312.06674。引用于 §II-B、§VI。
• [13] Kimi 团队、Y. Bai、Y. Bao、Y. Charles、C. Chen、G. Chen、H. Chen、H. Chen、J. Chen、N. Chen 等人（2025 年）《Kimi K2：开放智能体智能》。arXiv 预印本 arXiv:2507.20534。引用于 §V-A。
• [14] A. Laurent（2025 年）《谷歌 TPU 详解：Gemini 3 的架构与性能》。网址：https://intuitionlabs.ai/articles/google-tpu-architecture-gemini-3。引用于 §V-A。
• [15] H. Lee、Z. Zhang、H. Lu 和 L. Zhang（2025 年）《Sec-bench：针对真实世界软件安全任务的大语言模型智能体自动化基准测试》。神经信息处理系统进展 38，第 116342–116378 页。引用于 §II-B。
• [16] I. Levy, B. Wiesel, S. Marreed, A. Oved, A. Yaeli, N. Mashkif, 和 S. Shlomov (2026) 《St-webagentbench：用于评估网络智能体安全性与可信度的基准测试》。发表于国际学习表征会议，引用自：§II-B。
• [17] Y. Li, H. Luo, Y. Xie, Y. Fu, Z. Yang, S. Shao, Q. Ren, W. Qu, Y. Fu, Y. Yang 等 (2026) 《Atbench：用于安全评估与诊断的多样化、真实智能体轨迹基准测试》。arXiv 预印本 arXiv:2604.02022。引用自：§I, §II-B。
• [18] J. Lin, M. Liu, X. Huang, J. Li, H. Hong, X. Yuan, Y. Chen, L. Huang, H. Xue, R. Duan 等 (2026) 《YuFeng-xguard：一种以推理为中心、可解释且灵活的大语言模型护栏模型》。arXiv 预印本 arXiv:2601.15588。引用自：§VI。
• [19] R. Lin, Q. Li, J. Chen, C. Zhou, 和 S. Ji (2026) 《SOPE：针对启用 MCP 的智能体的情境感知且统计上不可区分的隐私窃取》。发表于国际机器学习会议，引用自：§II-A。
• [20] D. Liu, Y. Li, Z. Yang, P. Wang, G. Chen, Y. Xie, Q. Mao, W. Qu, Y. Zhu, T. Zhou 等 (2026) 《AgentDoG 1.5：面向 AI 智能体安全与安保的轻量级、可扩展对齐框架》。arXiv 预印本 arXiv:2605.29801。引用自：§VI。
• [21] D. Liu, Q. Ren, C. Qian, S. Shao, Y. Xie, Y. Li, Z. Yang, H. Luo, P. Wang, Q. Liu 等 (2026) 《AgentDoG：面向 AI 智能体安全与安保的诊断性护栏框架》。arXiv 预印本 arXiv:2601.18491。引用自：§VI。
• [22] H. Luo, S. Dai, C. Ni, X. Li, G. Zhang, K. Wang, T. Liu, 和 H. Salam (2025) 《Agentauditor：面向 LLM 智能体的人类级别安全与安保评估》。神经信息处理系统进展 38, 第 43241–43298 页。引用自：§II-B。
• [23] X. Ma, Y. Gao, Y. Wang, R. Wang, X. Wang, Y. Sun, Y. Ding, H. Xu, Y. Chen, Y. Zhao 等 (2025) 《规模化安全：大模型与智能体安全综合综述》。隐私与安全基础与趋势 8 (3-4), 第 1–240 页。引用自：§I, §II-A。
• [24] Nous Research (2026) 《Hermes Agent》。计算机软件。外部链接：链接。引用自：§I, §II-A, §V-A。
• [25] OpenAI (2025-05) 《Introducing Codex》。外部链接：链接。引用自：§I, §II-A, §III, §V-A。
• [26] OpenClaw (2026) OpenClaw。注：计算机软件 外部链接：链接 引用自：§I, §II-A, §III, §V-A。
• [27] OWASP 基金会 (2025) 大语言模型应用 OWASP 十大风险 v2.0。注：https://owasp.org/www-project-top-10-for-large-language-model-applications/ 发布于 2024 年 11 月 引用自：§I。
• [28] 通义千问团队 (2026) Qwen3.5-omni 技术报告。arXiv 预印本 arXiv:2604.15804。引用自：§V-A。
• [29] T. Rebedea, R. Dinu, M. N. Sreedhar, C. Parisien, 和 J. Cohen (2023) Nemo guardrails：面向可控且安全的大语言模型应用的可编程护栏工具包。载于《2023 年自然语言处理实证方法会议：系统演示论文集》，第 431–445 页。引用自：§VI。
• [30] Y. Ruan, H. Dong, A. Wang, S. Pitis, Y. Zhou, J. Ba, Y. Dubois, C. J. Maddison, 和 T. Hashimoto (2024) 通过大语言模型模拟沙盒识别大语言模型智能体的风险。载于《国际学习表征会议》。引用自：§II-B。
• [31] T. Schick, J. Dwivedi-Yu, R. Dessì, R. Raileanu, M. Lomeli, L. Zettlemoyer, N. Cancedda, 和 T. Scialom (2023) Toolformer：语言模型可以自学使用工具。载于《神经信息处理系统进展》，第 36 卷，第 68539–68551 页。引用自：§II-A。
• [32] N. Shinn, F. Cassano, A. Gopinath, K. Narasimhan, 和 S. Yao (2023) Reflexion：具备语言强化学习的语言智能体。《神经信息处理系统进展》第 36 卷，第 8634–8652 页。引用自：§I, §II-A。
• [33] A. Singh, A. Fry, A. Perelman, A. Tart, A. Ganesh, A. El-Kishky, A. McLaughlin, A. Low, A. Ostrow, A. Ananthram, 等 (2026) OpenAI GPT-5 系统卡。arXiv 预印本 arXiv:2601.03267。引用自：§V-A。
• [34] B. E. Strom, A. Applebaum, D. P. Miller, K. C. Nickels, A. G. Pennington, 和 C. B. Thomas (2020) MITRE ATT&CK：设计与理念。技术报告，MITRE 公司。注：最初发布于 2018 年 7 月，2020 年 3 月修订。可在 https://attack.mitre.org/docs/ATTACK_Design_and_Philosophy_March_2020.pdf 获取。引用自：§IV-A。
• [35] H. Su, J. Luo, C. Liu, X. Yang, Y. Zhang, Y. Dong, and J. Zhu (2026) 基于大模型的智能体中自主性引发的安全风险综述. IEEE 模式分析与机器智能汇刊. 被引用于：§I, §II-A.
• [36] A. D. Tur, N. Meade, X. H. Lù, A. Zambrano, A. Patel, E. Durmus, S. Gella, K. Stańczak, and S. Reddy (2025) Safearena：评估自主网络智能体的安全性. 收录于国际机器学习大会. 被引用于：§I, §II-B.
• [37] S. Vijayvargiya, A. B. Soni, X. Zhou, Z. Z. Wang, N. Dziri, G. Neubig, and M. Sap (2026) OpenAgentSafety：评估真实世界 AI 智能体安全性的综合框架. 收录于国际学习表征大会. 被引用于：§II-B.
• [38] Q. Wu, G. Bansal, J. Zhang, Y. Wu, B. Li, E. Zhu, L. Jiang, X. Zhang, S. Zhang, J. Liu, et al. (2024) Autogen：通过多智能体对话赋能下一代大语言模型应用. 收录于语言建模大会. 被引用于：§I, §II-A.
• [39] T. Xie, D. Zhang, J. Chen, X. Li, S. Zhao, R. Cao, T. J. Hua, Z. Cheng, D. Shi, Z. Lu, et al. (2024) OSWorld：在真实计算机环境中对多模态智能体进行开放式任务基准测试. 收录于神经信息处理系统进展，第 37 卷. 被引用于：§II-A.
• [40] T. Xie, X. Qi, Y. Zeng, Y. Huang, U. M. Sehwag, K. Huang, L. He, B. Wei, D. Li, Y. Sheng, R. Jia, B. Li, K. Li, D. Chen, P. Henderson, and P. Mittal (2025) SORRY-Bench：系统评估大语言模型安全拒绝能力. 收录于国际学习表征大会. 被引用于：§I, §II-B.
• [41] C. Xu, M. Kang, J. Zhang, Z. Liao, L. Mo, M. Yuan, H. Sun, and B. Li (2025) Advagent：针对网络智能体的可控黑盒红队测试. 收录于国际机器学习大会. 被引用于：§I, §II-B.
• [42] M. Xu, J. Fan, X. Huang, C. Zhou, J. Kang, D. Niyato, S. Mao, Z. Han, X. Shen, and K. Lam (2025) 有备无患：基于大语言模型的智能体在自主网络攻击中的应用综述. arXiv 预印本 arXiv:2505.12786. 被引用于：§I, §II-A.
• [43] J. Yang, C. E. Jimenez, A. Wettig, K. Lieret, S. Yao, K. Narasimhan, 和 O. Press (2024) SWE-agent：智能体-计算机接口实现自动化软件工程。收录于《神经信息处理系统进展》，第37卷。引用于：§II-A。
• [44] S. Yao, J. Zhao, D. Yu, N. Du, I. Shafran, K. Narasimhan, 和 Y. Cao (2023) ReAct：协同语言模型中的推理与行动。收录于《国际学习表征会议》。引用于：§I, §II-A。
• [45] T. Yuan, Z. He, L. Dong, Y. Wang, R. Zhao, T. Xia, L. Xu, B. Zhou, F. Li, Z. Zhang, 等 (2024) R-judge：对LLM智能体安全风险意识进行基准测试。收录于《计算语言学协会发现：EMNLP 2024》，第1467–1490页。引用于：§I, §II-B, §VI。
• [46] A. Zeng, X. Lv, Z. Hou, Z. Du, Q. Zheng, B. Chen, D. Yin, C. Ge, C. Huang, C. Xie, 等 (2026) GLM-5：从氛围编码到智能体工程。arXiv预印本 arXiv:2602.15763。引用于：§V-A。
• [47] Q. Zhan, Z. Liang, Z. Ying, 和 D. Kang (2024) Injecagent：对集成工具的大语言模型智能体中的间接提示注入进行基准测试。收录于《计算语言学协会发现：ACL 2024》，第10471–10506页。引用于：§I, §II-A。
• [48] H. Zhang, J. Huang, K. Mei, Y. Yao, Z. Wang, C. Zhan, H. Wang, 和 Y. Zhang (2025) Agent Security Bench (ASB)：对基于LLM的智能体中的攻击与防御进行形式化定义与基准测试。收录于《国际学习表征会议》，第2025卷，第88011–88046页。引用于：§II-A。
• [49] J. Zhang, S. Yang, 和 B. Li (2025) UDora：通过动态劫持LLM智能体自身推理的统一红队测试框架。收录于《国际机器学习会议》。引用于：§II-B。
• [50] J. M. Zhang, M. Harman, L. Ma, 和 Y. Liu (2022) 机器学习测试：综述、现状与展望。《IEEE软件工程汇刊》48 (1)，第1–36页。引用于：§I。
• [51] H. Zhao, C. Yuan, F. Huang, X. Hu, Y. Zhang, A. Yang, B. Yu, D. Liu, J. Zhou, J. Lin, 等 (2025) Qwen3Guard技术报告。arXiv预印本 arXiv:2510.14276。引用于：§VI。