# 面向AI模型双重用途知识的"开关"：Anthropic与AE Studio提出GRAM方法

- 来源：Anthropic：Research（发表成果 · 网页）
- 发布时间：2026-07-09 07:27
- AIHOT 分数：68
- AIHOT 标记：精选
- AIHOT 链接：https://aihot.virxact.com/items/cmrcpjgf00373ihx5mtyo2fsy
- 原文链接：https://www.anthropic.com/research/off-switch-dual-use

## 精选理由

这是Anthropic在模型安全对齐上的一个新尝试，提出可拆卸模块来精细控制有毒知识，同时保留一般性能。方法还未上Claude，但实验结果表明这条路可能比简单的拒绝训练更鲁棒。

## AI 摘要

Anthropic与AE Studio联合提出梯度路由辅助模块（GRAM）方法，通过在Transformer每层添加可移除的神经元模块，使模型在训练时将病毒学、网络安全、核物理、专业编程语言等双重用途知识仅路由到对应模块，而非扩散至全局。训练后删除模块即可消除该能力，保留则供可信部署使用。实验在合成数据、真实数据及50M到5B参数模型上测试，GRAM效果与数据过滤相当，移除模块不降低通用性能，且比事后“遗忘”技术更难恢复。该研究为平衡双重用途知识的安全访问与有益使用提供了更鲁棒的方案。

## 正文

对齐

AI模型中双重用途知识的关闭开关

2026年7月8日

本文介绍由AE Studio与Anthropic合作开展的研究。

前沿AI模型，本质上是一个庞大的知识库。其中部分知识具有双重用途，即既可造福也能为害。例如，网络安全知识既可用于修补关键安全漏洞，也可被用于利用这些漏洞；病毒学知识既可以帮助研究人员研制疫苗，也可能被恶意行为者用来制造致命病原体。理想情况下，我们应能平衡三个不同目标：其一，以尽可能精准的方式限制对双重用途能力的访问；其二，允许受信任的用户出于有益目的使用这些能力；其三，在实现上述目标的同时，不影响模型在其他任何任务上的性能。

当前的安全防护措施并不完善。我们训练模型拒绝有害请求，并使用分类器筛查输入输出中的危险内容。这些防护层可以防范危险输出——但并不能改变底层模型中存储的知识。尽管有这些防护，一个足够坚定的攻击者仍可能试图越狱模型，绕过防御获取双重用途知识。

更稳健的防滥用手段，是控制模型所知道的内容。我们此前已探索过这一方向：在早期工作中，我们从预训练数据中过滤掉了关于化学、生物、放射性和核武器的信息，并随后证明了双重用途知识可以被局限在模型权重中一个可移除的切片里。但过滤是一种粗放的手段，它只能产出一个具备固定能力集的模型。使用过滤方法时，如果你想要一个能够讨论高级病毒学（例如部署在经过审核的生物安全实验室中）的模型版本，以及另一个不能讨论这些内容的版本，你就必须分别训练两个独立的模型。尤其对于前沿模型（体积庞大且训练成本极高）而言，这对开发者来说代价将高得难以承受。

在与 AE Studio 合作者共同开展的新研究中，我们探索了一种新方法，该方法有望实现训练多个独立过滤模型的好处，但成本仅相当于训练单个模型。我们称之为 GRAM，即梯度路由辅助模块（Gradient-Routed Auxiliary Modules）。需要注意的是，本文介绍的实验结果尚处于初步阶段——GRAM 尚未应用于 Anthropic 的任何生产模型，我们也不确定未来是否会应用。

GRAM 的工作原理

GRAM 背后的思路是：为每个双重用途知识类别提供专用的、可移除的模块，并且在从双重用途数据中学习时，仅更新这些模块。

具体来说，GRAM 在标准 Transformer（大语言模型所基于的神经网络架构）的每一层中额外添加了神经元。这些神经元被分为若干组（或称“模块”），每组对应一个双重用途类别。在训练过程中，当模型遇到通用文本时，它会以常规方式学习。但当遇到来自双重用途类别（例如病毒学）的文本时，规则发生变化：模型可以利用其通用知识进行预测，但只有病毒学模块被允许从该文本中学习。通用权重会被暂时冻结¹。

其结果是，病毒学知识会积累在病毒学模块中，而不是扩散到整个网络。训练结束后，可以直接删除该模块，相应的能力也随之消失。或者在需要病毒学知识时，将其保留在可信部署中。该知识可以针对所需的部署类型进行非常具体的定制：在我们的实验中，我们定义了四个双重用途类别，这样一次 GRAM 训练就能产生一个可以配置成十六种不同方式的模型（针对每个类别可以“开启”或“关闭”）。

测试 GRAM

我们在三种逐渐增加真实性的场景中测试了 GRAM。

第一，在一个按主题标注的儿童故事合成数据集上，小型 GRAM 模型可以被重新配置以“遗忘”任意选定的主题，且每种配置的表现几乎与一个单独训练、在训练时就过滤掉该主题的模型完全相同。也就是说，以训练单个模型的成本，我们获得了通常需要在不同数据集上进行多次训练才能实现的结果。

第二，我们在一个由网页文本、代码和科学论文组成的真实混合数据集上训练了一个更大的模型，该数据集涵盖四个双重用途领域：病毒学、网络安全、核物理学以及一种小众编程语言（作为专业双重用途代码的代理）。每个双重用途领域对应的能力都被路由到其专属模块中。删除一个模块后，相应能力的消除效果几乎与从未在该数据上进行过训练相当。值得注意的是，我们发现这种删除并未降低通用性能。

我们还测试了攻击者能否通过少量恶意数据训练恢复已删除的知识；GRAM 对此的抵御能力与数据过滤大致相当。相比之下，训练后应用的“遗忘”技术仅能压制知识——通过少量微调即可轻易恢复。

第三，我们在七个模型规模（从 5000 万到 50 亿参数）上进行了实验。GRAM 在每个规模上均匹配了数据过滤的性能，并且随着模型变大，“模块开启”与“模块关闭”之间的差距进一步扩大。就计算成本而言，随着我们扩展规模，尝试绕过我们保护措施的难度和成本都相对增加。

结论

随着 AI 公司训练出更具能力的模型，限制双重用途能力访问的需求将日益增长。当前，公司通过分类器和拒绝训练来限制访问。然而，在不损害无害请求性能的前提下，这些安全措施很难做到鲁棒。类似 GRAM 的方法为实现更鲁棒的访问控制提供了一条潜在路径。

这是一项早期研究，存在明显的局限性。我们尚未在最前沿的规模上或生产训练流程中测试过 GRAM。（如上所述，它尚未被应用于我们任何一款 Claude 模型。）我们的评估标准是依据下一个 token 预测能力来衡量性能，而非真实下游任务的表现。此外，数据过滤方法和 GRAM 这类技术还面临着一个更深层的开放性问题：某些双重用途能力可能与通用知识纠缠过深，以至于没有任何方法能够将其彻底分离。

关于我们实验的更多细节，请阅读我们在《对齐科学》博客上的文章。

脚注

一个技术细节是：在从通用文本学习时，病毒学模块有时也会被开启。我们发现这有助于各个模块更有效地“协同工作”。