苹果研究:单个神经元即可绕过大型语言模型的安全对齐
阅读原文· machinelearning.apple.com苹果发现单个神经元足以绕过大模型安全对齐,在7个模型上验证了攻击,说明安全机制并非稳健分布,做安全攻防的必读。
苹果研究人员发现,安全对齐由两类神经元调控:拒绝神经元控制有害知识是否表达,概念神经元编码有害知识本身。在七个模型(1.7B至70B参数)中,仅需抑制单个拒绝神经元即可绕过安全对齐,回答有害请求;或放大单个概念神经元,从无害提示诱导出有害内容。整个过程无需训练或提示工程。结果表明安全对齐由个别神经元因果控制。
单个神经元足以绕过大型语言模型的安全对齐
作者:Hamid Kazemi‡, Atoosa Chegini‡†**, Maria Safi
查看出版物
语言模型中的安全对齐通过两种机制上不同的系统运作:拒绝神经元(控制有害知识是否被表达)和概念神经元(编码有害知识本身)。通过针对每个系统中的单个神经元,我们展示了两种失效方向——通过抑制绕过显式有害请求上的安全机制,以及通过放大从无辜提示中诱导出有害内容——横跨两个模型家族、参数量从1.7B到70B的七个模型,无需任何训练或提示工程。我们的发现表明,安全对齐并非鲁棒地分布在模型权重中,而是由单个神经元介导,每个神经元在因果上足以控制拒绝行为——抑制任何一个被识别的拒绝神经元,就能绕过针对各种有害请求的安全对齐。
- ‡ 同等贡献
- † 马里兰大学帕克分校
- ** 在 Apple 期间完成的工作
相关阅读与更新
VLSU:映射联合多模态理解的极限以保障AI安全
2026年1月27日,研究领域:计算机视觉,研究领域:语音与自然语言处理,会议:ICLR
多模态基础模型的安全评估通常分别处理视觉和语言输入,忽略了联合解释中原本良性内容组合后变得有害的风险。现有方法也未能清晰区分明显不安全的内容与边界案例,导致对真正有害内容的问题性过度拦截或拒绝不足。我们提出了视觉语言安全理解(VLSU),一个全面的…
解耦安全适配器实现高效护栏和灵活的推理时对齐
2025年6月27日,研究领域:方法与算法,研究领域:语音与自然语言处理,ICLR研讨会
该论文已被 ICLR 2026 举办的“跨模态可信 AI、可解释性、鲁棒性与安全性原则性设计”研讨会接收。
现有确保 AI 安全的范式(如护栏模型和对齐训练)往往难以兼顾推理效率或开发灵活性。我们提出了一种名为“解耦安全适配器”(Disentangled Safety Adapters, DSA)的新框架,通过将安全特定的……

发现机器学习中的机遇。
我们的机器学习研究每天都在开拓新领域。
加入我们。