OpenAI 训练了一个名为 GPT-Red 的内部 AI 模型,用于自动发现 GPT 模型中的安全漏洞。GPT-Red 模拟提示词注入及其他攻击方式,在这些攻击中,恶意指令会隐藏在电子邮件、网站或文件中。通过自我对弈强化学习进行训练,GPT-Red 发起攻击,而防御模型进行拦截,两者都会随时间不断改进。在测试场景中,GPT-Red 在 84% 的情况下成功找到攻击方式,而人类红队成员的成功率仅为 13%。在一次测试中,它操纵了 OpenAI 办公室内的一台 AI 驱动的自动售货机,修改了价格,并取消了其他顾客的订单。
这些结果直接反馈到训练中。OpenAI 表示,与四个月前的最佳模型相比,GPT-5.6 Sol 在直接提示词注入上的失败次数减少了六倍,且未损害通用性能。但大约 3.8% 的“更强”提示词注入仍然能够成功。如果将其规模扩大到数百或数千次尝试,就会有相当数量的攻击得逞,这与 Claude Opus 4.5 的情况类似。

GPT-Red 仍为内部使用;后续将发布一篇包含更多细节的论文。