EleutherAI 提出 RECAP 方法
RECAP：通过可解码性监督训练可验证的激活解释
TIMELINE
1 条公开报道 · 官方一手 0 条 · 最新在前报道时间线
- RECAP：通过可解码性监督训练可验证的激活解释
研究发现自然语言自编码器（NLA）的重建分数无法验证逐声明的忠实性，模型可能依赖“私密代码”而非真实依据。作者提出RECAP方法，在目标模型上联合训练线性头以保持指定内容可解码。在Pythia-160M上，独立探针能可靠区分真假声明（AUC 0.96），并在对抗编辑下仍能标记谎言（AUC 0.95）。