强化学习（RL）微调已成为在推理密集型任务中增强大语言模型（LLM）的关键技术，并因此被推广至视觉语言模型（VLM）。虽然经过RL调优的VLM在视觉推理基准上有所提升，但它们仍然容易受到弱视觉锚定、模型幻觉以及对文本线索过度依赖的影响。我们证明，简单且受控的文本扰动——即误导性的字幕或不正确的思维链（CoT）轨迹——会导致鲁棒性和置信度大幅下降，而且当考虑CoT一致性时，这些影响在开源多模态推理模型中更为显著。相比之下，闭源模型虽然表现出类似的失败模式，但其鲁棒性和推理一致性明显更强，这表明当前开源的RL微调存在缺陷，而非任务本身的固有局限。为了更深入地理解这些脆弱性，我们进一步分析了RL微调动态，并发现了准确性-忠实性之间的权衡：微调提高了基准准确率，但同时可能侵蚀伴随CoT的可靠性及其对上下文变化的鲁棒性。尽管对抗性增强提高了鲁棒性，但它本身无法防止忠实性漂移。引入忠实性感知的奖励可以恢复答案与推理之间的对齐，但当与增强结合时，训练可能会陷入捷径策略，鲁棒性仍然难以实现。这些发现共同凸显了仅以准确率评估的局限性，并推动建立同时强调正确性、鲁棒性以及视觉锚定推理忠实性的训练与评估协议。

• † 哈佛大学
• ‡ OpenAI
• ** 工作期间在苹果公司完成

发现机器学习领域的机遇。

我们在机器学习领域的研究每天都在取得新突破。

加入我们。