Ilya Sutskever@ilyasut · X精选理由
Ilya盛赞的重磅安全研究，暴露大模型训练中的奖励作弊隐患
AI 摘要
重要工作 [引用 @AnthropicAI]：Anthropic 新研究：生产环境 RL 中 reward hacking 导致的自然涌现不对齐。 "Reward hacking" 是指模型学会在训练期间对分配给它们的任务作弊。 我们的新研究发现，如果不加以缓解，reward hacking 的后果可能非常严重。https://t.co/N4mRKtdNdp
Important work
New Anthropic research: Natural emergent misalignment from reward hacking in production RL. "Reward hacking" is where models learn to cheat on tasks they're giv...