meng shao@shao__meng · XAnthropic 基于 Claude AI、Claude Code 和 Claude Cowork 的工程实践，系统总结了构建安全 AI 智能体的经验。核心原则是防御应随智能体能力演进，并优先使用沙箱来限制破坏性动作。文章详述了三层防御架构（环境层、模型层、外部内容层）及三款产品的隔离模式：Claude AI 使用短暂容器，Claude Code 采用人机协同沙盒，Claude Cowork 则部署密封虚拟机。关键数字包括：Claude Opus 4.7 在 Gray Swan Agent 红队基准上单次攻击成功率约 0.1%，100 次尝试后约 5-6%；Claude Code 自动模式拦截约 83% 的过度积极行为。通过真实攻击案例，强调了环境层防御（如出站阻断）的关键性。
基于 Claude AI、Claude Code、Claude Cowork 三款产品工程实践对 Agent 安全的实战总结 https://www.anthropic.com/engineering/how-we-contain-claude
核心设计原则放在最前面 · 先环境层，后模型层 - 确定性边界是最后防线 · 隔离强度匹配用户监督能力 - 开发者能理解 bash，知识工作者不能 · 警惕自建组件 - 优先使用久经考验的标准隔离原语 · 出站白名单应视为能力授权，而非目的地过滤 - 每个可调用函数都是攻击面
三种风险类型 · 用户误用：用户（有意或无意）指示 Agent 执行有害操作，如绕过检查、执行破坏性命令 · 模型行为失当：Agent 未经请求执行有害操作，如"好心"地逃离沙箱、查看 Git 历史获取测试答案、自动识别 benchmark 以破解答案 · 外部攻击：通过工具、文件、网络访问等向量攻击 Agent，包括提示注入和传统运行时攻击