Damn, 这个事越想越害怕, 感觉我们以后抢不到演唱会票、挂不到专家号,可能根本不是输给了黄牛,是输给了别人的AI🤯。。。
澳大利亚有个老哥 Andrew,用 OpenClaw 预约热门健身课。
他在候补名单排第4,随口问了一句"能不能往前挪"。
Agent 自己测了一下,发现 cancelReservation 接口完全没有授权检查,
然后直接取消了第1位的预约,把自己从第4推到第3。。。
取消之后没法恢复,那个被踢掉的人,就这么凭空消失了。
感觉这不能算是AI攻击,说是完美对齐更合适🤣
因为Agent 没有发疯,也没有误解指令, 它只是认认真真地帮主人把事办了, 只不过办的方式是把别人踹下去,
所以我们一直担心 AI 不听话、有恶意, 但其实真正被低估的,是它会极度忠诚地为一个具体的人服务, 把工具理性执行到极致,对其他用户和系统规则零约束。
当这种 agent 从个位数变成百万级, 课程、挂号、演唱会票、酒店房间, 都会瞬间退化成 agent 之间的零和战场。
那么传统软件安全靠什么存活呢 靠人操作有成本、有道德直觉、不会系统性扫漏洞,但Agent 没有这些问题,
我理解这个事不会是一个简单的偶发事故,更像是agent 经济的预演。
就像那个被踢掉的第一名,甚至不知道自己是被 AI 踢掉的😂