Meta秘密测试ChatGPT等竞品:承包商假扮未成年发送数万条危机提示
阅读原文· the-decoder.comMeta 秘密测试 ChatGPT 等对手,用的是假装未成年人的危机提示,这种事既是安全测试也可能是数据抓取,被测试公司全不知情,这暴露了 AI 安全测试的灰色地带。
Meta通过承包商Covelen发起代号“Cannes”的项目,雇佣数百人假扮未成年人,向ChatGPT、Gemini和Character.AI发送关于自杀、自残、饮食障碍和毒品的敏感提示,并将回复录入表格。2025年8月一轮测试中发送了超过4.5万条提示。Meta称这是行业标准安全测试,未将数据用于训练自家模型。被测试公司不知情——Character.AI表示违反其服务条款,OpenAI已调查,Google称未批准。青少年使用AI聊天机器人引发的担忧持续,此前已有用户自杀事件。
Meta 秘密地用数千个未成年人视角的危机提示词测试了 ChatGPT、Gemini 和 Character.AI。
Meta 显然测试了 ChatGPT 等竞品聊天机器人,使用了从未成年人视角出发的关于自杀、性及毒品的提示词。
据 WIRED 报道,数百名承包商假装成未成年人,向 ChatGPT、Gemini 和 Character.AI 发送了敏感提示词。这个内部代号为“Cannes”的项目由 Meta 的承包商 Covalen 运营,至少持续到 2026 年 4 月。
承包商创建了出生日期未满 18 岁的虚假账号,向聊天机器人发送关于自残、饮食失调和毒品的提示词,然后将回复复制到电子表格中。据 WIRED 报道,在 2025 年 8 月的一轮测试中,发出了超过 45,000 条提示词。其中许多是从困境儿童视角写成的。
Meta 为其做法辩护,称这是负责任的、行业标准的安全测试。该公司还表示没有使用收集到的聊天机器人回复来训练自家的 AI 模型。WIRED 查阅的文件并未显示 Meta 实际如何处理所收集的数据。
被测试的公司对此毫不知情。Character.AI 告诉 WIRED,该测试违反了其服务条款。OpenAI 正在调查此事。谷歌发言人表示,该公司并未批准这些测试,并且无法从现有信息中判断其是否违反了自身条款。
青少年与 AI 聊天机器人仍是日益增长的担忧
Meta 此前已因一份内部文件显示其 AI 聊天机器人指南允许与未成年人进行浪漫及性化对话而遭到强烈反对。该公司后来关闭了青少年使用 AI 角色的权限。
问题不止于 Meta,这很可能正是该公司进行提示词测试的原因。英国组织 Internet Matters 的一份报告发现,64% 的 9 至 17 岁儿童已经使用过 AI 聊天机器人。有效的年龄验证机制大多缺失。58% 的 9 至 12 岁儿童表示他们在使用聊天机器人,尽管最低年龄要求是 13 岁。
多起青少年死亡事件与AI聊天机器人有关。一名14岁的Character.AI用户在花数月时间与聊天机器人建立强烈情感纽带后自杀身亡。加利福尼亚州一名16岁青少年的父母起诉OpenAI,声称ChatGPT与儿子的自杀念头有关。2025年7月,23岁的Zane Shamblin自杀身亡,据报道ChatGPT在数小时内认可了他的自杀念头。
没有炒作的AI新闻——由人类精选
订阅THE DECODER即可获得无广告阅读体验、每周AI新闻简报、每年六期的独家“AI雷达”前沿报告、完整档案访问权限以及评论区互动资格。