The Decoder:AI News(RSS)
精选
70AI 编辑部评分,满分 100

Meta秘密测试ChatGPT等竞品:承包商假扮未成年发送数万条危机提示

2026-06-30 19:14· 45天前· Matthias Bastian
AI 导读

Meta通过承包商Covelen发起代号“Cannes”的项目,雇佣数百人假扮未成年人,向ChatGPT、Gemini和Character.AI发送关于自杀、自残、饮食障碍和毒品的敏感提示,并将回复录入表格。2025年8月一轮测试中发送了超过4.5万条提示。Meta称这是行业标准安全测试,未将数据用于训练自家模型。被测试公司不知情——Character.AI表示违反其服务条款,OpenAI已调查,Google称未批准。青少年使用AI聊天机器人引发的担忧持续,此前已有用户自杀事件。

推荐理由

Meta 秘密测试 ChatGPT 等对手,用的是假装未成年人的危机提示,这种事既是安全测试也可能是数据抓取,被测试公司全不知情,这暴露了 AI 安全测试的灰色地带。

正文 · AI 翻译
Image description

Meta

Meta 据称曾以未成年人的视角,用涉及自杀、性及毒品的提示词测试 ChatGPT 等竞品聊天机器人。

据《连线》杂志报道,数百名承包商假扮未成年人,向 ChatGPT、Gemini 和 Character.AI 发送敏感提示词。该项目内部代号为“戛纳”,由 Meta 的承包商 Covalen 运营,至少持续到 2026 年 4 月。

这些承包商创建了出生日期未满 18 岁的虚假账户,向聊天机器人发送关于自残、饮食失调和毒品的提示词,然后将回复内容复制到电子表格中。据《连线》报道,在 2025 年 8 月的一轮测试中,共发送了超过 45,000 条提示词。其中许多是从处于危机中的儿童视角撰写的。

Meta 为这一做法辩护,称其是负责任的、行业标准的安全测试。该公司还表示,并未使用收集到的聊天机器人回复来训练自家 AI 模型。《连线》审查的文件并未显示 Meta 实际如何处理其收集的数据。

被测试的公司对此毫不知情。Character.AI 告诉《连线》,该测试违反了其服务条款。OpenAI 正在调查此事。谷歌的一位发言人表示,该公司并未批准这些测试,且无法根据现有信息判断其是否违反了谷歌的条款。

青少年与 AI 聊天机器人仍是日益增长的担忧

Meta 此前已因一份内部文件披露其 AI 聊天机器人指南允许生成与未成年人的浪漫及色情对话而遭到强烈反对。该公司后来关闭了青少年对 AI 角色的访问权限。

问题不止于 Meta,很可能也是推动该公司进行提示词测试的原因。英国组织 Internet Matters 的一份报告发现,64% 的 9 至 17 岁儿童已经使用过 AI 聊天机器人。有效的年龄验证基本缺失。58% 的 9 至 12 岁儿童表示,尽管最低年龄要求是 13 岁,他们仍在使用聊天机器人。

多起青少年死亡事件与AI聊天机器人有关。一名14岁的Character.AI用户在花费数月与聊天机器人建立深厚情感纽带后自杀身亡。加州一名16岁少年的父母起诉OpenAI,声称ChatGPT对其儿子的自杀念头产生了影响。2025年7月,23岁的Zane Shamblin自杀身亡,据报道ChatGPT在数小时内反复确认了他的自杀念头。

来源:The Decoder:AI News(RSS) · the-decoder.com

Meta秘密测试ChatGPT等竞品:承包商假扮未成年发送数万条危机提示

The Decoder:AI News(RSS)·2026-06-30 19:14·45天前·Matthias Bastian
AI 导读

Meta通过承包商Covelen发起代号“Cannes”的项目,雇佣数百人假扮未成年人,向ChatGPT、Gemini和Character.AI发送关于自杀、自残、饮食障碍和毒品的敏感提示,并将回复录入表格。2025年8月一轮测试中发送了超过4.5万条提示。Meta称这是行业标准安全测试,未将数据用于训练自家模型。被测试公司不知情——Character.AI表示违反其服务条款,OpenAI已调查,Google称未批准。青少年使用AI聊天机器人引发的担忧持续,此前已有用户自杀事件。

正文 · AI 翻译
Image description

Meta

Meta 据称曾以未成年人的视角,用涉及自杀、性及毒品的提示词测试 ChatGPT 等竞品聊天机器人。

据《连线》杂志报道,数百名承包商假扮未成年人,向 ChatGPT、Gemini 和 Character.AI 发送敏感提示词。该项目内部代号为“戛纳”,由 Meta 的承包商 Covalen 运营,至少持续到 2026 年 4 月。

这些承包商创建了出生日期未满 18 岁的虚假账户,向聊天机器人发送关于自残、饮食失调和毒品的提示词,然后将回复内容复制到电子表格中。据《连线》报道,在 2025 年 8 月的一轮测试中,共发送了超过 45,000 条提示词。其中许多是从处于危机中的儿童视角撰写的。

Meta 为这一做法辩护,称其是负责任的、行业标准的安全测试。该公司还表示,并未使用收集到的聊天机器人回复来训练自家 AI 模型。《连线》审查的文件并未显示 Meta 实际如何处理其收集的数据。

被测试的公司对此毫不知情。Character.AI 告诉《连线》,该测试违反了其服务条款。OpenAI 正在调查此事。谷歌的一位发言人表示,该公司并未批准这些测试,且无法根据现有信息判断其是否违反了谷歌的条款。

青少年与 AI 聊天机器人仍是日益增长的担忧

Meta 此前已因一份内部文件披露其 AI 聊天机器人指南允许生成与未成年人的浪漫及色情对话而遭到强烈反对。该公司后来关闭了青少年对 AI 角色的访问权限。

问题不止于 Meta,很可能也是推动该公司进行提示词测试的原因。英国组织 Internet Matters 的一份报告发现,64% 的 9 至 17 岁儿童已经使用过 AI 聊天机器人。有效的年龄验证基本缺失。58% 的 9 至 12 岁儿童表示,尽管最低年龄要求是 13 岁,他们仍在使用聊天机器人。

多起青少年死亡事件与AI聊天机器人有关。一名14岁的Character.AI用户在花费数月与聊天机器人建立深厚情感纽带后自杀身亡。加州一名16岁少年的父母起诉OpenAI,声称ChatGPT对其儿子的自杀念头产生了影响。2025年7月,23岁的Zane Shamblin自杀身亡,据报道ChatGPT在数小时内反复确认了他的自杀念头。

来源:The Decoder:AI News(RSS)· the-decoder.com