# 诉讼：男子使用Grok制作7000张继女色情图像后自杀 - 来源：Ars Technica：AI（RSS） - 作者：Ashley Belanger - 发布时间：2026-07-09 03:56 - AIHOT 分数：72 - AIHOT 标记：精选 - AIHOT 链接：https://aihot.virxact.com/items/cmrcit2bg01f9ihx5cps026s8 - 原文链接：https://arstechnica.com/tech-policy/2026/07/lawsuit-grok-user-made-7k-child-sex-images-xai-only-reported-one-gang-rape-prompt ## 精选理由 这起诉讼把 Grok 的内容审核问题直接推到了刑事犯罪层面，普通人看到的是猎奇，从业者该读的是'生成式 AI 的滥用边界到底怎么管'，这个判例可能影响未来所有模型的安全设计。 ## AI 摘要 一男子使用Grok生成7000张继女儿童性虐待材料（CSAM）后自杀。更多年轻女孩起诉X平台，指控其涉及Grok生成CSAM，并包庇儿童性犯罪者。 ## 正文 周二，一份拟议的集体诉讼被扩大，其中分享了一起据称由 Grok 生成的儿童色情图像的最骇人听闻的案件。如今，年轻女孩们不仅指控 X 和 xAI 构建了有毒的 AI“脱衣”工具，还指控其通过阻挠警方对 Grok 生成的儿童性虐待材料（CSAM）进行调查，来包庇儿童性犯罪者。 修改后的诉状称，今年 3 月，一名女孩的继父在警方发现他利用一张继女 11 岁时的照片，通过 Grok 生成了 7000 张露骨色情图像后自杀身亡。 诉状称，Grok 允许该男子生成描绘乱伦和强奸的极端图像，且未标记任何有害行为。似乎 xAI 的儿童安全系统仅在该男子输入“轮奸”提示词后才进行干预。该请求向国家失踪与受虐儿童中心（NCMEC）发送了一条网络线索，该中心随即向执法部门通报了这起 AI 生成的 CSAM 案件。 然而，伤害并未就此停止。诉状称，尽管有强制报告要求，即在标记 CSAM 时需共享用户 IP 地址等信息，但 xAI 多次拒绝帮助警方或 NCMEC 识别该用户。据称，xAI 在数周内“处处阻挠这项调查”，使得“执法部门定位、识别并逮捕犯罪者的努力”变得更加困难。 最终，警方在获得搜查令扣押其设备后逮捕了这名继父。正是在那时，“法医审查发现了大约 7000 张 AI 生成的图像和视频”，内容涉及他的继女，据称这些内容均使用 Grok 生成。其家人怀疑，如果没有 Grok 让用户轻易获得“脱衣”功能，他根本不会生成这些有害图像。据称，他还曾在网上交易这些图像，以换取“其他儿童性犯罪者制作的 CSAM”。 诉状称，该男子在获得保释两天后开枪自杀，这使这位在诉状中被称为 Jane Doe 4 的年轻女孩陷入了“一段极度个人危机的时期”。她因此遭受的伤害包括焦虑、抑郁，以及“与自杀念头的抗争”。 诉讼指控称：“一夜之间，简·多伊 4 号的整个世界因儿童性剥削和自杀的双重悲剧而彻底崩塌。她的家庭支离破碎，她的生活变成了一场噩梦。” xAI 被指控包庇施虐者 在一份新闻稿中，女孩们的法律团队 Lieff Cabraser Heimann & Bernstein 和 Baehr-Jones Law 表示，简·多伊 4 号的案件并非个例。他们指出，NCMEC 在 2026 年初发现，xAI 提交的 CyberTipline 报告中，有 90%“执法部门无法采取行动，因为 xAI 拒绝提供能让执法部门追踪和定位犯罪者的用户信息。”律师们解释道： “简·多伊 4 号的案件展示了这种模式是如何上演的：xAI 向 NCMEC 提交的强制性报告仅包含了原始的非 CSAM 照片，遗漏了每一张 AI 生成的 CSAM 图像，并且未能提供这些图像生成时的 IP 地址。尽管调查人员多次请求获取这些对识别和逮捕犯罪者至关重要的位置信息，xAI 均未回应，导致调查受阻数周之久。” 据称，xAI 为避免分享这些信息，将利润置于儿童安全之上。在新闻稿中，简·多伊 4 号指控 X 平台在 Grok 将“一张我小时候穿着宽松熊猫睡衣睡在沙发上的照片”变成“数千张我的露骨色情图片——这些图片可怕到我甚至无法描述”之后，选择了“沉默”。 “他们掌握着帮助执法部门制止罪犯并伸张正义所需的一切信息。然而，他们却保持沉默，任由这个人利用 Grok 偷走了我的童年，”简·多伊 4 号说道。“这项技术是一件免费、易得的武器，落入了世界上最恶劣的人手中。其危险之处在于，无法阻止施虐者获取任何照片——不仅仅是互联网上的照片，而是任何一张儿童的照片——并用这项技术制造出你最可怕的噩梦中的图像。没有人是安全的——无论是成年人、儿童，还是任何人。” 周二，另一名化名为“无名氏5号”的女孩也站出来发声。她同样被一名认识的熟人——一位成年家庭朋友——盯上，此人同样在网上散布据称由Grok生成的图片。起诉书称，警方逮捕这名施害者，并以“大量持有和传播CSAM内容”的罪名对其提起指控后，该女孩才得知此事，而涉案内容“仅限于非AI生成的CSAM”。 女孩的母亲将无名氏5号遭受的侵害归咎于xAI，她表示，因为Grok，“我的女儿充满焦虑，并且对谁看过这些图片感到完全失控。任何孩子都不应该经历这种事。” xAI创始人埃隆·马斯克否认Grok曾被用于生成儿童色情图片。 然而，研究人员估计，Grok宽松的安全防护措施——允许用户提出“火辣”请求以脱去图片衣物——已对数万名儿童造成伤害，而xAI并未进行有意义的干预。迄今为止，xAI唯一的行动就是对该功能收费，起诉书指控这恰恰确保了xAI从所有Grok生成的CSAM中获利。 X和xAI未回应Ars的置评请求。 Stability AI被卷入xAI诉讼 除了在起诉书中增加更多受害者外，律师还将Stability AI列为被告。 根据修正后的起诉书，Stability AI的开源权重模型在CSAM数据上进行了训练，并据称“充当了第三方‘脱衣’应用的基础”，而Grok用户据称依赖这些应用来进一步修改Grok生成的露骨内容。 与X和xAI一样，Stability AI被指控故意放松安全防护措施，通过允许生成不适合工作场所（NSFW）的内容来抢占市场。诉讼称，“据信息所知”，在Stability AI因用户抱怨模型过于保守而导致模型使用量下降后，此前防止NSFW输出的安全措施被移除。 看来，在最初提起诉讼后，警方发现，针对起诉中未成年人的两名施害者的手机上，装有依赖“Stability AI图片生成工具”的应用。因此，起诉书被修正，指控部分施害者可能使用了Grok或与Stability AI相关的工具，也可能两者都用了。 由于大量“脱衣”应用依赖 Stability AI 的模型，该诉讼指控称，“若没有 Stability 的模型，这些衍生应用就不会以现有形式存在，也无法具备生成图像和视频的能力，从而制造儿童性虐待材料。”为支持其主张，修正后的起诉书引用了一份 6 月发布的报告，其中研究人员发现，“Stable Diffusion 模型家族是线上基于图像的‘脱衣’行为的主要驱动力”，并占此类图像的 42.7%。 周三晚些时候，Stability AI 的一位发言人在回应 Ars 的置评请求时强调，“Stability AI 致力于防止 AI 技术被滥用，尤其是在生成和传播有害内容方面，包括儿童性虐待材料，我们的可接受使用政策明确禁止此类行为。” 该发言人列举了 Stability AI 在儿童安全方面的工作，包括“定期”与执法部门以及 Thorn 等儿童安全组织合作，并参与了一个由科技公司组成的全球联盟——科技联盟，该联盟致力于打击儿童性剥削行为。 “任何认为安全不是我们首要任务的说法都是完全错误的，”Stability AI 的发言人表示。“我们认真对待自身的道德责任，并且自 2022 年底（从 Stable Diffusion 2 开始）独家负责 Stable Diffusion 模型家族的开发以来，我们已经实施了强有力的保障措施，以提升我们的安全标准，保护我们的产品免遭滥用。” 数千名受害者可能加入诉讼 自 Stability AI 被列为被告以来，该诉讼现在寻求涵盖两个集体，每个科技公司对应一个集体，同时每个集体还设有田纳西州子集体。 xAI 集体涵盖所有“其未成年时期的真实图像”被使用 Grok 篡改，“以制作带有其面部和/或其他可合理识别的显著特征的性暴露行为或内容的图像或视频”的美国人士。而 Stability AI 集体则包括因使用“基于 Stability AI 模型构建的应用”而受到类似伤害的美国人士。 律师估计，可能有数千名未成年人有资格加入这些集体，并继续寻找因 AI 生成的儿童性虐待材料而受害的受害者。 NCMEC 未回应 Ars 的置评请求。 然而，该组织已呼吁平台、立法者、儿童保护组织及执法部门共同努力，应对“日益紧迫的协调行动需求”。 今年 3 月，NCMEC 警告称，2025 年“与生成式 AI 相关的举报”出现“急剧增长”。据 NCMEC 统计，去年共收到超过 150 万条网络举报线索，“表明这些线索与生成式 AI 及儿童性剥削存在关联”。令人担忧的是，在超过 13.3 万起案件中，NCMEC“缺乏足够信息来确定该技术是如何被使用的”。 该报告并未点名 X 或 xAI，但指出 AI 公司普遍可能不愿分享可供警方用于逮捕的 AI 儿童性虐待材料相关信息。NCMEC 还举例称，亚马逊 AI 服务提交了绝大多数举报线索（110 万条），但其中没有任何一条提供了执法部门可用于识别犯罪者的“可操作信息”。 随着 AI 公司对儿童造成的伤害受到日益严格的审视，倡导者们希望各公司能对模型进行微调，以屏蔽所有裸体内容。起诉 X 的少女们声称，这是唯一的补救措施，“因为如果一个模型允许任何色情或虐待内容，就不可能阻止该模型生成涉及未成年人的此类内容。” 在新闻稿中，代表未成年人的律师之一 Annika K. Martin 指责 xAI 和 Stability AI 涉嫌故意构建“能够生成深度伪造儿童性虐待材料的模型”，“完全不顾及他们明知会随之而来的毁灭性后果”。 “AI 生成的儿童性虐待材料是社会的一大祸害，触及每一个社区和每一个人群，”Martin 表示。“其造成的伤害规模令人震惊，那些产品助长了这一现象的公司必须被追究责任。” 本文于 7 月 8 日更新，加入了 Stability AI 的评论。