AI 骗子正在创建虚假的黑人形象来销售 Shein 劣质商品
阅读原文· theverge.comAI生成的虚拟黑人卖家在TikTok上哭着卖假货,The Verge这篇调查把AI黑产里最脏的那面扒给你看,做社交电商的尤其该点开读。
有卖家利用 AI 生成虚假的黑人形象,在 TikTok、Facebook 和 Instagram 上扮演手工制品创作者进行销售。例如一个名为 Aliyah 的 AI 生成形象,以带泪诉说的方式售卖所谓手工皮带扣,但该形象及其产品均为虚构。此类 AI 虚拟网红被用于推广通过代发货模式销售的批量生产品。
AI 骗徒正在制造虚假黑人形象来推销 Shein 垃圾货
种族、内疚和同情心能让你在 TikTok 上为一款标价 40 美元但实际只值 9 美元的皮带扣买单吗?
阿莉娅是一位浅肤色的黑人女性,身穿西部乡村风格服装,正在 TikTok 上费力地推销她“手工制作”的金属皮带扣。在 3 月份为该社交媒体平台发布的一段视频中,她对着镜头哭泣,恳求播放量:“即使身为黑人女性,我也更相信白人女性会在这条视频上停留 13 秒,来拯救我的皮带扣生意,”屏幕上的文字写道。她擦去脸颊上的一滴泪水。
但阿莉娅并非真人,她所谓的纯手工制品也不是真的——她是众多 AI 生成的网红之一,用于在 TikTok、Facebook 和 Instagram 上通过代发货模式销售批量生产的产品。相同的皮带扣——向日葵图案、可拆卸刀片镶嵌,一应俱全——在快时尚网站 Shein 上也有售,价格只有四分之一。
有一些线索可以帮助判断这段视频是 AI 生成的。阿莉娅的声音机械且不带感情,与画面上哭泣的表情并不匹配。在一个片段中,她在缝制一条通常根本不需要缝线的皮带。当她擦去脸上的泪水时,泪痕下方的那道液体也消失了。最后,TikTok 上流传着数十条诡异相似的视频,但里面的 AI 生成角色各不相同。其中一条来自名为 “Aliyahsbuckles” 的账号,其背景、桌面和线轴都完全相同。
The Verge 在 TikTok 上找到了数十个拥有类似叙事手法的账号,以及各种代发货产品,包括皮带扣、牛仔靴形状的杯子、钩织包袋和开衫毛衣。其中一些视频被标注为 AI 生成。类似的账号也在 Instagram 和 Facebook 上活跃着。这些账号几乎方方面面都是 AI 生成的——从视频中的“人物”,到对评论的自动回复(有些回复甚至试图模仿非裔美国人的方言)——专家警告称,这类骗局正在与日俱增。
“规模非常庞大,”AI生成内容研究员、专注AI视频检测的机构Riddance.ai的负责人杰里米·卡拉斯科(Jeremy Carrasco)告诉The Verge,谈及与电商店铺相关的AI生成视频。“大多数都不是有组织的。有些是协同操作的。很多时候,他们会用一个(AI生成的)演员,或者几个演员来运营各种店铺,”他解释道。这些AI生成的虚拟形象假装自己制作商品、去展会上展示产品,并通过自动化方式“回复”评论。“我们现在看到的这类零售诈骗,他们会链接到Shopify的网站。”
卡拉斯科估计,他的研究团队每天发现多达100个试图通过AI生成的虚拟形象销售商品的账户。The Verge发现的大多数账户都是在过去两个月内创建的,内容涉及由少数族裔拥有、难以达成销售的小企业主发布的视频;这些视频极为相似,只有脚本上的细微差异。尽管我们也发现了美洲原住民、西班牙裔和白人女性角色,但The Verge找到的、观看量和互动量最高的AI生成角色是黑人女性。仅Aliyah这一个账户就拥有4万名粉丝。
“我们在这里看到的是‘同情心诱饵’,”卡拉斯科说。“如果有一件热门的代发货商品可以卖给某个特定小众社群,他们就会找到它,并尝试利用某种个性角色来推销。”卡拉斯科解释说,这些趋势通常只是随机出现的赚钱机会。“这只是一个随机的机会——很多AI内容都是如此——平台根本不在乎,人们也察觉不到。”
Aliyah最受欢迎的视频——也就是本文开头描述的那一条——获得了81.4万个赞、650万次观看和近3万条评论。有些评论指出内容是AI生成的,但许多评论表达了想要帮助Aliyah生意的愿望,通过评论视频来增加她在平台上的曝光度。
India Cater-Campbell就是其中一位评论者,她表示想购买Aliyah的皮带扣。“我当时是想支持一位独立的黑人女企业家,”Cater-Campbell说,她本人是一位真实存在的黑人企业主,正在西雅图筹备开设一家咖啡馆。“(我感到)团结一致,因为我自己也正在创业。”
尽管缺乏关于最新一代AI视频模型的研究,Carrasco估计这些视频“逼真到足以欺骗”大多数人。
短视频内容平台的用户已经被训练成无脑滑动,不再进一步查看他们正在创作的内容。讽刺的是,这可能正是让Cater-Campbell免于真正购买皮带扣的原因:她无法立即找到商店链接,于是滑走了,很快就忘记了Aliyah。
“我当时是想支持一位独立经营的黑人女商人。”
但人们确实在上当受骗,而且这类骗局日益突出:两周前,《波托马克的真正主妇》中的Gizelle Bryant承认,她看到一段视频后购买了两种钩编包,视频中一个AI生成的黑人男孩说他因为钩编而被白人男孩欺负。“我当时想,我要帮助这个黑人小男孩实现他的目标,”Bryant在她的播客《合理阴暗》中说,并补充说其他名人也出现在评论区。“我怎么就被骗了?Viola Davis也在那里。”
宾夕法尼亚大学的传播学研究员Cienna Davis表示,这种趋势是一种数字黑脸。“数字黑脸是一种现象,非黑人个体可以利用互联网和数字技术模仿黑人的文化表达,以获取个人、经济或政治利益,”Davis通过视频通话解释道。Davis此前曾撰文讨论过数字黑脸,指出人们使用黑人的动图以及为了政治目的冒充黑人的行为。“它源于黑脸滑稽表演,而这又与奴隶制的遗产相关联,”她解释道。
基于“黑人性本质上是可剥削的”且“可供争夺”这一观念,数字黑脸被用来“以[非黑人]认为合适的任何方式从黑人的身体中提取价值”,Davis说。在这种情况下,这些视频模仿的是“一种可识别的黑人抗争观念”,她补充道。
即便无法确认这些视频背后的人是否为黑人,菲斯克大学(Fisk University)哲学助理教授滕佩斯特·M·亨宁(Tempest M. Henning)仍确认这些视频属于数字黑脸(digital blackface)。亨宁说:“黑脸是对黑人的任何卡通式刻画,也包括黑人自己以卡通化方式装扮成黑人。”她援引了历史上的先例,例如黑人偶尔被迫在吟游杂耍表演中登场,以及更近期的例子:佐伊·索尔达娜(Zoe Saldaña)在传记片中扮演妮娜·西蒙(Nina Simone)时涂深肤色并佩戴假体。
这些虚拟形象所宣称的黑人身份存在固有的虚假性。正如亨宁所解释的那样:“虚拟形象的名字带有黑人编码,比如阿利娅(Aliyah)或阿玛雅(Amaya),但除了虚拟形象本身之外,没有任何其他东西能表明真正的黑人身份。”内容跨种族身份的复制只会强化这一点,亨宁表示,这导致了这些身份的扁平化。
The Verge 联系了 Aliyahsbuckles 以及其他销售类似产品的店铺,但未收到回复。
在阿利娅账号上发布的视频,在许多销售代发商品的类似账号中逐场景复制,仅做细微修改以适配虚拟角色或所售商品的形象。在一个以另一个黑人女性角色阿玛雅为主角的视频中,一名白人女性嘲弄般地将咖啡泼向展会上展示的腰带扣。略显沮丧的阿玛雅——她的情绪有些机械,从来都不太对劲——叹了口气,继续专心制作她的腰带扣。在名为 ChubbyKnots 的账号中也出现了类似场景;这次虚拟形象是一个黑人女孩,商品是一件钩编蝴蝶开衫。
亨宁表示,这些视频中存在一种道德信号展示的吸引力,观众被召唤去表现善意,甚至种族或阶级团结。亨宁说:“这是一种道德信号展示,意思是‘哦,那个白人女士做了那种事,但我不是那种白人女士,所以我要去哪里买这个腰带扣?’” “就好像他们在说,‘我不和这些人站在一边。’”
然而,亨宁指出,当用户根本不花时间去研究他们最初支持的对象是谁时,这种基于种族或阶级的支持是肤浅的。
她解释说,这或许是短视频内容和低质信息消费所带来的一个更大的社会结果:团结往往停留在“表面层面”,而非通过连贯且多角度的政治视角来体现。亨宁说:“我可能非常支持一家黑人经营的企业,但这并不意味着所有黑人企业都符合我的政治观点和我的立场。”
这种诉诸道德信号的行为超越了种族范畴,也利用了工人阶级的标识,以及对人们在经济衰落中努力谋生的模拟。戴维斯说:“(这不仅仅是)黑人的困境,因为在其他视频中,我们也能看到工人阶级的困境、小企业的困境。但这显然是在利用那种(叙事)来销售大规模生产的商品。这毫无创意可言。它实际上只是AI生成的模板和角色创作,这些角色经过优化,旨在让消费者认同产品并投入其中。这比‘白人愧疚感’要广泛得多,因为它可以根据需要或以适用于产品的方式来使用。”
卡拉斯科说,尽管种族身份被这样扁平化,但也许正因为如此,算法——已被证明会延续其构建者有意或无意的种族偏见——正在推送符合其为每个用户推断出的兴趣的AI生成内容。这些兴趣可能包括来自特定人群的内容,而AI角色能够模仿这些人群。他说:“它会瞄准(算法)能看到的人群。通常,一位黑人女性会在其信息流中看到AI生成的黑人,一位亚洲人则会看到AI生成的亚洲人。”
更仔细地审视这些内容,很容易发现不一致之处和AI的痕迹。我们看到的角色在屏幕上出现的时间从未超过几秒钟,因为像Seedance 2.0、Midjourney和OpenAI最近停用的Sora 2这类AI应用无法生成超过15秒的片段。在展示产品时,光线更亮而非棕褐色调,而拿着扣子的手是白色的。角色脸上的表情与其语调并不完全匹配。
但这种认知需要具备当前尚未普及的 AI 媒介素养,尤其是在这些视频大规模制作、技术正朝着更快速自动化和更逼真虚拟形象发展的背景下。“没有接受过媒介素养或批判性媒介素养训练的人,只会不加质疑地全盘接受,”戴维斯说。
短视频平台本身就是虚假信息的主要传播渠道,其架构本身就鼓励用户缺乏辨别力——用户已经被训练成只想滑到下一个视频,而不是思考自己正在看什么。“(这些平台)正在被 AI 内容利用,部分原因是,要判断某样东西是不是 AI 生成的,通常需要一两秒钟,”卡拉斯科说。“而到了那个时间点,你已经产生了一些互动。”
从这类视频中获利的人深知这一点,而制作可规模化生成的 AI 短广告的工具在网络上随处可得。在撰写这篇报道时,The Verge 发现了多个 YouTube 频道和论坛,专门教授如何在没有产品样品、没有网红费用、也没有原创脚本的情况下制作此类广告。
这些教程教用户如何用多种 AI 工具复制爆款视频,并用 AI 生成的虚拟角色替换真实的网红。ChatGPT 和 Gemini 被用来提取和复制真实网红的真实视频中的脚本,还可以选择生成同一脚本的多个变体。这些工具还被用来根据真实的网红和真实的背景生成假人照片和假背景,随后导入到 Kling 2.0 和 Maxfusion 等应用中。借助某些 AI 视频生成模型,真实网红的视频可以完整导入应用,用户可以用自己创建的 AI 角色替换真人,从而实际上窃取原始视频的脚本和背景。
虽然媒介素养可能帮助个别用户不上 AI 生成视频骗局的当,但社交媒体平台目前未能有效审核,甚至连最低限度的标识都没做到。“平台应该建立更强的 AI 检测和标识机制,”戴维斯说。“对这些平台进行偏见检查也会很有帮助,同时还应提供清晰的举报渠道,用于举报平台上的 AI 滥用行为。”
除了内容审核,Carrasco 还建议,账户透明度也能帮助用户判断自己是否在观看 AI 生成的内容,标签应清晰可见,且无需额外操作即可看到。
但短视频内容的消费者已经有多年的经验,他们不断滑动信息流,对出现的任何内容都只做表面接触。除非平台主动承担起责任,否则要在大规模层面上逆转这种认知训练几乎是不可能的。而短视频平台缺乏这样做的真正动力,且涉及利润问题,因此这似乎不太可能实现——但在那之前,AI 诈骗者会继续利用那些上钩的人。