种族、愧疚感和同情心，能让你在TikTok上为这个售价9美元的皮带扣付40美元吗？

阿莉娅，一位浅肤色的黑人女性，身着西部乡村风格服饰，正在TikTok上费力推销她手工制作的金属皮带扣。在3月为该社交媒体平台发布的一段视频中，她对着镜头哭泣，恳求观看量：“即使身为黑人女性，我仍然相信白人女性会（在这段视频上）停留13秒来拯救我的皮带扣生意，”屏幕上的文字写道。她擦去脸颊上的一滴泪水。

但阿莉娅并非真人，她那些所谓的手工制品也是假的——她只是众多由AI生成的网红之一，这些网红被创造出来，通过在TikTok、Facebook和Instagram上采用一件代发模式销售批量生产的产品。一模一样的皮带扣——向日葵图案、可拆卸刀片镶嵌，一应俱全——在快时尚网站Shein上也有售，价格仅为四分之一。

有一些线索可以帮助判断这段视频是AI生成的。阿莉娅的声音机械且毫无感情，与屏幕上哭泣的脸庞并不匹配。在一个片段中，她正在缝制一条通常根本无需缝线的皮带。当她擦去脸上的泪水时，她擦拭位置下方的那道泪痕也随之消失了。最后，在TikTok上流传着数十个惊人相似的视频，但主角是不同的AI生成角色。其中一个名为“Aliyahsbuckles”的账号简介中，出现了完全相同的背景、桌面和线轴。

The Verge在TikTok上发现了数十个拥有类似叙事手法、销售各种一件代发产品的账号，产品包括皮带扣、牛仔靴形状的马克杯、钩针编织包和开襟羊毛衫。其中一些视频被标注为AI生成。类似的账号在Instagram和Facebook上也很活跃。这些账号几乎所有的方面都似乎是AI生成的——从视频中的“人物”到对评论的自动回复（在某些情况下，这些回复试图模仿非裔美国人的方言）——专家警告称，此类骗局正日益增多。

“规模非常庞大，”专注于AI视频检测的组织Riddance.ai的负责人、AI生成媒体研究员杰里米·卡拉斯科（Jeremy Carrasco）在接受The Verge采访时，谈到了与电商店铺相关的AI生成视频。“其中大部分并非有组织的行为，有一部分是有组织的。很多时候，他们会使用同一个（AI生成的）演员，或者几个演员来运营各种店铺，”他解释道。这些AI生成的虚拟形象假装制作商品、参加展会展示产品，并通过自动化方式“回复”评论。“我们现在看到的是，这些零售诈骗会链接到Shopify网站。”

卡拉斯科估计，他的研究团队每天会发现多达100个试图通过AI生成虚拟形象销售产品的账号。The Verge发现的大部分账号都是在过去两个月内创建的，内容涉及边缘群体拥有的、难以达成销售的小型企业；这些视频极其相似，脚本只有细微差别。虽然我们也发现了美洲原住民、西班牙裔和白人女性角色，但The Verge发现，观看量和互动量最高的AI生成角色是黑人女性。仅Aliyah这一个账号就拥有4万粉丝。

“我们在这里看到的是‘同情心诱饵’，”卡拉斯科说。“如果有一款热门的代发货商品可以卖给某个小众社群，他们就会找到它，并试图利用某种个性特征来推销。”卡拉斯科解释说，这些趋势通常是随机的赚钱机会。“这只是一个随机的机会，就像目前网络上很多AI内容一样——平台并不真正在意，人们也没有注意到。”

Aliyah最受欢迎的视频——也就是本文开头描述的那一个——拥有81.4万个赞、650万次观看和近3万条评论。一些评论指出该内容是由AI生成的，但许多评论表达了帮助Aliyah生意的愿望，并在视频下留言以提高她在平台上的可见度。

印度·卡特-坎贝尔就是这些评论者之一，她表达了购买阿莉娅皮带扣的愿望。“我当时是想支持一位独立经营的黑人女商人，”卡特-坎贝尔说，她本人就是一位黑人企业主，正在西雅图筹备开一家咖啡馆。“（我感到）一种团结感，因为我自己也正在尝试创业。”

尽管缺乏针对最新一代AI视频模型的研究，卡拉斯科估计这些视频“逼真到足以欺骗”大多数人。短视频内容平台的用户已经被训练成无意识地滑动屏幕，不再深入探究他们所创作的内容。讽刺的是，这或许正是卡特-坎贝尔没有真正购买皮带扣的原因：她没能立刻找到商品链接，于是便划走了，很快就忘记了阿莉娅这个人。

“我当时是想支持一位独立经营的黑人女商人。”

但人们确实会落入这些骗局，而且这类骗局日益猖獗：两周前，《波托马克的真正主妇》中的吉泽尔·布莱恩特承认，她在看到一个视频后购买了两个钩针编织包。视频中，一个AI生成的黑人男孩说自己因为做钩针编织而被白人男孩欺负。“我当时就想，我要帮助这个黑人小男孩实现他的目标，”布莱恩特在她的播客《合理可疑》中说道，并补充说其他名人也出现在评论区。“我怎么就被骗了呢？维奥拉·戴维斯也在那里。”

根据宾夕法尼亚大学传播学研究员西恩娜·戴维斯的说法，这一趋势是一种数字黑脸。“数字黑脸是一种现象，非黑人个体能够利用互联网和数字技术，为了个人、经济或政治利益而模仿黑人的文化表达，”戴维斯在一次视频通话中解释道。戴维斯此前曾撰文讨论过数字黑脸，指出人们使用黑人的表情包，以及为了政治目的冒充黑人的行为。“它根植于黑脸滑稽戏，而这又与奴隶制的遗留问题相关联，”她解释道。

戴维斯表示，基于“黑人性本质上是可被剥削的”且“任人攫取”这一观念，数字黑脸被用来“以非黑人认为合适的任何方式从黑人身体中榨取价值”。她补充说，在这种情况下，这些视频模仿的是“一种可被识别的黑人苦难形象”。

即使没有证据表明这些视频的制作者不是黑人，菲斯克大学哲学助理教授坦佩斯特·M·亨宁也确认这些视频属于数字黑脸行为。亨宁说：“黑脸是对黑人的任何漫画式刻画，这包括黑人以漫画式的方式装扮成黑人。”她援引了历史上的先例，例如黑人偶尔被迫在杂耍表演中演出，以及更近期的例子——佐伊·索尔达娜在传记片中扮演妮娜·西蒙时，将肤色涂黑并佩戴假体。

这些虚拟形象所宣称的黑人性存在一种固有的虚假性。正如亨宁所解释的：“这些虚拟形象的名字被编码为黑人名字，比如阿莉娅或阿玛雅，但除了虚拟形象本身之外，没有任何其他东西能表明真正的黑人性。”而跨种族身份的内容复制只会强化这一点，亨宁表示，这会导致这些身份特征的扁平化。

The Verge 联系了 Aliyahsbuckles 以及其他销售类似产品的店铺，但未收到回复。

阿莉娅账号上发布的视频，在许多销售代发商品的类似账号中逐场景复制，仅做细微修改以符合角色身份或所售商品。在一段以另一位黑人女性角色阿玛雅为主角的视频中，一名白人女子嘲弄地将咖啡泼向展会上展示的腰带扣。略显沮丧的阿玛雅——她的情绪有些机械，看起来总是不太对劲——叹了口气，继续回去老老实实地制作她的腰带扣。在一个名为 ChubbyKnots 的账号中出现了类似场景；这次虚拟形象是一个黑人女孩，商品则是一件钩针编织的蝴蝶结开衫。

亨宁表示，这些视频中存在一种诉诸道德信号的吸引力，观众被召唤去展现善意，甚至种族或阶级团结。“这是一种道德信号，意思是‘哦，那个白人女士做了那种事，但我不是那种白人女士，所以我在哪里能买到这个皮带扣？’”亨宁说，“就好像他们在说，‘我不支持这些人。’”

然而，亨宁指出，当用户根本没有停下来去研究他们支持的对象是谁时，这种基于种族或阶级的支持是肤浅的。

她解释说，这或许是短视频内容和“垃圾信息”消费带来的更大社会后果：团结往往停留在“表面层面”，而不是通过连贯且多角度的政治视角来体现。“我可能非常支持一家黑人拥有的企业，但这并不一定意味着所有黑人企业都符合我的政治观点和我所坚持的立场，”亨宁说。

这种诉诸道德信号的做法超越了种族范畴，也利用了工人阶级的标识，以及模拟人们在经济不景气中努力谋生的形象。“（这不仅仅是）黑人的挣扎，因为在其他视频中，我们也能看到工人阶级的挣扎、小企业的挣扎，”戴维斯说，“但很明显，这是在利用那种（叙事）来销售大规模生产的商品。这毫无创意可言。它实际上只是AI生成的模板和角色创作，经过优化以让消费者认同并投资于这些产品。它比‘白人内疚’更广泛，因为它可以根据需要或产品适用性以任何方式被使用。”

卡拉斯科表示，尽管种族身份认同趋于扁平化，或许正因如此，那些已被证明会延续其创造者有意识和无意识种族偏见的算法，正在推送符合其为每个用户推断出的兴趣的 AI 生成内容。这些兴趣可能包括 AI 角色能够模仿的特定人群的内容。“它会针对算法能够看到的那个群体，”他说，“通常，黑人女性会在信息流中看到 AI 生成的黑人形象，而亚裔则会看到 AI 生成的亚洲人。”

仔细观察这些内容，很容易发现不一致之处和 AI 的破绽。我们看到的角色在屏幕上出现的时间从未超过几秒钟，因为像 Seedance 2.0、Midjourney 以及 OpenAI 最近停用的 Sora 2 这类 AI 应用，无法生成超过 15 秒的片段。当产品展示时，光线更明亮而非棕褐色调，握着搭扣的手是白色的。角色脸上的表情与他们的语气并不完全匹配。

但这种识别需要 AI 媒体素养，而这种素养尚未普及，尤其是在这些视频被大量创作，且技术正朝着更快的自动化和更逼真的虚拟形象发展的背景下。“没有接受过媒体素养或批判性媒体素养训练的人，只会不加质疑地全盘接受，”戴维斯说。

短视频平台的结构本身——它们是错误信息的主要传播渠道——助长了用户缺乏辨别力，用户已被训练得只想滑动到下一个视频，而不是思考正在观看的内容。“（这些平台）正被 AI 内容利用，部分原因在于，要判断某物是否为 AI 生成，通常需要一两秒钟，”卡拉斯科说，“而到那时，你已经产生了一些互动。”

从这类视频中获利的人深知这一点，而用于制作可规模化生成的AI短视频广告的工具在网上随处可见。在报道此事时，The Verge发现了专门教授如何在没有产品样品、网红费用或原创脚本的情况下制作此类广告的YouTube频道和论坛。

这些教程教用户如何利用多种AI工具复制病毒式传播的视频，并用AI生成的虚拟角色替换真实网红。ChatGPT和Gemini被用来提取和复制真实网红在真实视频中的脚本，并支持生成同一脚本的多个变体。这些工具还被用来基于真实网红和真实背景生成假人照片和虚假背景，随后导入Kling 2.0和Maxfusion等应用中。借助某些AI视频生成模型，真实网红的视频可以完整导入应用，用户可以用自己创建的AI角色替换真人，从而窃取原视频的脚本和背景。

尽管媒介素养或许能帮助个别用户不上当受骗，但社交媒体平台目前未能有效审核，甚至未能最低限度地标注此类内容。“平台应该建立更强有力的AI检测和标注机制，”戴维斯表示。“对这些平台进行偏见检测也将受到欢迎，同时还应提供清晰的举报途径，用于举报平台上的AI滥用行为。”

除了内容审核，卡拉斯科建议，账户透明度也能帮助用户判断自己是否在观看AI生成的内容，应提供清晰可见且无需额外步骤的标注。

但短视频内容的消费者已经有多年轻车熟路地刷着信息流，对出现的内容进行浅层互动。如果没有平台自身的主导，要在大规模范围内逆转这种认知训练几乎是不可能的。由于短视频平台缺乏真正的动力去这样做，且涉及利益问题，这似乎不太可能——但在此之前，AI诈骗者将继续利用任何上钩的人。

妮可·弗罗伊奥

创作者

TikTok