招聘中的算法单一化
阅读原文· algorithmichiring.github.io这项研究用 340 万份真实申请第一次把算法招聘的种族歧视和系统拒绝摆在了台面上,结论是求职者投多家也可能被同一套算法全面筛掉,做招聘产品或关心就业公平的人都该认真读。
一篇来自 algorithmichiring.github.io 的文章指出招聘行业正面临算法单一化风险——多数企业采用少数几种相同的算法模型评估候选人,可能导致系统性偏差和同质化。该文在 Hacker News 获得 102 个点赞。
美国超过 90% 的雇主依赖招聘算法来筛选求职者。许多不同的雇主都使用来自同一少数供应商的算法。我们针对 340 万真实求职者提交的 400 万份申请(涵盖 11 个市场领域的 156 家雇主)进行了最大规模的算法招聘实证研究。每一份申请都由同一供应商的算法进行评估:我们验证这种算法单一文化是否在就业机会上形成了瓶颈。我们是首个在高风险招聘决策中展示出种族差异与同质化后果的大规模证据的研究团队。
关键发现
算法招聘流程
许多雇主从相同的第三方供应商处采购招聘算法。超过60%的财富100强企业使用HireVue的算法。当来自单一供应商的招聘算法在多家雇主的招聘决策中发挥作用时,它们就构成了一种算法单一文化。
揭示不利影响
美国《民权法案》第七章规定了招聘中的歧视问题。先前的研究发现,整体来看算法招聘数据中的不利影响非常有限。我们通过分别研究不同职位,揭示了此前被忽视的不利影响。黑人申请人最有可能受到不利影响:30%的黑人申请人至少申请了一个职位,该职位对黑人申请人表现出了不利影响。从总体影响来看,亚裔申请人遭受的缺口最大:如果亚裔申请人在每个职位上被选中的比例与最高选中率的种族群体相同,那么将有29000份亚裔申请会被推荐。
识别系统性拒绝
当求职者申请多个职位时,他们可能收到相同的结果。算法单一文化最可能导致这种情况。若如此,求职者在所有申请中都遭拒的系统性拒绝将尤其令人担忧。在提交4份申请的求职者中,10%被系统性拒绝。观察到的系统性拒绝率显著高于独立决策下的预期基线率(χ² = 18,481, p < 0.001)。
为将观察到的系统性拒绝率置于背景中,我们引入了独立决策的基线(Toups等人,2023年)。为检验该基线的预测能力,我们使用了先前最大规模招聘研究的数据(Kline等人,2022年),该研究向108家财富500强公司发送了83,000份申请。该基线准确预测了观察到的比率(χ² = 20.05, p = 0.69)。因此,过度同质化是集中式算法评估的独特特征。
模拟反事实结果
如果求职者的申请范围比实际情况更广,会发生什么?这会降低他们被系统性拒绝的概率吗?我们发现,当求职者申请所有职位时,至少有一个模型会推荐他们。但在更现实的行为模式下,求职者需要提交25份申请才能以99.9%的概率确保至少一次推荐——相比之下,独立决策仅需10份申请。
政策建议
在招聘中使用人工智能受就业歧视法、通用人工智能监管法规以及针对算法招聘的具体规则约束。在美国,《民权法案》第七章已经要求在具体职位层面评估不利影响,而非仅看混合汇总数据。更广泛地看,招聘系统正越来越多地被认定为高风险人工智能,欧盟《人工智能法案》也对此作出规定。在市级层面,纽约市地方法律第144号建立了针对自动化就业决策工具的早期监管框架,但现行指南并未充分解决我们记录中提到的岗位层面影响。
按职位衡量不利影响。监管机构和审计人员应在每个具体职位的层面评估不利影响比率。仅进行汇总分析可能会掩盖差异性影响。
加强市场监控。联邦机构应量化同质化结果的比率。如果没有跨雇主的关联信息,现有报告将无法捕捉到系统性拒录。
监控算法同质化。政策制定者应监视招聘供应链中的共享依赖关系。对相同系统的集中依赖可能导致关联性失效、系统性拒录以及招聘竞争减少。
扩大研究人员的访问权限。立法者应推动针对主要招聘平台的独立研究,包括底层数据访问权限。如果没有基于经验的外部调查作为基础,问题将难以诊断,更不用说纠正了。