AI招聘工具中的偏见：ChatGPT对残疾相关简历的歧视

留学申请微信咨询

微信扫描左侧二维码

或点击下方按钮咨询

在当今的招聘过程中，人工智能（AI）工具的应用越来越普遍，尤其是在简历筛选和候选人排名方面。然而，华盛顿大学（2024USNews美国大学排名：40）的一项研究揭示了一个令人担忧的问题：ChatGPT在处理带有残疾相关荣誉和资历的简历时，往往会给予较低的排名。这一发现引发了对AI在招聘过程中潜在偏见的广泛讨论，并强调了进一步研究和改进的必要性。

ChatGPT在简历排名中的偏见

根据华盛顿大学的研究，ChatGPT在处理含有残疾相关荣誉和资历的简历时表现出明显的偏见。例如，带有“Tom Wilson残疾领导奖”的简历，其排名低于没有这些荣誉的同一简历。研究人员通过定制工具，向ChatGPT提供书面指示，要求其不表现出对残疾人的偏见，结果显示这种偏见在大多数情况下得到了减少。然而，尽管有这些改进，某些残疾（如自闭症和抑郁症）仍然存在偏见。

研究人员使用了一位作者的公开简历，并创建了六个增强版简历，每个简历都暗示了一种不同的残疾。通过ChatGPT的GPT-4模型对这些简历进行排名，结果显示，增强版简历在60次试验中仅有四分之一的时间排名第一。研究人员还发现，GPT-4在解释排名时表现出显性和隐性的偏见，例如认为带有抑郁症荣誉的简历“对多样性、公平性和包容性（DEI）以及个人挑战的额外关注”会“分散对核心技术和研究方面的注意力”。

残疾相关荣誉对简历评估的影响

密歇根大学安娜堡分校的研究生凯特·格拉兹科在寻找实习机会时，发现越来越多的招聘人员使用AI筛选简历。她研究了AI如何复制和放大现实世界中的偏见，特别是对残疾人的偏见。她发现，ChatGPT在处理含有残疾相关荣誉和证书的简历时，表现出明显的偏见。研究表明，ChatGPT会将含有残疾荣誉的简历排名低于没有这些荣誉的简历，甚至会编造理由来解释这种排名。

研究人员通过使用GPT编辑工具和定制的书面指令，成功减少了这种偏见，但对于某些残疾（如自闭症和抑郁症），改进效果有限。这表明，尽管可以通过努力减少AI中的某些偏见，但有些偏见仍然难以消除。研究结果在2024年6月24日于里约热内卢举行的ACM公平性、责任性和透明性会议上发布。

使用GPTs Editor工具减少AI偏见

华盛顿大学的研究人员发现，OpenAI的ChatGPT在处理含有残疾相关荣誉和资历的简历时，往往会将其排名低于没有这些荣誉和资历的相同简历。这一偏见引发了人们的担忧，因为越来越多的招聘人员开始使用像ChatGPT这样的AI工具来总结简历和排名候选人。研究的主要作者、华盛顿大学保罗·G·艾伦计算机科学与工程学院的博士生凯特·格拉兹科在去年寻找研究实习时注意到了这一趋势。她研究生成式AI如何复制和放大现实世界的偏见，并想知道这样的系统会如何排名暗示某人有残疾的简历。

在研究中，研究人员使用了一份公开的简历，并创建了六份增强版简历，每份简历通过包含四个残疾相关资历来暗示不同的残疾。在使用ChatGPT的GPT-4模型对这些增强版简历与原版简历进行排名时，系统在60次试验中仅有四分之一的时间将增强版简历排在首位。

当被要求解释排名时，GPT-4的回答表现出显性和隐性的能力主义。例如，它指出一位患有抑郁症的候选人“额外关注DEI和个人挑战”，这“削弱了该角色核心的技术和研究导向方面”。

研究人员随后使用GPTs Editor工具对GPT-4进行定制，指示其不要表现出能力主义偏见，而是与残疾正义和DEI原则合作。再次运行实验时，系统在60次试验中有37次将增强版简历排在控制简历之前。然而，对于某些残疾，改进是微不足道的或不存在的。

研究人员强调，研究和记录这些偏见对于确保技术以公平和公正的方式实施和部署至关重要。他们呼吁进一步研究以测试其他AI系统，包含更多的残疾，探索偏见的交叉点，并调查进一步定制是否可以更一致地减少各类残疾的偏见。

AI在多样性、公平性和包容性（DEI）中的偏见

人工智能（AI）在工作场所的多样性、公平性和包容性（DEI）倡议中具有广泛且不断发展的潜力。AI可以帮助识别无意识偏见的模式，支持更包容的工作环境。然而，使用AI推进DEI倡议也存在风险。AI可以通过自动化收集和分析数据，发现招聘、晋升、薪酬等方面的偏见或不公平现象。AI工具在DEI领域的一个常见应用是支持更公平的招聘工作，如编写职位发布、筛选申请材料和生成面试问题。AI还可以支持工作场所的便利措施，如语音转文字和即时翻译工具。

然而，AI的使用也可能引入或延续偏见，特别是当AI工具的算法或训练数据本身存在偏见时。此外，处理敏感的员工信息也带来了独特的安全风险，如黑客攻击和数据泄露。为了管理这些风险，雇主应采取措施，如进行风险评估、隐私影响评估、确保人类监督和实施适当的安全保障措施。总之，尽管AI在推进DEI方面有巨大潜力，但其使用必须谨慎，以避免潜在的负面影响。

结论

华盛顿大学的研究揭示了ChatGPT在处理带有残疾相关荣誉和资历的简历时存在的偏见，这一发现引发了对AI在招聘过程中潜在偏见的广泛讨论。尽管研究人员通过使用GPTs Editor工具和定制的书面指令，成功减少了某些偏见，但对于某些残疾（如自闭症和抑郁症），改进效果有限。这表明，尽管可以通过努力减少AI中的某些偏见，但有些偏见仍然难以消除。

在多样性、公平性和包容性（DEI）方面，AI具有广泛且不断发展的潜力，但其使用也存在风险。为了确保AI在招聘和其他工作场所应用中的公平性和有效性，必须进行更多的研究和改进。雇主应采取措施，如进行风险评估、隐私影响评估、确保人类监督和实施适当的安全保障措施，以管理这些风险。

总之，尽管AI在推进DEI方面有巨大潜力，但其使用必须谨慎，以避免潜在的负面影响。通过不断研究和改进，我们可以更好地理解和减少AI中的偏见，确保技术以公平和公正的方式实施和部署。