企业和政府正在使用算法来提高招聘、医疗和假释的决策能力。算法有可能在决策过程中取代人类的偏见,但它们经常得出歧视性的结论。
美国心理协会(American Psychological Association)的一项新研究调查了人们对算法歧视的愤怒是否小于对人类歧视的愤怒。研究表明,当性别歧视发生时,由于算法而不是人类的直接参与,人们在道德上不会那么愤怒。
八项研究在不同参与者群体的招聘实践中存在性别歧视的背景下测试了这种算法愤怒赤字假说。为了解释他们从来自美国、加拿大和挪威的总共3900多人的8个试验中得到的发现,研究中的科学家创造了“算法愤怒赤字”这个术语。
当面对由算法和人类造成的招聘决策中的性别歧视的各种场景时,参与者对算法造成的性别歧视没有那么愤怒。参与者还认为,由于算法的存在,公司对歧视的法律责任更小。
耶鲁大学博士后研究员、首席研究员Yochanan Bigman博士说:“令人担忧的是,公司可能会利用算法来保护自己免受歧视行为的指责和公众监督。研究结果可能会产生更广泛的影响,并影响打击歧视的努力。”
“人们认为人类歧视的动机是偏见,比如种族主义或性别歧视,但他们认为算法歧视的动机是数据,所以他们在道德上没有那么愤怒。道德义愤是激励人们解决不公正问题的重要社会机制。如果人们在道德上对歧视不那么愤怒,他们可能就不那么有动力去做些什么。”
其中一些实验使用了一个基于现实生活中的例子的场景,亚马逊所谓的基于算法的性别歧视,惩罚女性求职者。虽然这项研究的重点是性别歧视,但当八项试验中的一项重复检验种族和年龄偏见时,也得到了类似的结果。
关于人工智能的知识似乎并没有起到什么作用。在挪威的一项实验中,有150多名技术人员参与其中,参与者报告的关于人工智能对算法造成的性别歧视则没有那么愤怒。
科学家们发现,随着人们对一种特定算法的了解越来越多,它可能会改变他们的感受。在另一项研究中,当发现一家有性别歧视历史的公司的男性程序员开发了一种导致性别歧视的招聘算法时,参与者表达了更强烈的愤怒。
Bigman说,“程序员在设计新算法时应该意识到无意歧视的可能性。公共教育活动也可以强调算法造成的歧视可能是现有不平等的结果。”
期刊引用:
- Yochanan E. Bigman, Desman Wilson等人。算法歧视比人类歧视引起的道德愤怒更少。DOI:10.1037 / xge0001250