第15卷第3期 智能系统学报 Vol.15 No.3 2020年5月 CAAI Transactions on Intelligent Systems May 2020 D0:10.11992/tis.202007004 公平性机器学习研究综述 邓蔚2，邢钰晗'，李逸凡'，李振华3，王国胤 (1.西南财经大学统计研究中心，四川成都611130；2.重庆邮电大学计算智能重庆市重点实验室，重庆 400065,3.西南财经大学金融学院，四川成都611130) 摘要：随着机器学习在社会中的广泛使用，带来的歧视问题引发广泛的社会争议，这逐步引起了产业界和学 术界对机器学习算法公平性问题的浓厚兴趣。目前对公平性度量和机器学习公平性机制的研究仍然处于初级 阶段。本文对公平性机器学习的研究进行了调研，首先从公平性的定义出发，比较了衡量公平性指标的方法， 然后调研了公平性数据集，对公平性问题的产生进行了分析，接下来对现有的公平性机器学习算法进行归类和 比较，最后总结了当前公平性机器学习研究中存在的问题，并对关键问题和重大挑战进行了讨论。 关键词：算法伦理：算法偏见：公平性：公平性机器学习；公平性指标：公平性设计：公平性数据集：动态性 中图分类号：TP181文献标志码：A文章编号：1673-4785(2020)03-0578-09 中文引用格式：邓蔚，邢钰晗，李递凡，等.公平性机器学习研究综述八.智能系统学报，2020,15(3)：578-586. 英文引用格式：DENG Wei,XING Yuhan,LI Yifan,.etal.Survey on fair machine learningl..CAAI transactions on intelligent sys- tem3,2020,15(3:578-586. Survey on fair machine learning DENG Wei'2,XING Yuhan',LI Yifan',LI Zhenhua',WANG Guoyin' (1.Center of Statistical Research,Southwestern University of Finance and Economics,Chengdu 611130,China;2.Chongqing Key Laboratory of Computational Intelligence,Chongqing University of Posts and Telecommunications,Chongqing 400065,China; 3.School of Finance.Southwestern University of Finance and Economics.Chengdu 611130.China) Abstract:With the widespread applications of machine learning in our society,the problems of discrimination have caused widespread social controversy.It gradually arouses strong interests in fair machine learning in the industry and academia.Nowdays the deep understanding of the basic issues related to fairness and mechanism of fair machine learn- ing is still in their infancy.We makes a survey on fair machine learning.Starting from the definitions of fairness,it com- pares the different difinitions on fairness in different problems.Common datasets are also summarized.And the issues of fairness is analyzed.We classify and compare the existing methods of achieving fairness.Finally,we summarizes the problems in current fairness machine learning research and propose the key problems and important challenges in the future. Keywords:algorithmic ethics;algorithmic discrimination:fairness:fair machine learning:fair indicator:fair design:fair dataset;dynamicity 随着机器学习算法被应用于金融、反恐、征问题引起国家、社会和公众的广泛关注”，如 税、司法、医疗、保险等公共领域，算法不仅为经 EEE(国际电气电子工程师学会)于2017年底发 济社会带来了许多进步，还决定着公民的福祉。 布的《人工智能设计的伦理准则》（第2版）⑧、欧 然而近些年来，由于种种原因导致不公平甚至是 盟于2018年发布的《人工智能、机器人与自动系 歧视现象的出现，如信用评分、犯罪预测和贷 统宣言》例、第40届数据保护与隐私专员国际大 款评估向等。算法伦理特别是机器学习的公平性 会于2018年发布的《人工智能伦理与数据保护 宣言》1，世界经济合作与发展组织(OED)于 收稿日期：2020-07-02. 基金项目：国家自然科学基金重点项目(61936001). 2019年发布的《人工智能原则》山、G20组织于 通信作者：王国胤.E-mail:wanggy(@cqupt.edu.cn. 2019年发布的Human-centred Al Principles、国DOI: 10.11992/tis.202007004 公平性机器学习研究综述 邓蔚1,2，邢钰晗1 ，李逸凡1 ，李振华3 ，王国胤2 （1. 西南财经大学 统计研究中心，四川 成都 611130; 2. 重庆邮电大学 计算智能重庆市重点实验室，重庆 400065; 3. 西南财经大学 金融学院，四川 成都 611130） 摘 要：随着机器学习在社会中的广泛使用，带来的歧视问题引发广泛的社会争议，这逐步引起了产业界和学 术界对机器学习算法公平性问题的浓厚兴趣。目前对公平性度量和机器学习公平性机制的研究仍然处于初级 阶段。本文对公平性机器学习的研究进行了调研，首先从公平性的定义出发，比较了衡量公平性指标的方法， 然后调研了公平性数据集，对公平性问题的产生进行了分析，接下来对现有的公平性机器学习算法进行归类和 比较，最后总结了当前公平性机器学习研究中存在的问题，并对关键问题和重大挑战进行了讨论。 关键词：算法伦理；算法偏见；公平性；公平性机器学习；公平性指标；公平性设计；公平性数据集；动态性 中图分类号：TP181 文献标志码：A 文章编号：1673−4785(2020)03−0578−09 中文引用格式：邓蔚, 邢钰晗, 李逸凡, 等. 公平性机器学习研究综述 [J]. 智能系统学报, 2020, 15(3): 578–586. 英文引用格式：DENG Wei, XING Yuhan, LI Yifan, et al. Survey on fair machine learning[J]. CAAI transactions on intelligent sys￾tems, 2020, 15(3): 578–586. Survey on fair machine learning DENG Wei1,2 ，XING Yuhan1 ，LI Yifan1 ，LI Zhenhua3 ，WANG Guoyin2 (1. Center of Statistical Research, Southwestern University of Finance and Economics, Chengdu 611130, China; 2. Chongqing Key Laboratory of Computational Intelligence, Chongqing University of Posts and Telecommunications, Chongqing 400065, China; 3. School of Finance, Southwestern University of Finance and Economics, Chengdu 611130, China) Abstract: With the widespread applications of machine learning in our society, the problems of discrimination have caused widespread social controversy. It gradually arouses strong interests in fair machine learning in the industry and academia. Nowdays the deep understanding of the basic issues related to fairness and mechanism of fair machine learn￾ing is still in their infancy. We makes a survey on fair machine learning. Starting from the definitions of fairness, it com￾pares the different difinitions on fairness in different problems. Common datasets are also summarized. And the issues of fairness is analyzed. We classify and compare the existing methods of achieving fairness. Finally, we summarizes the problems in current fairness machine learning research and propose the key problems and important challenges in the future. Keywords: algorithmic ethics; algorithmic discrimination; fairness; fair machine learning; fair indicator; fair design; fair dataset; dynamicity 随着机器学习算法被应用于金融、反恐、征 税、司法、医疗、保险等公共领域，算法不仅为经 济社会带来了许多进步，还决定着公民的福祉[1-3]。 然而近些年来，由于种种原因导致不公平甚至是 歧视现象的出现，如信用评分[4] 、犯罪预测[5] 和贷 款评估[6] 等。算法伦理特别是机器学习的公平性 问题引起国家、社会和公众的广泛关注[ 7 ] ，如 IEEE(国际电气电子工程师学会) 于 2017 年底发 布的《人工智能设计的伦理准则》(第 2 版) [8] 、欧 盟于 2018 年发布的《人工智能、机器人与自动系 统宣言》[9] 、第 40 届数据保护与隐私专员国际大 会于 2018 年发布的《人工智能伦理与数据保护 宣言》[10] ，世界经济合作与发展组织 (OED) 于 2019 年发布的《人工智能原则》[11] 、G20 组织于 2019 年发布的 Human-centred AI Principles[12] 、国 收稿日期：2020−07−02. 基金项目：国家自然科学基金重点项目 (61936001). 通信作者：王国胤. E-mail：wanggy@cqupt.edu.cn. 第 15 卷第 3 期 智 能 系 统 学 报 Vol.15 No.3 2020 年 5 月 CAAI Transactions on Intelligent Systems May 2020