【人工智能】公平性机器学习研究综述

第15卷第3期 智能系统学报 Vol.15 No.3 2020年5月 CAAI Transactions on Intelligent Systems May 2020 D0:10.11992/tis.202007004 公平性机器学习研究综述 邓蔚2，邢钰晗'，李逸凡'，李振华3，王国胤 (1.西南财经大学统计研究中心，四川成都611130；2.重庆邮电大学计算智能重庆市重点实验室，重庆 400065,3.西南财经大学金融学院，四川成都611130) 摘要：随着机器学习在社会中的广泛使用，带来的歧视问题引发广泛的社会争议，这逐步引起了产业界和学 术界对机器学习算法公平性问题的浓厚兴趣。目前对公平性度量和机器学习公平性机制的研究仍然处于初级 阶段。本文对公平性机器学习的研究进行了调研，首先从公平性的定义出发，比较了衡量公平性指标的方法， 然后调研了公平性数据集，对公平性问题的产生进行了分析，接下来对现有的公平性机器学习算法进行归类和 比较，最后总结了当前公平性机器学习研究中存在的问题，并对关键问题和重大挑战进行了讨论。 关键词：算法伦理：算法偏见：公平性：公平性机器学习；公平性指标：公平性设计：公平性数据集：动态性 中图分类号：TP181文献标志码：A文章编号：1673-4785(2020)03-0578-09 中文引用格式：邓蔚，邢钰晗，李递凡，等.公平性机器学习研究综述八.智能系统学报，2020,15(3)：578-586. 英文引用格式：DENG Wei,XING Yuhan,LI Yifan,.etal.Survey on fair machine learningl..CAAI transactions on intelligent sys- tem3,2020,15(3:578-586. Survey on fair machine learning DENG Wei'2,XING Yuhan',LI Yifan',LI Zhenhua',WANG Guoyin' (1.Center of Statistical Research,Southwestern University of Finance and Economics,Chengdu 611130,China;2.Chongqing Key Laboratory of Computational Intelligence,Chongqing University of Posts and Telecommunications,Chongqing 400065,China; 3.School of Finance.Southwestern University of Finance and Economics.Chengdu 611130.China) Abstract:With the widespread applications of machine learning in our society,the problems of discrimination have caused widespread social controversy.It gradually arouses strong interests in fair machine learning in the industry and academia.Nowdays the deep understanding of the basic issues related to fairness and mechanism of fair machine learn- ing is still in their infancy.We makes a survey on fair machine learning.Starting from the definitions of fairness,it com- pares the different difinitions on fairness in different problems.Common datasets are also summarized.And the issues of fairness is analyzed.We classify and compare the existing methods of achieving fairness.Finally,we summarizes the problems in current fairness machine learning research and propose the key problems and important challenges in the future. Keywords:algorithmic ethics;algorithmic discrimination:fairness:fair machine learning:fair indicator:fair design:fair dataset;dynamicity 随着机器学习算法被应用于金融、反恐、征问题引起国家、社会和公众的广泛关注”，如 税、司法、医疗、保险等公共领域，算法不仅为经 EEE(国际电气电子工程师学会)于2017年底发 济社会带来了许多进步，还决定着公民的福祉。 布的《人工智能设计的伦理准则》（第2版）⑧、欧 然而近些年来，由于种种原因导致不公平甚至是 盟于2018年发布的《人工智能、机器人与自动系 歧视现象的出现，如信用评分、犯罪预测和贷 统宣言》例、第40届数据保护与隐私专员国际大 款评估向等。算法伦理特别是机器学习的公平性 会于2018年发布的《人工智能伦理与数据保护 宣言》1，世界经济合作与发展组织(OED)于 收稿日期：2020-07-02. 基金项目：国家自然科学基金重点项目(61936001). 2019年发布的《人工智能原则》山、G20组织于 通信作者：王国胤.E-mail:wanggy(@cqupt.edu.cn. 2019年发布的Human-centred Al Principles、国

DOI: 10.11992/tis.202007004 公平性机器学习研究综述 邓蔚1,2，邢钰晗1 ，李逸凡1 ，李振华3 ，王国胤2 （1. 西南财经大学 统计研究中心，四川 成都 611130; 2. 重庆邮电大学 计算智能重庆市重点实验室，重庆 400065; 3. 西南财经大学 金融学院，四川 成都 611130） 摘 要：随着机器学习在社会中的广泛使用，带来的歧视问题引发广泛的社会争议，这逐步引起了产业界和学 术界对机器学习算法公平性问题的浓厚兴趣。目前对公平性度量和机器学习公平性机制的研究仍然处于初级 阶段。本文对公平性机器学习的研究进行了调研，首先从公平性的定义出发，比较了衡量公平性指标的方法， 然后调研了公平性数据集，对公平性问题的产生进行了分析，接下来对现有的公平性机器学习算法进行归类和 比较，最后总结了当前公平性机器学习研究中存在的问题，并对关键问题和重大挑战进行了讨论。 关键词：算法伦理；算法偏见；公平性；公平性机器学习；公平性指标；公平性设计；公平性数据集；动态性 中图分类号：TP181 文献标志码：A 文章编号：1673−4785(2020)03−0578−09 中文引用格式：邓蔚, 邢钰晗, 李逸凡, 等. 公平性机器学习研究综述 [J]. 智能系统学报, 2020, 15(3): 578–586. 英文引用格式：DENG Wei, XING Yuhan, LI Yifan, et al. Survey on fair machine learning[J]. CAAI transactions on intelligent sys￾tems, 2020, 15(3): 578–586. Survey on fair machine learning DENG Wei1,2 ，XING Yuhan1 ，LI Yifan1 ，LI Zhenhua3 ，WANG Guoyin2 (1. Center of Statistical Research, Southwestern University of Finance and Economics, Chengdu 611130, China; 2. Chongqing Key Laboratory of Computational Intelligence, Chongqing University of Posts and Telecommunications, Chongqing 400065, China; 3. School of Finance, Southwestern University of Finance and Economics, Chengdu 611130, China) Abstract: With the widespread applications of machine learning in our society, the problems of discrimination have caused widespread social controversy. It gradually arouses strong interests in fair machine learning in the industry and academia. Nowdays the deep understanding of the basic issues related to fairness and mechanism of fair machine learn￾ing is still in their infancy. We makes a survey on fair machine learning. Starting from the definitions of fairness, it com￾pares the different difinitions on fairness in different problems. Common datasets are also summarized. And the issues of fairness is analyzed. We classify and compare the existing methods of achieving fairness. Finally, we summarizes the problems in current fairness machine learning research and propose the key problems and important challenges in the future. Keywords: algorithmic ethics; algorithmic discrimination; fairness; fair machine learning; fair indicator; fair design; fair dataset; dynamicity 随着机器学习算法被应用于金融、反恐、征 税、司法、医疗、保险等公共领域，算法不仅为经 济社会带来了许多进步，还决定着公民的福祉[1-3]。 然而近些年来，由于种种原因导致不公平甚至是 歧视现象的出现，如信用评分[4] 、犯罪预测[5] 和贷 款评估[6] 等。算法伦理特别是机器学习的公平性 问题引起国家、社会和公众的广泛关注[ 7 ] ，如 IEEE(国际电气电子工程师学会) 于 2017 年底发 布的《人工智能设计的伦理准则》(第 2 版) [8] 、欧 盟于 2018 年发布的《人工智能、机器人与自动系 统宣言》[9] 、第 40 届数据保护与隐私专员国际大 会于 2018 年发布的《人工智能伦理与数据保护 宣言》[10] ，世界经济合作与发展组织 (OED) 于 2019 年发布的《人工智能原则》[11] 、G20 组织于 2019 年发布的 Human-centred AI Principles[12] 、国 收稿日期：2020−07−02. 基金项目：国家自然科学基金重点项目 (61936001). 通信作者：王国胤. E-mail：wanggy@cqupt.edu.cn. 第 15 卷第 3 期 智 能 系 统 学 报 Vol.15 No.3 2020 年 5 月 CAAI Transactions on Intelligent Systems May 2020

第3期 邓蔚，等：公平性机器学习研究综述 ·579· 家新一代人工智能治理专业委员会于2020年发 民主思想与现存的公平概念结合，提出在不同社 布的《新一代人工智能治理原则一发展负责 会背景中某一特定的民主思想背景下，如何选取 任的人工智能》。在以上宣言或原则中，都不 公平性的评价标准，并指出反事实公平、无意识 同程度强调了算法的公平性问题。所谓公平性机 公平及基于组条件的公平更适用于竞争民主，个 器学习是将公平性植入到模型设计中，使得算法 体公平更适用于自由民主，基于偏好的公平更适 对敏感属性（如种族、性别宗教等）的分类预测结 用于平等民主。 果对人来说是公平或非歧视的。虽然模型的结果 1.4机会均等(equality of opportunity,.EO) 必须考虑准确性指标，但是也必须考虑其社会影 如果预测值满足P()=1S=0,Y=1)=P(S=1, 响，因此对机器学习的公平性的评估和分析显得 Y=1),则称算法实现了机会均等。比较在同类别 尤为重要4均 Y中的基于不同敏感属性S,预测标签的概率是否 相等，称为基于组条件精度的公平。不同的EO 1 公平性的定义 的衍生定义如表1所示。 公平性机器学习算法需要考虑两个密切相关 表1不同的机会均等定义 Table 1 Different definitions of EO 的方面：首先是在特定社会场景中如何定义公平 名称 数学定义 性，其次是社会可接受程度。通常假定敏感属性 为二元属性，以下对本文中使用的符号进行定义： s的淮确率 P(Y=ylS=s.Y=y) S表示敏感属性或受保护属性；X表示除了受保 s的召回率 P(P=11S=s,Y=1) 护属性外的其他可观测属性；Y为要被预测的标 s-TNR P(P=0|S=s,Y=0) 签；P为对于Y的预测，是取决于S、X的随机 s-BCR [P(P=0S=3,Y=0+P(P=1S=s,Y=/2 变量。 Chouldechova2的目标是在敏感群体中实现 l.l无意识公平(fairness through unawareness,.FTU) 如果在算法中不使用受保护属性S进行训练 1-s-TPR和1-s-TNR值相等，即错误率平衡。在 及预测，则这个算法的公平满足FTU6。FTU模 敏感群体中如果实现了相同的s-TPR和1-s-TNR, 型简单，但是加入X包含类对S的歧视性信息，导 则称机会均衡。 致不公平。 l.5不同对待(disparate treatment) 通常法律通过两个不同概念来评估决策过程 l.2个体公平(individual fairness,.IF) IF是由Dwork在2012年提出的7。如果一 的公平性：不同对待和不同影响。如果决策过程 部分或全部基于受试者的敏感属性信息，则决策 个算法对于相似个体的预测结果是相同的，就称 过程将导致不同对待。当决策系统为具有相同 其实现了个体公平。给定一个度量，如果个体 1和j是相似的，则对其预测也应该相似18-20。 (或类似)非敏感属性（或特征）值，但不同敏感属 性值的人群提供不同的输出结果时，称为不同对待。 Kim等改进了告知个人偏好的个体公平(pref Zafar等P参照上述两种概念定义，通过从决 erence-informed individual fairness,.PIF),即放松个 策过程中删除敏感属性避免不同对待，以及增加 体公平，允许偏离F但是要符合个人偏好，可以 公平约束消除不同影响进行研究。观察到标准的 为个人提供更为有利的解决方案。 公平约束是非凸的，其引入协方差将非凸问题转 l.3人口均等(demographic parity,DP)/不同影响 化为凸型，并通过参数来衡量输出结果及敏感属 (disparate impact,DI) 性，研究了多分类的敏感属性及多个敏感属性分 如果预测值氵满足P(S=O)=P(位S=1),则 析问题。 算法实现了人口均等(DP)P l.6不同误判率(disparate mistreatment,.DM) DI定义为P(立lS=O)/P(?S=1)。在二分类 在决策实现公平性中，如果历史数据中存在 中，所有非特权类被分组成一个单独的值S=0(例 偏见，那么不同影响及不同对待适合作为公平衡 如，“非白种人”)，与特权类S=1(例如，“白种人”) 量标准，但是当训练数据是基于历史事实而来， 进行比较。在多分类中，对特权组进行成对DI计 使用不同误判率指标来衡量公平性会更准确。当 算，并取这些计算的平均值作为最终值四。 分类器对于不同敏感属性输出错误率不同时，称 Zafar等2)在将不同影响解释为决策系统的 为不同误判率DM,公式为2 不同结果，对于具有敏感属性的某些人群，所产 P(2=1lY=0,S=0)+P(2=0Y=1,S=0)= 生的不同有益或有害的影响。Beretta等P将5种 P(Y=1IY=0,S=1)+P(P=0lY=1,S=1)

家新一代人工智能治理专业委员会于 2020 年发 布的《新一代人工智能治理原则−发展负责 任的人工智能》[13]。在以上宣言或原则中，都不 同程度强调了算法的公平性问题。所谓公平性机 器学习是将公平性植入到模型设计中，使得算法 对敏感属性 (如种族、性别宗教等) 的分类预测结 果对人来说是公平或非歧视的。虽然模型的结果 必须考虑准确性指标，但是也必须考虑其社会影 响，因此对机器学习的公平性的评估和分析显得 尤为重要[14-15]。 1 公平性的定义 Yˆ 公平性机器学习算法需要考虑两个密切相关 的方面：首先是在特定社会场景中如何定义公平 性，其次是社会可接受程度。通常假定敏感属性 为二元属性，以下对本文中使用的符号进行定义： S 表示敏感属性或受保护属性；X 表示除了受保 护属性外的其他可观测属性；Y 为要被预测的标 签 ； 为对于 Y 的预测，是取决于 S、X 的随机 变量。 1.1 无意识公平 (fairness through unawareness, FTU) 如果在算法中不使用受保护属性 S 进行训练 及预测，则这个算法的公平满足 FTU[16]。FTU 模 型简单，但是加入 X 包含类对 S 的歧视性信息，导 致不公平。 1.2 个体公平 (individual fairness, IF) IF 是由 Dwork 在 2012 年提出的[17]。如果一 个算法对于相似个体的预测结果是相同的，就称 其实现了个体公平。给定一个度量，如果个体 i 和 j 是相似的，则对其预测也应该相似[ 1 8 - 2 0 ]。 Kim 等 [21] 改进了告知个人偏好的个体公平 (pref￾erence-informed individual fairness，PIIF)，即放松个 体公平，允许偏离 IF 但是要符合个人偏好，可以 为个人提供更为有利的解决方案。 1.3 人口均等 (demographic parity, DP)/不同影响 (disparate impact, DI) 如果预测值 Yˆ 满足 P( Yˆ |S =0) = P ( Yˆ |S = 1)，则 算法实现了人口均等 (DP)[21]。 DI 定义为 P( Yˆ |S =0)/P ( Yˆ |S = 1)。在二分类 中，所有非特权类被分组成一个单独的值 S=0（例 如，“非白种人”），与特权类 S=1（例如，“白种人”） 进行比较。在多分类中，对特权组进行成对 DI 计 算，并取这些计算的平均值作为最终值[22]。 Zafar 等 [23] 在将不同影响解释为决策系统的 不同结果，对于具有敏感属性的某些人群，所产 生的不同有益或有害的影响。Beretta 等 [24] 将 5 种 民主思想与现存的公平概念结合，提出在不同社 会背景中某一特定的民主思想背景下，如何选取 公平性的评价标准，并指出反事实公平、无意识 公平及基于组条件的公平更适用于竞争民主，个 体公平更适用于自由民主，基于偏好的公平更适 用于平等民主。 1.4 机会均等 (equality of opportunity, EO) 如果预测值满足 P( γˆ = 1 |S=0,Y=1)= P( γˆ |S = 1, Y=1)，则称算法实现了机会均等。比较在同类别 Y 中的基于不同敏感属性 S，预测标签的概率是否 相等，称为基于组条件精度的公平。不同的 EO 的衍生定义如表 1 所示。 表 1 不同的机会均等定义 Table 1 Different definitions of EO 名称 数学定义 s的准确率 P(Yˆ = y | S = s,Y = y) s的召回率 P(Yˆ = 1 | S = s,Y = 1) s-TNR P(Yˆ = 0 | S = s,Y = 0) s-BCR [ P ( Yˆ = 0|S = s, Y = 0 ) + P ( Yˆ = 1|S = s, Y = 1 )] /2 Chouldechova[25] 的目标是在敏感群体中实现 1−s-TPR 和 1−s-TNR 值相等，即错误率平衡。在 敏感群体中如果实现了相同的 s-TPR 和 1−s-TNR， 则称机会均衡。 1.5 不同对待 (disparate treatment) 通常法律通过两个不同概念来评估决策过程 的公平性：不同对待和不同影响。如果决策过程 部分或全部基于受试者的敏感属性信息，则决策 过程将导致不同对待。当决策系统为具有相同 (或类似) 非敏感属性 (或特征) 值，但不同敏感属 性值的人群提供不同的输出结果时，称为不同对待。 Zafar 等 [23] 参照上述两种概念定义，通过从决 策过程中删除敏感属性避免不同对待，以及增加 公平约束消除不同影响进行研究。观察到标准的 公平约束是非凸的，其引入协方差将非凸问题转 化为凸型，并通过参数来衡量输出结果及敏感属 性，研究了多分类的敏感属性及多个敏感属性分 析问题。 1.6 不同误判率 (disparate mistreatment, DM) 在决策实现公平性中，如果历史数据中存在 偏见，那么不同影响及不同对待适合作为公平衡 量标准，但是当训练数据是基于历史事实而来， 使用不同误判率指标来衡量公平性会更准确。当 分类器对于不同敏感属性输出错误率不同时，称 为不同误判率 DM，公式为[23] P(Yˆ = 1|Y = 0, S = 0)+ P(Yˆ = 0|Y = 1,S = 0) = P(Yˆ = 1|Y = 0,S = 1)+ P(Yˆ = 0|Y = 1,S = 1) 第 3 期 邓蔚，等：公平性机器学习研究综述 ·579·

·580· 智能系统学报 第15卷 1.7基于组条件的校准度量 l.9事前公平(ex-ante fairness)及事后公平(ex- 在敏感值均衡中引入校准的概念，即如果 post fairness) p(Y=1P=p)=p,则输出事件概率？的预测因子 事前公平指一个算法A满足对于任意一对候 被称为经过良好校准。可以通过调节校准功能来 选人x和xn,其累积分布函数F(x)>F(x),则 确定公平性测量s2。 概率满足E[A(X)]≥E[A(Xxr小。 l.8反事实公平(counterfactual fairness) 事后公平指一个算法A满足对于任意一对候 由Kusner等提出，建立在给定结构方程模 选人xg和x,其累积分布函数F(x)>F(x),个 型(U,V,F)的基础上，其中U表示潜变量，V三 体只当xy也被选中时才被选中阿 SUX,F为一系列方程。如果预测值氵满足式 1.10综合分析比较 (1),则称为反事实公平： 许多不同公平性定义方法在本质上是相关 P(Ps;(U)=ylX=x.S=s)= 的。Friedler等w通过分析许多算法的公平性度 P(Ys(U)=ylX=x,S=s) (1) 量，度量了不同定义的相关性，发现不同的公平 该定义针对个体层面，如果在现实世界和反 性指标之间有着非常密切的相关性，分别在Ricci 事实世界中预测相同，那么对个人是公平的。 和Adut数据集上进行了实验，如图1所示。 ■1.0 1-accuracy TPR 0 Race-TPR TNR 0-accuracy 0 Race-TNR calibration+ BCR 0 accuracy -0.2 Ice-accuracy -0.4 e-calibration- CV -0.6 Dlbinary -0.8 Dlavgall (a)Ricci,Zafar (b)Adult,Feldman -1.0 图1不同公平性标准之间的关系 Fig.1 Examining the relationships between different measures of fairness 图1表示数据集和算法的相关性分析，展示 在某些情况下，期望在不同的公平性度 了不同的公平性度量如何相互关联。各种群体条 量之间进行权衡。Chouldechova!2s1和Klein- 件下的公平指标之间的关系非常密切。值得注意 berg等研究表明，假设不同人群比率不相 的是，对负结果的群条件校准测量(s-calibration) 等，则不可能同时实现校准和错误率平衡（组 与其他组条件测量相比，它与基准率测量的关系 间相同的假阳性率和相同的假阴性率)。Friedler 更为密切。 等通过一个实例检验了这种权衡。每种算 此外准确性指标与群体条件下的公平指标相 法的s-calibration与s-TPR之间存在明显的权 关性，表明公平性-准确性的权衡与基准率公平 衡，且不同的算法位于不同的权衡线上，如图2 度量更相关。 所示。 算法 0.16F Beldman-Decision Tre 0.14 Feldman-GaussianNB-Dlavgall 0.12 Feldman-GaussianNB-accuracy Feldman-LR Feldman-SVM 0.10 Feldman-SVM-Dlavgall Feldman-SVM-accuracy 0.08 GaussianNB Kamishima 0.06 Kamishima-Dlavgall Kamishima-accuracy 0.4 0.5 0.6 0.7 0.8 sex-TPR ZafarFairness 图2对于所有算法在Adult数据集中sex-calibration和sex-TPR指标之间的权衡 Fig.2 Trade-off between s-calibration and s-TPR for all algorithms on the Adult dataset

1.7 基于组条件的校准度量 p(Y = 1|Yˆ = p) =p Yˆ 在敏感值均衡中引入校准的概念，即如果 ，则输出事件概率 的预测因子 被称为经过良好校准。可以通过调节校准功能来 确定公平性测量[25-26]。 1.8 反事实公平 (counterfactual fairness) Yˆ 由 Kusner 等 [15] 提出，建立在给定结构方程模 型 (U,V,F) 的基础上，其中 U 表示潜变量，V ≡ S∪X，F 为一系列方程。如果预测值 满足式 (1)，则称为反事实公平： P(Yˆ S←s (U) = y|X = x,S = s) = P(Yˆ S←s ′ (U) = y|X = x,S = s) (1) 该定义针对个体层面，如果在现实世界和反 事实世界中预测相同，那么对个人是公平的。 1.9 事前公平 (ex-ante fairness) 及事后公平 (ex￾post fairness) xi ′ j ′ F ′ j ( xi ′ j ′ ) E [ A ( X, xi j) ]⩾ E[A ( X, xi ′ j ′ )] 事前公平指一个算法 A 满足对于任意一对候 选人 xij 和 ，其累积分布函数 Fj (xij) > ，则 概率满足 。 xi ′ j ′ F ′ j ( xi ′ j ′ ) xi ′ j ′ 事后公平指一个算法 A 满足对于任意一对候 选人 xij 和 ，其累积分布函数 Fj (xij) > ，个 体 只当 xij 也被选中时才被选中[27]。 1.10 综合分析比较 许多不同公平性定义方法在本质上是相关 的。Friedler 等 [14] 通过分析许多算法的公平性度 量，度量了不同定义的相关性，发现不同的公平 性指标之间有着非常密切的相关性，分别在 Ricci 和 Adult 数据集上进行了实验，如图 1 所示。 1-accuracy TPR Race-TPR TNR 0-accuracy Race-TNR calibration+ BCR accuracy Ice-accuracy e-calibration￾CV Dlbinary Dlavgall (a) Ricci, Zafar (b) Adult, Feldman 1.0 0.8 0.6 0.4 0.2 0 −0.2 −0.4 −0.6 −0.8 −1.0 图 1 不同公平性标准之间的关系 Fig. 1 Examining the relationships between different measures of fairness 图 1 表示数据集和算法的相关性分析，展示 了不同的公平性度量如何相互关联。各种群体条 件下的公平指标之间的关系非常密切。值得注意 的是，对负结果的群条件校准测量 (s-calibration) 与其他组条件测量相比，它与基准率测量的关系 更为密切。 此外准确性指标与群体条件下的公平指标相 关性，表明公平性−准确性的权衡与基准率公平 度量更相关。 在某些情况下，期望在不同的公平性度 量之间进行权衡。 Chouldechova[25] 和 Klein￾berg 等 [28] 研究表明，假设不同人群比率不相 等，则不可能同时实现校准和错误率平 衡 (组 间相同的假阳性率和相同的假阴性率)。Friedler 等 [14] 通过一个实例检验了这种权衡。每种算 法 的 s-calibration 与 s-TPR 之间存在明显的权 衡，且不同的算法位于不同的权衡线上，如图 2 所示。 sex-calibration 0.16 0.14 0.12 0.10 0.08 0.06 0.4 0.5 0.6 0.7 0.8 sex-TPR 算法 Calders DecisionTree Feldman-DecisionTree Feldman-GaussianNB Feldman-GaussianNB-Dlavgall Feldman-GaussianNB-accuracy Feldman-LR Feldman-SVM Feldman-SVM-Dlavgall Feldman-SVM-accuracy GaussianNB Kamishima Kamishima-Dlavgall Kamishima-accuracy LR SVM ZafarFairness 图 2 对于所有算法在 Adult 数据集中 sex-calibration 和 sex-TPR 指标之间的权衡 Fig. 2 Trade-off between s-calibration and s-TPR for all algorithms on the Adult dataset ·580· 智 能 系 统 学 报 第 15 卷

第3期 邓蔚，等：公平性机器学习研究综述 ·581· 2公平性测试数据集 出不同阶段描述解决问题的策略机制。在输入阶 段，存在问题是输入数据集中存在偏差：在过程 公平性测试数据集和普通数据集的差别在于 阶段，存在程序的黑箱问题：而输出阶段存在算 具有敏感属性，目前国际上对公平性机器学习算 法决策产生的歧视性影响。 法的测试大多基于以下几个数据集。 3.1预处理公平性设计 2.1消防员晋升(ricei) 训练数据中存在的不公平是算法能学习的， 该数据集来源于美国最高法院诉讼案，是关 如使训练算法不能学习该偏差就能得到预处理公 于消防员是否会获得晋升的测试数据集，包括 平，可归为两类：1)更改训练数据中单个项目的 118条记录和5个属性，其中有一个敏感属性（种 敏感属性或类标签的值；2)将训练数据映射到转 族)，目标是预测晋升，同时实现对敏感属性的 换空间，在该空间中敏感属性和类标签之间的依 公平29 赖关系消失。 2.2成年人收入(adult income) Feldman等B对每个属性进行修改，使得基 该数据集包含1994年美国人口普查的个人 于给定敏感属性子集的边际分布都相等，并且这 信息，有45222条记录，14个属性（包括年龄、种 种改变不会影响其他变量，转换后的数据保留了 族、性别、受教育程度等)，还包含有一个二分类 非敏感属性的大部分特征信号，还提出交叉敏感 标签，表示每个个体的收入是否超过50000美元。 属性，并且两种敏感属性的影响不叠加。 2.3 德国人信用贷款(german credit) 其他方法包括具有二元敏感属性和二分类问 该数据集包含1000个记录和20个属性，标 题，对预处理技术进行改进，抑制敏感属性，通过 签描述了每个人的信用分类为好或坏。敏感属性 更改类标签来调整数据集，重新加权或重新采样 包含性别、年龄，性别不直接包含在数据中，但可 以从给定的信息中得到。 数据以消除歧视，而无需重新标记实例。Calmon 等B”提出了一种用于学习数据转换的凸优化，其 2.4预测再次被捕率 该数据是关于佛罗里达州布劳沃德县使用 目标有控制歧视、限制单个数据样本中的失真度 COMPAS风险评估工具评估的数据，包括6167人 以及保持效用。 的少年重罪数量、当前速捕的指控程度等信息， 3.2过程公平性设计 以及敏感属性（种族和性别），预测在第一次被捕 对特定机器学习算法的改进中，最常见的是 后的两年内被再次逮捕的概率。 给算法附加约束条件。Kusner等将因果模型 2.5预测再犯暴力 引入到算法中，并给出了3种实现不同等级算法 该数据描述了与上述累犯数据相同的情况， 公平性的方法。1)运用与敏感属性无直接或间接 但预测结果是两年内再次暴力犯罪的结果。预处 关联的属性来构建模型；2)通过潜在变量来构建 理后共有4010人，敏感属性为种族和性别的。 模型，潜在变量是可观测变量的非确定性因素； 2.6银行营销数据 3)通过具有潜变量的确定性模型（如加性误差模 该数据集有45211条记录，17个属性，还包含 型)进行建模。Zafar等1对不同误判率下的逻辑 一个二分类标签，表示每个客户是否有定期存款。 回归及支持向量机算法进行改进，基于历史信息 2.7纽约市阻止和搜身NYC stop and frisk) 不存在偏见，在基于不同误判率的公平性和准确 该数据集是阻止、搜索和搜身数据集，该网 性之间提供了灵活的权衡。当敏感属性信息不可 站提供了纽约警察局阻止的司机的人口学信息和 用时，此方法效果较好。Zemel等o结合预处理 其他信息，总共有45787条记录，具有73个特征， 和算法修改，学习规范数据表示以实现在分类 受保护属性为种族叫。 中实现高效，同时实现不受敏感属性值的影响。 2.8美国司法部数据 Kearns等2m结合事前公平及事后公平，利用不同 该数据集包含1990~2009年在美国75个人 个体的累积分布函数，给定一组个体的得分，根 口最多的县中40个保留了151461名重罪被告的 据候选人的经验值来提供置信区间，然后将使用 法院处理信息。 的偏差界限为候选人分配分数，运行NoisyTop算 3公平性机器学习设计 法提供近似的公平性。Kamishima等1引入以公 平性为中心的正则化项，并应用于逻辑回归分类 从算法的基本定义出发，用输入、过程及输 算法中。Calders等B为敏感属性的每个值构建

2 公平性测试数据集 公平性测试数据集和普通数据集的差别在于 具有敏感属性，目前国际上对公平性机器学习算 法的测试大多基于以下几个数据集。 2.1 消防员晋升 (ricci) 该数据集来源于美国最高法院诉讼案，是关 于消防员是否会获得晋升的测试数据集，包括 118 条记录和 5 个属性，其中有一个敏感属性 (种 族)，目标是预测晋升，同时实现对敏感属性的 公平[29]。 2.2 成年人收入 (adult income) 该数据集包含 1994 年美国人口普查的个人 信息，有 45 222 条记录，14 个属性 (包括年龄、种 族、性别、受教育程度等)，还包含有一个二分类 标签，表示每个个体的收入是否超过 50 000 美元[30]。 2.3 德国人信用贷款 (german credit) 该数据集包含 1 000 个记录和 20 个属性，标 签描述了每个人的信用分类为好或坏。敏感属性 包含性别、年龄，性别不直接包含在数据中，但可 以从给定的信息中得到[31]。 2.4 预测再次被捕率 该数据是关于佛罗里达州布劳沃德县使用 COMPAS 风险评估工具评估的数据，包括 6167 人 的少年重罪数量、当前逮捕的指控程度等信息， 以及敏感属性 (种族和性别)，预测在第一次被捕 后的两年内被再次逮捕的概率[32]。 2.5 预测再犯暴力 该数据描述了与上述累犯数据相同的情况， 但预测结果是两年内再次暴力犯罪的结果。预处 理后共有 4 010 人，敏感属性为种族和性别[32]。 2.6 银行营销数据 该数据集有 45211 条记录，17 个属性，还包含 一个二分类标签，表示每个客户是否有定期存款[33]。 2.7 纽约市阻止和搜身 (NYC stop and frisk) 该数据集是阻止、搜索和搜身数据集，该网 站提供了纽约警察局阻止的司机的人口学信息和 其他信息，总共有 45 787 条记录，具有 73 个特征， 受保护属性为种族[34]。 2.8 美国司法部数据 该数据集包含 1990~2009 年在美国 75 个人 口最多的县中 40 个保留了 151 461 名重罪被告的 法院处理信息。 3 公平性机器学习设计 从算法的基本定义出发，用输入、过程及输 出不同阶段描述解决问题的策略机制。在输入阶 段，存在问题是输入数据集中存在偏差；在过程 阶段，存在程序的黑箱问题；而输出阶段存在算 法决策产生的歧视性影响。 3.1 预处理公平性设计 训练数据中存在的不公平是算法能学习的， 如使训练算法不能学习该偏差就能得到预处理公 平，可归为两类：1) 更改训练数据中单个项目的 敏感属性或类标签的值；2) 将训练数据映射到转 换空间，在该空间中敏感属性和类标签之间的依 赖关系消失。 Feldman 等 [35] 对每个属性进行修改，使得基 于给定敏感属性子集的边际分布都相等,并且这 种改变不会影响其他变量，转换后的数据保留了 非敏感属性的大部分特征信号，还提出交叉敏感 属性，并且两种敏感属性的影响不叠加。 其他方法包括具有二元敏感属性和二分类问 题，对预处理技术进行改进，抑制敏感属性，通过 更改类标签来调整数据集，重新加权或重新采样 数据以消除歧视，而无需重新标记实例[36]。Calmon 等 [37] 提出了一种用于学习数据转换的凸优化，其 目标有控制歧视、限制单个数据样本中的失真度 以及保持效用。 3.2 过程公平性设计 对特定机器学习算法的改进中，最常见的是 给算法附加约束条件。Kusner 等 [15] 将因果模型 引入到算法中，并给出了 3 种实现不同等级算法 公平性的方法。1) 运用与敏感属性无直接或间接 关联的属性来构建模型；2) 通过潜在变量来构建 模型，潜在变量是可观测变量的非确定性因素； 3) 通过具有潜变量的确定性模型 (如加性误差模 型) 进行建模。Zafar 等 [16] 对不同误判率下的逻辑 回归及支持向量机算法进行改进，基于历史信息 不存在偏见，在基于不同误判率的公平性和准确 性之间提供了灵活的权衡。当敏感属性信息不可 用时，此方法效果较好。Zemel 等 [20] 结合预处理 和算法修改，学习规范数据表示以实现在分类 中实现高效，同时实现不受敏感属性值的影响。 Kearns 等 [27] 结合事前公平及事后公平，利用不同 个体的累积分布函数，给定一组个体的得分，根 据候选人的经验值来提供置信区间，然后将使用 的偏差界限为候选人分配分数，运行 NoisyTop 算 法提供近似的公平性。Kamishima 等 [38] 引入以公 平性为中心的正则化项，并应用于逻辑回归分类 算法中。Calders 等 [39] 为敏感属性的每个值构建 第 3 期 邓蔚，等：公平性机器学习研究综述 ·581·

·582· 智能系统学报 第15卷 了单独的模型，并根据相应输入的属性值来适当 值。Kamiran等通过在训练后修改决策树中的 选择模型，在CV度量下评估迭代组合模型的公 叶子标签，以满足公平约束。Woodworth等)采 平性。Bose等o1针对现有的图嵌入算法无法处 取了一阶矩的统计和计算理论学习非歧视预测， 理公平约束的问题，在确保学习表示与敏感属性 提出了统计上最佳的二阶矩程序，同时在二阶矩 不相关的条件下，通过引入对抗框架来对图嵌入 上对非歧视性较为松弛，使得算法易于学习。 进行公平性约束，使用复合框架去除掉更多的敏 3.4公平性算法分类 感信息。 部分算法比较如表2所示。Corbett-.davies 3.3后处理公平性设计 等将公平性算法定义分为3类，即反分类(anti- Hardt等彻考虑在敏感属性情况下，对不公平 classfication)、分类均等(classification parity)、校准 类别的概率估计进行后处理，学习不同敏感属性 (calibration),并指出3种公平性算法的定义都受 下的不同决策阈值，并在决策时应用这些特定阈 到统计上的限制，如表3所示。 表2算法之间的比较 Table 2 Comparison between algorithms 算法 S是否是多分类？ 一次能处理多个S吗？ 其他分类数量 分类器 FeldmanB35] 数值型 任何 Kamiran,Calders X 数值型 基于打分的分类器 Calmont37 × 分类及数值 任何 Kamishima × 数值型 逻辑回归 Calders,Verwe × 分类及数值 朴素贝叶斯 ZafarP1 V 数值型 基于凸边缘分布的分类器 Kusnerlis] 分类及数值 构建结构方程 Kamiran42 分类及数值 决策树 Hardt4n 分类及数值 任何 Woodworth43 分类及数值 任何 表3公平性算法的分类 Table 3 Algorithm classifications of fair machine learning 公平性算法分类 特点 缺陷 规定算法不考虑受保护的特征， 1)此策略可确保决策不明确依赖于组成员身份： 反分类 如种族、性别或其代理人 2)即使不使用受保护的特征，明显的歧视行为是可能的 要求某些常见的预测性能指标在被 1)当风险分布不同时，强制执行分类均等常常会降低所有 分类均等 保护属性限制的群体中是相等的 群体的效用：2)误解假正率是一个群体总体福祉的合理代表 要求结果是独立于保护属性， 不足以确保风险分数是准确的或决定是公平的， 校准 控制估计的风险 在评估离散风险评分的校准时必须小心谨慎 4 公平性机器学习应用研究 试，展示了如何在一个简单、程式化的环境中，使 用小额货币支付来激励个人公平的特定概念。 4.1环境演化与动态性公平 Davies等46在分类中采用公平的福利最大化观 大多数的公平性算法任务关注于一次性的分 点，并描述了附加统计公平约束的成本。 类任务，但是在现实的算法系统中包含着很多相 在动态环境中，Google提出了ML-fairness-. 互影响的因素。在某些场景中，学习算法本身会 gym仿真框架.4，可以帮助理解算法如何动态 作用于复杂环境的动态演化，而公平性也会相应 地影响信息系统的环境以及人类行为者的动机。 地在不同群体间变化。 以公平性为导向适用于马尔可夫决策过程框架， 在静态环境中，Kannan等4进行了初步尝 具有很高的泛化能力

了单独的模型，并根据相应输入的属性值来适当 选择模型，在 CV 度量下评估迭代组合模型的公 平性。Bose 等 [40] 针对现有的图嵌入算法无法处 理公平约束的问题，在确保学习表示与敏感属性 不相关的条件下，通过引入对抗框架来对图嵌入 进行公平性约束，使用复合框架去除掉更多的敏 感信息。 3.3 后处理公平性设计 Hardt 等 [41] 考虑在敏感属性情况下，对不公平 类别的概率估计进行后处理，学习不同敏感属性 下的不同决策阈值，并在决策时应用这些特定阈 值。Kamiran 等 [42] 通过在训练后修改决策树中的 叶子标签，以满足公平约束。Woodworth 等 [43] 采 取了一阶矩的统计和计算理论学习非歧视预测， 提出了统计上最佳的二阶矩程序，同时在二阶矩 上对非歧视性较为松弛，使得算法易于学习。 3.4 公平性算法分类 部分算法比较如表 2 所示。Corbett-davies[44] 等将公平性算法定义分为 3 类，即反分类 (anti￾classfication)、分类均等 (classification parity)、校准 (calibration)，并指出 3 种公平性算法的定义都受 到统计上的限制，如表 3 所示。 表 2 算法之间的比较 Table 2 Comparison between algorithms 算法 S是否是多分类? 一次能处理多个S吗? 其他分类数量 分类器 Feldman[35] √ √ 数值型 任何 Kamiran，Calders[36] × × 数值型 基于打分的分类器 Calmon[37] √ × 分类及数值 任何 Kamishima[38] × × 数值型 逻辑回归 Calders,Verwer[39] × × 分类及数值 朴素贝叶斯 Zafar[23] √ √ 数值型 基于凸边缘分布的分类器 Kusner[15] × × 分类及数值 构建结构方程 Kamiran[42] × × 分类及数值 决策树 Hardt[41] √ × 分类及数值 任何 Woodworth[43] × × 分类及数值 任何 表 3 公平性算法的分类 Table 3 Algorithm classifications of fair machine learning 公平性算法分类 特点 缺陷 反分类 规定算法不考虑受保护的特征， 如种族、性别或其代理人 1) 此策略可确保决策不明确依赖于组成员身份； 2) 即使不使用受保护的特征，明显的歧视行为是可能的 分类均等 要求某些常见的预测性能指标在被 保护属性限制的群体中是相等的 1) 当风险分布不同时，强制执行分类均等常常会降低所有 群体的效用；2) 误解假正率是一个群体总体福祉的合理代表 校准 要求结果是独立于保护属性， 控制估计的风险 不足以确保风险分数是准确的或决定是公平的， 在评估离散风险评分的校准时必须小心谨慎 4 公平性机器学习应用研究 4.1 环境演化与动态性公平 大多数的公平性算法任务关注于一次性的分 类任务，但是在现实的算法系统中包含着很多相 互影响的因素。在某些场景中，学习算法本身会 作用于复杂环境的动态演化，而公平性也会相应 地在不同群体间变化。 在静态环境中，Kannan 等 [45] 进行了初步尝 试，展示了如何在一个简单、程式化的环境中，使 用小额货币支付来激励个人公平的特定概念。 Davies 等 [46] 在分类中采用公平的福利最大化观 点，并描述了附加统计公平约束的成本。 在动态环境中，Google 提出了 ML-fairness￾gym 仿真框架[47-48] ，可以帮助理解算法如何动态 地影响信息系统的环境以及人类行为者的动机。 以公平性为导向适用于马尔可夫决策过程框架， 具有很高的泛化能力。 ·582· 智 能 系 统 学 报 第 15 卷

第3期 邓蔚，等：公平性机器学习研究综述 ·583· 4.2数据的复杂性 语言建模是一项非常容易受到性别偏见影响 某些统计数据十分敏感，受到法律条款保 的自然语言处理任务，同时也非常具有实际应用 护。通过加入不同程度的噪音保护敏感数据，往 价值，例如屏幕键盘中的单词预测。Bordia等s列 往会降低机器学习的准确性。 评估了性别偏见对于在文本语料库中训练的单词 在某些情况下，常见的隐私算法对个体公平 级别的语言模型的性能影响。 的影响可以忽略不计。但当隐私更严格时或决策 在司法智能应用中，需要保证算法的公平 涉及人口较少时可能出现严重的不公平现象。 性。Green等sI认为不应过于偏向研究算法的精 在数据很少甚至是没有数据时，难以做出准 确性，而应该研究怎么设计一个系统使得人们利 确预测，其一是公平警告(fair warnings),当将系统 用和系统的交互，综合做出公平性判断，并提出 应用到一个相似数据集时，可以解释产生不公 了一个循环算法的框架。 平性的边界条件；其二是模型不可知的元学习 (model agnostic meta learning,MAML,该算法在强 5关键问题和重大挑战 化学习和图像识别的方面用很少的数据达到一个 国际上对公平性机器学习的研究中，如何设 很好的效果5o。 计更好的公平性指标，如何针对实际问题对公平 4.3特定场景下的公平性问题 性机器学习算法进行设计、分析、测试和评估，这 实现某种程度上的公平需要一定的公平代 是当前面临的关键问题。本文对公平性机器学习 价(price of fairness,PoF)s,需要在公平性与其他 领域面临的重大挑战，进行了进一步的总结和思考。 待优化因素之间进行权衡。机器学习的准确率降 1)数据的复杂性 低，在资源分配问题中则体现为对资源的不充分 在许多情况下，获取代表性数据可能过于困 利用，考虑公平性下的资源最大利用率，小于不 难。同时公平性算法对于输入的变化特别敏感。 考虑公平性时的最大利用率。在需求不确定时分 数据挑战包括在数据标注时的错误、测量误差、 配资源，存在某些自然分布族，如指数分布和威 偏差和样本不平衡。数据标签错误是实现公平机 尔分布，能够使在考虑公平性条件下的资源最大 可利用率达到无该约束条件下的最大可利用率； 器学习最严重障碍之一。数据类别不平衡也会影 幂律分布虽然不能消除最优解与公平解之间的距 响不公平性学习效果。只有通过尽量准确的标注 离PoF,但是能够被一个独立于分布参数的常数 数据，以及针对训练数据的特点设计机器学习算 所限制5凶。 法实现公平性。同时，建设评估公平性算法的数 在计算机视觉领域，由于ImageNet数据大多 据集也很关键。 为人为标注，并且类别绝大部分是欧美人$)，因此 2)公平性表示学习 比如在人脸识别系统中，对某些种族的人错误率 公平性表示学习包含数据和模型的公平性表 有明显偏高，因此产生公平性问题。比如基于 示。数据的公平性表示，是指一方面能够表达出 ILSVRC数据集为场景，这是ImageNet的子集s4s, 包含数据点相关的大量有用信息，同时这一表示 有1000种类别，其中人只有3种类别（司机、棒 是公平的，即包含有关敏感属性信息，目的是防止 球员、新娘)。使用ImageNet来研究人的类别标 机器学习算法产生歧视性行为。模型的公平性表 签，发现导致图像识别不公平的根本的3个原因： 示，是指把公平性嵌入到机器学习模型中，成为不 1)WordNet中的停滞词汇；2)所有类别图像的详 可分割的一部分。结合认知理论，特别是多粒度 尽描述；3)图像类别的不平衡。对ImageNet的2832 认知计算进行公平性表示学习是值得探索的方向例。 种类别进行过滤，只有158种类别可以用于图像 3)公平性算法的鲁棒性 识别。 已经有相当多的研究专注于实验条件下公平 在推荐系统中，需要保证推荐是公平的而不 性算法的准确性，然而算法在实际应用中会面临 依赖于用户的种族或性别，系统能够在不暴露自 攻击行为，如何设计鲁棒性公平性机器学习方法 身属性的前提下学习节点嵌人表示以保证隐私。 是一个公开问题。 Bose等o聚焦于对社会图加入不变性约束的可 4)公平性算法的动态性 行性，即生成对特定敏感信息不变的图嵌入。首 目前大部分研究主要是在静态分类的场景下 先训练得到一组过滤器，以防止对抗式的甄别者 进行机器学习中的公平性问题研究，并没有研究 将敏感信息与过滤后的嵌入信息进行分类。然后 这些决定会如何随着时间流逝而影响未来。通常 将过滤器以不同的方式组合在一起，灵活生成对 认为给机器学习模型施加公平性的限制以后，能 任何敏感属性子集不变的嵌入。 够更好地改进不公平性，然而实际情况并非如

4.2 数据的复杂性 某些统计数据十分敏感，受到法律条款保 护。通过加入不同程度的噪音保护敏感数据，往 往会降低机器学习的准确性。 在某些情况下，常见的隐私算法对个体公平 的影响可以忽略不计。但当隐私更严格时或决策 涉及人口较少时可能出现严重的不公平现象[49]。 在数据很少甚至是没有数据时，难以做出准 确预测，其一是公平警告 (fair warnings)，当将系统 应用到一个相似数据集时，可以解释产生不公 平性的边界条件；其二是模型不可知的元学习 (model agnostic meta learning, MAML)，该算法在强 化学习和图像识别的方面用很少的数据达到一个 很好的效果[50]。 4.3 特定场景下的公平性问题 实现某种程度上的公平需要一定的公平代 价 (price of fairness，PoF)[51] ，需要在公平性与其他 待优化因素之间进行权衡。机器学习的准确率降 低，在资源分配问题中则体现为对资源的不充分 利用，考虑公平性下的资源最大利用率，小于不 考虑公平性时的最大利用率。在需求不确定时分 配资源，存在某些自然分布族，如指数分布和威 尔分布，能够使在考虑公平性条件下的资源最大 可利用率达到无该约束条件下的最大可利用率； 幂律分布虽然不能消除最优解与公平解之间的距 离 PoF，但是能够被一个独立于分布参数的常数 所限制[52]。 在计算机视觉领域，由于 ImageNet 数据大多 为人为标注，并且类别绝大部分是欧美人[53] ，因此 比如在人脸识别系统中，对某些种族的人错误率 有明显偏高，因此产生公平性问题。比如基于 ILSVRC 数据集为场景，这是 ImageNet 的子集[54-56] ， 有 1 000 种类别，其中人只有 3 种类别 (司机、棒 球员、新娘)。使用 ImageNet 来研究人的类别标 签，发现导致图像识别不公平的根本的 3 个原因： 1)WordNet 中的停滞词汇；2) 所有类别图像的详 尽描述；3) 图像类别的不平衡。对 ImageNet 的 2832 种类别进行过滤，只有 158 种类别可以用于图像 识别[45]。 在推荐系统中，需要保证推荐是公平的而不 依赖于用户的种族或性别，系统能够在不暴露自 身属性的前提下学习节点嵌入表示以保证隐私。 Bose 等 [40] 聚焦于对社会图加入不变性约束的可 行性，即生成对特定敏感信息不变的图嵌入。首 先训练得到一组过滤器，以防止对抗式的甄别者 将敏感信息与过滤后的嵌入信息进行分类。然后 将过滤器以不同的方式组合在一起，灵活生成对 任何敏感属性子集不变的嵌入。 语言建模是一项非常容易受到性别偏见影响 的自然语言处理任务，同时也非常具有实际应用 价值，例如屏幕键盘中的单词预测。Bordia 等 [57] 评估了性别偏见对于在文本语料库中训练的单词 级别的语言模型的性能影响。 在司法智能应用中，需要保证算法的公平 性。Green 等 [58] 认为不应过于偏向研究算法的精 确性，而应该研究怎么设计一个系统使得人们利 用和系统的交互，综合做出公平性判断，并提出 了一个循环算法的框架。 5 关键问题和重大挑战 国际上对公平性机器学习的研究中，如何设 计更好的公平性指标，如何针对实际问题对公平 性机器学习算法进行设计、分析、测试和评估，这 是当前面临的关键问题。本文对公平性机器学习 领域面临的重大挑战，进行了进一步的总结和思考。 1) 数据的复杂性 在许多情况下，获取代表性数据可能过于困 难。同时公平性算法对于输入的变化特别敏感。 数据挑战包括在数据标注时的错误、测量误差、 偏差和样本不平衡。数据标签错误是实现公平机 器学习最严重障碍之一。数据类别不平衡也会影 响不公平性学习效果。只有通过尽量准确的标注 数据，以及针对训练数据的特点设计机器学习算 法实现公平性。同时，建设评估公平性算法的数 据集也很关键。 2) 公平性表示学习 公平性表示学习包含数据和模型的公平性表 示。数据的公平性表示，是指一方面能够表达出 包含数据点相关的大量有用信息，同时这一表示 是公平的，即包含有关敏感属性信息，目的是防止 机器学习算法产生歧视性行为。模型的公平性表 示，是指把公平性嵌入到机器学习模型中，成为不 可分割的一部分。结合认知理论，特别是多粒度 认知计算进行公平性表示学习是值得探索的方向[59]。 3) 公平性算法的鲁棒性 已经有相当多的研究专注于实验条件下公平 性算法的准确性，然而算法在实际应用中会面临 攻击行为，如何设计鲁棒性公平性机器学习方法 是一个公开问题。 4) 公平性算法的动态性 目前大部分研究主要是在静态分类的场景下 进行机器学习中的公平性问题研究，并没有研究 这些决定会如何随着时间流逝而影响未来。通常 认为给机器学习模型施加公平性的限制以后，能 够更好地改进不公平性，然而实际情况并非如 第 3 期 邓蔚，等：公平性机器学习研究综述 ·583·

·584· 智能系统学报 第15卷 此。如何设计动态公平性机器学习算法，实现有 YOCHUM P,CHANG Liang,GU Tianlong,et al.A re- 反馈和长期的公平性非常重要。 view of linked open data in location-based recommenda- 5)公平性算法的可解释性 tion system in the tourism domain[J.CAAI transactions 以往的研究过于重视机器学习算法的准确 on intelligent systems,2020,15(1):25-32 [3]常乐，杨忠，张秋雁，等.悬挂负载空中机器人的抗摆控 性，特别是深度学习的广泛使用，在图像、视频和 制U.应用科技，2020,47(2)17-22 文本领域实现高准确性的同时，模型越来越复 CHANG Le,YANG Zhong,ZHANG Qiuyan,et al.Anti- 杂。在实际应用中，算法的可解释性变得越来越 swing control research of aerial robot with suspended 重要，在设计可解释性模型的同时，务必保证公 load[J].Applied science and technology,2020,47(2): 平性结果的可解释性。 17-22. 6)平衡公平性与其他指标 [4]KHANDANI A E,KIM A J,LO A W.Consumer credit- 实现公平性会对算法的其他性能指标带来损 risk models via machine-learning algorithms[].Journal of 耗，如何平衡公平性和效率，如何平衡公平性与准 banking and finance,2010,34(11):2767-2787. 确性，如何平衡公平性与可解释性等6。如何达到 [5]BRENNAN T.DIETERICH W,EHRET B.Evaluating the predictive validity of the compas risk and needs assess- 平衡，综合考虑多个指标的影响是值得研究的问题。 ment system[J].Criminal justice and behavior,2009, 7)建设公平性软件工具箱 36(1:21-40. 目前只有Google发布的工具箱ML-fairness-- [6]MAHONEY J F,MOHEN J M.Method and system for ym,用来探索在社交网络环境中部署智能决策 loan origination and underwriting[P].US:7287008.1, 系统的影响。公平性机器学习软件工具的开发和 2007-10-23. 应用是丰富生态系统的重要举措。 [7]KEARNS M,ROTH A.The ethical algorithm:the science 8)社会环境适用性 of socially aware algorithm design[M].New York:Oxford University Press,2019:11. 公平性设计需要结合各国的法律，结合各国 [8]EEE新版“人工智能设计的伦理准则”白皮书全球重磅 的规章制度，以及不同应用系统的要求，如为非 发布[EB/OL].(2017-12-15)[2020-07-26]https:/∥ 歧视性雇佣、量刑指导风险评估和贷款分配，实 www.sohu.com/a/210646713468720】 现应用领域的公平性。算法的公平性需要与社会 [9]Publications Office of the EU[EB/OL].(2018-03- 公正的平等概念建立更深层次的联系，才能避免 09)[2020-07-26]https://op.europa.eu/en/publication- 狭隘的技术解决方案，建立更公平的机器学习模型。 detail/-/publication/dfebe62e-4ce9-11e8-beld- 01aa75ed71al/language-en/format-PDF/source-78120382. 6结束语 [10]吴沈括，周洁，杨滢滢.人工智能伦理与数据保护宣言 EB/OL].(2018-10-30)[2020-07-26].http:/www.yidian- 随着机器学习算法的广泛应用，当前人工智 zixun.com/m/article/0KOD5oLY. 能伦理和人工智能治理引起了社会的广泛关注， [11]OECD Principles on AI[EB/OL].[2020-07-26] 算法公平性成为研究热点，不过研究和应用仍处 https://www.oecd.org/going-digital/ai/principles/. 于起步阶段，还有很多问题值得深入研究。 [12]G20 ministerial statement on trade and digital 本文针对公平性机器学习的研究现状进行了 economy[EB/0L].(2019-06-09)[2020-07-26] 综述，对公平性算法的实现机制进行了调研，并 http://www.g20.utoronto.ca/2019/2019-g20-trade.html. 总结了当前面临的重大问题和挑战，希望给相关 [13]国家新一代人工智能治理专业委员会.发展负责任的 研究人员提供一些参考。只有实现了机器学习算 人工智能：新一代人工智能治理原则发布[EB/OL] 法在应用中的公平性，人工智能才能更好地服务 (2019-06-17)[2020-07-26]http:/www.most.gov.cn kibgz/201906/20190617_147107htm. 于人类，才能更好地发挥其社会和经济价值。 [14]FRIEDLER S A,SCHEIDEGGER C,VENKATASUB- 参考文献： RAMANIAN S,et al.A comparative study of fairness-en- hancing interventions in machine learning[C]//Proceed- [1]高庆吉，赵志华，徐达，等.语音情感识别研究综述.智 ings of the Conference on Fairness,Accountability,and 能系统学报，2020,15(1)：1-13. Transparency.New York,USA,2019:329-338. GAO Qingji,ZHAO Zhihua,XU Da,et al.Review on [15]KUSNER M,LOFTUS J,RUSSEL C,et al.Counterfac- speech emotion recognition research[J].CAAI transac- tual fairness[C]//Proceedings of the 31st Conference on tions on intelligent systems,2020,15(1):1-13. Neural Information Processing Systems (NIPS 2017). [2]YOCHUM P,常亮，古天龙，等.基于位置和开放链接数 Long Beach,USA,2017. 据的旅游推荐系统综述[.智能系统学报，2020,15(1)： [16]GRGIC-HLACA N.ZAFAR M B.GUMMADI K P,et al. 25-32. The case for process fairness in learning:feature selec-

此。如何设计动态公平性机器学习算法，实现有 反馈和长期的公平性非常重要。 5) 公平性算法的可解释性 以往的研究过于重视机器学习算法的准确 性，特别是深度学习的广泛使用，在图像、视频和 文本领域实现高准确性的同时，模型越来越复 杂。在实际应用中，算法的可解释性变得越来越 重要，在设计可解释性模型的同时，务必保证公 平性结果的可解释性。 6) 平衡公平性与其他指标 实现公平性会对算法的其他性能指标带来损 耗，如何平衡公平性和效率，如何平衡公平性与准 确性，如何平衡公平性与可解释性等[60]。如何达到 平衡，综合考虑多个指标的影响是值得研究的问题。 7) 建设公平性软件工具箱 目前只有 Google 发布的工具箱 ML-fairness￾gym，用来探索在社交网络环境中部署智能决策 系统的影响。公平性机器学习软件工具的开发和 应用是丰富生态系统的重要举措。 8) 社会环境适用性 公平性设计需要结合各国的法律，结合各国 的规章制度，以及不同应用系统的要求，如为非 歧视性雇佣、量刑指导风险评估和贷款分配，实 现应用领域的公平性。算法的公平性需要与社会 公正的平等概念建立更深层次的联系，才能避免 狭隘的技术解决方案，建立更公平的机器学习模型。 6 结束语 随着机器学习算法的广泛应用，当前人工智 能伦理和人工智能治理引起了社会的广泛关注， 算法公平性成为研究热点，不过研究和应用仍处 于起步阶段，还有很多问题值得深入研究。 本文针对公平性机器学习的研究现状进行了 综述，对公平性算法的实现机制进行了调研，并 总结了当前面临的重大问题和挑战，希望给相关 研究人员提供一些参考。只有实现了机器学习算 法在应用中的公平性，人工智能才能更好地服务 于人类，才能更好地发挥其社会和经济价值。 参考文献： 高庆吉, 赵志华, 徐达, 等. 语音情感识别研究综述 [J]. 智 能系统学报, 2020, 15(1): 1–13. GAO Qingji, ZHAO Zhihua, XU Da, et al. Review on speech emotion recognition research[J]. CAAI transac￾tions on intelligent systems, 2020, 15(1): 1–13. [1] YOCHUM P, 常亮, 古天龙, 等. 基于位置和开放链接数 据的旅游推荐系统综述 [J]. 智能系统学报, 2020, 15(1): 25–32. [2] YOCHUM P, CHANG Liang, GU Tianlong, et al. A re￾view of linked open data in location-based recommenda￾tion system in the tourism domain[J]. CAAI transactions on intelligent systems, 2020, 15(1): 25–32. 常乐, 杨忠, 张秋雁, 等. 悬挂负载空中机器人的抗摆控 制 [J]. 应用科技, 2020, 47(2): 17–22. CHANG Le, YANG Zhong, ZHANG Qiuyan, et al. Anti￾swing control research of aerial robot with suspended load[J]. Applied science and technology, 2020, 47(2): 17–22. [3] KHANDANI A E, KIM A J, LO A W. Consumer credit￾risk models via machine-learning algorithms[J]. Journal of banking and finance, 2010, 34(11): 2767–2787. [4] BRENNAN T, DIETERICH W, EHRET B. Evaluating the predictive validity of the compas risk and needs assess￾ment system[J]. Criminal justice and behavior, 2009, 36(1): 21–40. [5] MAHONEY J F, MOHEN J M. Method and system for loan origination and underwriting[P]. US: 7287008.1, 2007-10-23. [6] KEARNS M, ROTH A. The ethical algorithm: the science of socially aware algorithm design[M]. New York: Oxford University Press, 2019: 11. [7] IEEE 新版“人工智能设计的伦理准则”白皮书全球重磅 发布 [EB/OL]. (2017-12-15)[2020-07-26] https:// www.sohu.com/a/210646713_468720. [8] Publications Office of the EU[EB/OL]. (2018-03- 09)[2020-07-26] https://op.europa.eu/en/publication￾detail/-/publication/dfebe62e-4ce9-11e8-be1d- 01aa75ed71a1/language-en/format-PDF/source-78120382. [9] 吴沈括, 周洁, 杨滢滢. 人工智能伦理与数据保护宣言 [EB/OL]. (2018-10-30)[2020-07-26]. http://www.yidian￾zixun.com/m/article/0KOD5oLY. [10] OECD Principles on AI[EB/OL]. [2020-07-26] https://www.oecd.org/going-digital/ai/principles/. [11] G20 ministerial statement on trade and digital economy[EB/OL]. (2019-06-09)[2020-07-26] http://www.g20.utoronto.ca/2019/2019-g20-trade.html. [12] 国家新一代人工智能治理专业委员会. 发展负责任的 人工智能: 新一代人工智能治理原则发布 [EB/OL]. (2019-06-17)[2020-07-26] http://www.most.gov.cn/ kjbgz/201906/t20190617_147107.htm. [13] FRIEDLER S A, SCHEIDEGGER C, VENKATASUB￾RAMANIAN S, et al. A comparative study of fairness-en￾hancing interventions in machine learning[C]//Proceed￾ings of the Conference on Fairness, Accountability, and Transparency. New York, USA, 2019: 329−338. [14] KUSNER M, LOFTUS J, RUSSEL C, et al. Counterfac￾tual fairness[C]//Proceedings of the 31st Conference on Neural Information Processing Systems (NIPS 2017). Long Beach, USA, 2017. [15] GRGIĆ-HLAČA N, ZAFAR M B, GUMMADI K P, et al. The case for process fairness in learning: feature selec- [16] ·584· 智 能 系 统 学 报 第 15 卷

第3期 邓蔚，等：公平性机器学习研究综述 ·585· tion for fair decision making[Cl//Symposium on Machine [29]Supreme Court of the United States.Ricci v.DeStefano [EB/OL] Learning and the Law at the 29th Conference on Neural (2009-06-29[2020-08-07刀.557U.S.557,https://supreme Information Processing Systems.Barcelona,Spain,2016:1. justia.com/cases/federal/us/557/557/.2009. [17]DWORK C,HARDT M.PITASSI T,et al.Fairness [30]Adult data[EB/OL].[2020-07-26].http://tinyurl.com/ through awareness[C]//Proceedings of the 3rd Innova- UCI-Adult.1996. tions in Theoretical Computer Science Conference.New [31]LICHMAN M.UCI machine learning repository[EB/OL]. York.USA.2012:214-226 (2013)[2020-07-26].http://archive.ics.uci.edu/ml,2013. [18]JOSEPH M,KEARNS M,MORGENSTERN J,et al. [32]ANGWIN J,LARSON J,MATTU S,et al.Machine bias. Rawlsian fairness for machine learning [DB/OL].(2017- risk assessments in criminal sentencing[EB/OL].(2016- 06-29)[2020-08-07 ]arXiv preprint arXiv:1610.09559V2, 05-23)[2020-07-26]https://www.propublica.org/article/ arxiv.org/abs/1610.09559v2.2016. machine-bias-risk-assessments-in-criminal-sentencing [19]LOUIZOS C.SWERSKY K,LI Yujia,et al.The vari- 2016. ational fair autoencoder[C]//Proceedings of the 4th Inter- [33]Bank Marketing Data Set [EB/OL].(2012-02-14)[2020- national Conference on Learning Representations.San 07-26]https://archive.ics.uci.edu/ml/datasets/Bank% Juan,Puerto Rico,2016. 2BMarketing,2012. [20]ZEMEL R,WU Yu,SWERSKY K,et al.Learning fair [34]KHADEMI A,LEE S,FOLEY D,et al.Fairness in al- representations[Cl//Proceedings of the 30th International gorithmic decision making:an excursion through the lens Conference on International Conference on Machine of causality[C]//The World Wide Web Conference.San Learning.Atlanta,USA,2013:325-333. Francisco.,USA,2019:2907-2914. [21]KIM M P.KOROLOVA A.ROTHBLUM G N.et al. [35]FELDMAN M,FRIEDLER S A,MOELLER J,et al.Cer- Preference-informed fairness[Cl//Proceedings of the 2020 tifying and removing disparate impact[C]//Proceedings of Conference on Fairness,Accountability,and Transpar- the 21th ACM SIGKDD International Conference on ency.New York,USA.2020:546. Knowledge Discovery and Data Mining.New York. [22]ZAFA M B.VALERA I.ROGRIGUEZ M G.et al.Fair- USA.2015:259-268. ness constraints:mechanisms for fair classification[Cl// [36]KAMIRAN F,CALDERS T.Data preprocessing tech- Proceedings of the 20th International Conference on Arti- niques for classification without discrimination[J].Know- ficial Intelligence and Statistics.Lille,France,2017: ledge and information systems,2012,33(1):1-33 962-970. [37]CALMON F P,WEI D,VINZAMURI B,et al.Optim- [23]ZAFAR M B,VALERA I,RODRIGUEZ M G,et al. ized pre-processing for discrimination prevention[C]//Pro- Fairness beyond disparate treatment disparate impact: ceedings of the 31st International Conference on Neural learning classification without disparate mistreat- Information Processing Systems.Red Hook,USA,2017: ment[C]//Proceedings of the 26th International Confer- 3995-4004. ence on World Wide Web.Perth.Australia.2017: [38]KAMISHIMA T.AKAHO S,ASOH H,et al.Fairness- 1171-1180 aware classifier with prejudice remover regularizer[M]// [24]BERETTA E,SANTANGELO A,LEPRI B,et al.The in- FLACH P A,DE BIE T,CRISTIANINI N.Machine visible power of fairness.How machine learning shapes Learning and Knowledge Discovery in Databases.Berlin: democracy[DB/OL].(2019-03-22)[2020-07-26]arXiv Springer,.2012:35-50. preprint arXiv:1903.09493v1,https://arxiv.org/ [39]CALDERS T,VERWER S.Three naive Bayes ap- abs/1903.09493,2019. proaches for discrimination-free classification[J].Data [25]CHOULDECHOVA A.Fair prediction with disparate im- mining and knowledge discovery,2010,21(2):277-292. pact:a study of bias in recidivism prediction instru- [40]BOSE A J.HAMILTON W.Compositional fairness con- ments[J].Big data,2017,5(2):153-163. straints for graph embeddings [DB/OL].(2019-07- [26]BAROCAS S,SELBST A D.Big data's disparate 16)[2020-07-07htps:///arxiv.org/abs/1905.10674,2019. impact[J].California law review,2016,104:671-732. [41]HARDT M,PRICE E,SREBRO N.Equality of opportun- [27]KEARNS M.ROTH A.WU Z S.Meritocratic fairness for ity in supervised learning[C]//Proceedings of the 30th In- cross-population selection[C]//Proceedings of the 34th In- ternational Conference on Neural Information Processing ternational Conference on Machine Learning.Sydney, Systems.Red Hook,USA,2016:3315-3323. Australia,2017:1828-1836. [42]KAMIRAN F,CALDERS T.Classifying without dis- [28]KLEINBERG J,MULLAINATHAN S,RAGHAVAN M. criminating[C]//Proceedings of 2009 2nd International Inherent trade-offs in the fair determination of risk Conference on Computer,Control and Communication. scores[C]//Proceedings of the 8th Innovations in Theoret- Karachi,Pakistan,2009 ical Computer Science Conference.Dagstuhl,Germany, [43]WOODWORTH B,GUNASEKAR S,OHANNESSIAN 2017. M I,et al.Learning non-discriminatory predic-

tion for fair decision making[C]//Symposium on Machine Learning and the Law at the 29th Conference on Neural Information Processing Systems. Barcelona, Spain, 2016: 1. DWORK C, HARDT M, PITASSI T, et al. Fairness through awareness[C]//Proceedings of the 3rd Innova￾tions in Theoretical Computer Science Conference. New York, USA, 2012: 214−226. [17] JOSEPH M, KEARNS M, MORGENSTERN J, et al. Rawlsian fairness for machine learning [DB/OL]. (2017- 06-29)[2020-08-07] arXiv preprint arXiv:1610. 09559V2, arxiv.org/abs/1610.09559v2, 2016. [18] LOUIZOS C, SWERSKY K, LI Yujia, et al. The vari￾ational fair autoencoder[C]//Proceedings of the 4th Inter￾national Conference on Learning Representations. San Juan, Puerto Rico, 2016. [19] ZEMEL R, WU Yu, SWERSKY K, et al. Learning fair representations[C]//Proceedings of the 30th International Conference on International Conference on Machine Learning. Atlanta, USA, 2013: 325−333. [20] KIM M P, KOROLOVA A, ROTHBLUM G N, et al. Preference-informed fairness[C]//Proceedings of the 2020 Conference on Fairness, Accountability, and Transpar￾ency. New York, USA, 2020: 546. [21] ZAFA M B, VALERA I, ROGRIGUEZ M G, et al. Fair￾ness constraints: mechanisms for fair classification[C]// Proceedings of the 20th International Conference on Arti￾ficial Intelligence and Statistics. Lille, France, 2017: 962−970. [22] ZAFAR M B, VALERA I, RODRIGUEZ M G, et al. Fairness beyond disparate treatment & disparate impact: learning classification without disparate mistreat￾ment[C]//Proceedings of the 26th International Confer￾ence on World Wide Web. Perth, Australia, 2017: 1171−1180. [23] BERETTA E, SANTANGELO A, LEPRI B, et al. The in￾visible power of fairness. How machine learning shapes democracy [DB/OL]. (2019-03-22)[2020-07-26] arXiv preprint arXiv:1903.09493v1, https://arxiv.org/ abs/1903.09493, 2019. [24] CHOULDECHOVA A. Fair prediction with disparate im￾pact: a study of bias in recidivism prediction instru￾ments[J]. Big data, 2017, 5(2): 153–163. [25] BAROCAS S, SELBST A D. Big data’s disparate impact[J]. California law review, 2016, 104: 671–732. [26] KEARNS M, ROTH A, WU Z S. Meritocratic fairness for cross-population selection[C]//Proceedings of the 34th In￾ternational Conference on Machine Learning. Sydney, Australia, 2017: 1828−1836. [27] KLEINBERG J, MULLAINATHAN S, RAGHAVAN M. Inherent trade-offs in the fair determination of risk scores[C]//Proceedings of the 8th Innovations in Theoret￾ical Computer Science Conference. Dagstuhl, Germany, 2017. [28] Supreme Court of the United States. Ricci v. DeStefano [EB/OL]. (2009-06-29)[ 2020-08-07]. 557 U.S. 557,https://supreme. justia.com/cases/federal/us/557/557/, 2009. [29] Adult data[EB/OL]. [2020-07-26]. http://tinyurl.com/ UCI-Adult, 1996. [30] LICHMAN M. UCI machine learning repository[EB/OL]. (2013)[2020-07-26]. http://archive.ics.uci.edu/ml, 2013. [31] ANGWIN J, LARSON J, MATTU S, et al. Machine bias. risk assessments in criminal sentencing[EB/OL]. (2016- 05-23)[2020-07-26] https://www.propublica.org/article/ machine-bias-risk-assessments-in-criminal-sentencing, 2016. [32] Bank Marketing Data Set [EB/OL]. (2012-02-14) [2020- 07-26] https://archive.ics.uci.edu/ml/datasets/ Bank% 2BMarketing, 2012. [33] KHADEMI A, LEE S, FOLEY D, et al. Fairness in al￾gorithmic decision making: an excursion through the lens of causality[C]//The World Wide Web Conference. San Francisco, USA, 2019: 2907−2914. [34] FELDMAN M, FRIEDLER S A, MOELLER J, et al. Cer￾tifying and removing disparate impact[C]//Proceedings of the 21th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York, USA, 2015: 259−268. [35] KAMIRAN F, CALDERS T. Data preprocessing tech￾niques for classification without discrimination[J]. Know￾ledge and information systems, 2012, 33(1): 1–33. [36] CALMON F P, WEI D, VINZAMURI B, et al. Optim￾ized pre-processing for discrimination prevention[C]//Pro￾ceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook, USA, 2017: 3995−4004. [37] KAMISHIMA T, AKAHO S, ASOH H, et al. Fairness￾aware classifier with prejudice remover regularizer[M]// FLACH P A, DE BIE T, CRISTIANINI N. Machine Learning and Knowledge Discovery in Databases. Berlin: Springer, 2012: 35−50. [38] CALDERS T, VERWER S. Three naive Bayes ap￾proaches for discrimination-free classification[J]. Data mining and knowledge discovery, 2010, 21(2): 277–292. [39] BOSE A J, HAMILTON W. Compositional fairness con￾straints for graph embeddings [DB/OL]. (2019-07- 16)[2020-07-07] https://arxiv.org/abs/1905.10674, 2019. [40] HARDT M, PRICE E, SREBRO N. Equality of opportun￾ity in supervised learning[C]//Proceedings of the 30th In￾ternational Conference on Neural Information Processing Systems. Red Hook, USA, 2016: 3315−3323. [41] KAMIRAN F, CALDERS T. Classifying without dis￾criminating[C]//Proceedings of 2009 2nd International Conference on Computer, Control and Communication. Karachi, Pakistan, 2009. [42] WOODWORTH B, GUNASEKAR S, OHANNESSIAN M I, et al. Learning non-discriminatory predic- [43] 第 3 期 邓蔚，等：公平性机器学习研究综述 ·585·

·586· 智能系统学报 第15卷 tors[EB/OL].(2017-11-01)[2020-07-07]https:/arxiv tributes of large-scale image datasets [EB/OL].(2019-06- ore/abs/1702.06081,2017. 04)2020-07-07 https:/axiv.org/abs/1905.01347,2019. [44]CORBETT-DAVIES S,GOEL S.The measure and mis- [56]YANG Kaiyu.QINAMI K.FEI-FEI L.et al.Towards measure of fairness:a critical review of fair machine fairer datasets:filtering and balancing the distribution of learning [DB/OL].(2018-08-14)[2020-07-07]https://arx- the people subtree in the ImageNet hierarchy[C]//Pro- iv.org/abs/1808.00023.2018. ceedings of the 2020 Conference on Fairness,Accountab- [45]KANNAN S,KEARNS M,MORGENSTERN J,et al. ility,and Transparency.New York,USA,2020:547-558. Fairness incentives for myopic agents[C]//Proceedings of [57]BORDIA S,BOWMAN S R.Identifying and reducing the 2017 ACM Conference on Economics and Computa- gender bias in word-level language models[Cl//Proceed- tion.New York,USA,2017:369-386. ings of the 9th American Chapter of the Association for [46]CORBETT-DAVIES S,PIERSON E,FELLER A,et al. Computational Linguistics.Minneapolis,Minnesota, Algorithmic decision making and the cost of fair- 2019:7-15. ness[Cl//Proceedings of the 23rd ACM SIGKDD Interna- [58]GREEN B,CHEN Yiling.Disparate interactions:an al- tional Conference on Knowledge Discovery and Data gorithm-in-the-loop analysis of fairness in risk assess- Mining.New York,USA,2017:797-806. ments[Cl//Proceedings of the Conference on Fairness,Ac- [47]D'AMOUR A,SRINIVASAN H,ATWOOD J,et al. countability,and Transparency.Atlanta,USA,2019: Fairness is not static:deeper understanding of long term 90-99. fairness via simulation studies[C]//Proceedings of the [59]SONG Jiaming,KALLURI P,GROVER A,et al.Learn- 2020 Conference on Fairness,Accountability,and Trans- ing Controllable Fair Representations[C]//Proceedings of parency.Barcelona,Spain,2020:525-534. the 22nd International Conference on Artificial Intelli- [48]Google/ml-fairness-gym[EB/OL].[2020-07-26] gence and Statistics.Naha,Japan,2019:2164-2173. [60]LIU L T,DEAN S,ROLF E,et al.Delayed impact of fair https://github.com/google/ml-fairness-gym/ machine learning[C]//Proceedings of the 35th Internation- [49]KUPPAM S,MCKENNA R.PUJOL D,et al.Fair de- al Conference on Machine Learning.Stockholm,Sweden, cision making using privacy-protected data [DE/OL]. 2018:3150-3158 (2020-01-24)[2020-08-07]https:/∥arxiv.org/abs/1905 作者简介： 12744,2020. [50]SLACK D,FRIEDLER S A,GIVENTAL E.Fairness 邓蔚，讲师，博士后，主要研究方 warnings and fair-MAML:learning fairly with minimal 向为知识图谱、机器行为学、计算社会 data[C]//Proceedings of the 2020 Conference on Fairness, 科学与算法伦理。近年来参与国家自 然科学基金重点项目、国家重点研发 Accountability,and Transparency.Barcelona,Spain, 计划等国家级项目3项。申请国家发 2019:200-209. 明专利10余项，发表学术论文30余 [51]GANCHEV K,KEARNS M,NEVMYVAKA Y,et al. 篇，出版学术著作1部。 Censored exploration and the dark pool problem[C]//Pro- ceedings of the 25th Conference on Uncertainty in Artifi- 邢钰晗，硕土研究生，主要研究方 cial Intelligence.Arlington,USA,2009:185-194. 向为公平性机器学习和数据科学。 [52]DONAHUE K,KLEINBERG J.Fairness and utilization in allocating resources with uncertain demand[C]//Pro- ceedings of the 2020 Conference on Fairness,Accountab- ility,and Transparency.New York,USA,2020:658-668 [53]DEVRIES T.MISRA I.WANG C,et al.2019.Does ob ject recognition work for everyone?[EB/OL].(2019-06- 王国胤，教授，博士生导师，重庆 18)[2020-07-07]https:/axiv.org/abs/1906.02659,2019 邮电大学副校长，研究生院院长，人工 [54]STOCK P,CISSE M.ConvNets and ImageNet beyond 智能学院院长，中国人工智能学会副 accuracy:understanding mistakes and uncovering 理事长，主要研究方向为粗糙集、粒计 biases[C]//Proceedings of the 15th European Conference 算和认知计算。近年来承担多个国家 on Computer Vision.Munich,Germany,2018:498-512. 重点研发计划、国家自然科学基金重 [55]DULHANTY C,WONG A.Auditing imageNet:towards 点项目等。发表学术论文300余篇， a model-driven framework for annotating demographic at- 出版专著10余部

tors [EB/OL]. (2017-11-01)[2020-07-07] https://arxiv. org/abs/1702.06081, 2017. CORBETT-DAVIES S, GOEL S. The measure and mis￾measure of fairness: a critical review of fair machine learning [DB/OL]. (2018-08-14)[2020-07-07] https://arx￾iv.org/abs/1808. 00023, 2018. [44] KANNAN S, KEARNS M, MORGENSTERN J, et al. Fairness incentives for myopic agents[C]//Proceedings of the 2017 ACM Conference on Economics and Computa￾tion. New York, USA, 2017: 369−386. [45] CORBETT-DAVIES S, PIERSON E, FELLER A, et al. Algorithmic decision making and the cost of fair￾ness[C]//Proceedings of the 23rd ACM SIGKDD Interna￾tional Conference on Knowledge Discovery and Data Mining. New York, USA, 2017: 797−806. [46] D’AMOUR A, SRINIVASAN H, ATWOOD J, et al. Fairness is not static: deeper understanding of long term fairness via simulation studies[C]//Proceedings of the 2020 Conference on Fairness, Accountability, and Trans￾parency. Barcelona, Spain, 2020: 525−534. [47] Google/ml-fairness-gym[EB/OL]. [2020-07-26] https://github.com/google/ml-fairness-gym/. [48] KUPPAM S, MCKENNA R, PUJOL D, et al. Fair de￾cision making using privacy-protected data [DE/OL]. (2020-01-24)[2020-08-07] https://arxiv.org/abs/1905. 12744, 2020. [49] SLACK D, FRIEDLER S A, GIVENTAL E. Fairness warnings and fair-MAML: learning fairly with minimal data[C]//Proceedings of the 2020 Conference on Fairness, Accountability, and Transparency. Barcelona, Spain, 2019: 200−209. [50] GANCHEV K, KEARNS M, NEVMYVAKA Y, et al. Censored exploration and the dark pool problem[C]//Pro￾ceedings of the 25th Conference on Uncertainty in Artifi￾cial Intelligence. Arlington, USA, 2009: 185−194. [51] DONAHUE K, KLEINBERG J. Fairness and utilization in allocating resources with uncertain demand[C]//Pro￾ceedings of the 2020 Conference on Fairness, Accountab￾ility, and Transparency. New York, USA, 2020: 658−668. [52] DEVRIES T, MISRA I, WANG C, et al. 2019. Does ob￾ject recognition work for everyone? [EB/OL]. (2019-06- 18)[2020-07-07] https://arxiv.org/abs/1906.02659, 2019. [53] STOCK P, CISSE M. ConvNets and ImageNet beyond accuracy: understanding mistakes and uncovering biases[C]//Proceedings of the 15th European Conference on Computer Vision. Munich, Germany, 2018: 498−512. [54] DULHANTY C, WONG A. Auditing imageNet: towards a model-driven framework for annotating demographic at- [55] tributes of large-scale image datasets [EB/OL]. (2019-06- 04)[2020-07-07] https://arxiv.org/abs/1905.01347, 2019. YANG Kaiyu, QINAMI K, FEI-FEI L, et al. Towards fairer datasets: filtering and balancing the distribution of the people subtree in the ImageNet hierarchy[C]//Pro￾ceedings of the 2020 Conference on Fairness, Accountab￾ility, and Transparency. New York, USA, 2020: 547−558. [56] BORDIA S, BOWMAN S R. Identifying and reducing gender bias in word-level language models[C]//Proceed￾ings of the 9th American Chapter of the Association for Computational Linguistics. Minneapolis, Minnesota, 2019: 7−15. [57] GREEN B, CHEN Yiling. Disparate interactions: an al￾gorithm-in-the-loop analysis of fairness in risk assess￾ments[C]//Proceedings of the Conference on Fairness, Ac￾countability, and Transparency. Atlanta, USA, 2019: 90−99. [58] SONG Jiaming, KALLURI P, GROVER A, et al. Learn￾ing Controllable Fair Representations[C]//Proceedings of the 22nd International Conference on Artificial Intelli￾gence and Statistics. Naha, Japan, 2019: 2164−2173. [59] LIU L T, DEAN S, ROLF E, et al. Delayed impact of fair machine learning[C]//Proceedings of the 35th Internation￾al Conference on Machine Learning. Stockholm, Sweden, 2018: 3150−3158. [60] 作者简介： 邓蔚，讲师，博士后，主要研究方 向为知识图谱、机器行为学、计算社会 科学与算法伦理。近年来参与国家自 然科学基金重点项目、国家重点研发 计划等国家级项目 3 项。申请国家发 明专利 10 余项，发表学术论文 30 余 篇，出版学术著作 1 部。 邢钰晗，硕士研究生，主要研究方 向为公平性机器学习和数据科学。 王国胤，教授，博士生导师，重庆 邮电大学副校长，研究生院院长，人工 智能学院院长，中国人工智能学会副 理事长，主要研究方向为粗糙集、粒计 算和认知计算。近年来承担多个国家 重点研发计划、国家自然科学基金重 点项目等。发表学术论文 300 余篇， 出版专著 10 余部。 ·586· 智 能 系 统 学 报 第 15 卷