第3期 邓蔚，等：公平性机器学习研究综述 ·579· 家新一代人工智能治理专业委员会于2020年发 民主思想与现存的公平概念结合，提出在不同社 布的《新一代人工智能治理原则一发展负责 会背景中某一特定的民主思想背景下，如何选取 任的人工智能》。在以上宣言或原则中，都不 公平性的评价标准，并指出反事实公平、无意识 同程度强调了算法的公平性问题。所谓公平性机 公平及基于组条件的公平更适用于竞争民主，个 器学习是将公平性植入到模型设计中，使得算法 体公平更适用于自由民主，基于偏好的公平更适 对敏感属性（如种族、性别宗教等）的分类预测结 用于平等民主。 果对人来说是公平或非歧视的。虽然模型的结果 1.4机会均等(equality of opportunity,.EO) 必须考虑准确性指标，但是也必须考虑其社会影 如果预测值满足P()=1S=0,Y=1)=P(S=1, 响，因此对机器学习的公平性的评估和分析显得 Y=1),则称算法实现了机会均等。比较在同类别 尤为重要4均 Y中的基于不同敏感属性S,预测标签的概率是否 相等，称为基于组条件精度的公平。不同的EO 1 公平性的定义 的衍生定义如表1所示。 公平性机器学习算法需要考虑两个密切相关 表1不同的机会均等定义 Table 1 Different definitions of EO 的方面：首先是在特定社会场景中如何定义公平 名称 数学定义 性，其次是社会可接受程度。通常假定敏感属性 为二元属性，以下对本文中使用的符号进行定义： s的淮确率 P(Y=ylS=s.Y=y) S表示敏感属性或受保护属性；X表示除了受保 s的召回率 P(P=11S=s,Y=1) 护属性外的其他可观测属性；Y为要被预测的标 s-TNR P(P=0|S=s,Y=0) 签；P为对于Y的预测，是取决于S、X的随机 s-BCR [P(P=0S=3,Y=0+P(P=1S=s,Y=/2 变量。 Chouldechova2的目标是在敏感群体中实现 l.l无意识公平(fairness through unawareness,.FTU) 如果在算法中不使用受保护属性S进行训练 1-s-TPR和1-s-TNR值相等，即错误率平衡。在 及预测，则这个算法的公平满足FTU6。FTU模 敏感群体中如果实现了相同的s-TPR和1-s-TNR, 型简单，但是加入X包含类对S的歧视性信息，导 则称机会均衡。 致不公平。 l.5不同对待(disparate treatment) 通常法律通过两个不同概念来评估决策过程 l.2个体公平(individual fairness,.IF) IF是由Dwork在2012年提出的7。如果一 的公平性：不同对待和不同影响。如果决策过程 部分或全部基于受试者的敏感属性信息，则决策 个算法对于相似个体的预测结果是相同的，就称 过程将导致不同对待。当决策系统为具有相同 其实现了个体公平。给定一个度量，如果个体 1和j是相似的，则对其预测也应该相似18-20。 (或类似)非敏感属性（或特征）值，但不同敏感属 性值的人群提供不同的输出结果时，称为不同对待。 Kim等改进了告知个人偏好的个体公平(pref Zafar等P参照上述两种概念定义，通过从决 erence-informed individual fairness,.PIF),即放松个 策过程中删除敏感属性避免不同对待，以及增加 体公平，允许偏离F但是要符合个人偏好，可以 公平约束消除不同影响进行研究。观察到标准的 为个人提供更为有利的解决方案。 公平约束是非凸的，其引入协方差将非凸问题转 l.3人口均等(demographic parity,DP)/不同影响 化为凸型，并通过参数来衡量输出结果及敏感属 (disparate impact,DI) 性，研究了多分类的敏感属性及多个敏感属性分 如果预测值氵满足P(S=O)=P(位S=1),则 析问题。 算法实现了人口均等(DP)P l.6不同误判率(disparate mistreatment,.DM) DI定义为P(立lS=O)/P(?S=1)。在二分类 在决策实现公平性中，如果历史数据中存在 中，所有非特权类被分组成一个单独的值S=0(例 偏见，那么不同影响及不同对待适合作为公平衡 如，“非白种人”)，与特权类S=1(例如，“白种人”) 量标准，但是当训练数据是基于历史事实而来， 进行比较。在多分类中，对特权组进行成对DI计 使用不同误判率指标来衡量公平性会更准确。当 算，并取这些计算的平均值作为最终值四。 分类器对于不同敏感属性输出错误率不同时，称 Zafar等2)在将不同影响解释为决策系统的 为不同误判率DM,公式为2 不同结果，对于具有敏感属性的某些人群，所产 P(2=1lY=0,S=0)+P(2=0Y=1,S=0)= 生的不同有益或有害的影响。Beretta等P将5种 P(Y=1IY=0,S=1)+P(P=0lY=1,S=1)家新一代人工智能治理专业委员会于 2020 年发 布的《新一代人工智能治理原则−发展负责 任的人工智能》[13]。在以上宣言或原则中，都不 同程度强调了算法的公平性问题。所谓公平性机 器学习是将公平性植入到模型设计中，使得算法 对敏感属性 (如种族、性别宗教等) 的分类预测结 果对人来说是公平或非歧视的。虽然模型的结果 必须考虑准确性指标，但是也必须考虑其社会影 响，因此对机器学习的公平性的评估和分析显得 尤为重要[14-15]。 1 公平性的定义 Yˆ 公平性机器学习算法需要考虑两个密切相关 的方面：首先是在特定社会场景中如何定义公平 性，其次是社会可接受程度。通常假定敏感属性 为二元属性，以下对本文中使用的符号进行定义： S 表示敏感属性或受保护属性；X 表示除了受保 护属性外的其他可观测属性；Y 为要被预测的标 签 ； 为对于 Y 的预测，是取决于 S、X 的随机 变量。 1.1 无意识公平 (fairness through unawareness, FTU) 如果在算法中不使用受保护属性 S 进行训练 及预测，则这个算法的公平满足 FTU[16]。FTU 模 型简单，但是加入 X 包含类对 S 的歧视性信息，导 致不公平。 1.2 个体公平 (individual fairness, IF) IF 是由 Dwork 在 2012 年提出的[17]。如果一 个算法对于相似个体的预测结果是相同的，就称 其实现了个体公平。给定一个度量，如果个体 i 和 j 是相似的，则对其预测也应该相似[ 1 8 - 2 0 ]。 Kim 等 [21] 改进了告知个人偏好的个体公平 (pref￾erence-informed individual fairness，PIIF)，即放松个 体公平，允许偏离 IF 但是要符合个人偏好，可以 为个人提供更为有利的解决方案。 1.3 人口均等 (demographic parity, DP)/不同影响 (disparate impact, DI) 如果预测值 Yˆ 满足 P( Yˆ |S =0) = P ( Yˆ |S = 1)，则 算法实现了人口均等 (DP)[21]。 DI 定义为 P( Yˆ |S =0)/P ( Yˆ |S = 1)。在二分类 中，所有非特权类被分组成一个单独的值 S=0（例 如，“非白种人”），与特权类 S=1（例如，“白种人”） 进行比较。在多分类中，对特权组进行成对 DI 计 算，并取这些计算的平均值作为最终值[22]。 Zafar 等 [23] 在将不同影响解释为决策系统的 不同结果，对于具有敏感属性的某些人群，所产 生的不同有益或有害的影响。Beretta 等 [24] 将 5 种 民主思想与现存的公平概念结合，提出在不同社 会背景中某一特定的民主思想背景下，如何选取 公平性的评价标准，并指出反事实公平、无意识 公平及基于组条件的公平更适用于竞争民主，个 体公平更适用于自由民主，基于偏好的公平更适 用于平等民主。 1.4 机会均等 (equality of opportunity, EO) 如果预测值满足 P( γˆ = 1 |S=0,Y=1)= P( γˆ |S = 1, Y=1)，则称算法实现了机会均等。比较在同类别 Y 中的基于不同敏感属性 S，预测标签的概率是否 相等，称为基于组条件精度的公平。不同的 EO 的衍生定义如表 1 所示。 表 1 不同的机会均等定义 Table 1 Different definitions of EO 名称 数学定义 s的准确率 P(Yˆ = y | S = s,Y = y) s的召回率 P(Yˆ = 1 | S = s,Y = 1) s-TNR P(Yˆ = 0 | S = s,Y = 0) s-BCR [ P ( Yˆ = 0|S = s, Y = 0 ) + P ( Yˆ = 1|S = s, Y = 1 )] /2 Chouldechova[25] 的目标是在敏感群体中实现 1−s-TPR 和 1−s-TNR 值相等，即错误率平衡。在 敏感群体中如果实现了相同的 s-TPR 和 1−s-TNR， 则称机会均衡。 1.5 不同对待 (disparate treatment) 通常法律通过两个不同概念来评估决策过程 的公平性：不同对待和不同影响。如果决策过程 部分或全部基于受试者的敏感属性信息，则决策 过程将导致不同对待。当决策系统为具有相同 (或类似) 非敏感属性 (或特征) 值，但不同敏感属 性值的人群提供不同的输出结果时，称为不同对待。 Zafar 等 [23] 参照上述两种概念定义，通过从决 策过程中删除敏感属性避免不同对待，以及增加 公平约束消除不同影响进行研究。观察到标准的 公平约束是非凸的，其引入协方差将非凸问题转 化为凸型，并通过参数来衡量输出结果及敏感属 性，研究了多分类的敏感属性及多个敏感属性分 析问题。 1.6 不同误判率 (disparate mistreatment, DM) 在决策实现公平性中，如果历史数据中存在 偏见，那么不同影响及不同对待适合作为公平衡 量标准，但是当训练数据是基于历史事实而来， 使用不同误判率指标来衡量公平性会更准确。当 分类器对于不同敏感属性输出错误率不同时，称 为不同误判率 DM，公式为[23] P(Yˆ = 1|Y = 0, S = 0)+ P(Yˆ = 0|Y = 1,S = 0) = P(Yˆ = 1|Y = 0,S = 1)+ P(Yˆ = 0|Y = 1,S = 1) 第 3 期 邓蔚，等：公平性机器学习研究综述 ·579·