第3期 邓蔚，等：公平性机器学习研究综述 ·583· 4.2数据的复杂性 语言建模是一项非常容易受到性别偏见影响 某些统计数据十分敏感，受到法律条款保 的自然语言处理任务，同时也非常具有实际应用 护。通过加入不同程度的噪音保护敏感数据，往 价值，例如屏幕键盘中的单词预测。Bordia等s列 往会降低机器学习的准确性。 评估了性别偏见对于在文本语料库中训练的单词 在某些情况下，常见的隐私算法对个体公平 级别的语言模型的性能影响。 的影响可以忽略不计。但当隐私更严格时或决策 在司法智能应用中，需要保证算法的公平 涉及人口较少时可能出现严重的不公平现象。 性。Green等sI认为不应过于偏向研究算法的精 在数据很少甚至是没有数据时，难以做出准 确性，而应该研究怎么设计一个系统使得人们利 确预测，其一是公平警告(fair warnings),当将系统 用和系统的交互，综合做出公平性判断，并提出 应用到一个相似数据集时，可以解释产生不公 了一个循环算法的框架。 平性的边界条件；其二是模型不可知的元学习 (model agnostic meta learning,MAML,该算法在强 5关键问题和重大挑战 化学习和图像识别的方面用很少的数据达到一个 国际上对公平性机器学习的研究中，如何设 很好的效果5o。 计更好的公平性指标，如何针对实际问题对公平 4.3特定场景下的公平性问题 性机器学习算法进行设计、分析、测试和评估，这 实现某种程度上的公平需要一定的公平代 是当前面临的关键问题。本文对公平性机器学习 价(price of fairness,PoF)s,需要在公平性与其他 领域面临的重大挑战，进行了进一步的总结和思考。 待优化因素之间进行权衡。机器学习的准确率降 1)数据的复杂性 低，在资源分配问题中则体现为对资源的不充分 在许多情况下，获取代表性数据可能过于困 利用，考虑公平性下的资源最大利用率，小于不 难。同时公平性算法对于输入的变化特别敏感。 考虑公平性时的最大利用率。在需求不确定时分 数据挑战包括在数据标注时的错误、测量误差、 配资源，存在某些自然分布族，如指数分布和威 偏差和样本不平衡。数据标签错误是实现公平机 尔分布，能够使在考虑公平性条件下的资源最大 可利用率达到无该约束条件下的最大可利用率； 器学习最严重障碍之一。数据类别不平衡也会影 幂律分布虽然不能消除最优解与公平解之间的距 响不公平性学习效果。只有通过尽量准确的标注 离PoF,但是能够被一个独立于分布参数的常数 数据，以及针对训练数据的特点设计机器学习算 所限制5凶。 法实现公平性。同时，建设评估公平性算法的数 在计算机视觉领域，由于ImageNet数据大多 据集也很关键。 为人为标注，并且类别绝大部分是欧美人$)，因此 2)公平性表示学习 比如在人脸识别系统中，对某些种族的人错误率 公平性表示学习包含数据和模型的公平性表 有明显偏高，因此产生公平性问题。比如基于 示。数据的公平性表示，是指一方面能够表达出 ILSVRC数据集为场景，这是ImageNet的子集s4s, 包含数据点相关的大量有用信息，同时这一表示 有1000种类别，其中人只有3种类别（司机、棒 是公平的，即包含有关敏感属性信息，目的是防止 球员、新娘)。使用ImageNet来研究人的类别标 机器学习算法产生歧视性行为。模型的公平性表 签，发现导致图像识别不公平的根本的3个原因： 示，是指把公平性嵌入到机器学习模型中，成为不 1)WordNet中的停滞词汇；2)所有类别图像的详 可分割的一部分。结合认知理论，特别是多粒度 尽描述；3)图像类别的不平衡。对ImageNet的2832 认知计算进行公平性表示学习是值得探索的方向例。 种类别进行过滤，只有158种类别可以用于图像 3)公平性算法的鲁棒性 识别。 已经有相当多的研究专注于实验条件下公平 在推荐系统中，需要保证推荐是公平的而不 性算法的准确性，然而算法在实际应用中会面临 依赖于用户的种族或性别，系统能够在不暴露自 攻击行为，如何设计鲁棒性公平性机器学习方法 身属性的前提下学习节点嵌人表示以保证隐私。 是一个公开问题。 Bose等o聚焦于对社会图加入不变性约束的可 4)公平性算法的动态性 行性，即生成对特定敏感信息不变的图嵌入。首 目前大部分研究主要是在静态分类的场景下 先训练得到一组过滤器，以防止对抗式的甄别者 进行机器学习中的公平性问题研究，并没有研究 将敏感信息与过滤后的嵌入信息进行分类。然后 这些决定会如何随着时间流逝而影响未来。通常 将过滤器以不同的方式组合在一起，灵活生成对 认为给机器学习模型施加公平性的限制以后，能 任何敏感属性子集不变的嵌入。 够更好地改进不公平性，然而实际情况并非如4.2 数据的复杂性 某些统计数据十分敏感，受到法律条款保 护。通过加入不同程度的噪音保护敏感数据，往 往会降低机器学习的准确性。 在某些情况下，常见的隐私算法对个体公平 的影响可以忽略不计。但当隐私更严格时或决策 涉及人口较少时可能出现严重的不公平现象[49]。 在数据很少甚至是没有数据时，难以做出准 确预测，其一是公平警告 (fair warnings)，当将系统 应用到一个相似数据集时，可以解释产生不公 平性的边界条件；其二是模型不可知的元学习 (model agnostic meta learning, MAML)，该算法在强 化学习和图像识别的方面用很少的数据达到一个 很好的效果[50]。 4.3 特定场景下的公平性问题 实现某种程度上的公平需要一定的公平代 价 (price of fairness，PoF)[51] ，需要在公平性与其他 待优化因素之间进行权衡。机器学习的准确率降 低，在资源分配问题中则体现为对资源的不充分 利用，考虑公平性下的资源最大利用率，小于不 考虑公平性时的最大利用率。在需求不确定时分 配资源，存在某些自然分布族，如指数分布和威 尔分布，能够使在考虑公平性条件下的资源最大 可利用率达到无该约束条件下的最大可利用率； 幂律分布虽然不能消除最优解与公平解之间的距 离 PoF，但是能够被一个独立于分布参数的常数 所限制[52]。 在计算机视觉领域，由于 ImageNet 数据大多 为人为标注，并且类别绝大部分是欧美人[53] ，因此 比如在人脸识别系统中，对某些种族的人错误率 有明显偏高，因此产生公平性问题。比如基于 ILSVRC 数据集为场景，这是 ImageNet 的子集[54-56] ， 有 1 000 种类别，其中人只有 3 种类别 (司机、棒 球员、新娘)。使用 ImageNet 来研究人的类别标 签，发现导致图像识别不公平的根本的 3 个原因： 1)WordNet 中的停滞词汇；2) 所有类别图像的详 尽描述；3) 图像类别的不平衡。对 ImageNet 的 2832 种类别进行过滤，只有 158 种类别可以用于图像 识别[45]。 在推荐系统中，需要保证推荐是公平的而不 依赖于用户的种族或性别，系统能够在不暴露自 身属性的前提下学习节点嵌入表示以保证隐私。 Bose 等 [40] 聚焦于对社会图加入不变性约束的可 行性，即生成对特定敏感信息不变的图嵌入。首 先训练得到一组过滤器，以防止对抗式的甄别者 将敏感信息与过滤后的嵌入信息进行分类。然后 将过滤器以不同的方式组合在一起，灵活生成对 任何敏感属性子集不变的嵌入。 语言建模是一项非常容易受到性别偏见影响 的自然语言处理任务，同时也非常具有实际应用 价值，例如屏幕键盘中的单词预测。Bordia 等 [57] 评估了性别偏见对于在文本语料库中训练的单词 级别的语言模型的性能影响。 在司法智能应用中，需要保证算法的公平 性。Green 等 [58] 认为不应过于偏向研究算法的精 确性，而应该研究怎么设计一个系统使得人们利 用和系统的交互，综合做出公平性判断，并提出 了一个循环算法的框架。 5 关键问题和重大挑战 国际上对公平性机器学习的研究中，如何设 计更好的公平性指标，如何针对实际问题对公平 性机器学习算法进行设计、分析、测试和评估，这 是当前面临的关键问题。本文对公平性机器学习 领域面临的重大挑战，进行了进一步的总结和思考。 1) 数据的复杂性 在许多情况下，获取代表性数据可能过于困 难。同时公平性算法对于输入的变化特别敏感。 数据挑战包括在数据标注时的错误、测量误差、 偏差和样本不平衡。数据标签错误是实现公平机 器学习最严重障碍之一。数据类别不平衡也会影 响不公平性学习效果。只有通过尽量准确的标注 数据，以及针对训练数据的特点设计机器学习算 法实现公平性。同时，建设评估公平性算法的数 据集也很关键。 2) 公平性表示学习 公平性表示学习包含数据和模型的公平性表 示。数据的公平性表示，是指一方面能够表达出 包含数据点相关的大量有用信息，同时这一表示 是公平的，即包含有关敏感属性信息，目的是防止 机器学习算法产生歧视性行为。模型的公平性表 示，是指把公平性嵌入到机器学习模型中，成为不 可分割的一部分。结合认知理论，特别是多粒度 认知计算进行公平性表示学习是值得探索的方向[59]。 3) 公平性算法的鲁棒性 已经有相当多的研究专注于实验条件下公平 性算法的准确性，然而算法在实际应用中会面临 攻击行为，如何设计鲁棒性公平性机器学习方法 是一个公开问题。 4) 公平性算法的动态性 目前大部分研究主要是在静态分类的场景下 进行机器学习中的公平性问题研究，并没有研究 这些决定会如何随着时间流逝而影响未来。通常 认为给机器学习模型施加公平性的限制以后，能 够更好地改进不公平性，然而实际情况并非如 第 3 期 邓蔚，等：公平性机器学习研究综述 ·583·