·584· 智能系统学报 第15卷 此。如何设计动态公平性机器学习算法，实现有 YOCHUM P,CHANG Liang,GU Tianlong,et al.A re- 反馈和长期的公平性非常重要。 view of linked open data in location-based recommenda- 5)公平性算法的可解释性 tion system in the tourism domain[J.CAAI transactions 以往的研究过于重视机器学习算法的准确 on intelligent systems,2020,15(1):25-32 [3]常乐，杨忠，张秋雁，等.悬挂负载空中机器人的抗摆控 性，特别是深度学习的广泛使用，在图像、视频和 制U.应用科技，2020,47(2)17-22 文本领域实现高准确性的同时，模型越来越复 CHANG Le,YANG Zhong,ZHANG Qiuyan,et al.Anti- 杂。在实际应用中，算法的可解释性变得越来越 swing control research of aerial robot with suspended 重要，在设计可解释性模型的同时，务必保证公 load[J].Applied science and technology,2020,47(2): 平性结果的可解释性。 17-22. 6)平衡公平性与其他指标 [4]KHANDANI A E,KIM A J,LO A W.Consumer credit- 实现公平性会对算法的其他性能指标带来损 risk models via machine-learning algorithms[].Journal of 耗，如何平衡公平性和效率，如何平衡公平性与准 banking and finance,2010,34(11):2767-2787. 确性，如何平衡公平性与可解释性等6。如何达到 [5]BRENNAN T.DIETERICH W,EHRET B.Evaluating the predictive validity of the compas risk and needs assess- 平衡，综合考虑多个指标的影响是值得研究的问题。 ment system[J].Criminal justice and behavior,2009, 7)建设公平性软件工具箱 36(1:21-40. 目前只有Google发布的工具箱ML-fairness-- [6]MAHONEY J F,MOHEN J M.Method and system for ym,用来探索在社交网络环境中部署智能决策 loan origination and underwriting[P].US:7287008.1, 系统的影响。公平性机器学习软件工具的开发和 2007-10-23. 应用是丰富生态系统的重要举措。 [7]KEARNS M,ROTH A.The ethical algorithm:the science 8)社会环境适用性 of socially aware algorithm design[M].New York:Oxford University Press,2019:11. 公平性设计需要结合各国的法律，结合各国 [8]EEE新版“人工智能设计的伦理准则”白皮书全球重磅 的规章制度，以及不同应用系统的要求，如为非 发布[EB/OL].(2017-12-15)[2020-07-26]https:/∥ 歧视性雇佣、量刑指导风险评估和贷款分配，实 www.sohu.com/a/210646713468720】 现应用领域的公平性。算法的公平性需要与社会 [9]Publications Office of the EU[EB/OL].(2018-03- 公正的平等概念建立更深层次的联系，才能避免 09)[2020-07-26]https://op.europa.eu/en/publication- 狭隘的技术解决方案，建立更公平的机器学习模型。 detail/-/publication/dfebe62e-4ce9-11e8-beld- 01aa75ed71al/language-en/format-PDF/source-78120382. 6结束语 [10]吴沈括，周洁，杨滢滢.人工智能伦理与数据保护宣言 EB/OL].(2018-10-30)[2020-07-26].http:/www.yidian- 随着机器学习算法的广泛应用，当前人工智 zixun.com/m/article/0KOD5oLY. 能伦理和人工智能治理引起了社会的广泛关注， [11]OECD Principles on AI[EB/OL].[2020-07-26] 算法公平性成为研究热点，不过研究和应用仍处 https://www.oecd.org/going-digital/ai/principles/. 于起步阶段，还有很多问题值得深入研究。 [12]G20 ministerial statement on trade and digital 本文针对公平性机器学习的研究现状进行了 economy[EB/0L].(2019-06-09)[2020-07-26] 综述，对公平性算法的实现机制进行了调研，并 http://www.g20.utoronto.ca/2019/2019-g20-trade.html. 总结了当前面临的重大问题和挑战，希望给相关 [13]国家新一代人工智能治理专业委员会.发展负责任的 研究人员提供一些参考。只有实现了机器学习算 人工智能：新一代人工智能治理原则发布[EB/OL] 法在应用中的公平性，人工智能才能更好地服务 (2019-06-17)[2020-07-26]http:/www.most.gov.cn kibgz/201906/20190617_147107htm. 于人类，才能更好地发挥其社会和经济价值。 [14]FRIEDLER S A,SCHEIDEGGER C,VENKATASUB- 参考文献： RAMANIAN S,et al.A comparative study of fairness-en- hancing interventions in machine learning[C]//Proceed- [1]高庆吉，赵志华，徐达，等.语音情感识别研究综述.智 ings of the Conference on Fairness,Accountability,and 能系统学报，2020,15(1)：1-13. Transparency.New York,USA,2019:329-338. GAO Qingji,ZHAO Zhihua,XU Da,et al.Review on [15]KUSNER M,LOFTUS J,RUSSEL C,et al.Counterfac- speech emotion recognition research[J].CAAI transac- tual fairness[C]//Proceedings of the 31st Conference on tions on intelligent systems,2020,15(1):1-13. Neural Information Processing Systems (NIPS 2017). [2]YOCHUM P,常亮，古天龙，等.基于位置和开放链接数 Long Beach,USA,2017. 据的旅游推荐系统综述[.智能系统学报，2020,15(1)： [16]GRGIC-HLACA N.ZAFAR M B.GUMMADI K P,et al. 25-32. The case for process fairness in learning:feature selec-此。如何设计动态公平性机器学习算法，实现有 反馈和长期的公平性非常重要。 5) 公平性算法的可解释性 以往的研究过于重视机器学习算法的准确 性，特别是深度学习的广泛使用，在图像、视频和 文本领域实现高准确性的同时，模型越来越复 杂。在实际应用中，算法的可解释性变得越来越 重要，在设计可解释性模型的同时，务必保证公 平性结果的可解释性。 6) 平衡公平性与其他指标 实现公平性会对算法的其他性能指标带来损 耗，如何平衡公平性和效率，如何平衡公平性与准 确性，如何平衡公平性与可解释性等[60]。如何达到 平衡，综合考虑多个指标的影响是值得研究的问题。 7) 建设公平性软件工具箱 目前只有 Google 发布的工具箱 ML-fairness￾gym，用来探索在社交网络环境中部署智能决策 系统的影响。公平性机器学习软件工具的开发和 应用是丰富生态系统的重要举措。 8) 社会环境适用性 公平性设计需要结合各国的法律，结合各国 的规章制度，以及不同应用系统的要求，如为非 歧视性雇佣、量刑指导风险评估和贷款分配，实 现应用领域的公平性。算法的公平性需要与社会 公正的平等概念建立更深层次的联系，才能避免 狭隘的技术解决方案，建立更公平的机器学习模型。 6 结束语 随着机器学习算法的广泛应用，当前人工智 能伦理和人工智能治理引起了社会的广泛关注， 算法公平性成为研究热点，不过研究和应用仍处 于起步阶段，还有很多问题值得深入研究。 本文针对公平性机器学习的研究现状进行了 综述，对公平性算法的实现机制进行了调研，并 总结了当前面临的重大问题和挑战，希望给相关 研究人员提供一些参考。只有实现了机器学习算 法在应用中的公平性，人工智能才能更好地服务 于人类，才能更好地发挥其社会和经济价值。 参考文献： 高庆吉, 赵志华, 徐达, 等. 语音情感识别研究综述 [J]. 智 能系统学报, 2020, 15(1): 1–13. GAO Qingji, ZHAO Zhihua, XU Da, et al. Review on speech emotion recognition research[J]. CAAI transac￾tions on intelligent systems, 2020, 15(1): 1–13. [1] YOCHUM P, 常亮, 古天龙, 等. 基于位置和开放链接数 据的旅游推荐系统综述 [J]. 智能系统学报, 2020, 15(1): 25–32. [2] YOCHUM P, CHANG Liang, GU Tianlong, et al. A re￾view of linked open data in location-based recommenda￾tion system in the tourism domain[J]. CAAI transactions on intelligent systems, 2020, 15(1): 25–32. 常乐, 杨忠, 张秋雁, 等. 悬挂负载空中机器人的抗摆控 制 [J]. 应用科技, 2020, 47(2): 17–22. CHANG Le, YANG Zhong, ZHANG Qiuyan, et al. Anti￾swing control research of aerial robot with suspended load[J]. Applied science and technology, 2020, 47(2): 17–22. [3] KHANDANI A E, KIM A J, LO A W. Consumer credit￾risk models via machine-learning algorithms[J]. Journal of banking and finance, 2010, 34(11): 2767–2787. [4] BRENNAN T, DIETERICH W, EHRET B. Evaluating the predictive validity of the compas risk and needs assess￾ment system[J]. Criminal justice and behavior, 2009, 36(1): 21–40. [5] MAHONEY J F, MOHEN J M. Method and system for loan origination and underwriting[P]. US: 7287008.1, 2007-10-23. [6] KEARNS M, ROTH A. The ethical algorithm: the science of socially aware algorithm design[M]. New York: Oxford University Press, 2019: 11. [7] IEEE 新版“人工智能设计的伦理准则”白皮书全球重磅 发布 [EB/OL]. (2017-12-15)[2020-07-26] https:// www.sohu.com/a/210646713_468720. [8] Publications Office of the EU[EB/OL]. (2018-03- 09)[2020-07-26] https://op.europa.eu/en/publication￾detail/-/publication/dfebe62e-4ce9-11e8-be1d- 01aa75ed71a1/language-en/format-PDF/source-78120382. [9] 吴沈括, 周洁, 杨滢滢. 人工智能伦理与数据保护宣言 [EB/OL]. (2018-10-30)[2020-07-26]. http://www.yidian￾zixun.com/m/article/0KOD5oLY. [10] OECD Principles on AI[EB/OL]. [2020-07-26] https://www.oecd.org/going-digital/ai/principles/. [11] G20 ministerial statement on trade and digital economy[EB/OL]. (2019-06-09)[2020-07-26] http://www.g20.utoronto.ca/2019/2019-g20-trade.html. [12] 国家新一代人工智能治理专业委员会. 发展负责任的 人工智能: 新一代人工智能治理原则发布 [EB/OL]. (2019-06-17)[2020-07-26] http://www.most.gov.cn/ kjbgz/201906/t20190617_147107.htm. [13] FRIEDLER S A, SCHEIDEGGER C, VENKATASUB￾RAMANIAN S, et al. A comparative study of fairness-en￾hancing interventions in machine learning[C]//Proceed￾ings of the Conference on Fairness, Accountability, and Transparency. New York, USA, 2019: 329−338. [14] KUSNER M, LOFTUS J, RUSSEL C, et al. Counterfac￾tual fairness[C]//Proceedings of the 31st Conference on Neural Information Processing Systems (NIPS 2017). Long Beach, USA, 2017. [15] GRGIĆ-HLAČA N, ZAFAR M B, GUMMADI K P, et al. The case for process fairness in learning: feature selec- [16] ·584· 智 能 系 统 学 报 第 15 卷