人工智能伦理体系：基础架构与关键问题（中国科学技术大学：陈小平）

第14卷第4期 智能系统学报 Vol.14 No.4 2019年7月 CAAI Transactions on Intelligent Systems Jul.2019 D0:10.11992/tis.201906037 网络出版地址：http:/kns.cnki.net/kcms/detail/23.1538.TP.20190621.1449.002.html 人工智能伦理体系：基础架构与关键问题 陈小平 (中国科学技术大学计算机学院，安徽合肥230026) 摘要：全球范围内针对人工智能伦理准则的讨论已达成基本共识。在此基础上，本文进一步研究4个关键问 题：人工智能伦理体系的运行机制问题、人工智能伦理准则的场景落地问题、人工智能伦理风险的预测判别问 题，以及人工智能伦理对重大社会问题综合创新的支撑机制问题。这些问题超越了人工智能伦理准则的范围。 却是一种完整、有效的人工智能伦理体系所必须解答的。本文的主要贡献是对这4个问题提出一套建议 方案。 关键词：人工智能：伦理体系：伦理准则：风险预测：伦理性创新 中图分类号：N01:TP18文献标志码：A文章编号：1673-4785(2019)04-0605-06 中文引用格式：陈小平.人工智能伦理体系：基础架构与关键问题智能系统学报，2019,14(4)：605-610. 英文引用格式：CHEN Xiaoping..Ethical system of artificial intelligence:infrastructure and key issues.CAAI transactions on in- telligent systems,2019,14(4):605-610. Ethical system of artificial intelligence:infrastructure and key issues CHEN Xiaoping (University of Science and Technology of China,Computer School,Hefei 230026,China) Abstract:On the basis of consensus on ethical guidelines or principles so far reached in the world,four key issues on ethical system of AI will be studied further in this paper:operating mechanisms of AI ethics system,the grounding of AI ethical guidelines in real-world scenarios,prediction and identification of ethical risks of AI technology,and compre- hensive innovation mechanisms of handling major social problems supported by the AI ethics system.These issues go beyond the realm of AI ethical guidelines,while they must be solved in order to develop a complete and effective oper- ating system of AI ethics.A preliminary plan for solving these issues is proposed as the main contribution of this paper. Keywords:artificial intelligence;ethical system;ethical guidelines,risk prediction;ethical innovation 随着人工智能第三次浪潮带来的重要进展， 如中国人工智能学会理事长李德毅院士在论坛致 人工智能伦理挑战已成为当前国内外普遍关注的 辞中指出的那样，本次论坛具有里程碑意义。 一个焦点，一些组织和机构开展了相关议题的研 讨，发布了一批人工智能伦理准则的建议。中国 1人工智能伦理建设：从伦理准则 人工智能学会对人工智能伦理问题高度重视，于 到伦理体系 2018年年中开始组建人工智能伦理专委会。在 人工智能伦理建设已经历了两个阶段。第一 2019全球人工智能技术大会上，5月26日举行了 “全球视野下的人工智能伦理”论坛，在国际上首 阶段是人工智能伦理必要性的讨论，从专业角度 次提出了人工智能伦理体系规划问题，这意味着 说，耶鲁大学Wendell Wallach等美国学者起了带 人工智能伦理建设开始进入第三阶段，而人工智 头作用，在国际上引起了普遍重视；从更广泛的 能伦理体系的关键问题研究提上了议事日程。正 背景看，尤瓦尔赫拉利的《人类简史》发挥了重 收稿日期：2019-06-20.网络出版日期：2019-06-24 要的推动作用。第二阶段是人工智能伦理准则的 通信作者：陈小平.E-mail:xpchen@ustc.edu.cn. 讨论，欧盟走在前面，中国和其他一些国家也积

DOI: 10.11992/tis.201906037 网络出版地址: http://kns.cnki.net/kcms/detail/23.1538.TP.20190621.1449.002.html 人工智能伦理体系：基础架构与关键问题 陈小平 （中国科学技术大学 计算机学院，安徽 合肥 230026） 摘 要：全球范围内针对人工智能伦理准则的讨论已达成基本共识。在此基础上，本文进一步研究 4 个关键问 题：人工智能伦理体系的运行机制问题、人工智能伦理准则的场景落地问题、人工智能伦理风险的预测判别问 题，以及人工智能伦理对重大社会问题综合创新的支撑机制问题。这些问题超越了人工智能伦理准则的范围， 却是一种完整、有效的人工智能伦理体系所必须解答的。本文的主要贡献是对这 4 个问题提出一套建议 方案。 关键词：人工智能；伦理体系；伦理准则；风险预测；伦理性创新 中图分类号：N01; TP18 文献标志码：A 文章编号：1673−4785(2019)04−0605−06 中文引用格式：陈小平. 人工智能伦理体系：基础架构与关键问题 [J]. 智能系统学报, 2019, 14(4): 605–610. 英文引用格式：CHEN Xiaoping. Ethical system of artificial intelligence: infrastructure and key issues[J]. CAAI transactions on in￾telligent systems, 2019, 14(4): 605–610. Ethical system of artificial intelligence: infrastructure and key issues CHEN Xiaoping (University of Science and Technology of China, Computer School, Hefei 230026, China) Abstract: On the basis of consensus on ethical guidelines or principles so far reached in the world, four key issues on ethical system of AI will be studied further in this paper: operating mechanisms of AI ethics system, the grounding of AI ethical guidelines in real-world scenarios, prediction and identification of ethical risks of AI technology, and compre￾hensive innovation mechanisms of handling major social problems supported by the AI ethics system. These issues go beyond the realm of AI ethical guidelines, while they must be solved in order to develop a complete and effective oper￾ating system of AI ethics. A preliminary plan for solving these issues is proposed as the main contribution of this paper. Keywords: artificial intelligence; ethical system; ethical guidelines; risk prediction; ethical innovation 随着人工智能第三次浪潮带来的重要进展， 人工智能伦理挑战已成为当前国内外普遍关注的 一个焦点，一些组织和机构开展了相关议题的研 讨，发布了一批人工智能伦理准则的建议。中国 人工智能学会对人工智能伦理问题高度重视，于 2018 年年中开始组建人工智能伦理专委会。在 2019 全球人工智能技术大会上，5 月 26 日举行了 “全球视野下的人工智能伦理”论坛，在国际上首 次提出了人工智能伦理体系规划问题，这意味着 人工智能伦理建设开始进入第三阶段，而人工智 能伦理体系的关键问题研究提上了议事日程。正 如中国人工智能学会理事长李德毅院士在论坛致 辞中指出的那样，本次论坛具有里程碑意义。 1 人工智能伦理建设：从伦理准则 到伦理体系 人工智能伦理建设已经历了两个阶段。第一 阶段是人工智能伦理必要性的讨论，从专业角度 说，耶鲁大学 Wendell Wallach 等美国学者起了带 头作用，在国际上引起了普遍重视；从更广泛的 背景看，尤瓦尔·赫拉利的《人类简史》发挥了重 要的推动作用。第二阶段是人工智能伦理准则的 讨论，欧盟走在前面，中国和其他一些国家也积 收稿日期：2019−06−20. 网络出版日期：2019−06−24. 通信作者：陈小平. E-mail：xpchen@ustc.edu.cn. 第 14 卷第 4 期 智 能 系 统 学 报 Vol.14 No.4 2019 年 7 月 CAAI Transactions on Intelligent Systems Jul. 2019

·606· 智能系统学报 第14卷 极参与其中。 的。在混合交通系统中，人工智能技术面临着难 在第二阶段，欧盟人工智能伦理高级专家组 度和复杂度更大的挑战，而其中大部分最难的挑 提出了人工智能伦理的7条准则山，包括：确保人 战在无人驾驶交通系统中是不存在的。因此，在 的能动性和监督性、保证技术稳健性和安全性、 人工智能伦理体系中，需要为两种交通系统制定 加强隐私和数据管理、保证透明度、维持人工智 非常不同的监管规定，即使这两种交通系统符合 能系统使用的多样性、非歧视性和公平性、增强 相同的人工智能伦理准则。 社会福祉、加强问责制。我国清华大学人工智能 第三，人工智能伦理风险的预测判别问题。 与安全项目组提出了6条准则：福祉原则、安全 世界上所有民航局都规定了禁带物品清单，同时 原则、共享原则、和平原则、法治原则、合作原 强制实行登机安检，以检测乘客和乘务人员是否 则。据不完全统计1，迄今已有40多个机构或 携带了禁带物品。在人工智能伦理体系中，也需 组织提出了各自的人工智能伦理准则建议。总体 要有对应于“禁带物品清单”的某种“违禁物清 上看，所有这些准则建议是基本一致的。 单”，以便有针对性地进行风险监督和管控。显 因此本文认为，人工智能伦理准则讨论阶段 然，人工智能伦理准则只是一些原则，并不包含 已达成共识而基本结束了。在这些共识的基础 人工智能的“违禁物清单”，比如“安全原则”不可 上，人工智能伦理建设需要进入第三阶段，即人 能具体指出哪些人工智能技术是不安全的，“公平 工智能伦理体系的讨论。 性原则”不可能具体指出哪些人工智能技术是不 那么，“人工智能伦理体系”与“人工智能伦理 公平的。同时，人工智能处于不断发展之中，不 准则”有什么不同？展开人工智能伦理体系的讨 可能一劳永逸地列出完整的“违禁物清单”。所 论有什么必要性和紧迫性？我认为，以下4个关 以，只能在人工智能伦理体系中建立某种常态化 键问题，是伦理准则无法回答，人工智能伦理体 机制，该机制能够预测、判别任何一项人工智能 系建设无法回避的。不解决这些问题，就不可能 技术有什么风险、风险多大、是否应该禁用等 建立完整、有效的人工智能伦理体系。 等。这种机制过去并不存在，这是人类面临的一 第一，人工智能伦理体系的运作机制问题。 个全新课题。 任何伦理准则都不可能自我执行，都必须借助于 第四，重大社会问题综合创新的动力机制问 伦理体系中的一系列相互配合的运作机制才能得 题。伦理学的基本落脚点围绕着“正确的和错误 到落实。这就如同法律条文制定得再好，也不可 的行为61刀：也就是说，伦理并非只关心“不做错 能自我执行，必须在完整的法制体系中才可以得 事”，也关心“要做好事”。可是在迄今人工智能伦 到落实，而法制体系是由立法、司法、执法等机制 理的讨论中，防范风险的一面得到了普遍重视和 组成的。没有完整的法制体系的支撑，必然出现 广泛讨论，而推动社会进步和经济发展的一面却 有法不依的问题。当然，伦理体系与法制体系是 没有受到足够重视，这已成为人工智能伦理体系 十分不同的，不可能完全照抄法制体系的“模 建设的最大短板。有一种观点认为，推动经济发 板”，所以必须开展人工智能伦理体系的讨论，尤 展、社会进步的问题，应该并且已经由人工智能 其是运作机制的讨论。 研究和产业化承担了，无需人工智能伦理的介 第二，人工智能伦理准则的场景落地问题。 入。这种观点是不符合当今社会现实和未来发展 已经提出的人工智能伦理准则，大部分属于反映 态势的。例如，根据民政部等部门的统计，中国 普世价值的原则。当把这些准则应用于具体的实 有2.5亿个家庭需要家政服务，而现有家政服务 际场景，就需要细化为可操作的具体规定，否则 人员不到1700万。根据中国老龄办2016年调 必然停留在口号的层面上无法落地。例如，无人 查，中国失能和半失能老人总数已达4000万，而 驾驶可以有两种本质不同的应用场景。一种是完 且每年增加800万。类似问题在发达国家也不同 全无人驾驶交通系统，这种交通系统中只有无人 程度地存在着。目前，这些问题难以找到有效的 驾驶汽车，没有有人驾驶汽车，行人必须严格遵 解决办法，因为现存科技和产业创新(innovation) 守与普通道路交通完全不同的规则。另一种应用 的主要动力机制是商业化，而商业化机制应对老 场景是混合交通系统，其中无人驾驶汽车和有人 龄化等社会问题的效力是严重不足的，未来这种 驾驶汽车同时存在，行人遵守普通道路交通规 情况将越来越严重。因此，有必要在商业化机制 则。这两种交通系统虽然都是无人驾驶的应用场 之外，增加一种新型的综合创新机制，即借助于 景，它们所面临的技术和伦理风险却是非常不同 人工智能技术的伦理性创新

极参与其中。 在第二阶段，欧盟人工智能伦理高级专家组 提出了人工智能伦理的 7 条准则[1] ，包括：确保人 的能动性和监督性、保证技术稳健性和安全性、 加强隐私和数据管理、保证透明度、维持人工智 能系统使用的多样性、非歧视性和公平性、增强 社会福祉、加强问责制。我国清华大学人工智能 与安全项目组提出了 6 条准则[2] ：福祉原则、安全 原则、共享原则、和平原则、法治原则、合作原 则。据不完全统计[3-15] ，迄今已有 40 多个机构或 组织提出了各自的人工智能伦理准则建议。总体 上看，所有这些准则建议是基本一致的。 因此本文认为，人工智能伦理准则讨论阶段 已达成共识而基本结束了。在这些共识的基础 上，人工智能伦理建设需要进入第三阶段，即人 工智能伦理体系的讨论。 那么，“人工智能伦理体系”与“人工智能伦理 准则”有什么不同？展开人工智能伦理体系的讨 论有什么必要性和紧迫性？我认为，以下 4 个关 键问题，是伦理准则无法回答，人工智能伦理体 系建设无法回避的。不解决这些问题，就不可能 建立完整、有效的人工智能伦理体系。 第一，人工智能伦理体系的运作机制问题。 任何伦理准则都不可能自我执行，都必须借助于 伦理体系中的一系列相互配合的运作机制才能得 到落实。这就如同法律条文制定得再好，也不可 能自我执行，必须在完整的法制体系中才可以得 到落实，而法制体系是由立法、司法、执法等机制 组成的。没有完整的法制体系的支撑，必然出现 有法不依的问题。当然，伦理体系与法制体系是 十分不同的，不可能完全照抄法制体系的“模 板”，所以必须开展人工智能伦理体系的讨论，尤 其是运作机制的讨论。 第二，人工智能伦理准则的场景落地问题。 已经提出的人工智能伦理准则，大部分属于反映 普世价值的原则。当把这些准则应用于具体的实 际场景，就需要细化为可操作的具体规定，否则 必然停留在口号的层面上无法落地。例如，无人 驾驶可以有两种本质不同的应用场景。一种是完 全无人驾驶交通系统，这种交通系统中只有无人 驾驶汽车，没有有人驾驶汽车，行人必须严格遵 守与普通道路交通完全不同的规则。另一种应用 场景是混合交通系统，其中无人驾驶汽车和有人 驾驶汽车同时存在，行人遵守普通道路交通规 则。这两种交通系统虽然都是无人驾驶的应用场 景，它们所面临的技术和伦理风险却是非常不同 的。在混合交通系统中，人工智能技术面临着难 度和复杂度更大的挑战，而其中大部分最难的挑 战在无人驾驶交通系统中是不存在的。因此，在 人工智能伦理体系中，需要为两种交通系统制定 非常不同的监管规定，即使这两种交通系统符合 相同的人工智能伦理准则。 第三，人工智能伦理风险的预测判别问题。 世界上所有民航局都规定了禁带物品清单，同时 强制实行登机安检，以检测乘客和乘务人员是否 携带了禁带物品。在人工智能伦理体系中，也需 要有对应于“禁带物品清单”的某种“违禁物清 单”，以便有针对性地进行风险监督和管控。显 然，人工智能伦理准则只是一些原则，并不包含 人工智能的“违禁物清单”，比如“安全原则”不可 能具体指出哪些人工智能技术是不安全的，“公平 性原则”不可能具体指出哪些人工智能技术是不 公平的。同时，人工智能处于不断发展之中，不 可能一劳永逸地列出完整的“违禁物清单”。所 以，只能在人工智能伦理体系中建立某种常态化 机制，该机制能够预测、判别任何一项人工智能 技术有什么风险、风险多大、是否应该禁用等 等。这种机制过去并不存在，这是人类面临的一 个全新课题。 第四，重大社会问题综合创新的动力机制问 题。伦理学的基本落脚点围绕着“正确的和错误 的行为” [16-17] ；也就是说，伦理并非只关心“不做错 事”，也关心“要做好事”。可是在迄今人工智能伦 理的讨论中，防范风险的一面得到了普遍重视和 广泛讨论，而推动社会进步和经济发展的一面却 没有受到足够重视，这已成为人工智能伦理体系 建设的最大短板。有一种观点认为，推动经济发 展、社会进步的问题，应该并且已经由人工智能 研究和产业化承担了，无需人工智能伦理的介 入。这种观点是不符合当今社会现实和未来发展 态势的。例如，根据民政部等部门的统计，中国 有 2.5 亿个家庭需要家政服务，而现有家政服务 人员不到 1700 万。根据中国老龄办 2016 年调 查，中国失能和半失能老人总数已达 4000 万，而 且每年增加 800 万。类似问题在发达国家也不同 程度地存在着。目前，这些问题难以找到有效的 解决办法，因为现存科技和产业创新（innovation） 的主要动力机制是商业化，而商业化机制应对老 龄化等社会问题的效力是严重不足的，未来这种 情况将越来越严重。因此，有必要在商业化机制 之外，增加一种新型的综合创新机制，即借助于 人工智能技术的伦理性创新。 ·606· 智 能 系 统 学 报 第 14 卷

第4期 陈小平：人工智能伦理体系：基础架构与关键问题 ·607· 2人工智能伦理体系的基础架构 景中，需要制定针对性、强制性、可操作的实施细 则，即一套完整的监督治理规定。每一个应用场 人工智能伦理体系的一种基础架构如图1所 景都由一套对应的规定加以约束，不同的应用场 示。这个架构并不包含人工智能伦理体系的全部 景可以有不同的规定。针对一个具体的应用场 内容，而是重点回答上面指出的4个关键问题。 景，一套规定往往包含下列多方面的具体要求和 王会求 伦理使命（指导性） 规范：产品标准（企业标准）、技术标准（团体标准/ Social Requirements The Missin 国家标准/国际标准)、行规、产业政策、法规等。 研究Research 伦理准则（引导性） 科技研究 伦理研究 这些不同方面的规定是由不同的机构制定和监管 Ethical AI Ethics Principles 的，包括企业、标准化组织、行业组织、政府部门 应用Applcations 实施细则（强制性）Regulation 和法制机构，这些规定之间存在复杂的相互关 场景 场景 细则 细则 系。例如，企业制定的产品标准的指标不得低于 标准化组织制定的技术标准的指标。产品标准和 图1人工智能伦理机制构架 技术标准是针对一类具体产品或服务的，而行规 Fig.1 A dynamics frameword of the Al ethics system 和产业政策是针对整个行业的，所以它们是互补 按照流行观点，人工智能创新生态包含3个 的。法规是从法律层次做出的规定，具有最高的 主要环节，即“社会需求“研究”与“应用”，它们形 强制性和权威性，通常不是针对特定产品和服务 成一个循环演进的闭环，即需求推动研究，成熟 的，甚至可以不针对具体行业。 的研究成果经过商业化途径实现实际应用，而实 从作为伦理实施细则的规定的构成可以看 际应用又可引发新的需求。这个闭环正是人工智 能伦理体系的作用对象，而人工智能伦理体系建 出，人工智能伦理建设不可能由某一领域的专家 完成，而是必须涉及一系列相关方，从企业、大学 立之后，整个人工智能生态的构成和运作机制也 将大大改变和升级。 和科研机构、标准化组织、行业组织、政府机构到 人工智能伦理通过3个层次发挥作用：上层 法律部门，需要所有这些相关方的相互协调和共 为人工智能伦理的基本使命：中层为人工智能伦 同努力。在相关方的协调中，不仅需要遵守共同 理准则；下层为针对具体应用场景的可操作的监 的伦理准则，而且需要遵守伦理体系基础架构对 督治理规定。 各自角色的定位和相互关系的约定。 在图1所示的人工智能伦理体系基础架构 3人工智能的风险预测判别机制 中，我们将人工智能伦理的基本使命定义为“为增 进人类福祉和万物和谐共存提供伦理支撑”。这 实现人工智能伦理基本使命的一项必要前提 个使命本身也是一条伦理准则，但相对于其他准 是确保人工智能的伦理底线，即确保人工智能研 则，它的价值具有更大的普遍性和稳定性，它的 究和应用的风险处于可控范围内。综合看来，人 内涵概括了其他伦理准则的内涵，而其他伦理准 工智能有以下3种风险。第一，技术误用：由于人 则未必能概括基本使命的内涵。因此，基本使命 工智能技术不够成熟、不够人性化或缺乏足够的 可用于指导人工智能研究与应用，以及中层伦理 伦理约束等原因，给使用者带来直接的损害，比 准则的制定、改进和完善，而其他伦理准则未必 如数据隐私问题、安全性问题和公平性问题等。 可以或未必需要用来指导伦理性研究。另外，人 第二，技术失控：即人类失去对人工智能技术的 工智能伦理性研究不太可能改变基本使命的内 控制而出现严重的后果。例如，现在不少人担 涵，却可以影响和改变其他伦理准则的内涵。总 心，将来人工智能会全面超过人类的智慧和能 之，人工智能伦理的基本使命可以视为“伦理准则 力，以至于统治人类。第三，应用失控：人工智能 的准则”，也就是人工智能的基本价值观。 技术在某些行业的普遍应用带来严重的负面社会 中层的伦理准则即在人工智能伦理建设第二 效果.如导致很多人失业。 阶段中达成共识的那些价值原则。这些伦理准则 目前全球不存在相关机构和充分的研究力 是基本使命的具体体现，并为实施细则的制定和 量，能够对这3种风险进行预测和判别。因此，有 科技研究实践提供引导。 必要在人工智能创新生态中，增设一种新型研究 为了将伦理准则落实到一个个具体的应用场 模式和部门一人工智能伦理性研究，这种研究的

2 人工智能伦理体系的基础架构 人工智能伦理体系的一种基础架构如图 1 所 示。这个架构并不包含人工智能伦理体系的全部 内容，而是重点回答上面指出的 4 个关键问题。 伦理研究 Ethical 应用 Applications 实施细则(强制性) Regulation 研究 Research 伦理准则(引导性) AI Ethics Principles ...... ...... ...... 社会需求 Social Requirements 伦理使命(指导性) The Missin 科技研究 场景 Technological 1 细则 1 细则 n 场景 n 图 1 人工智能伦理机制构架 Fig. 1 A dynamics frameword of the AI ethics system 按照流行观点，人工智能创新生态包含 3 个 主要环节，即“社会需求”“研究”与“应用”，它们形 成一个循环演进的闭环，即需求推动研究，成熟 的研究成果经过商业化途径实现实际应用，而实 际应用又可引发新的需求。这个闭环正是人工智 能伦理体系的作用对象，而人工智能伦理体系建 立之后，整个人工智能生态的构成和运作机制也 将大大改变和升级。 人工智能伦理通过 3 个层次发挥作用：上层 为人工智能伦理的基本使命；中层为人工智能伦 理准则；下层为针对具体应用场景的可操作的监 督治理规定。 在图 1 所示的人工智能伦理体系基础架构 中，我们将人工智能伦理的基本使命定义为“为增 进人类福祉和万物和谐共存提供伦理支撑”。这 个使命本身也是一条伦理准则，但相对于其他准 则，它的价值具有更大的普遍性和稳定性，它的 内涵概括了其他伦理准则的内涵，而其他伦理准 则未必能概括基本使命的内涵。因此，基本使命 可用于指导人工智能研究与应用，以及中层伦理 准则的制定、改进和完善，而其他伦理准则未必 可以或未必需要用来指导伦理性研究。另外，人 工智能伦理性研究不太可能改变基本使命的内 涵，却可以影响和改变其他伦理准则的内涵。总 之，人工智能伦理的基本使命可以视为“伦理准则 的准则”，也就是人工智能的基本价值观。 中层的伦理准则即在人工智能伦理建设第二 阶段中达成共识的那些价值原则。这些伦理准则 是基本使命的具体体现，并为实施细则的制定和 科技研究实践提供引导。 为了将伦理准则落实到一个个具体的应用场 景中，需要制定针对性、强制性、可操作的实施细 则，即一套完整的监督治理规定。每一个应用场 景都由一套对应的规定加以约束，不同的应用场 景可以有不同的规定。针对一个具体的应用场 景，一套规定往往包含下列多方面的具体要求和 规范：产品标准（企业标准）、技术标准（团体标准/ 国家标准/国际标准）、行规、产业政策、法规等。 这些不同方面的规定是由不同的机构制定和监管 的，包括企业、标准化组织、行业组织、政府部门 和法制机构，这些规定之间存在复杂的相互关 系。例如，企业制定的产品标准的指标不得低于 标准化组织制定的技术标准的指标。产品标准和 技术标准是针对一类具体产品或服务的，而行规 和产业政策是针对整个行业的，所以它们是互补 的。法规是从法律层次做出的规定，具有最高的 强制性和权威性，通常不是针对特定产品和服务 的，甚至可以不针对具体行业。 从作为伦理实施细则的规定的构成可以看 出，人工智能伦理建设不可能由某一领域的专家 完成，而是必须涉及一系列相关方，从企业、大学 和科研机构、标准化组织、行业组织、政府机构到 法律部门，需要所有这些相关方的相互协调和共 同努力。在相关方的协调中，不仅需要遵守共同 的伦理准则，而且需要遵守伦理体系基础架构对 各自角色的定位和相互关系的约定。 3 人工智能的风险预测判别机制 实现人工智能伦理基本使命的一项必要前提 是确保人工智能的伦理底线，即确保人工智能研 究和应用的风险处于可控范围内。综合看来，人 工智能有以下 3 种风险。第一，技术误用：由于人 工智能技术不够成熟、不够人性化或缺乏足够的 伦理约束等原因，给使用者带来直接的损害，比 如数据隐私问题、安全性问题和公平性问题等。 第二，技术失控：即人类失去对人工智能技术的 控制而出现严重的后果。例如，现在不少人担 心，将来人工智能会全面超过人类的智慧和能 力，以至于统治人类。第三，应用失控：人工智能 技术在某些行业的普遍应用带来严重的负面社会 效果，如导致很多人失业。 目前全球不存在相关机构和充分的研究力 量，能够对这 3 种风险进行预测和判别。因此，有 必要在人工智能创新生态中，增设一种新型研究 模式和部门——人工智能伦理性研究，这种研究的 第 4 期 陈小平：人工智能伦理体系：基础架构与关键问题 ·607·

·608· 智能系统学报 第14卷 一个核心职能是承担对3种风险的预测和判别， 肯定是有的。以工业生产为例，一些劳动密集型 也就是担任人工智能风险底线的守护者。因此 产业已经在部分地区普遍出现了“用工难”现象， 在未来人工智能创新生态中，“研究”将被划分为 但这种现象并不是由于人工智能、机器人等新技 两个相对独立的部门，一个是传统的科技研究/技 术的应用引起的，而是由于大量岗位的工作性质 术性研究部门，一个是伦理性研究部门，它们之 已经变成了简单操作的机械性重复，这种作业是 间存在相互支持的关系。 不符合人性的。未来的必然趋势是，愿意承担这 人工智能风险预测判别研究与传统的科技研 种工作的人将越来越少，因而对人工智能、机器 究之间存在本质区别。技术学科的研究历来以 人技术产业应用的需求将越来越强，于是在一些 “潜在应用”为目的，自然科学研究则以“求知”为 行业中人工替代率将越来越高。如果无法解决再 目的，而人工智能风险预测判别研究的基本职能 就业问题，就可能引起应用失控，产生极其严重 是依据伦理准则，通过科学手段，探明某项技术 的社会后果。由此可见，对这种风险的预测和判 的风险及其严重性，从而为是否应该禁用该技术 别是极其复杂、极其困难的，需要多学科合作和 提供可靠依据。因此，风险预测判别研究以“潜在 长期努力。 禁用”为主要目的。由此可见，建立人工智能伦理 研究部门是绝对必要的。在图1中，有一个从伦 4面向重大社会问题的伦理性创新 理研究到伦理准则、到实施细则、到应用场景再 人工智能的根本价值在于增加人类的福祉。 到伦理研究的闭环，这个闭环反映了人工智能伦 在本文建议的人工智能伦理体系中，这条原则被 理研究在整个创新生态中的作用。 列为基本使命，而且所有已经提出的伦理建议都 针对3种风险，人工智能风险预测判别研究 包含这条准则。人类福祉的一个集中体现，是帮 的主要任务及其必要性概述如下。 关于第一种伦理风险，事实上已经在现有人 助解决社会面临或将来面临的重大问题，例如： 工智能和其他技术的应用中存在着，这种情况的 气候变暖、环境污染、人口老龄化、资源分布不 严重性被普遍低估了，也没有受到有效的监督与 均、经济发展不均衡、产业少人化等。 管控。因此，针对数据隐私、安全性、公平性等伦 这些重大社会问题有三个基本特点：第一，从 理问题，亟需加强人工智能和相关技术的伦理体 本性上看，现有商业化机制不适合解决这类问 系建设，加强专业队伍的建设，加强针对具体伦 题：第二，目前也不存在其他有效的应对手段；第 理问题的研究，设置更高标准的相关规定，实行 三，这类问题的解决方案往往不是纯技术性的， 有效的监管和治理，这些应成为当前人工智能伦 而是综合性的，并且人工智能技术可以在其中发 理研究与治理的重点任务。 挥重要作用。那么，人工智能伦理如何为解决重 第二种风险的近期紧迫性不强，但长期严重 大社会问题发挥重要作用？目前，对这个问题的 性绝不可低估。传统技术都不是自主的，而人工 研究是整个人工智能伦理建设中最为薄弱、最为 智能可以具有完全自主性。完全自主性意味着， 欠缺的一环9。 人工智能可以完全独立于人类而实现现实世界中 本文认为，在人工智能伦理体系中的“伦理性 复杂任务的感知、决策和行动。有分析认为，具 研究”部门，应该包含两项基本职能。一项是上文 有类似于人的自我意识的完全自主的人工智能系 提出的“风险预测判别”，另一项是“伦理性创 统一旦研制出来，就会独立地自我繁殖和自我进 新”。作为一种全新机制，伦理性创新将为重大 化，并突破任何伦理规范和人类控制1。果真如 社会问题的应对提供研究支撑，其主要工作任务 此，允许这样的人工智能系统被研发出来，就意 如下。 味着人类将被人工智能统治，也就意味着任何人 第一，社会变化主客观数据的采集分析。在 工智能伦理准则都沦为空谈。当然，现有哲学分 科技和产业创新飞速发展的时代，民众的生活、 析还不是充分的科学论证，所以这种可能性尚未 工作和心理状态也在快速变化，而且不同群体的 得到证实，但有必要认真对待。对于这种风险进 主观感受、教育观念、就业倾向、消费观念、生活 行预测和判别，是一项极其艰巨、复杂且无先例 态度和人机关系认知等等也处于不断变化之中。 的工作，关系到人类长期生存的安全底线。 目前，社会对这些信息的把握是十分有限的，这 第三种风险目前没有严重表现，但潜在风险 种状况对于社会的健康发展是十分不利的，亟需

一个核心职能是承担对 3 种风险的预测和判别， 也就是担任人工智能风险底线的守护者。因此， 在未来人工智能创新生态中，“研究”将被划分为 两个相对独立的部门，一个是传统的科技研究/技 术性研究部门，一个是伦理性研究部门，它们之 间存在相互支持的关系。 人工智能风险预测判别研究与传统的科技研 究之间存在本质区别。技术学科的研究历来以 “潜在应用”为目的，自然科学研究则以“求知”为 目的，而人工智能风险预测判别研究的基本职能 是依据伦理准则，通过科学手段，探明某项技术 的风险及其严重性，从而为是否应该禁用该技术 提供可靠依据。因此，风险预测判别研究以“潜在 禁用”为主要目的。由此可见，建立人工智能伦理 研究部门是绝对必要的。在图 1 中，有一个从伦 理研究到伦理准则、到实施细则、到应用场景再 到伦理研究的闭环，这个闭环反映了人工智能伦 理研究在整个创新生态中的作用。 针对 3 种风险，人工智能风险预测判别研究 的主要任务及其必要性概述如下。 关于第一种伦理风险，事实上已经在现有人 工智能和其他技术的应用中存在着，这种情况的 严重性被普遍低估了，也没有受到有效的监督与 管控。因此，针对数据隐私、安全性、公平性等伦 理问题，亟需加强人工智能和相关技术的伦理体 系建设，加强专业队伍的建设，加强针对具体伦 理问题的研究，设置更高标准的相关规定，实行 有效的监管和治理，这些应成为当前人工智能伦 理研究与治理的重点任务。 第二种风险的近期紧迫性不强，但长期严重 性绝不可低估。传统技术都不是自主的，而人工 智能可以具有完全自主性。完全自主性意味着， 人工智能可以完全独立于人类而实现现实世界中 复杂任务的感知、决策和行动。有分析认为，具 有类似于人的自我意识的完全自主的人工智能系 统一旦研制出来，就会独立地自我繁殖和自我进 化，并突破任何伦理规范和人类控制[18]。果真如 此，允许这样的人工智能系统被研发出来，就意 味着人类将被人工智能统治，也就意味着任何人 工智能伦理准则都沦为空谈。当然，现有哲学分 析还不是充分的科学论证，所以这种可能性尚未 得到证实，但有必要认真对待。对于这种风险进 行预测和判别，是一项极其艰巨、复杂且无先例 的工作，关系到人类长期生存的安全底线。 第三种风险目前没有严重表现，但潜在风险 肯定是有的。以工业生产为例，一些劳动密集型 产业已经在部分地区普遍出现了“用工难”现象， 但这种现象并不是由于人工智能、机器人等新技 术的应用引起的，而是由于大量岗位的工作性质 已经变成了简单操作的机械性重复，这种作业是 不符合人性的。未来的必然趋势是，愿意承担这 种工作的人将越来越少，因而对人工智能、机器 人技术产业应用的需求将越来越强，于是在一些 行业中人工替代率将越来越高。如果无法解决再 就业问题，就可能引起应用失控，产生极其严重 的社会后果。由此可见，对这种风险的预测和判 别是极其复杂、极其困难的，需要多学科合作和 长期努力。 4 面向重大社会问题的伦理性创新 人工智能的根本价值在于增加人类的福祉。 在本文建议的人工智能伦理体系中，这条原则被 列为基本使命，而且所有已经提出的伦理建议都 包含这条准则。人类福祉的一个集中体现，是帮 助解决社会面临或将来面临的重大问题，例如： 气候变暖、环境污染、人口老龄化、资源分布不 均、经济发展不均衡、产业少人化等。 这些重大社会问题有三个基本特点：第一，从 本性上看，现有商业化机制不适合解决这类问 题；第二，目前也不存在其他有效的应对手段；第 三，这类问题的解决方案往往不是纯技术性的， 而是综合性的，并且人工智能技术可以在其中发 挥重要作用。那么，人工智能伦理如何为解决重 大社会问题发挥重要作用？目前，对这个问题的 研究是整个人工智能伦理建设中最为薄弱、最为 欠缺的一环[19]。 本文认为，在人工智能伦理体系中的“伦理性 研究”部门，应该包含两项基本职能。一项是上文 提出的“风险预测判别” ，另一项是“伦理性创 新”。作为一种全新机制，伦理性创新将为重大 社会问题的应对提供研究支撑，其主要工作任务 如下。 第一，社会变化主客观数据的采集分析。在 科技和产业创新飞速发展的时代，民众的生活、 工作和心理状态也在快速变化，而且不同群体的 主观感受、教育观念、就业倾向、消费观念、生活 态度和人机关系认知等等也处于不断变化之中。 目前，社会对这些信息的把握是十分有限的，这 种状况对于社会的健康发展是十分不利的，亟需 ·608· 智 能 系 统 学 报 第 14 卷

第4期 陈小平：人工智能伦理体系：基础架构与关键问题 ·609· 加以改变。因此，开发相应的人工智能和大数据 人工智能伦理体系的运行机制由它的基础架 等技术，及时充分地收集反映这些变化的指标数 构决定，该架构规定了伦理体系的主要部门以及 据，并与传统的产业和社会统计数据相结合，通 它们之间的相互关系，其中包括场景落地的机 过系统性分析得出社会状况的科学判断，对于维 制。本文建议，在人工智能创新生态中增设一个 持社会平稳运行，更加合理地进行政策决策和规 新型研究部门一伦理性研究，它有两项基本职能： 划制定，具有极其重大的现实意义，同时也为更 人工智能风险预测判别和应对重大社会问题的伦 好地应对重大社会问题奠定了必要基础。 理性创新。根据这些分析和建议，在未来人工智 第二，社会发展可能态势的分析预测。在未 能时代，社会进步和经济发展将进入“双轮驱动” 来某个时段，完全可能出现大量工作被机器取 模式，以传统的商业化创新和新设立的伦理性创 代、大批工作年龄人口无工可做的情况。这种情 新作为两个不同而相互关联的动力机制。 况下的社会结构、经济运行机理和社会发展动 总之，人工智能伦理建设面临一系列挑战，不 力，与当下社会是根本不同的。因此，在应对某 是将一般伦理学原则、方法和规则具体化到人工 些重大社会问题的过程中，未来人类很可能进入 智能就可以奏效的。如何建立这样的人工智能伦 一个全新的社会文明阶段。为了保证这种社会演 理体系，仍需要相关各方紧密合作，进行长期、艰 化符合人类的根本利益，保证宇宙万物的和谐共 苦的探索。 存，人类完全有必要未雨绸缪，而不应被动地随 致谢笔者在与下列学者和专业人士的相关 波逐流。对未来社会发展可能态势进行分析预 交流中受益良多：李德毅院士、赵汀阳、陈嘉映、 测，是社会长期发展规划的必要基础。这种分析 王蓉蓉、宋晓刚、郝玉成、于剑、王卫宁、潘天佑 预测是非常困难的，需要多学科合作，而人工智 秦字、Jeroen van den Hoven、Wendell Wallach、刘 能技术可以在其中发挥重要作用。 晓力、苏彦捷、孙周兴、王国豫、宋冰、刘哲、梁 第三，重大社会问题解决方案的创新设计。 正、Steve Angle 人类面临的重大社会问题，往往难以就事论事地 参考文献： 得到解决，需要通过综合性创新找出化解之道。 然而面对如此高维复杂的问题，单纯依靠人工智 [1]The High-Level Expert Group on AI.Ethics guidelines for 能技术和其他相关技术手段，是不可能自动求解 trustworthy Al[EB/OL].(2019-04-08).https://ec.europa. 的。因此，有必要探索人机合作的求解模式，而 eu/digital-single-market/en/news/ethics-guidelines-trust- 人工智能技术可以显著提升人机合作问题求解的 worthy-ai. 水平和性能。例如，利用人工智能“暴力法2)中 [2]傅莹.人工智能对国际关系的影响初析[EB/OL].(2019- 的“假设推理”方法，可以进行人机合作式问题求 04-10).https://pit.ifeng.com/c/7lkmTsTwMD2 解，而且在高维复杂应用场景中已有成功案例， [3]裴钢.科技伦理建设应由全人类共同参与[EB/OL] 假设推理发现了单纯依靠人或机器都无法发现的 http://st.zjol.com.cn/kjjsb/201905/t20190508 10075117.sh tml. 有效的解决方案。因此，针对重大社会问题，借 助人工智能技术，通过人机合作方式，完全可能 [4]LEI Ruipeng,ZHAI Xiaomei,ZHU Wei,et al.Reboot eth- ics governance in China[J].Nature,2019,569:184-186. 发现以往无法发现的综合创新方案。在未来科技 [5]陈磊.人工智能让人类尴尬：伦理道德法律框架设计滞 和产业革命时代，这将是人工智能伦理体系为人 后N.科技日报，2017-11-21 类做出的巨大贡献。 [6]蓝江.人工智能的伦理挑战N].光明日报，2019-04 5结束语 01(15) [7]李艳.人工智能该怎么管？八项原则来了！一文读描 在人工智能伦理准则达成的基本共识的基础 [N.科技日报，2019-06-18. 上，本文提出人工智能伦理体系规划问题，重点 [8]熊争艳，董瑞丰.加快推动人工智能伦理研究N].新华 讨论解决伦理准则无法解答而伦理体系必须解决 每日电讯，2019-03-11(06). 的4个关键问题一运行机制问题、场景落地问题、 [9]杨骏.超越“机器人三定律”人工智能期待新伦理 风险预测判别问题和发展动力问题，并对这些问 [EB/OL].(2019-03-18).http://www.xinhuanet.com/tech/ 题提出了初步解决方案。 2019-03/18/c1124249611.htm

加以改变。因此，开发相应的人工智能和大数据 等技术，及时充分地收集反映这些变化的指标数 据，并与传统的产业和社会统计数据相结合，通 过系统性分析得出社会状况的科学判断，对于维 持社会平稳运行，更加合理地进行政策决策和规 划制定，具有极其重大的现实意义，同时也为更 好地应对重大社会问题奠定了必要基础。 第二，社会发展可能态势的分析预测。在未 来某个时段，完全可能出现大量工作被机器取 代、大批工作年龄人口无工可做的情况。这种情 况下的社会结构、经济运行机理和社会发展动 力，与当下社会是根本不同的。因此，在应对某 些重大社会问题的过程中，未来人类很可能进入 一个全新的社会文明阶段。为了保证这种社会演 化符合人类的根本利益，保证宇宙万物的和谐共 存，人类完全有必要未雨绸缪，而不应被动地随 波逐流。对未来社会发展可能态势进行分析预 测，是社会长期发展规划的必要基础。这种分析 预测是非常困难的，需要多学科合作，而人工智 能技术可以在其中发挥重要作用。 第三，重大社会问题解决方案的创新设计。 人类面临的重大社会问题，往往难以就事论事地 得到解决，需要通过综合性创新找出化解之道[20]。 然而面对如此高维复杂的问题，单纯依靠人工智 能技术和其他相关技术手段，是不可能自动求解 的。因此，有必要探索人机合作的求解模式，而 人工智能技术可以显著提升人机合作问题求解的 水平和性能。例如，利用人工智能“暴力法” [21] 中 的“假设推理”方法，可以进行人机合作式问题求 解，而且在高维复杂应用场景中已有成功案例， 假设推理发现了单纯依靠人或机器都无法发现的 有效的解决方案。因此，针对重大社会问题，借 助人工智能技术，通过人机合作方式，完全可能 发现以往无法发现的综合创新方案。在未来科技 和产业革命时代，这将是人工智能伦理体系为人 类做出的巨大贡献。 5 结束语 在人工智能伦理准则达成的基本共识的基础 上，本文提出人工智能伦理体系规划问题，重点 讨论解决伦理准则无法解答而伦理体系必须解决 的 4 个关键问题——运行机制问题、场景落地问题、 风险预测判别问题和发展动力问题，并对这些问 题提出了初步解决方案。 人工智能伦理体系的运行机制由它的基础架 构决定，该架构规定了伦理体系的主要部门以及 它们之间的相互关系，其中包括场景落地的机 制。本文建议，在人工智能创新生态中增设一个 新型研究部门——伦理性研究，它有两项基本职能： 人工智能风险预测判别和应对重大社会问题的伦 理性创新。根据这些分析和建议，在未来人工智 能时代，社会进步和经济发展将进入“双轮驱动” 模式，以传统的商业化创新和新设立的伦理性创 新作为两个不同而相互关联的动力机制。 总之，人工智能伦理建设面临一系列挑战，不 是将一般伦理学原则、方法和规则具体化到人工 智能就可以奏效的。如何建立这样的人工智能伦 理体系，仍需要相关各方紧密合作，进行长期、艰 苦的探索。 致谢 笔者在与下列学者和专业人士的相关 交流中受益良多：李德毅院士、赵汀阳、陈嘉映、 王蓉蓉、宋晓刚、郝玉成、于剑、王卫宁、潘天佑、 秦宇、Jeroen van den Hoven、Wendell Wallach、刘 晓力、苏彦捷、孙周兴、王国豫、宋冰、刘哲、梁 正、Steve Angle。 参考文献： The High-Level Expert Group on AI. Ethics guidelines for trustworthy AI[EB/OL]. (2019-04-08). https://ec.europa. eu/digital-single-market/en/news/ethics-guidelines-trust￾worthy-ai. [1] 傅莹. 人工智能对国际关系的影响初析 [EB/OL]. (2019- 04-10). https://pit.ifeng.com/c/7lkmTsTwMD2. [2] 裴钢. 科技伦理建设应由全人类共同参与 [EB/OL]. http://st.zjol.com.cn/kjjsb/201905/t20190508_10075117.sh tml. [3] LEI Ruipeng, ZHAI Xiaomei, ZHU Wei, et al. Reboot eth￾ics governance in China[J]. Nature, 2019, 569: 184–186. [4] 陈磊. 人工智能让人类尴尬: 伦理道德法律框架设计滞 后 [N]. 科技日报, 2017-11-21. [5] 蓝江. 人工智能的伦理挑战 [N]. 光明日报, 2019-04- 01(15). [6] 李艳. 人工智能该怎么管？八项原则来了！一文读懂 [N]. 科技日报, 2019-06-18. [7] 熊争艳, 董瑞丰. 加快推动人工智能伦理研究 [N]. 新华 每日电讯, 2019-03-11(06). [8] 杨骏. 超越“机器人三定律” 人工智能期待新伦理 [EB/OL]. (2019-03-18). http://www.xinhuanet.com/tech/ 2019-03/18/c_1124249611.htm. [9] 第 4 期 陈小平：人工智能伦理体系：基础架构与关键问题 ·609·

·610. 智能系统学报 第14卷 [10]袁勇.人工智能伦理三问：如何对待机器和自身的关 法通讯，2019,41(1)：1-8。 ?[EB/OL].(2018-07-12).http://ip.people.com.cn/ ZHAO Tingyang.How could AI develop its self-con- n1/2018/0712/c179663-30142763.html.L. sciousness?[J].Journal of dialectics of nature,2019. [11]The IEEE Global Initiative on Ethics of Autonomous and 41(1y1-8. Intelligent Systems (IEEE)[EB/OL].https://standards. [19]陈小平.人工智能伦理全景动态观[EB/OL.(2019-05 ieee.org/industry-connections/ec/autonomous-systems. 27).http://https://www.china-scratch.com/news/5403. html. [20]人民论坛理论研究中心.全局性综合创新：国内外实践 [12]杨弃非.每经专访太和智库欧洲中心主任托斯登·耶里 经验与未来启示[EB/OL].(2017-10-17).http:/ 尼克：跨国构建人工智能伦理治理框架势在必行N. www.rmlt.com.cn/2017/1017/500123.shtml. 每日经济新闻，2019-05-22. [21]陈小平.人工智能的历史进步、目标定位和思维演化 [13]BOSTROM N,YUDKOWSKY E.The ethics of artificial [开放时代，2018(6)：31-48. intelligence[M]//FRANKISH K,RAMSEY W.Cam- bridge Handbook of Artificial Intelligence.New York: 作者简介： Cambridge University Press,2014. 陈小平，1955年生，教授，中国人 工智能学会人工智能伦理道德专委会 [14]SMITH R.5 core principles to keep AI ethical[EB/OL]. (筹)主任，主要研究方向为人工智能 (2018-04-19).https://https://www.weforum.org/agenda/ 理论基础和智能机器人关键技术。提 2018/04/keep-calm-and-make-ai-ethical/. 出基于“开放知识”的机器人智能技术 [15]HAO Karen.Establishing an AI code of ethics will be 路线，并在“可佳”和“佳佳”智能机器 harder than people think[R].Cambridge:MIT Techno- 人系统中进行了持续性研究和工程实 现。团队自主研发的“可佳”机器人2015年获国际服务机器 logy Review,2018 人精确测试第一名，2014年获国际服务机器人标准测试第 [16]万俊人.义利之间：现代经济伦理十一讲[M).北京：团 一名.2013年获第23届世界人工智能联合大会最佳自主机 结出版社，2003. 器人奖和通用机器人技能奖。2005年以来团队在机器人世 [17]Wikipedia[EB/OL].https://en.wikipedia.org/wiki/Ethics. 界杯上先后获得12项世界冠军。多次获得国际学术会议最 [18]赵汀阳.人工智能的自我意识何以可能？].自然辩证 佳论文奖。获2010年度中科大“杰出研究”校长奖

袁勇. 人工智能伦理三问: 如何对待机器和自身的关 系?[EB/OL]. (2018-07-12). http://ip.people.com.cn/ n1/2018/0712/c179663-30142763.html.l. [10] The IEEE Global Initiative on Ethics of Autonomous and Intelligent Systems (IEEE) [EB/OL]. https://standards. ieee.org/industry-connections/ec/autonomous-systems. html. [11] 杨弃非. 每经专访太和智库欧洲中心主任托斯登•耶里 尼克: 跨国构建人工智能伦理治理框架势在必行 [N]. 每日经济新闻, 2019-05-22. [12] BOSTROM N, YUDKOWSKY E. The ethics of artificial intelligence[M]//FRANKISH K, RAMSEY W. Cam￾bridge Handbook of Artificial Intelligence. New York: Cambridge University Press, 2014. [13] SMITH R. 5 core principles to keep AI ethical[EB/OL]. (2018-04-19). https://https://www.weforum.org/agenda/ 2018/04/keep-calm-and-make-ai-ethical/. [14] HAO Karen. Establishing an AI code of ethics will be harder than people think[R]. Cambridge: MIT Techno￾logy Review, 2018. [15] 万俊人. 义利之间: 现代经济伦理十一讲 [M]. 北京: 团 结出版社, 2003. [16] [17] Wikipedia[EB/OL]. https://en.wikipedia.org/wiki/Ethics. [18] 赵汀阳. 人工智能的自我意识何以可能?[J]. 自然辩证 法通讯, 2019, 41(1): 1–8. ZHAO Tingyang. How could AI develop its self-con￾sciousness?[J]. Journal of dialectics of nature, 2019, 41(1): 1–8. 陈小平. 人工智能伦理全景动态观 [EB/OL]. (2019-05- 27). http://https://www.china-scratch.com/news/5403. [19] 人民论坛理论研究中心. 全局性综合创新: 国内外实践 经验与未来启示 [EB/OL]. (2017-10-17). http:// www.rmlt.com.cn/2017/1017/500123.shtml。 [20] 陈小平. 人工智能的历史进步、目标定位和思维演化 [J]. 开放时代, 2018(6): 31−48. [21] 作者简介： 陈小平，1955 年生，教授，中国人 工智能学会人工智能伦理道德专委会 （筹）主任，主要研究方向为人工智能 理论基础和智能机器人关键技术。提 出基于“开放知识”的机器人智能技术 路线，并在“可佳”和“佳佳”智能机器 人系统中进行了持续性研究和工程实 现。团队自主研发的“可佳”机器人 2015 年获国际服务机器 人精确测试第一名，2014 年获国际服务机器人标准测试第 一名，2013 年获第 23 届世界人工智能联合大会最佳自主机 器人奖和通用机器人技能奖。2005 年以来团队在机器人世 界杯上先后获得 12 项世界冠军。多次获得国际学术会议最 佳论文奖。获 2010 年度中科大“杰出研究”校长奖。 ·610· 智 能 系 统 学 报 第 14 卷