·608· 智能系统学报 第14卷 一个核心职能是承担对3种风险的预测和判别， 肯定是有的。以工业生产为例，一些劳动密集型 也就是担任人工智能风险底线的守护者。因此 产业已经在部分地区普遍出现了“用工难”现象， 在未来人工智能创新生态中，“研究”将被划分为 但这种现象并不是由于人工智能、机器人等新技 两个相对独立的部门，一个是传统的科技研究/技 术的应用引起的，而是由于大量岗位的工作性质 术性研究部门，一个是伦理性研究部门，它们之 已经变成了简单操作的机械性重复，这种作业是 间存在相互支持的关系。 不符合人性的。未来的必然趋势是，愿意承担这 人工智能风险预测判别研究与传统的科技研 种工作的人将越来越少，因而对人工智能、机器 究之间存在本质区别。技术学科的研究历来以 人技术产业应用的需求将越来越强，于是在一些 “潜在应用”为目的，自然科学研究则以“求知”为 行业中人工替代率将越来越高。如果无法解决再 目的，而人工智能风险预测判别研究的基本职能 就业问题，就可能引起应用失控，产生极其严重 是依据伦理准则，通过科学手段，探明某项技术 的社会后果。由此可见，对这种风险的预测和判 的风险及其严重性，从而为是否应该禁用该技术 别是极其复杂、极其困难的，需要多学科合作和 提供可靠依据。因此，风险预测判别研究以“潜在 长期努力。 禁用”为主要目的。由此可见，建立人工智能伦理 研究部门是绝对必要的。在图1中，有一个从伦 4面向重大社会问题的伦理性创新 理研究到伦理准则、到实施细则、到应用场景再 人工智能的根本价值在于增加人类的福祉。 到伦理研究的闭环，这个闭环反映了人工智能伦 在本文建议的人工智能伦理体系中，这条原则被 理研究在整个创新生态中的作用。 列为基本使命，而且所有已经提出的伦理建议都 针对3种风险，人工智能风险预测判别研究 包含这条准则。人类福祉的一个集中体现，是帮 的主要任务及其必要性概述如下。 关于第一种伦理风险，事实上已经在现有人 助解决社会面临或将来面临的重大问题，例如： 工智能和其他技术的应用中存在着，这种情况的 气候变暖、环境污染、人口老龄化、资源分布不 严重性被普遍低估了，也没有受到有效的监督与 均、经济发展不均衡、产业少人化等。 管控。因此，针对数据隐私、安全性、公平性等伦 这些重大社会问题有三个基本特点：第一，从 理问题，亟需加强人工智能和相关技术的伦理体 本性上看，现有商业化机制不适合解决这类问 系建设，加强专业队伍的建设，加强针对具体伦 题：第二，目前也不存在其他有效的应对手段；第 理问题的研究，设置更高标准的相关规定，实行 三，这类问题的解决方案往往不是纯技术性的， 有效的监管和治理，这些应成为当前人工智能伦 而是综合性的，并且人工智能技术可以在其中发 理研究与治理的重点任务。 挥重要作用。那么，人工智能伦理如何为解决重 第二种风险的近期紧迫性不强，但长期严重 大社会问题发挥重要作用？目前，对这个问题的 性绝不可低估。传统技术都不是自主的，而人工 研究是整个人工智能伦理建设中最为薄弱、最为 智能可以具有完全自主性。完全自主性意味着， 欠缺的一环9。 人工智能可以完全独立于人类而实现现实世界中 本文认为，在人工智能伦理体系中的“伦理性 复杂任务的感知、决策和行动。有分析认为，具 研究”部门，应该包含两项基本职能。一项是上文 有类似于人的自我意识的完全自主的人工智能系 提出的“风险预测判别”，另一项是“伦理性创 统一旦研制出来，就会独立地自我繁殖和自我进 新”。作为一种全新机制，伦理性创新将为重大 化，并突破任何伦理规范和人类控制1。果真如 社会问题的应对提供研究支撑，其主要工作任务 此，允许这样的人工智能系统被研发出来，就意 如下。 味着人类将被人工智能统治，也就意味着任何人 第一，社会变化主客观数据的采集分析。在 工智能伦理准则都沦为空谈。当然，现有哲学分 科技和产业创新飞速发展的时代，民众的生活、 析还不是充分的科学论证，所以这种可能性尚未 工作和心理状态也在快速变化，而且不同群体的 得到证实，但有必要认真对待。对于这种风险进 主观感受、教育观念、就业倾向、消费观念、生活 行预测和判别，是一项极其艰巨、复杂且无先例 态度和人机关系认知等等也处于不断变化之中。 的工作，关系到人类长期生存的安全底线。 目前，社会对这些信息的把握是十分有限的，这 第三种风险目前没有严重表现，但潜在风险 种状况对于社会的健康发展是十分不利的，亟需一个核心职能是承担对 3 种风险的预测和判别， 也就是担任人工智能风险底线的守护者。因此， 在未来人工智能创新生态中，“研究”将被划分为 两个相对独立的部门，一个是传统的科技研究/技 术性研究部门，一个是伦理性研究部门，它们之 间存在相互支持的关系。 人工智能风险预测判别研究与传统的科技研 究之间存在本质区别。技术学科的研究历来以 “潜在应用”为目的，自然科学研究则以“求知”为 目的，而人工智能风险预测判别研究的基本职能 是依据伦理准则，通过科学手段，探明某项技术 的风险及其严重性，从而为是否应该禁用该技术 提供可靠依据。因此，风险预测判别研究以“潜在 禁用”为主要目的。由此可见，建立人工智能伦理 研究部门是绝对必要的。在图 1 中，有一个从伦 理研究到伦理准则、到实施细则、到应用场景再 到伦理研究的闭环，这个闭环反映了人工智能伦 理研究在整个创新生态中的作用。 针对 3 种风险，人工智能风险预测判别研究 的主要任务及其必要性概述如下。 关于第一种伦理风险，事实上已经在现有人 工智能和其他技术的应用中存在着，这种情况的 严重性被普遍低估了，也没有受到有效的监督与 管控。因此，针对数据隐私、安全性、公平性等伦 理问题，亟需加强人工智能和相关技术的伦理体 系建设，加强专业队伍的建设，加强针对具体伦 理问题的研究，设置更高标准的相关规定，实行 有效的监管和治理，这些应成为当前人工智能伦 理研究与治理的重点任务。 第二种风险的近期紧迫性不强，但长期严重 性绝不可低估。传统技术都不是自主的，而人工 智能可以具有完全自主性。完全自主性意味着， 人工智能可以完全独立于人类而实现现实世界中 复杂任务的感知、决策和行动。有分析认为，具 有类似于人的自我意识的完全自主的人工智能系 统一旦研制出来，就会独立地自我繁殖和自我进 化，并突破任何伦理规范和人类控制[18]。果真如 此，允许这样的人工智能系统被研发出来，就意 味着人类将被人工智能统治，也就意味着任何人 工智能伦理准则都沦为空谈。当然，现有哲学分 析还不是充分的科学论证，所以这种可能性尚未 得到证实，但有必要认真对待。对于这种风险进 行预测和判别，是一项极其艰巨、复杂且无先例 的工作，关系到人类长期生存的安全底线。 第三种风险目前没有严重表现，但潜在风险 肯定是有的。以工业生产为例，一些劳动密集型 产业已经在部分地区普遍出现了“用工难”现象， 但这种现象并不是由于人工智能、机器人等新技 术的应用引起的，而是由于大量岗位的工作性质 已经变成了简单操作的机械性重复，这种作业是 不符合人性的。未来的必然趋势是，愿意承担这 种工作的人将越来越少，因而对人工智能、机器 人技术产业应用的需求将越来越强，于是在一些 行业中人工替代率将越来越高。如果无法解决再 就业问题，就可能引起应用失控，产生极其严重 的社会后果。由此可见，对这种风险的预测和判 别是极其复杂、极其困难的，需要多学科合作和 长期努力。 4 面向重大社会问题的伦理性创新 人工智能的根本价值在于增加人类的福祉。 在本文建议的人工智能伦理体系中，这条原则被 列为基本使命，而且所有已经提出的伦理建议都 包含这条准则。人类福祉的一个集中体现，是帮 助解决社会面临或将来面临的重大问题，例如： 气候变暖、环境污染、人口老龄化、资源分布不 均、经济发展不均衡、产业少人化等。 这些重大社会问题有三个基本特点：第一，从 本性上看，现有商业化机制不适合解决这类问 题；第二，目前也不存在其他有效的应对手段；第 三，这类问题的解决方案往往不是纯技术性的， 而是综合性的，并且人工智能技术可以在其中发 挥重要作用。那么，人工智能伦理如何为解决重 大社会问题发挥重要作用？目前，对这个问题的 研究是整个人工智能伦理建设中最为薄弱、最为 欠缺的一环[19]。 本文认为，在人工智能伦理体系中的“伦理性 研究”部门，应该包含两项基本职能。一项是上文 提出的“风险预测判别” ，另一项是“伦理性创 新”。作为一种全新机制，伦理性创新将为重大 社会问题的应对提供研究支撑，其主要工作任务 如下。 第一，社会变化主客观数据的采集分析。在 科技和产业创新飞速发展的时代，民众的生活、 工作和心理状态也在快速变化，而且不同群体的 主观感受、教育观念、就业倾向、消费观念、生活 态度和人机关系认知等等也处于不断变化之中。 目前，社会对这些信息的把握是十分有限的，这 种状况对于社会的健康发展是十分不利的，亟需 ·608· 智 能 系 统 学 报 第 14 卷