·614… 智能系统学报 第16卷 理论、模型以及评估和预测人-AI合作团队绩效 释AI6。研究还表明，如果采用行为科学方法， 的方法，这些都是传统人机交互中没有遇到的新 侧重于用户而不是技术，针对可解释AI的研究将 问题。HAI领域的工作要支持AI建模以及对建 更有效6。 模数据的需求（例如，情景意识、行为、意图、信 今后HAⅡ领域的工作主要有以下几方面。 任))合作开发人一AI合作在各种应用领域的解 首先，研究和开发“以人为中心的可解释AI”解决 决方案。 方案。HAⅡ领域要从人机交互、心理学、人因工 其次，HAⅡ领域需要从行为科学等角度、社 程等方面来寻找解决方案。以往许多研究是基于 会层面上来研究人-AI合作。要研究社会因素 静态和单向信息传达式的解释，今后HAⅡ工作要 (社会责任、道德等)对人-AI合作的影响，研究如 研究探索式、自然式、交互式解释来设计可解释 何让AI代理担当团队角色并且与人类队友合作： 界面676。 研究如何从系统设计角度，通过合适的人机交互 第二，HAⅡ领域提倡可解释AI研究要进一 方式来发展良好的人机关系（信任，情感等）：研究 步挖掘心理学等模型。尽管这些理论和模型通常 如何有效支持长期人-AI合作（如医用机器人）。 是基于实验室研究产生，可解释AI研究应该善于 第三，HAⅡ研究要构建人-AI合作场景所需 利用这些模型，同时验证它们的可行性6。HAⅡ 的人机交互建模。与AI人员合作研究对人 的工作可以利用本身交叉学科的特点起到一个中 -AI合作中人机交互建模构成挑战的理论问题， 间桥梁作用，加快理论转换，构建有效的界面或 例如，分布式认知理论，基于上下文的知识表征 计算模型。 和知识图谱59，人-AI合作中情感交互、社交互动 最后，HAⅡ领域要开展可理解AI的研究和 等方面的认知建模。 应用。可解释AI也应该是可理解的6，可解释性 最后，HAⅡ需要在真实的操作、社交环境中 是必要条件，但不是充分条件。从HCAI理念考 研究人一A1合作6。例如，实验室研究表明，与简 虑，可理解AI方案应满足终端用户的需求（例如 单机器人的交互可以增强人的协调性，并且机器 知识水平)。这方面的研究需要行为科学方法的 人可以直接与人合作6：人-AI合作中AI与人的 支持以及实验验证6侧。 认知风格、人格特性等特性相适应时，可增强人 3.5人类可控自主化 机互信与可靠性。今后要在真实社会环境中验证 智能自主化技术正在走进人们的工作和生 这些人-AI社会互动，这将有助于优化人-AI合 活，但是已有人开始混淆自动化与自主化的概 作的设计。 念，这可能导致对技术不恰当的期望和误用。 3.4可解释AI 自动化技术按照固定算法、逻辑和规则而产生确 深度学习等方法会产生AI“黑匣子”效应，导 定的机器行为。智能系统会拥有不同程度的类似 致用户对AI系统的决策产生疑问，该效应可在各 于人的智能（自适应、自我执行等能力），系统输出 类使用中发生，包括AI在金融股票、医疗诊断、 具不确定性，有可能出现偏差的机器行为。AI的 安全检测、法律判决等领域，导致系统决策效率 自主化特征对安全和大众心理等负面影响还没有 降低、伦理道德等问题，影响公众对AI的信任度。 引起足够的重视0。 寻求可解释AI(explainable AI,XAI)已成为AI 从HCAI理念出发，我们提倡基于“人类可控 界的一个研究热点，具有代表性的是DARPA[6] AI”设计目标的人类可控自主化设计，即智能自 在2016年启动的项目。该项目集中在：1)开发或 主化系统需要人类的监控，人类操作员具有最终 改进ML技术来获取可解释算法模型；2)借助于 的决控权（通过直接或远程操控等方式）。 先进的人机交互技术，开发可解释AI的用户界面 人因工程界已经对一些复杂领域（航空、航 模型；3)评估心理学解释理论来协助可解释AI的 天等)中的自动化系统开展了广泛的研究，已达 研发。 成共识1。许多复杂自动化系统存在脆弱性， 经过多年的努力，AI界开始认识到非AI学 在设计所规定的操作场景中运行良好，但是在遇 科在可解释AI研究中的重要性[61。Miller等6 到意外事件时，可能导致操作员的“自动化惊讶” 的调查表明，大多数可解释AI项目仅在AI学科 现象四：操作员无法理解自动化正在做什么，为什 内展开。许多AI人员采用“以算法为中心”的方 么这样做。 法，加剧了算法的不透明。一些A!人员没有遵 Endsley四认为在智能自主化系统中，随着系统 循HCAI理念，通常为自己而不是用户构建可解 自主化程度的提高，各单项功能的“自动化”水平理论、模型以及评估和预测人−AI 合作团队绩效 的方法，这些都是传统人机交互中没有遇到的新 问题。HAII 领域的工作要支持 AI 建模以及对建 模数据的需求 (例如，情景意识、行为、意图、信 任) [13] ，合作开发人−AI 合作在各种应用领域的解 决方案。 其次，HAII 领域需要从行为科学等角度、社 会层面上来研究人−AI 合作。要研究社会因素 (社会责任、道德等) 对人−AI 合作的影响，研究如 何让 AI 代理担当团队角色并且与人类队友合作[13] ； 研究如何从系统设计角度，通过合适的人机交互 方式来发展良好的人机关系 (信任，情感等)；研究 如何有效支持长期人−AI 合作 (如医用机器人)。 第三，HAII 研究要构建人−AI 合作场景所需 的人机交互建模。 与 A I 人员合作研究对人 −AI 合作中人机交互建模构成挑战的理论问题， 例如，分布式认知理论，基于上下文的知识表征 和知识图谱[59] ，人−AI 合作中情感交互、社交互动 等方面的认知建模。 最后，HAII 需要在真实的操作、社交环境中 研究人−AI 合作[60]。例如，实验室研究表明，与简 单机器人的交互可以增强人的协调性，并且机器 人可以直接与人合作[61] ；人−AI 合作中 AI 与人的 认知风格、人格特性等特性相适应时，可增强人 机互信与可靠性。今后要在真实社会环境中验证 这些人−AI 社会互动，这将有助于优化人−AI 合 作的设计。 3.4 可解释 AI 深度学习等方法会产生 AI“黑匣子”效应，导 致用户对 AI 系统的决策产生疑问，该效应可在各 类使用中发生，包括 AI 在金融股票、医疗诊断、 安全检测、法律判决等领域，导致系统决策效率 降低、伦理道德等问题，影响公众对 AI 的信任度。 寻求可解释 AI(explainable AI, XAI) 已成为 AI 界的一个研究热点，具有代表性的是 DARPA[62] 在 2016 年启动的项目。该项目集中在：1) 开发或 改进 ML 技术来获取可解释算法模型；2) 借助于 先进的人机交互技术，开发可解释 AI 的用户界面 模型；3) 评估心理学解释理论来协助可解释 AI 的 研发。 经过多年的努力，AI 界开始认识到非 AI 学 科在可解释 AI 研究中的重要性[63]。Miller 等 [64] 的调查表明，大多数可解释 AI 项目仅在 AI 学科 内展开。许多 AI 人员采用“以算法为中心”的方 法，加剧了算法的不透明[65]。一些 AI 人员没有遵 循 HCAI 理念，通常为自己而不是用户构建可解 释 AI[66]。研究还表明，如果采用行为科学方法， 侧重于用户而不是技术，针对可解释 AI 的研究将 更有效[64]。 今后 HAII 领域的工作主要有以下几方面。 首先，研究和开发“以人为中心的可解释 AI”解决 方案。HAII 领域要从人机交互、心理学、人因工 程等方面来寻找解决方案。以往许多研究是基于 静态和单向信息传达式的解释，今后 HAII 工作要 研究探索式、自然式、交互式解释来设计可解释 界面[67-68]。 第二，HAII 领域提倡可解释 AI 研究要进一 步挖掘心理学等模型。尽管这些理论和模型通常 是基于实验室研究产生，可解释 AI 研究应该善于 利用这些模型，同时验证它们的可行性[68]。HAII 的工作可以利用本身交叉学科的特点起到一个中 间桥梁作用，加快理论转换，构建有效的界面或 计算模型。 最后，HAII 领域要开展可理解 AI 的研究和 应用。可解释 AI 也应该是可理解的[68] ，可解释性 是必要条件，但不是充分条件。从 HCAI 理念考 虑，可理解 AI 方案应满足终端用户的需求 (例如 知识水平)。这方面的研究需要行为科学方法的 支持以及实验验证[69]。 3.5 人类可控自主化 智能自主化技术正在走进人们的工作和生 活，但是已有人开始混淆自动化与自主化的概 念，这可能导致对技术不恰当的期望和误用[10]。 自动化技术按照固定算法、逻辑和规则而产生确 定的机器行为。智能系统会拥有不同程度的类似 于人的智能 (自适应、自我执行等能力)，系统输出 具不确定性，有可能出现偏差的机器行为。AI 的 自主化特征对安全和大众心理等负面影响还没有 引起足够的重视[70]。 从 HCAI 理念出发，我们提倡基于“人类可控 AI”设计目标的人类可控自主化设计，即智能自 主化系统需要人类的监控，人类操作员具有最终 的决控权 (通过直接或远程操控等方式) [4]。 人因工程界已经对一些复杂领域 (航空、航 天等) 中的自动化系统开展了广泛的研究，已达 成共识[71-72]。许多复杂自动化系统存在脆弱性， 在设计所规定的操作场景中运行良好，但是在遇 到意外事件时，可能导致操作员的“自动化惊讶” 现象[71] ：操作员无法理解自动化正在做什么，为什 么这样做。 Endsley[70] 认为在智能自主化系统中，随着系统 自主化程度的提高，各单项功能的“自动化”水平 ·614· 智 能 系 统 学 报 第 16 卷