第16卷第4期 智能系统学报 Vol.16 No.4 2021年7月 CAAI Transactions on Intelligent Systems Jul.2021 D0:10.11992/tis.202012050 人一AI交互：实现“以人为中心AI”理念的跨学科新领域 许为，葛列众'，高在峰2 (1.浙江大学心理科学研究中心，浙江杭州310058：2.浙江大学心理与行为科学系，浙江杭州310058) 摘要：AI技术造福了人类，也给研发带来了挑战，如果开发不当，会伤害人类和社会。目前国内外还没有系 统的跨学科工作框架来有效地应对这些新挑战。为顺应学科发展的交叉趋势，中国国家自然科学基金委 2020年成立了交叉科学部。在这样的背景下，本文分析AI系统研发面临的新挑战，进一步阐述我们在2019年 提出的“以人为中心AI"(human-centered AI,HCAI)研发理念和设计目标。目前，HCAI研发理念在国外是AI界 的热门课题之一，为推动HCAI理念的落实，本文系统地提出了人-人工智能交互(human--AI interaction,HAII) 的跨学科新领域，定义了其目的、范围、研究和应用重点等。通过文献综述和分析，本文总结了国内外HⅡ研 究和应用的重点，提出了今后的主要研究方向。最后，针对今后HCAI理念和HAI领域的工作，提出了一系列 对策和建议。 关键词：人工智能；人-人工智能交互；自主化；以人为中心的人工智能：人机交互；人因工程；人AI系统交互： 以人为中心设计 中图分类号：TP3-05文献标志码：A文章编号：1673-4785(2021)04-0605-17 中文引用格式：许为，葛列众，高在峰.人-AI交互：实现“以人为中心AI”理念的跨学科新领域.智能系统学报，2021， 16(4):605-621. 英文引用格式：XU Wei,,GE Liezhong,.GAO Zaifeng.Human--Al interaction:An emerging interdisciplinary domain for enabling human-centered AIlJI.CAAI transactions on intelligent systems,2021,16(4):605-621. Human-AI interaction:An emerging interdisciplinary domain for enabling human-centered AI XU Wei,GE Liezhong',GAO Zaifeng? (1.Center for Psychological Sciences,Zhejiang University,Hangzhou 310058,China;2.Department of Psychology,Zhejiang Uni- versity,Hangzhou 310058,China) Abstract:The new characteristics of AI technology have brought new challenges to the research and development of AI systems.AI technology has benefited humans,but if improperly developed,it will harm humans.At present,there is no systematic interdisciplinary approach to effectively deal with these new challenges.This paper analyzes the new chal- lenges faced by AI systems and further elaborates the"Human-Centered AI"(HCAI)approach we proposed in 2019.In order to enable the implementation of the HCAI approach,we systematically propose an emerging interdisciplinary do- main of"Human-Al Interaction"(HAIl),and define the objective,methodology,and scope.Based on literature review and analyses,this paper summarizes the main areas of the HAII research and application as well as puts forward the fu- ture research agenda for HAIl.Finally,the paper provides strategic recommendations for future implementation of the HCAI approach and HAlI work. Keywords:artificial intelligence;human-artificial intelligence interaction;autonomy:human-centered artificial intelli- gence;human-computer interaction;human factors engineering;human-AI system interaction;human-centered design 人工智能(A)技术正在造福人类，但是，目前许多AI系统的研发主要遵循“以技术为中心” 的理念。研究表明不恰当的A技术开发导致 收稿日期：2020-12-28. 通信作者：许为.E-mail:xuweill@zju.edu.cn 了许多伤害人类的事故，AI事故数据库已经收集了
DOI: 10.11992/tis.202012050 人−AI 交互: 实现“以人为中心 AI”理念的跨学科新领域 许为1 ，葛列众1 ，高在峰2 （1. 浙江大学 心理科学研究中心，浙江 杭州 310058; 2. 浙江大学 心理与行为科学系，浙江 杭州 310058） 摘 要：AI 技术造福了人类，也给研发带来了挑战，如果开发不当，会伤害人类和社会。目前国内外还没有系 统的跨学科工作框架来有效地应对这些新挑战。 为顺应学科发展的交叉趋势，中国国家自然科学基金委 2020 年成立了交叉科学部。在这样的背景下，本文分析 AI 系统研发面临的新挑战，进一步阐述我们在 2019 年 提出的“以人为中心 AI”（human-centered AI，HCAI）研发理念和设计目标。目前，HCAI 研发理念在国外是 AI 界 的热门课题之一，为推动 HCAI 理念的落实，本文系统地提出了人−人工智能交互（human-AI interaction，HAII） 的跨学科新领域，定义了其目的、范围、研究和应用重点等。通过文献综述和分析，本文总结了国内外 HAII 研 究和应用的重点，提出了今后的主要研究方向。最后，针对今后 HCAI 理念和 HAII 领域的工作，提出了一系列 对策和建议。 关键词：人工智能；人−人工智能交互；自主化；以人为中心的人工智能；人机交互；人因工程；人-AI 系统交互； 以人为中心设计 中图分类号：TP3-05 文献标志码：A 文章编号：1673−4785(2021)04−0605−17 中文引用格式：许为, 葛列众, 高在峰. 人−AI 交互: 实现“以人为中心 AI”理念的跨学科新领域[J]. 智能系统学报, 2021, 16(4): 605–621. 英文引用格式：XU Wei, GE Liezhong, GAO Zaifeng. Human-AI interaction: An emerging interdisciplinary domain for enabling human-centered AI[J]. CAAI transactions on intelligent systems, 2021, 16(4): 605–621. Human-AI interaction: An emerging interdisciplinary domain for enabling human-centered AI XU Wei1 ，GE Liezhong1 ，GAO Zaifeng2 (1. Center for Psychological Sciences, Zhejiang University, Hangzhou 310058, China; 2. Department of Psychology, Zhejiang University, Hangzhou 310058, China) Abstract: The new characteristics of AI technology have brought new challenges to the research and development of AI systems. AI technology has benefited humans, but if improperly developed, it will harm humans. At present, there is no systematic interdisciplinary approach to effectively deal with these new challenges. This paper analyzes the new challenges faced by AI systems and further elaborates the “Human-Centered AI” (HCAI) approach we proposed in 2019. In order to enable the implementation of the HCAI approach, we systematically propose an emerging interdisciplinary domain of “Human-AI Interaction” (HAII), and define the objective, methodology, and scope. Based on literature review and analyses, this paper summarizes the main areas of the HAII research and application as well as puts forward the future research agenda for HAII. Finally, the paper provides strategic recommendations for future implementation of the HCAI approach and HAII work. Keywords: artificial intelligence; human-artificial intelligence interaction; autonomy; human-centered artificial intelligence; human-computer interaction; human factors engineering; human-AI system interaction; human-centered design 人工智能 (AI) 技术正在造福人类，但是，目 前许多 AI 系统的研发主要遵循“以技术为中心” 的理念[1-5]。研究表明不恰当的 AI 技术开发导致 了许多伤害人类的事故，AI 事故数据库已经收集了 收稿日期：2020−12−28. 通信作者：许为. E-mail：xuwei11@zju.edu.cn. 第 16 卷第 4 期 智 能 系 统 学 报 Vol.16 No.4 2021 年 7 月 CAAI Transactions on Intelligent Systems Jul. 2021
·606· 智能系统学报 第16卷 1000多起事故向，这些事故包括：自动驾驶汽车撞 作用习 死行人，交易算法错误导致市场“闪崩”，面部识 可见，第3次浪潮开始围绕“人的因素”来开 别系统导致无辜者被捕等。美国工程院院士、计 发AL,促使人们更多地考虑“以人为中心AI”的理 算机教授Shneiderman将围绕“以技术为中心”还 念。因此，第3次浪潮呈现出“技术提升+应用开 是“以人为中心”理念开发AI系统的争议形象化 发+以人为中心”的特征回，意味着AI开发不仅是 地描述为“AI哥白尼革命”，提出AI开发应该将 一个技术方案，还是跨学科合作的系统工程。 人类放在中心，而不是算法和AI技术。 1.2智能时代的新型人机关系 近几年来，围绕“以人为中心A”理念、如何 AI可以开发成具有自主化(autonomy)特征的 避免AI伤害人类以及产生社会负面影响等方面 智能体。取决于自主化程度，AI系统可以拥有一 的研究引起越来越多的重视3s山，目前国内外还 定程度上的类似于人的认知、学习、自适应、独立 没有形成系统化的跨学科工作框架来有效应对这 执行操作等能力，在特定的场景下可以自主地完成 些新挑战及促进这方面工作的开展。中国国家自 一些特定任务，可以在一些设计未预期的场景中 然科学基金委员会在2020年成立了交叉科学部， 自主地完成以往自动化技术所不能完成的任务切。 在交叉科学高端学术论坛上，受邀的AI、人机交 这种智能自主化特征赋予人机系统中机器新 互(human-computer interaction)、人因工程(human 的角色。在非智能时代，人类操作基于计算技 factors engineering)等专家一致认为，学科交叉是 术，机器充当辅助工具角色。人与AI系统的交互 未来科学发展的必然趋势。 本质上是人与自主智能体的交互。随着AI技术 在这样的基于跨学科合作理念的背景下，本 提升，自主智能体有可能从一种支持人类操作的 文回答以下3个问题：与传统计算技术相比， 辅助工具的角色发展成为与人类操作员共同合作 AI技术带来了什么新挑战？应该如何促进“以人 的队友，扮演“辅助工具+人机合作队友”的双重新 为中心AI”理念在AI研发中的应用？从跨学科 角色。 合作角度我们应该采取什么策略？本文将进一步 因此，智能时代的人机关系正在演变成为团 阐述我们在2019年提出的以人为中心AI”(human- 队队友关系，形成一种“人机组队”(human-ma- centered AI,HCA)理念，系统地提出人-人工智 chine teaming)式合作2-l。智能时代的这种人 能交互(human-AI interaction,HAID这一新兴跨学 机关系区别于PC时代的人机交互，对AI研发是 科领域。希望通过倡导HCAI理念和HAI领域， 挑战和机遇，研发者需要在AI研发中要利用这种 促进AI研发造福于人类，避免潜在的负面影响。 人机合作，保证人类能够有效控制AI系统，避免 1AI技术带来的新变化和新挑战 伤害人类。 1.3人-非AI系统交互与人-AI系统交互的比较 1.1AI技术的跨时代特征 人机交互是PC时代形成的跨学科领域，它 AI界一般认为AI技术主要经历了3次浪潮。 研究人-非AI计算系统之间的交互。表1比较了 前两次浪潮集中在科学探索，局限于“以技术为中 人-非AI系统交互与人-AI系统交互之间的一些 心”的视野，呈现出“学术主导”的特征。深度机器 特征。人-AI系统交互所具备的特征是基于 学习、算力、大数据等技术推动了第3次浪潮的 AI系统具有较高的智能自主化程度，有些特征目 兴起。在第3次浪潮中，人们开始重视AI技术的 前还没实现。从表1可见，与人-非智能系统交互 应用落地场景，开发对人类有用的前端应用和人 相比，人-智能系统交互带来了许多新特征和新 机交互技术，考虑AI伦理等问题。同时，AI界开 问题，也给人一智能系统交互的研究和应用带来 始提倡将人与AI视为一个人机系统，引入人的 了新机遇。 表1人-非AI计算系统交互与人-AI系统交互的特征比较 Table 1 Comparative analysis between human interaction with non-AI systems and AI systems 特征 计算机时代的人-非AI计算系统交互 智能时代的人一AI系统交互 实例 办公软件、洗衣机、自动生产线等 智能音响、智能决策系统、自动驾驶汽车等 按照固定算法、逻辑和规则产生确定的机器 具有不同程度的类似于人的认知能力（学习、自适 机器行为和智能 行为：不具备机器智能 应、自我执行等)：展示特殊、可演化的机器行为 机器角色 主要作为一种辅助工具 也可能成为与人类合作的团队队友
1 000 多起事故[6] ，这些事故包括：自动驾驶汽车撞 死行人，交易算法错误导致市场“闪崩”，面部识 别系统导致无辜者被捕等。美国工程院院士、计 算机教授 Shneiderman[4] 将围绕“以技术为中心”还 是“以人为中心”理念开发 AI 系统的争议形象化 地描述为“AI 哥白尼革命”，提出 AI 开发应该将 人类放在中心，而不是算法和 AI 技术。 近几年来，围绕“以人为中心 AI”理念、如何 避免 AI 伤害人类以及产生社会负面影响等方面 的研究引起越来越多的重视[2-3, 5-11] ，目前国内外还 没有形成系统化的跨学科工作框架来有效应对这 些新挑战及促进这方面工作的开展。中国国家自 然科学基金委员会在 2020 年成立了交叉科学部， 在交叉科学高端学术论坛上，受邀的 AI、人机交 互 (human-computer interaction)、人因工程 (human factors engineering) 等专家一致认为，学科交叉是 未来科学发展的必然趋势。 在这样的基于跨学科合作理念的背景下，本 文回答以下 3 个问题：与传统计算技术相比， AI 技术带来了什么新挑战？应该如何促进“以人 为中心 AI”理念在 AI 研发中的应用？从跨学科 合作角度我们应该采取什么策略？本文将进一步 阐述我们在 2019 年提出的“以人为中心 AI”(humancentered AI，HCAI) 理念[2] ，系统地提出人−人工智 能交互 (human-AI interaction，HAII) 这一新兴跨学 科领域。希望通过倡导 HCAI 理念和 HAII 领域， 促进 AI 研发造福于人类，避免潜在的负面影响。 1 AI 技术带来的新变化和新挑战 1.1 AI 技术的跨时代特征 AI 界一般认为 AI 技术主要经历了 3 次浪潮。 前两次浪潮集中在科学探索，局限于“以技术为中 心”的视野，呈现出“学术主导”的特征。深度机器 学习、算力、大数据等技术推动了第 3 次浪潮的 兴起。在第 3 次浪潮中，人们开始重视 AI 技术的 应用落地场景，开发对人类有用的前端应用和人 机交互技术，考虑 AI 伦理等问题。同时，AI 界开 始提倡将人与 AI 视为一个人机系统，引入人的 作用[1, 3]。 可见，第 3 次浪潮开始围绕“人的因素”来开 发 AI，促使人们更多地考虑“以人为中心 AI”的理 念。因此，第 3 次浪潮呈现出“技术提升+应用开 发+以人为中心”的特征[2] ，意味着 AI 开发不仅是 一个技术方案，还是跨学科合作的系统工程。 1.2 智能时代的新型人机关系 AI 可以开发成具有自主化 (autonomy) 特征的 智能体。取决于自主化程度，AI 系统可以拥有一 定程度上的类似于人的认知、学习、自适应、独立 执行操作等能力，在特定的场景下可以自主地完成 一些特定任务，可以在一些设计未预期的场景中 自主地完成以往自动化技术所不能完成的任务[9-11]。 这种智能自主化特征赋予人机系统中机器新 的角色。在非智能时代，人类操作基于计算技 术，机器充当辅助工具角色。人与 AI 系统的交互 本质上是人与自主智能体的交互。随着 AI 技术 提升，自主智能体有可能从一种支持人类操作的 辅助工具的角色发展成为与人类操作员共同合作 的队友，扮演“辅助工具+人机合作队友”的双重新 角色[11]。 因此，智能时代的人机关系正在演变成为团 队队友关系，形成一种“人机组队”(human-machine teaming) 式合作[12-13]。智能时代的这种人 机关系区别于 PC 时代的人机交互，对 AI 研发是 挑战和机遇，研发者需要在 AI 研发中要利用这种 人机合作，保证人类能够有效控制 AI 系统，避免 伤害人类。 1.3 人−非 AI 系统交互与人−AI 系统交互的比较 人机交互是 PC 时代形成的跨学科领域，它 研究人−非 AI 计算系统之间的交互。表 1 比较了 人−非 AI 系统交互与人−AI 系统交互之间的一些 特征。人 −AI 系统交互所具备的特征是基 于 AI 系统具有较高的智能自主化程度，有些特征目 前还没实现。从表 1 可见，与人−非智能系统交互 相比，人−智能系统交互带来了许多新特征和新 问题，也给人−智能系统交互的研究和应用带来 了新机遇。 表 1 人−非 AI 计算系统交互与人−AI 系统交互的特征比较 Table 1 Comparative analysis between human interaction with non-AI systems and AI systems 特征 计算机时代的人−非AI计算系统交互 智能时代的人−AI系统交互 实例 办公软件、洗衣机、自动生产线等 智能音响、智能决策系统、自动驾驶汽车等 机器行为和智能 按照固定算法、逻辑和规则产生确定的机器 行为；不具备机器智能 具有不同程度的类似于人的认知能力(学习、自适 应、自我执行等)；展示特殊、可演化的机器行为 机器角色 主要作为一种辅助工具 也可能成为与人类合作的团队队友 ·606· 智 能 系 统 学 报 第 16 卷
第4期 许为，等：人-AI交互：实现“以人为中心A”理念的跨学科新领域 ·607· 续表1 特征 计算机时代的人-非AI计算系统交互 智能时代的人-AI系统交互 机器输出 具有确定性 具有不确定性 人类操作员角色 监视员、执行者 也可能成为与AI合作的队友（人应是最终决策者） 人机关系 人机交互 人机交互+人机组队式合作 也包括新型智能交互：语音交互、人脸识别、脑机 用户界面 图形用户界面、触摸屏交互、显式交互等 界面、隐式交互等 基于人的认知、行为、情感、场景上下文等信息，智 人机交互的行为特征由人启动的、基于显式界面的人机交互 能体也可以主动启动基于隐式界面的人机交互等 启动能力 人主动启动任务、行动，机器被动接受 人机双方均可主动地启动任务、行动 只有人针对机器的单向式信任、 人机之间双向式的信任、情景意识、意图，人机之 人机交互的方向性 情景意识、决策等 间可分享的决策控制权（人应拥有最终控制权） 智能互补性 机器无智能，人与机器之间无智能互补 机器智能与人的生物智能之间的互补 还呈现A黑匣子”效应，导致系统输出难以解释和 系统输出的可解释性主要取决于系统输出界面的可用性 理解 人、机器均可借助行为、情景意识等模型，预测对 人、机器的预测能力仅人类操作员拥有 方的行为、环境、系统等状态 自适应能力 仅人类操作员拥有 人、机器均可适应对方的行为及操作场景 目标设置能力 仅人类操作员拥有 人、机器均可设置或调整系统目标 替换能力 机器可以替换人的任务（借助于自动化 机器可以替换人的体力、认知任务（人机之间可主 技术，主要是体力方面) 动或被动地接管、委派任务等) 人机合作 有限 基于以上一些特征，可能产生更有效的人机合作 用户需求 主要包括可用性、心理、安全、生理等 还包括情感、隐私、伦理、决策自主权等 在人-非智能系统交互中，作为一种支持人类 交互161。尽管这些工作各有侧重点，但是都是 操作的辅助工具，机器依赖于事先设计的规则和 研究人与智能“机器”（智能体、智能代理等）之 算法。尽管人机之间也存在一定程度上的人机合 间的交互。所以，这种交互本质上就是人-AI交 作，但是作为辅助工具的机器是被动的，只有人 互(human-AI interaction,HAI)。目前还没有一 可以主动地启动这种有限的合作。 个系统的有关HAⅡ领域的工作框架，有必要正 AI系统智能体具备的自主化特征使得智能 式提倡将HAIⅡ作为一个新的多学科交叉领域来 体与人类之间可以实现一定程度上类似于人一人 推动。 团队之间的“合作式交互”。在特定的操作环境 2.1HAⅡ领域的理念：以人为中心AI 中，这种交互可以是由两者之间双向主动的、分 近几年，当“以技术为中心”方法影响着AI研 享的、互补的、可替换的、自适应的、目标驱动的 发的同时，研究者也在探索基于“以人为中心”的 以及可预测的等特征所决定的（见表1）。随着 AI开发方法，例如，以人为中心的算法、AI人文 AI技术的发展，未来AI系统将更多点地具备这 设计、包容性设计、基于社会责任的AI图。 些特征。 斯坦福大学在2019年成立了“以人为中心 由此可见，智能时代人-AI系统交互的新特 AI”(human-centered AI,.HCA)研究中心，目的 征以及研究的问题等已经远超出了目前人机交互 是通过技术提升与伦理化设计手段，开发出合乎 研究和应用的范围，需要一种新思维来考虑如何 人类道德伦理和惠及人类的AI系统m 更加有效地开展多学科合作来应对人-AI系统交 许为B1剧在2019年提出了一个“以人为中心 互以及AI系统研发中面临的一系列新特征和新 AI”(HCAI)的系统概念框架，该框架包括人、伦 挑战。 理、技术3个方面。Shneiderman'在2020年提 2HAⅡ领域的兴起及领域理念 出了一个为开发可靠、安全和可信赖的AI系统 的指导框架。HCAI就是指导HAIⅡ新领域的理 国外针对人-AI系统交互的研究和应用已 念。以下进一步阐述HCAI理念的3个方面：技 经展开211。例如：人-智能体交互，人一自主 术、人、伦理（见图1）。其中，图1概括了各方面 化交互(human-autonomy interaction)l,人-AI 工作的主要途径（见图1中围绕3个周边圆形部
在人−非智能系统交互中，作为一种支持人类 操作的辅助工具，机器依赖于事先设计的规则和 算法。尽管人机之间也存在一定程度上的人机合 作，但是作为辅助工具的机器是被动的，只有人 可以主动地启动这种有限的合作。 AI 系统智能体具备的自主化特征使得智能 体与人类之间可以实现一定程度上类似于人−人 团队之间的“合作式交互”。在特定的操作环境 中，这种交互可以是由两者之间双向主动的、分 享的、互补的、可替换的、自适应的、目标驱动的 以及可预测的等特征所决定的 (见表 1)。随着 AI 技术的发展，未来 AI 系统将更多点地具备这 些特征[13]。 由此可见，智能时代人−AI 系统交互的新特 征以及研究的问题等已经远超出了目前人机交互 研究和应用的范围，需要一种新思维来考虑如何 更加有效地开展多学科合作来应对人−AI 系统交 互以及 AI 系统研发中面临的一系列新特征和新 挑战。 2 HAII 领域的兴起及领域理念 国外针对人−AI 系统交互的研究和应用已 经展开[12-13]。例如：人−智能体交互[14] ，人−自主 化交互 (human-autonomy interaction)[15] ，人−AI 交互[ 1 6 ]。尽管这些工作各有侧重点，但是都是 研究人与智能“机器”(智能体、智能代理等) 之 间的交互。所以，这种交互本质上就是人−AI 交 互 (human-AI interaction，HAII)。目前还没有一 个系统的有关 HAII 领域的工作框架，有必要正 式提倡将 HAII 作为一个新的多学科交叉领域来 推动。 2.1 HAII 领域的理念：以人为中心 AI 近几年，当“以技术为中心”方法影响着 AI 研 发的同时，研究者也在探索基于“以人为中心”的 AI 开发方法，例如，以人为中心的算法、AI 人文 设计、包容性设计、基于社会责任的 AI[8]。 斯坦福大学在 2019 年成立了“以人为中心 AI”(human-centered AI，HCAI) 研究中心，目的 是通过技术提升与伦理化设计手段，开发出合乎 人类道德伦理和惠及人类的 AI 系统[17]。 许为[2, 18] 在 2019 年提出了一个“以人为中心 AI”(HCAI) 的系统概念框架，该框架包括人、伦 理、技术 3 个方面。Shneiderman[19] 在 2020 年提 出了一个为开发可靠、安全和可信赖的 AI 系统 的指导框架。HCAI 就是指导 HAII 新领域的理 念。以下进一步阐述 HCAI 理念的 3 个方面：技 术、人、伦理 (见图 1) [2]。其中，图 1 概括了各方面 工作的主要途径 (见图 1 中围绕 3 个周边圆形部 续表 1 特征 计算机时代的人−非AI计算系统交互 智能时代的人−AI系统交互 机器输出 具有确定性 具有不确定性 人类操作员角色 监视员、执行者 也可能成为与AI合作的队友(人应是最终决策者) 人机关系 人机交互 人机交互+人机组队式合作 用户界面 图形用户界面、触摸屏交互、显式交互等 也包括新型智能交互：语音交互、人脸识别、脑机 界面、隐式交互等 人机交互的行为特征 由人启动的、基于显式界面的人机交互 基于人的认知、行为、情感、场景上下文等信息，智 能体也可以主动启动基于隐式界面的人机交互等 启动能力 人主动启动任务、行动，机器被动接受 人机双方均可主动地启动任务、行动 人机交互的方向性 只有人针对机器的单向式信任、 情景意识、决策等 人机之间双向式的信任、情景意识、意图，人机之 间可分享的决策控制权(人应拥有最终控制权) 智能互补性 机器无智能，人与机器之间无智能互补 机器智能与人的生物智能之间的互补 系统输出的可解释性 主要取决于系统输出界面的可用性 还呈现AI“黑匣子”效应，导致系统输出难以解释和 理解 人、机器的预测能力 仅人类操作员拥有 人、机器均可借助行为、情景意识等模型，预测对 方的行为、环境、系统等状态 自适应能力 仅人类操作员拥有 人、机器均可适应对方的行为及操作场景 目标设置能力 仅人类操作员拥有 人、机器均可设置或调整系统目标 替换能力 机器可以替换人的任务(借助于自动化 技术，主要是体力方面) 机器可以替换人的体力、认知任务(人机之间可主 动或被动地接管、委派任务等) 人机合作 有限 基于以上一些特征，可能产生更有效的人机合作 用户需求 主要包括可用性、心理、安全、生理等 还包括情感、隐私、伦理、决策自主权等 第 4 期 许为，等：人−AI 交互: 实现“以人为中心 AI”理念的跨学科新领域 ·607·
·608· 智能系统学报 第16卷 分的蓝色字体)，例如，人的需求、AI应用场景； (见图1中围绕“以人为中心AI”中心圆形部分的 图1也概括了这些工作要达到的HCAI设计目标 黑色字体)，例如，可用的AI、有用的AI。 算力 大数据 算法和模型 人机混合增强智能 AI与智能增强技术整合 技术 高效强大的A! 可扩展的A1 人类可控的A 增强人类能力 以人为中心 伦理化AI AI 有用的AI 有责任A1 可用的AI 跨学科方法 人的需求 标准和治理 伦理 AI应用场景 有效开发实践 人类拥有最终决控权 。人类认知模型 有意义的人类控制 人机交互技术和技术 图1以人为中心AI(HCA)理念 Fig.1 Human-Centered AI(HCAI)design philosophy 1)“技术”方面：强调3类智能的有机结合。 系统工程，开发出可靠的、安全的、可信赖的 ①机器智能：利用算法、大数据、算力等技术来开 AI系统B9 发机器智能。②人类智能：利用智能增强技术， 2.2HAⅡ领域的工作框架 借助心理学、脑神经技术等方法推动人类智能的 针对HAⅡ这一新兴领域，我们作出以下初步 增强。③人机混合增强智能：AI界已经认识到单 的定义。图2示意了人-人工智能交互(HA川)的 独发展AI技术的路径遇到了瓶颈效应，在高级人 领域框架，其中，蓝色圆圈部份代表跨学科的主 类认知方面难以达到人类的智能水平山，3，。因 要合作学科，白色长形部份代表本文所讨论的 此，HCAI理念强调将人的作用融入人机系统，通 HAⅡ研究和应用的主要问题。 过人机智能的互补，开发人机混合增强智能、 HAⅡ领域理念：以人为中心AI(HCAI): AI与人类智能增强技术的整合。目的是开发出 HAⅡ领域目的：作为一个跨学科交叉领域， 可持续发展、强大、人类可控的AI;AI开发的目 HAI利用AI、计算机科学、人机交互、人因工程、 的是提升人的能力，而不是取代人类。 心理学等学科技术和方法，致力于合作研发AI系 2)“人”方面：强调在AI系统研发中从人的需 统，优化人与AI系统之间的交互，注重机器与人 求出发，落实有效的应用场景，开发人类认知模 类智能的优势互补，全方位考虑AI伦理道德，强 型，在AI研发中实施基于“以人为中心”的人机交 调人对AI系统的最终决控权，通过提供一个跨学 互设计和方法（建模、设计、测试等）。目的是开 科的合作平台，在AI系统开发中实现HCAI开发 发出有用的（满足人的需求、有使用价值）、可用 理念，为人类提供安全、可靠、可信赖的AI。 的（易用、易学）、人类拥有最终决控权的AI系统。 HAⅡ研究和应用范围：狭义地说，HAI涉及 3)“伦理”方面：结合跨学科方法、有效开发实 到人与AI系统交互的研究和应用；广义地说，任 践、标准和治理等工作，通过工程设计手段（如 何涉及到由人来使用、影响人的AI研究发都属 “有意义的人类控制”)，保证AI开发遵循公平、人 于HAI的范畴，包括与人产生交互的AI系统的 的隐私、伦理道德、人的决策权等方面的权益。 研究和应用领域，如智能手机应用APP、智能人 目的是开发出伦理化、负责任的AI。 机交互技术、智能决策系统、智能物联网等。如 HCAI理念强调在AI开发中保持人的中心地 图2所示，HAⅡ从人-机-环境系统的角度来考虑 位，贯彻技术、人、伦理三方面相互依承的系统化 各种因素对人与AI交互的影响，全面了解这些影 AI开发思维，主张AI开发是一个跨学科协作的 响有助于发挥AI技术的优势，避免负面影响
分的蓝色字体)，例如，人的需求、AI 应用场景； 图 1 也概括了这些工作要达到的 HCAI 设计目标 (见图 1 中围绕“以人为中心 AI”中心圆形部分的 黑色字体)，例如，可用的 AI、有用的 AI。 算力 算法和模型 AI 与智能增强技术整合 大数据 人机混合增强智能 高效强大的 AI 人类可控的 AI 可扩展的 AI 增强人类能力 有用的 AI 可用的 AI 技术 以人为中心 伦理化 AI AI 有责任 AI 人类拥有最终决控权 伦理 人 人的需求 AI 应用场景 人类认知模型 人机交互技术和技术 跨学科方法 有意义的人类控制 有效开发实践 标准和治理 图 1 以人为中心 AI(HCAI) 理念 Fig. 1 Human-Centered AI (HCAI) design philosophy 1)“技术”方面：强调 3 类智能的有机结合。 ①机器智能：利用算法、大数据、算力等技术来开 发机器智能。②人类智能：利用智能增强技术， 借助心理学、脑神经技术等方法推动人类智能的 增强。③人机混合增强智能：AI 界已经认识到单 独发展 AI 技术的路径遇到了瓶颈效应，在高级人 类认知方面难以达到人类的智能水平[1, 3， 20]。因 此，HCAI 理念强调将人的作用融入人机系统，通 过人机智能的互补，开发人机混合增强智能、 AI 与人类智能增强技术的整合。目的是开发出 可持续发展、强大、人类可控的 AI；AI 开发的目 的是提升人的能力，而不是取代人类。 2)“人”方面：强调在 AI 系统研发中从人的需 求出发，落实有效的应用场景，开发人类认知模 型，在 AI 研发中实施基于“以人为中心”的人机交 互设计和方法 (建模、设计、测试等)。目的是开 发出有用的 (满足人的需求、有使用价值)、可用 的 (易用、易学)、人类拥有最终决控权的 AI 系统。 3)“伦理”方面：结合跨学科方法、有效开发实 践、标准和治理等工作，通过工程设计手段 (如 “有意义的人类控制”)，保证 AI 开发遵循公平、人 的隐私、伦理道德、人的决策权等方面的权益。 目的是开发出伦理化、负责任的 AI。 HCAI 理念强调在 AI 开发中保持人的中心地 位，贯彻技术、人、伦理三方面相互依承的系统化 AI 开发思维，主张 AI 开发是一个跨学科协作的 系统工程，开发出可靠的、安全的、可信赖的 AI 系统[2, 19]。 2.2 HAII 领域的工作框架 针对 HAII 这一新兴领域，我们作出以下初步 的定义。图 2 示意了人−人工智能交互 (HAII) 的 领域框架，其中，蓝色圆圈部份代表跨学科的主 要合作学科，白色长形部份代表本文所讨论的 HAII 研究和应用的主要问题。 HAII 领域理念：以人为中心 AI(HCAI)。 HAII 领域目的：作为一个跨学科交叉领域， HAII 利用 AI、计算机科学、人机交互、人因工程、 心理学等学科技术和方法，致力于合作研发 AI 系 统，优化人与 AI 系统之间的交互，注重机器与人 类智能的优势互补，全方位考虑 AI 伦理道德，强 调人对 AI 系统的最终决控权，通过提供一个跨学 科的合作平台，在 AI 系统开发中实现 HCAI 开发 理念，为人类提供安全、可靠、可信赖的 AI。 HAII 研究和应用范围：狭义地说，HAII 涉及 到人与 AI 系统交互的研究和应用；广义地说，任 何涉及到由人来使用、影响人的 AI 研究发都属 于 HAII 的范畴，包括与人产生交互的 AI 系统的 研究和应用领域，如智能手机应用 APP、智能人 机交互技术、智能决策系统、智能物联网等。如 图 2 所示，HAII 从人−机−环境系统的角度来考虑 各种因素对人与 AI 交互的影响，全面了解这些影 响有助于发挥 AI 技术的优势，避免负面影响。 ·608· 智 能 系 统 学 报 第 16 卷
第4期 许为，等：人-AI交互：实现“以人为中心AI”理念的跨学科新领域 ·609· 安全、可靠、可信赖的AI 环境 人-AI合作相 心理 人机混合增强智寵 人类智能增强 认知计算 人工 生理、 智能 智能人机交互技不 计算机 机交石 人工智能 科学 (HCI) 智能交互设升标准 情感、 社会 “人在环路”A 认知神 人-AI交面 人因 可解释A! 经科学 工程 (HAII) A机器行为 可用的A(易学易用 数据 设计 P认知 毫 科学 工程 有用的A1(有效应用场景 安全、 交互式机器华习 与社会 科学 伦理化设中 人类可控自主化 伦理等 有意义的人类控制 决策权等 技术 算法、模型、大数据5G系统架构等 了 了 “以人为中心A”(HCA)的开发理念 图2人-人工智能交互HAD领域示意 Fig.2 Illustration of the human-AI interaction(HAIl)domain HAⅡ领域方法：作为一个跨学科领域，通过 题&2刘 多学科方法（建模、算法、设计、工程、测试等）和 历史上，新技术促进了新领域的产生。进入 合作的流程来开发AI系统。这些方法来自这些 PC时代，传统“人机交互”(human-machine inter- 相关学科，例如计算模型、工程设计方法、行为科 action)领域过渡到新版的“人机交互”（人-计算机 学研究方法、人机交互设计等。 交互)，但是此“机”非彼“机2四。智能时代的机器 HAI领域人员：从事HAI研究和应用的人 过渡到AI系统，AI的新特征促使HAⅡ新领域的 员包括来自AI、计算机、数据科学、人机交互、心 产生，因此，HAⅡ的出现也是必然的。 理学、认知神经科学、社会科学等专业人员。广 我们并不建议将HAⅡ设置为一门独立的新 义地来说，大多数从事A!系统研发的人员都属于 学科，强调HAⅡ是一个新型跨学科领域，希望通 这个范畴，他们研发的AI系统或多或少都与人交 过该领域的跨学科、跨行业协同合作来落实 互，都是为了开发出有利于人类的AI系统。 HCAI理念。例如，HAIⅡ工作需要人机交互人员 2.3为什么需要HAⅡ新领域 的参与，他们必须采用新思维开展针对人与AI交 首先，HAⅡ领域为各学科提供了一个合作平 互的研究和应用。 台。HAI有助于在一个领域名称(HAID）下，联合 2.4实现HCAI理念面临的挑战和HAⅡ解决方案 参与AI系统研发的跨学科、跨行业专业人员，避 HAⅡ领域的工作并非刚刚兴起，AI界和其他 免易混淆的名称，这种跨学科合作有助于有效地 相关学科已经开展了一些工作。为进一步阐述 开发以人为中心的AI系统。 HAⅡ领域，基于文献综述和分析，表2概括了当 其次，HAⅡ领域强调其研究和应用的对象是 前HAⅡ研究和应用的重点、实现HCAI理念的挑 AL,不是传统的非A系统，有助于提醒人们注重 战、HAII领域可能的解决方案、期望的HCAI设 AI与非AI系统之间的特征差异，促使人们重视 计目标。表2也引用一些实例，详细内容在本文 AI技术带来的新挑战和新问题，采用有效的方法 第3部分讨论。 来解决AI系统开发中的独特问题。 从表2可知，首先，为实现基于HCAI理念的 最后，HAII领域有助于推动HCAI理念在 设计目标，HAI研究和应用有许多挑战期待解 AI研发中的落实。HAII强调AI研发中将人的中 决。不解决这些挑战我们就无法实现HCAI理 心作用整合到系统设计中，避免潜在安全风险问 念，无法开发出安全、可靠、可信赖的A
安全、可靠、可信赖的 AI 人 “以人为中心 AI” (HCAI) 的开发理念 环境商业 、文化 、组织 、社会 、法律 、安全 、伦理等 心理 、生理 、情感 、人格 、隐私 、公平 、决策权等 人工 智能 人机交互 (HCI) 人因 工程 设计 认知 与工程 与社会 科学 数据 科学 认知神 经科学 计算机 科学 人类智能增强 智能人机交互技术 智能交互设计标准 可解释 AI 可用的AI (易学易用) 有用的AI (有效应用场景) 人类可控自主化 有意义的人类控制 伦理化设计 交互式机器学习 AI 机器行为 “人在环路”AI 人工智能 认知计算 人机混合增强智能 人−AI 合作 人−AI 交互 (HAII) 技术 算法、模型、大数据 5G 系统架构等 图 2 人−人工智能交互 (HAII) 领域示意 Fig. 2 Illustration of the human-AI interaction (HAII) domain HAII 领域方法：作为一个跨学科领域，通过 多学科方法 (建模、算法、设计、工程、测试等) 和 合作的流程来开发 AI 系统。这些方法来自这些 相关学科，例如计算模型、工程设计方法、行为科 学研究方法、人机交互设计等。 HAII 领域人员：从事 HAII 研究和应用的人 员包括来自 AI、计算机、数据科学、人机交互、心 理学、认知神经科学、社会科学等专业人员。广 义地来说，大多数从事 AI 系统研发的人员都属于 这个范畴，他们研发的 AI 系统或多或少都与人交 互，都是为了开发出有利于人类的 AI 系统。 2.3 为什么需要 HAII 新领域 首先，HAII 领域为各学科提供了一个合作平 台。HAII 有助于在一个领域名称 (HAII) 下，联合 参与 AI 系统研发的跨学科、跨行业专业人员，避 免易混淆的名称，这种跨学科合作有助于有效地 开发以人为中心的 AI 系统。 其次，HAII 领域强调其研究和应用的对象是 AI，不是传统的非 AI 系统，有助于提醒人们注重 AI 与非 AI 系统之间的特征差异，促使人们重视 AI 技术带来的新挑战和新问题，采用有效的方法 来解决 AI 系统开发中的独特问题。 最后，HAII 领域有助于推动 HCAI 理念在 AI 研发中的落实。HAII 强调 AI 研发中将人的中 心作用整合到系统设计中，避免潜在安全风险问 题 [8, 20]。 历史上，新技术促进了新领域的产生。进入 PC 时代，传统“人机交互”(human-machine interaction) 领域过渡到新版的“人机交互”(人−计算机 交互)，但是此“机”非彼“机” [21]。智能时代的机器 过渡到 AI 系统，AI 的新特征促使 HAII 新领域的 产生，因此，HAII 的出现也是必然的。 我们并不建议将 HAII 设置为一门独立的新 学科，强调 HAII 是一个新型跨学科领域，希望通 过该领域的跨学科、跨行业协同合作来落 实 HCAI 理念。例如，HAII 工作需要人机交互人员 的参与，他们必须采用新思维开展针对人与 AI 交 互的研究和应用。 2.4 实现 HCAI 理念面临的挑战和 HAII 解决方案 HAII 领域的工作并非刚刚兴起，AI 界和其他 相关学科已经开展了一些工作。为进一步阐述 HAII 领域，基于文献综述和分析，表 2 概括了当 前 HAII 研究和应用的重点、实现 HCAI 理念的挑 战、HAII 领域可能的解决方案、期望的 HCAI 设 计目标。表 2 也引用一些实例，详细内容在本文 第 3 部分讨论。 从表 2 可知，首先，为实现基于 HCAI 理念的 设计目标，HAII 研究和应用有许多挑战期待解 决。不解决这些挑战我们就无法实现 HCAI 理 念，无法开发出安全、可靠、可信赖的 AI。 第 4 期 许为，等：人−AI 交互: 实现“以人为中心 AI”理念的跨学科新领域 ·609·
·610· 智能系统学报 第16卷 表2HAⅡ领域中实现HCAI理念所面临的挑战、HAⅡ可能解决方案、应用实例以及HCAI设计目标 Table 2 Challenges in realizing the HCAI design philosophy,possible HAII solutions,application examples,and expected HCAI design goals HAⅡ领域重点 实现HCAI理 基于HCAI理念的 HAⅡ领域研究和 基于HCAI理念 念面临的挑战 HAII可能解决方案 应用实例 的设计目标（图1） 潜在的、带偏见的系统 “以人为中心”机器学习. 交互式机器学习.基于“以人为 有用的AL. 输出，意外的机器行为， 交互式机器学习，人机交 中心”理念，由目标用户（领域专 伦理化AI, 独特的机器行为演变， 互方法在数据收集、培 家)直接参与，降低对机器学习 有责任AI 不成熟的机器学习训练 训、算法调整、测试中的 专家的依赖，通过有效人机交互 和测试方法，缺乏用户 应用，基于行为科学方法 来构建和训练机器学习模型。 AI系统的机器 参与的机器学习.社会 的机器行为研究 用户检查、训练模型结果，不断 行为 交互中的复杂机器行 调整后续输入直到获得满意结 为，多重AI代理之间的 果。相对于传统机器学习，该方 复杂行为和交互 法更加快速、高效和优化，已应 用在推荐系统、信息检索、情景 感知等领域 人类智能增强技术 HAI可发挥IA和AI间的 整合IA和AI技术的智能系统，在 有用的AI. (IA)与AI技术之间的竞 桥梁作用，制定两种技术应用中增强人类智能，人类通过 可用的AL. 争，IA和AI技术之间缺 的最佳组合方案，确保 监控（远程等）实现人机协同合作 增强人的能 乏优势互补的最佳方案 AI技术增强人类智能，保 以及保证人的决控权P。例如。 力，人拥有 人类智能增强 证人拥有最终控制权，开 智能无人机（军用类等）、机器人 最终决控权 发生物神经层面的方案 (月球探测等危险场景、医疗外 (脑机融合等) 科精细手术等)、智能决策系统 (股票交易系统等) 机器智能难以模拟人类人机混合增强智能，“人 “人在环路”混合增强智能，242可 可扩展的 高级认知能力，机器智 在环路”AI系统及交互设 利用人与机器智能的优势互补. AL,高效 能技术发展的瓶颈效 计，人机协同控制，脑机 处理大规模、不完整和非结构化 强大的AI 应，孤立地开发机器智 混合系统，基于认知心理 知识信息：用户与AI系统交互中 人类可控的 能的发展途径缺乏可持 学研究的认知计算（情 不断知识迭代和学习，加深对数 AL,人拥有 人机混增强合 续性，AI开发中缺乏对 感、意图等).人类高级认 据及系统理解，AI模型接受特定 最终决控权 智能 人类控制和安全性的充 知能力模型、知识表征和输入并根据用户反馈信息确定 分考虑 图谱，人机共生与融合 输出，达到优于各自单独实现的 结果，避免AI技术带来的失控风 险，已应用在自动驾驶、辅助医 疗、视频检索等领域 缺乏成熟的人一AI合作 人-AI合作理论和模型， 从多学科角度出发，从感知、认 有用的AI. 理论、方法、认知架构。 人-AI合作团队绩效评估 知、执行层面上为基于人-AI合 可用的AL 缺乏成熟的人机态势感 和测试方法，人机共驾， 作的AI解决方案提供依据。例 人类可控 知共享、人机共信、人 社会环境中的人-AI合 如，人-AI合作研究策略和框架2阿 的AI 人-AI合作 机心理模型共享、人机 作，人-AI合作的人机交 人-AI合作团队绩效评估P7,人- 决策共享的理论、模型 互模型，人作为最终决策 AI互信2阁，人-AI合作中的心理 和方法 者的人-AI合作设计 模型四，人-A哈作的系统设计0， 人-AI哈作系统权限B,人- A1合作的定量和定性建模B
表 2 HAII 领域中实现 HCAI 理念所面临的挑战、HAII 可能解决方案、应用实例以及 HCAI 设计目标 Table 2 Challenges in realizing the HCAI design philosophy, possible HAII solutions, application examples, and expected HCAI design goals HAII领域重点 实现HCAI理 念面临的挑战 基于HCAI理念的 HAII可能解决方案 HAII领域研究和 应用实例 基于HCAI理念 的设计目标 (图1) AI系统的机器 行为 潜在的、带偏见的系统 输出，意外的机器行为， 独特的机器行为演变， 不成熟的机器学习训练 和测试方法，缺乏用户 参与的机器学习，社会 交互中的复杂机器行 为，多重AI代理之间的 复杂行为和交互 “以人为中心”机器学习， 交互式机器学习，人机交 互方法在数据收集、培 训、算法调整、测试中的 应用，基于行为科学方法 的机器行为研究 交互式机器学习: [22]基于“以人为 中心”理念，由目标用户(领域专 家)直接参与，降低对机器学习 专家的依赖，通过有效人机交互 来构建和训练机器学习模型。 用户检查、训练模型结果，不断 调整后续输入直到获得满意结 果。相对于传统机器学习，该方 法更加快速、高效和优化，已应 用在推荐系统、信息检索、情景 感知等领域 有用的AI， 伦理化AI， 有责任AI 人类智能增强 人类智能增强技术 (IA)与AI技术之间的竞 争，IA和AI技术之间缺 乏优势互补的最佳方案 HAII可发挥IA和AI间的 桥梁作用，制定两种技术 的最佳组合方案，确保 AI技术增强人类智能，保 证人拥有最终控制权，开 发生物神经层面的方案 (脑机融合等) 整合IA和AI技术的智能系统，在 应用中增强人类智能，人类通过 监控(远程等)实现人机协同合作 以及保证人的决控权[23]。例如， 智能无人机(军用类等)、机器人 (月球探测等危险场景、医疗外 科精细手术等)、智能决策系统 (股票交易系统等) 有用的AI， 可用的AI， 增强人的能 力，人拥有 最终决控权 人机混增强合 智能 机器智能难以模拟人类 高级认知能力，机器智 能技术发展的瓶颈效 应，孤立地开发机器智 能的发展途径缺乏可持 续性，AI开发中缺乏对 人类控制和安全性的充 分考虑 人机混合增强智能，“人 在环路”AI系统及交互设 计，人机协同控制，脑机 混合系统，基于认知心理 学研究的认知计算(情 感、意图等)，人类高级认 知能力模型、知识表征和 图谱，人机共生与融合 “人在环路”混合增强智能[1, 24-25] ： 利用人与机器智能的优势互补， 处理大规模、不完整和非结构化 知识信息；用户与AI系统交互中 不断知识迭代和学习，加深对数 据及系统理解，AI模型接受特定 输入并根据用户反馈信息确定 输出，达到优于各自单独实现的 结果，避免AI技术带来的失控风 险，已应用在自动驾驶、辅助医 疗、视频检索等领域 可扩展的 AI，高效 强大的AI， 人类可控的 AI，人拥有 最终决控权 人−AI合作 缺乏成熟的人−AI合作 理论、方法、认知架构， 缺乏成熟的人机态势感 知共享、人机共信、人 机心理模型共享、人机 决策共享的理论、模型 和方法 人−AI合作理论和模型， 人−AI合作团队绩效评估 和测试方法，人机共驾， 社会环境中的人−AI合 作，人−AI合作的人机交 互模型，人作为最终决策 者的人−AI合作设计 从多学科角度出发，从感知、认 知、执行层面上为基于人−AI合 作的AI解决方案提供依据。例 如，人−AI合作研究策略和框架[26] ， 人−AI合作团队绩效评估[27] ，人− AI互信[28] ，人−AI合作中的心理 模型[29] ，人−AI合作的系统设计[30] ， 人−AI合作系统权限[31] ，人− AI合作的定量和定性建模[32] 有用的AI， 可用的AI， 人类可控 的AI ·610· 智 能 系 统 学 报 第 16 卷
第4期 许为，等：人-AI交互：实现“以人为中心A”理念的跨学科新领域 ·611· 续表2 HAⅡ领域重点 实现HCAI理 基于HCA理念的 HAⅡ领域研究和 基于HCAI理念 念面临的挑战 HAII可能解决方案 应用实例 的设计目标（图） A黑匣子”效应，用户 “以人为中心”的可解释 “以人为中心”的实时化可解释 可用的AI. 无法理解AI系统决策， AL,终端用户参与式的可 AI方案：在文献33]的计算机游 有责任AI 影响人类决策，影响 解释AL,可理解AL,AI系 戏研究中，AI代理与用户交互中 AI技术推广，心理学解 统输出界面可视化设计， 实时生成基于自然语言的推理 释理论没得到应用，没 “人在环路”式可解释AL, 数据，使用这些数据训练AI模型， 可解释的AI 有终端用户参与的方 心理学解释理论的转化 该模型能够对游戏结果生成人 法，AI是可解释的但是 应用，用户参与式、交互 类可理解的推理。在文献[34]的 终端用户无法理解 式AI人机界面设计 研究中，自动驾驶汽车乘客通过 有效的人机交互手段选择行车 环境目标，这些选择目标使驾驶 算法的决策更容易解释和理解 AI独特的自主化特征以 人类可控自主化，人机共 Udelv自动送货车(ADVB阿 可用的AI, 及潜在的负面影响，对 享自主化.人一自主化组 ADV采用L4自动驾驶，可以在一 伦理化AL, 自动化与自主化概念的队合作，自动化研究成果 些公共场所范围内完成无人驾 人类可控的 混淆，低估了的自主化 转化，有意义的人类控 驶点对点操作。该系统包括远 AL,人拥有 人类可控自主化 影响（被混淆为高水平 制，自主化故障追踪数据 程监控系统，如果需要时（任务 最终决控权 自动化) 系统 边缘区、应急场景等)，通过无缝 式人机操控转换可以实现人工 干预操纵 缺乏针对智能交互的人 智能人机交互新范式，有 针对AI系统的人机交互设计标 可用的AL. 机交互范式，复杂智能 效的智能人机交互设计， 准：ISO人-AI系统交互的技术文 有用的AI 计算环境中人类有限认针对AI系统的人机交互 件1S09241-810)36,微软设计 知资源的瓶颈效应，针 设计标准，基于人-AI合 准则和指南1.“Google 智能人机交互 对非AI系统的现有人机作的人机界面设计，智能 AI+-Peop Guidebook7:有效 交互设计标准，智能交 人机交互的可用性设计 的智能人机交互开发流程：“配 互的用户体验问题 对式AI合作开发流程；有效 的人机交互设计方法：AI优先方 法可，A作为设计材料网 人类可能缺乏对AI系统有意义的人类控制，AI错“有意义的人类控制"设计O:透 伦理化AI. 的最终控制权，AI系统 误追溯机制，透明化设 明化系统设计、有效的人机交 负责任AL, 产生输出偏差和意外结计.优化机器学习建模、 互，人类操作员能够对所用的自 可用的AI. 果，滥用AI系统（导致歧 训练、测试，AI人员知识 主技术拥有足够的信息（态势感 人类可控的AI 伦理化AI设计 视，隐私泄密等)缺乏 提升，跨学科方法的AI伦知等)来确保做出知情且有意 对AI系统故障的追溯和 理化设计，伦理化设计技 识、合法的决策：装备“故障追踪 问责机制 术和示例 系统”机制，实现系统行为和故 障的追溯和问责制 其次，表2概括出了HAⅡ研究和应用的范 究和应用的挑战、可能的解决方案以及实例都依 围。目前来自AI和其他学科的专业人员在开展 赖于跨学科方法（建模、工程设计、行为科学方法 这方面的工作，这些挑战不是单一学科可以解决 等)，单一学科的方法无法有效地解决这些问题。 的，这正说明了HCAI和HAⅡ工作需要跨学科的 40多年前，当PC新技术刚兴起时，开发者基 协同合作。 本遵循“以技术为中心”的理念。随着PC的普 最后，HAI领域采用跨学科的方法。HA研 及，许多用户体验问题随之出现，人们开始意识
其次，表 2 概括出了 HAII 研究和应用的范 围。目前来自 AI 和其他学科的专业人员在开展 这方面的工作，这些挑战不是单一学科可以解决 的，这正说明了 HCAI 和 HAII 工作需要跨学科的 协同合作。 最后，HAII 领域采用跨学科的方法。HAII 研 究和应用的挑战、可能的解决方案以及实例都依 赖于跨学科方法 (建模、工程设计、行为科学方法 等)，单一学科的方法无法有效地解决这些问题。 40 多年前，当 PC 新技术刚兴起时，开发者基 本遵循“以技术为中心”的理念。随着 PC 的普 及，许多用户体验问题随之出现，人们开始意识 续表 2 HAII领域重点 实现HCAI理 念面临的挑战 基于HCAI理念的 HAII可能解决方案 HAII领域研究和 应用实例 基于HCAI理念 的设计目标 (图1) 可解释的AI AI“黑匣子”效应，用户 无法理解AI系统决策， 影响人类决策，影响 AI技术推广，心理学解 释理论没得到应用，没 有终端用户参与的方 法，AI是可解释的但是 终端用户无法理解 “以人为中心”的可解释 AI，终端用户参与式的可 解释AI，可理解AI，AI系 统输出界面可视化设计， “人在环路”式可解释AI， 心理学解释理论的转化 应用，用户参与式、交互 式AI人机界面设计 “以人为中心”的实时化可解释 AI方案：在文献[33]的计算机游 戏研究中，AI代理与用户交互中 实时生成基于自然语言的推理 数据，使用这些数据训练AI模型， 该模型能够对游戏结果生成人 类可理解的推理。在文献[34]的 研究中，自动驾驶汽车乘客通过 有效的人机交互手段选择行车 环境目标，这些选择目标使驾驶 算法的决策更容易解释和理解 可用的AI， 有责任AI 人类可控自主化 AI独特的自主化特征以 及潜在的负面影响，对 自动化与自主化概念的 混淆，低估了的自主化 影响(被混淆为高水平 自动化) 人类可控自主化，人机共 享自主化，人−自主化组 队合作，自动化研究成果 转化，有意义的人类控 制，自主化故障追踪数据 系统 Udelv自动送货车(ADV)[35] ， ADV采用L4自动驾驶，可以在一 些公共场所范围内完成无人驾 驶点对点操作。该系统包括远 程监控系统，如果需要时(任务 边缘区、应急场景等)，通过无缝 式人机操控转换可以实现人工 干预操纵 可用的AI， 伦理化AI， 人类可控的 AI，人拥有 最终决控权 智能人机交互 缺乏针对智能交互的人 机交互范式，复杂智能 计算环境中人类有限认 知资源的瓶颈效应，针 对非AI系统的现有人机 交互设计标准，智能交 互的用户体验问题 智能人机交互新范式，有 效的智能人机交互设计， 针对AI系统的人机交互 设计标准，基于人−AI合 作的人机界面设计，智能 人机交互的可用性设计 针对AI系统的人机交互设计标 准：ISO人−AI系统交互的技术文 件(ISO 9 241-810)[36] ，微软设计 准则和指南[16] ，“Google AI+People Guidebook”[37] ；有效 的智能人机交互开发流程：“配 对式AI合作开发流程” [38] ；有效 的人机交互设计方法：AI优先方 法 [37] ，AI作为设计材料[39] 可用的AI， 有用的AI 伦理化AI设计 人类可能缺乏对AI系统 的最终控制权，AI系统 产生输出偏差和意外结 果，滥用AI系统(导致歧 视，隐私泄密等)，缺乏 对AI系统故障的追溯和 问责机制 有意义的人类控制，AI错 误追溯机制，透明化设 计，优化机器学习建模、 训练、测试，AI人员知识 提升，跨学科方法的AI伦 理化设计，伦理化设计技 术和示例 “有意义的人类控制”设计[40] ：透 明化系统设计、有效的人机交 互，人类操作员能够对所用的自 主技术拥有足够的信息(态势感 知等)来确保做出知情且有意 识、合法的决策；装备“故障追踪 系统”机制，实现系统行为和故 障的追溯和问责制 伦理化AI， 负责任AI， 可用的AI， 人类可控的AI 第 4 期 许为，等：人−AI 交互: 实现“以人为中心 AI”理念的跨学科新领域 ·611·
·612· 智能系统学报 第16卷 到“以人为中心设计”理念的重要性，来自计算机 类型的人类智能增强以及技术可以提供有效手段 科学、人因工程、心理学的专业人员协同推动了 来弥补AI的弱点，这需要智能增强人员主动寻 人机交互学科的形成和发展。多年的实践，用户 求来自AI、心理学、认知神经科学、人因工程学 体验的理念已经在社会和计算技术界形成共识。 科的支持。 今天，随着AI技术的引进，我们又目睹了类 其次，开发AI与智能增强技术最佳组合的应 似情景，但是这一次忽略“以人为中心”理念的代 用解决方案将有效促进两种技术之间的合作，从 价对人类和社会的影响将更为严重6。因此，各 而达到“1+1>2”的效果。HAⅡ领域可以起到一个 学科必须再一次协同合作，推动智能时代的“以人 中间桥梁的作用，从人机交互、心理学等学科角 为中心设计”版本（即HCAI理念）和HAⅡ领域的 度，从人机交互方式、多模态交互兼容性、人类认 工作，更加有效地利用AI技术，扬长避短，为人 知加工水平、AI系统自主化程度等多种维度来开 类服务。 发能够支持人与智能系统有效交互的解决方案。 另外，HCAI理念和HAⅡ领域定义的是AI开 第三，依据HCAI理念，智能增强专业人员要 发中应该遵循的理念、目标及途径等，并非是一 将人类置于系统方案的中心。HAⅡ领域提倡心 个具体模型或算法。我们强调跨学科合作，一旦 理学、认知神经科学等人员积极参与研究。例 明确了这些理念、目标及途径等，AI人员就能更 如，基于可塑性机制，构建认知负荷可控、及时生 加有效地开发出实现HCAI理念、设计目标的模 理反馈、体脑双向交互的新型人机交互研究。这 型、算法以及技术。 些研究将有效支持在许多应用领域中训练和增强 3HAⅡ研究和应用的关键问题 人类智能。 最后，在生物神经层面上寻找AI技术与智能 依据HCAI理念，针对目前AI带来的新挑 增强技术的整合解决方案。这是当前关注的研究 战，我们从以下几方面分析目前HAⅡ研究和应用 方向之一，例如，脑机融合刀。HAⅡ提倡AI、认 的进展，提出今后的重点方向。目前一些AI人员 知神经科学、脑成像技术、人机交互等人员合作， 也在开展这方面工作，希望HCAI理念和HAI领 优化脑机界面解决方案，通过在生物神经层面上 域的提出能够强化这些人员的HCAI理念以及跨 整合AI与智能增强技术来探索有效的人-AI交 学科的合作，也希望非AI人员积极参与到HAⅡ 互手段 研究和应用中。 3.2人机混合增强智能 3.1人类智能增强 将人类的作用和人类智能引入AI系统将形 自1956年AI概念被提出后，研究者已经开 成人类智能与机器智能的优势互补，从而开发出 始致力于另一条路径：智能增强(intelligence aug- 更强大、可持续发展的人机混合增强智能，20,4」 mentation,I)u。智能增强致力于增强人类智 目前，针对混合增强智能的研究基本可分为 能2。研究人员利用新技术（如心理学、脑机接 两类。第一类是在系统层面上的“人在环路”式混 口、虚拟现实)，借助AI技术来推动智能增强的研 合增强智能49。这种思路符合HCAI理念，即将 究和应用。从HCAI理念看，HAⅡ领域与智能 人的作用引入AI系统中，形成以人为中心、融于 增强具有相同目标：利用AI技术来增强人的能力。 人机关系的混合智能。例如，在“人在环路”范式 AI领域与智能增强领域之间长期存在竞 中，人始终是AI系统的一部分，当系统输出置信 争。一些AI人员认为AI可以取代人类，而智能 度低时，人主动介入调整参数给出合理正确的问 增强人员认为AI仅仅为智能增强技术提供了新 题求解，构成提升智能水平的反馈回路0。另一 的手段P。从HCAI理念分析，AI和智能增强会 种方案是在生物学层面上开发“脑在环路”式混增 采用类似的技术，遵循的应该都是扩展人类智 强智能)，以生物智能和机器智能深度融合为目 能，应该是“以人为中心”的伙伴关系，许多智能 标，通过神经连接通道，可以形成对某个功能体 方案其实是两种技术的集合，HAⅡ可以为两者的 的增强、替代和补偿。 合作起到桥梁的作用。 第二类混合增强智能是将人类认知模型嵌入 今后，智能增强研究中有许多问题需要HAⅡ AI系统中，形成基于认知计算的混合增强智能"。 领域的贡献。首先，机器智能无法模仿人类智能 从HCAI理念分析，这类混合增强智能并不是真 的某些维度，HAⅡ提倡从跨学科角度来探索哪种 正意义上的人机混合增强智能，因为这种系统并
到“以人为中心设计”理念的重要性，来自计算机 科学、人因工程、心理学的专业人员协同推动了 人机交互学科的形成和发展。多年的实践，用户 体验的理念已经在社会和计算技术界形成共识。 今天，随着 AI 技术的引进，我们又目睹了类 似情景，但是这一次忽略“以人为中心”理念的代 价对人类和社会的影响将更为严重[6]。因此，各 学科必须再一次协同合作，推动智能时代的“以人 为中心设计”版本 (即 HCAI 理念) 和 HAII 领域的 工作，更加有效地利用 AI 技术，扬长避短，为人 类服务。 另外，HCAI 理念和 HAII 领域定义的是 AI 开 发中应该遵循的理念、目标及途径等，并非是一 个具体模型或算法。我们强调跨学科合作，一旦 明确了这些理念、目标及途径等，AI 人员就能更 加有效地开发出实现 HCAI 理念、设计目标的模 型、算法以及技术。 3 HAII 研究和应用的关键问题 依据 HCAI 理念，针对目前 AI 带来的新挑 战，我们从以下几方面分析目前 HAII 研究和应用 的进展，提出今后的重点方向。目前一些 AI 人员 也在开展这方面工作，希望 HCAI 理念和 HAII 领 域的提出能够强化这些人员的 HCAI 理念以及跨 学科的合作，也希望非 AI 人员积极参与到 HAII 研究和应用中。 3.1 人类智能增强 自 1956 年 AI 概念被提出后，研究者已经开 始致力于另一条路径：智能增强 (intelligence augmentation，IA)[41]。智能增强致力于增强人类智 能 [42-43]。研究人员利用新技术 (如心理学、脑机接 口、虚拟现实)，借助 AI 技术来推动智能增强的研 究和应用[44]。从 HCAI 理念看，HAII 领域与智能 增强具有相同目标：利用 AI 技术来增强人的能力。 AI 领域与智能增强领域之间长期存在竞 争。一些 AI 人员认为 AI 可以取代人类，而智能 增强人员认为 AI 仅仅为智能增强技术提供了新 的手段[23]。从 HCAI 理念分析，AI 和智能增强会 采用类似的技术，遵循的应该都是扩展人类智 能，应该是“以人为中心”的伙伴关系，许多智能 方案其实是两种技术的集合，HAII 可以为两者的 合作起到桥梁的作用。 今后，智能增强研究中有许多问题需要 HAII 领域的贡献。首先，机器智能无法模仿人类智能 的某些维度，HAII 提倡从跨学科角度来探索哪种 类型的人类智能增强以及技术可以提供有效手段 来弥补 AI 的弱点[45] ，这需要智能增强人员主动寻 求来自 AI、心理学、认知神经科学、人因工程学 科的支持。 其次，开发 AI 与智能增强技术最佳组合的应 用解决方案将有效促进两种技术之间的合作，从 而达到“1+1>2”的效果。HAII 领域可以起到一个 中间桥梁的作用，从人机交互、心理学等学科角 度，从人机交互方式、多模态交互兼容性、人类认 知加工水平、AI 系统自主化程度等多种维度来开 发能够支持人与智能系统有效交互的解决方案。 第三，依据 HCAI 理念，智能增强专业人员要 将人类置于系统方案的中心。HAII 领域提倡心 理学、认知神经科学等人员积极参与研究。例 如，基于可塑性机制，构建认知负荷可控、及时生 理反馈、体脑双向交互的新型人机交互研究。这 些研究将有效支持在许多应用领域中训练和增强 人类智能[46]。 最后，在生物神经层面上寻找 AI 技术与智能 增强技术的整合解决方案。这是当前关注的研究 方向之一，例如，脑机融合[47]。HAII 提倡 AI、认 知神经科学、脑成像技术、人机交互等人员合作， 优化脑机界面解决方案，通过在生物神经层面上 整合 AI 与智能增强技术来探索有效的人−AI 交 互手段[48]。 3.2 人机混合增强智能 将人类的作用和人类智能引入 AI 系统将形 成人类智能与机器智能的优势互补，从而开发出 更强大、可持续发展的人机混合增强智能[1, 20, 48]。 目前，针对混合增强智能的研究基本可分为 两类。第一类是在系统层面上的“人在环路”式混 合增强智能[49]。这种思路符合 HCAI 理念，即将 人的作用引入 AI 系统中，形成以人为中心、融于 人机关系的混合智能。例如，在“人在环路”范式 中，人始终是 AI 系统的一部分，当系统输出置信 度低时，人主动介入调整参数给出合理正确的问 题求解，构成提升智能水平的反馈回路[1, 50]。另一 种方案是在生物学层面上开发“脑在环路”式混增 强智能[3] ，以生物智能和机器智能深度融合为目 标，通过神经连接通道，可以形成对某个功能体 的增强、替代和补偿。 第二类混合增强智能是将人类认知模型嵌入 AI 系统中，形成基于认知计算的混合增强智能[1]。 从 HCAI 理念分析，这类混合增强智能并不是真 正意义上的人机混合增强智能，因为这种系统并 ·612· 智 能 系 统 学 报 第 16 卷
第4期 许为，等：人-AI交互：实现“以人为中心AI”理念的跨学科新领域 ·613· 非能够保证以人机系统为载体来实现人在人机系 能融合等途径，最终在系统和生物学层面上实现 统中的中心作用和最终决控权。当然，把人类认 人机共生和融合5。 知模型引入到机器智能中，对于发展机器智能是 3.3人-AI合作 非常重要的。 智能技术带来了一种新型人机关系：人 HAⅡ领域工作将对人机混合增强智能研究 AI合作，人-AI系统作为一个组合体比单个实体 和应用发挥重要作用。首先，HAⅡ领域提倡心理 的工作更加有效？9。人-AI合作的研究目前在 学、认知工程等学科专业人员的合作支持，加速 国外是一个热点。HAⅡ研究需要AI、心理学和 现有心理学等学科成果的转换来支持认知计算的 人因工程等学科的合作，从感知、认知、执行3个 研究，提供有效的认知计算体系架构，例如，为 层面上开展。 提高对非结构化视听觉感知信息的理解能力和海 在感知层面，为了有效的人-AI合作，AI系 量异构信息的处理效率，HAIⅡ领域需要支持 统需要人的模型来支持系统对人类状态的监控 AI界在“感知特征的提取、表达及整合”和“模态 (生理、行为、情绪、愿图、能力等)：AI系统的人机 信息协同计算”等方面的视听觉信息认知计算研 界面要足够透明，帮助人类了解当前系统状态。 究s2。HAIⅡ鼓励将基于认知计算方法与“人在环 例如，人机之间情景意识（态势感知）分享是人 路”方法（系统、生物学层面）整合的工作思路。 AI合作研究的基本问题之一。研究需要了解如 基于HCAI理念，这种思路有助于开发出更强大、 何有效实现人-AI之间基于情景意识模型的的双 可持续发展的、人类可控的AI。 向沟通59，目前还缺少针对人-AI合作的情景意 第二，开展基于HCAI理念的人机混合智能 识模型和测试方法S。今后的HAⅡ工作需要丰 控制研究。针对人机混合智能系统控制，目前主 富情景意识理论，为人-AI合作建模、认知架构、 要有两种方案：“人在回路控制”和“人机协同控 绩效测评提供支持。 制s。AI系统在应急状态时人机之间的高效切 在认知层面，PC时代的人机交互模型已经不 换是目前重要研究课题。例如，自主武器系统发 能满足智能时代的复杂交互场景。HAⅡ需要构 射后的追踪控制，自主驾驶车应急状态下的高效 建符合人一AI合作的认知和计算模型s”。人与 人机切换。HCAI理念要求人拥有最终控制权， AI之间的互信影响人-AI合作的绩效，HAⅡ需要 这需要AI、人机交互等专业人员的合作，寻找有 研究信任测量、建模、修复、校正等方面的工作， 效解决方案。 以及如何量化不同操作场景中人机之间动态化功 第三，开展人机混合增强智能系统的人机交 能交换时所需的信任。不同于传统人机交互，人 互研究。“人在环路”混合智能系统需要与用户交 与AI均需要彼此感知并识别交方的意图与情感， 互的交互设计。不同于传统人机交互，用户交 今后研究要进一步探索心理模型、意图识别、情 互的对象是AI模型，用户界面难以理解，用户与 感交互等模型，以及在系统设计中如何实现和验 AI交互中存在用户意图的不确定性山。HAIⅡ研 证这些模型。 究要求AI专业人员与人机交互、人因工程等专 在执行层面，有效的人-AI合作应该允许在 业合作，从智能系统、用户、人机交互设计三方面 任务、功能、系统等层面上实现决控权在人与 优化系统设计。例如，开发自然式交互设计，选 A代理之间的分享。决控权的转移取决于人机 择有效的心理模型。 双向信任、情景意识共享、合作程度等因素。例 最后，开展人类高级认知层面上的人机混合 如，在自动驾驶车领域，HAⅡ工作需要研究人机 增强智能研究。HAII研究需要AI、认知神经科 控制分享范式、人机共驾所需的情景意识分享、 学、计算机科学、心理学等专业人员的合作。例 人机互信、风险评估等，保证车辆控制权在人机 如，进一步探索人机融合、脑机融合等方面的研 之间的快速有效切换，确保人拥有最终控制权 究，今后要在更高的认知层次上为脑机智能的叠 (包括远程控制等)S。HAI研究需要了解在什么 加（如学习、记忆）建立更有效的模型和算法； 条件下人机之间如何完成有效切换，是否可以借 探索如何将人的决策和经验与机器智能在逻辑推 助人-AI合作的思路，通过有效人机交互，提供有 理、演绎推理等方面的优势结合，使人机合作具 效的人机控制权转移。HAⅡ今后的工作还应该 有高效率山。从长远看，人机混合增强智能未来 在以下几方面开展。 可能形成有效的人机共生6，通过个体和群体智 首先，HAⅡ需要为人一AI合作的研究开发新
非能够保证以人机系统为载体来实现人在人机系 统中的中心作用和最终决控权。当然，把人类认 知模型引入到机器智能中，对于发展机器智能是 非常重要的。 HAII 领域工作将对人机混合增强智能研究 和应用发挥重要作用。首先，HAII 领域提倡心理 学、认知工程等学科专业人员的合作支持，加速 现有心理学等学科成果的转换来支持认知计算的 研究，提供有效的认知计算体系架构[51] ，例如，为 提高对非结构化视听觉感知信息的理解能力和海 量异构信息的处理效率， HAII 领域需要支持 AI 界在“感知特征的提取、表达及整合”和“模态 信息协同计算”等方面的视听觉信息认知计算研 究 [52]。HAII 鼓励将基于认知计算方法与“人在环 路”方法 (系统、生物学层面) 整合的工作思路。 基于 HCAI 理念，这种思路有助于开发出更强大、 可持续发展的、人类可控的 AI。 第二，开展基于 HCAI 理念的人机混合智能 控制研究。针对人机混合智能系统控制，目前主 要有两种方案：“人在回路控制”和“人机协同控 制” [53]。AI 系统在应急状态时人机之间的高效切 换是目前重要研究课题。例如，自主武器系统发 射后的追踪控制，自主驾驶车应急状态下的高效 人机切换。HCAI 理念要求人拥有最终控制权， 这需要 AI、人机交互等专业人员的合作，寻找有 效解决方案。 第三，开展人机混合增强智能系统的人机交 互研究。“人在环路”混合智能系统需要与用户交 互的交互设计[24]。不同于传统人机交互，用户交 互的对象是 AI 模型，用户界面难以理解，用户与 AI 交互中存在用户意图的不确定性[1]。HAII 研 究要求 AI 专业人员与人机交互、人因工程等专 业合作，从智能系统、用户、人机交互设计三方面 优化系统设计。例如，开发自然式交互设计，选 择有效的心理模型。 最后，开展人类高级认知层面上的人机混合 增强智能研究。HAII 研究需要 AI、认知神经科 学、计算机科学、心理学等专业人员的合作。例 如，进一步探索人机融合、脑机融合等方面的研 究，今后要在更高的认知层次上为脑机智能的叠 加 (如学习、记忆) 建立更有效的模型和算法[44] ； 探索如何将人的决策和经验与机器智能在逻辑推 理、演绎推理等方面的优势结合，使人机合作具 有高效率[1]。从长远看，人机混合增强智能未来 可能形成有效的人机共生[46] ，通过个体和群体智 能融合等途径，最终在系统和生物学层面上实现 人机共生和融合[54]。 3.3 人−AI 合作 智能技术带来了一种新型人机关系：人− AI 合作，人−AI 系统作为一个组合体比单个实体 的工作更加有效[27, 29]。人−AI 合作的研究目前在 国外是一个热点。HAII 研究需要 AI、心理学和 人因工程等学科的合作，从感知、认知、执行 3 个 层面上开展。 在感知层面，为了有效的人−AI 合作，AI 系 统需要人的模型来支持系统对人类状态的监控 (生理、行为、情绪、愿图、能力等)；AI 系统的人机 界面要足够透明，帮助人类了解当前系统状态。 例如，人机之间情景意识 (态势感知) 分享是人− AI 合作研究的基本问题之一。研究需要了解如 何有效实现人−AI 之间基于情景意识模型的的双 向沟通[55] ，目前还缺少针对人−AI 合作的情景意 识模型和测试方法[56]。今后的 HAII 工作需要丰 富情景意识理论，为人−AI 合作建模、认知架构、 绩效测评提供支持。 在认知层面，PC 时代的人机交互模型已经不 能满足智能时代的复杂交互场景。HAII 需要构 建符合人−AI 合作的认知和计算模型[57]。人与 AI 之间的互信影响人−AI 合作的绩效，HAII 需要 研究信任测量、建模、修复、校正等方面的工作， 以及如何量化不同操作场景中人机之间动态化功 能交换时所需的信任。不同于传统人机交互，人 与 AI 均需要彼此感知并识别交方的意图与情感， 今后研究要进一步探索心理模型、意图识别、情 感交互等模型，以及在系统设计中如何实现和验 证这些模型。 在执行层面，有效的人−AI 合作应该允许在 任务、功能、系统等层面上实现决控权在人与 AI 代理之间的分享。决控权的转移取决于人机 双向信任、情景意识共享、合作程度等因素。例 如，在自动驾驶车领域，HAII 工作需要研究人机 控制分享范式、人机共驾所需的情景意识分享、 人机互信、风险评估等，保证车辆控制权在人机 之间的快速有效切换，确保人拥有最终控制权 (包括远程控制等) [58]。HAII 研究需要了解在什么 条件下人机之间如何完成有效切换，是否可以借 助人−AI 合作的思路，通过有效人机交互，提供有 效的人机控制权转移。HAII 今后的工作还应该 在以下几方面开展。 首先，HAII 需要为人−AI 合作的研究开发新 第 4 期 许为，等：人−AI 交互: 实现“以人为中心 AI”理念的跨学科新领域 ·613·
·614… 智能系统学报 第16卷 理论、模型以及评估和预测人-AI合作团队绩效 释AI6。研究还表明，如果采用行为科学方法， 的方法，这些都是传统人机交互中没有遇到的新 侧重于用户而不是技术，针对可解释AI的研究将 问题。HAI领域的工作要支持AI建模以及对建 更有效6。 模数据的需求（例如，情景意识、行为、意图、信 今后HAⅡ领域的工作主要有以下几方面。 任))合作开发人一AI合作在各种应用领域的解 首先，研究和开发“以人为中心的可解释AI”解决 决方案。 方案。HAⅡ领域要从人机交互、心理学、人因工 其次，HAⅡ领域需要从行为科学等角度、社 程等方面来寻找解决方案。以往许多研究是基于 会层面上来研究人-AI合作。要研究社会因素 静态和单向信息传达式的解释，今后HAⅡ工作要 (社会责任、道德等)对人-AI合作的影响，研究如 研究探索式、自然式、交互式解释来设计可解释 何让AI代理担当团队角色并且与人类队友合作： 界面676。 研究如何从系统设计角度，通过合适的人机交互 第二，HAⅡ领域提倡可解释AI研究要进一 方式来发展良好的人机关系（信任，情感等）：研究 步挖掘心理学等模型。尽管这些理论和模型通常 如何有效支持长期人-AI合作（如医用机器人）。 是基于实验室研究产生，可解释AI研究应该善于 第三，HAⅡ研究要构建人-AI合作场景所需 利用这些模型，同时验证它们的可行性6。HAⅡ 的人机交互建模。与AI人员合作研究对人 的工作可以利用本身交叉学科的特点起到一个中 -AI合作中人机交互建模构成挑战的理论问题， 间桥梁作用，加快理论转换，构建有效的界面或 例如，分布式认知理论，基于上下文的知识表征 计算模型。 和知识图谱59，人-AI合作中情感交互、社交互动 最后，HAⅡ领域要开展可理解AI的研究和 等方面的认知建模。 应用。可解释AI也应该是可理解的6，可解释性 最后，HAⅡ需要在真实的操作、社交环境中 是必要条件，但不是充分条件。从HCAI理念考 研究人一A1合作6。例如，实验室研究表明，与简 虑，可理解AI方案应满足终端用户的需求（例如 单机器人的交互可以增强人的协调性，并且机器 知识水平)。这方面的研究需要行为科学方法的 人可以直接与人合作6：人-AI合作中AI与人的 支持以及实验验证6侧。 认知风格、人格特性等特性相适应时，可增强人 3.5人类可控自主化 机互信与可靠性。今后要在真实社会环境中验证 智能自主化技术正在走进人们的工作和生 这些人-AI社会互动，这将有助于优化人-AI合 活，但是已有人开始混淆自动化与自主化的概 作的设计。 念，这可能导致对技术不恰当的期望和误用。 3.4可解释AI 自动化技术按照固定算法、逻辑和规则而产生确 深度学习等方法会产生AI“黑匣子”效应，导 定的机器行为。智能系统会拥有不同程度的类似 致用户对AI系统的决策产生疑问，该效应可在各 于人的智能（自适应、自我执行等能力），系统输出 类使用中发生，包括AI在金融股票、医疗诊断、 具不确定性，有可能出现偏差的机器行为。AI的 安全检测、法律判决等领域，导致系统决策效率 自主化特征对安全和大众心理等负面影响还没有 降低、伦理道德等问题，影响公众对AI的信任度。 引起足够的重视0。 寻求可解释AI(explainable AI,XAI)已成为AI 从HCAI理念出发，我们提倡基于“人类可控 界的一个研究热点，具有代表性的是DARPA[6] AI”设计目标的人类可控自主化设计，即智能自 在2016年启动的项目。该项目集中在：1)开发或 主化系统需要人类的监控，人类操作员具有最终 改进ML技术来获取可解释算法模型；2)借助于 的决控权（通过直接或远程操控等方式）。 先进的人机交互技术，开发可解释AI的用户界面 人因工程界已经对一些复杂领域（航空、航 模型；3)评估心理学解释理论来协助可解释AI的 天等)中的自动化系统开展了广泛的研究，已达 研发。 成共识1。许多复杂自动化系统存在脆弱性， 经过多年的努力，AI界开始认识到非AI学 在设计所规定的操作场景中运行良好，但是在遇 科在可解释AI研究中的重要性[61。Miller等6 到意外事件时，可能导致操作员的“自动化惊讶” 的调查表明，大多数可解释AI项目仅在AI学科 现象四：操作员无法理解自动化正在做什么，为什 内展开。许多AI人员采用“以算法为中心”的方 么这样做。 法，加剧了算法的不透明。一些A!人员没有遵 Endsley四认为在智能自主化系统中，随着系统 循HCAI理念，通常为自己而不是用户构建可解 自主化程度的提高，各单项功能的“自动化”水平
理论、模型以及评估和预测人−AI 合作团队绩效 的方法，这些都是传统人机交互中没有遇到的新 问题。HAII 领域的工作要支持 AI 建模以及对建 模数据的需求 (例如，情景意识、行为、意图、信 任) [13] ，合作开发人−AI 合作在各种应用领域的解 决方案。 其次，HAII 领域需要从行为科学等角度、社 会层面上来研究人−AI 合作。要研究社会因素 (社会责任、道德等) 对人−AI 合作的影响，研究如 何让 AI 代理担当团队角色并且与人类队友合作[13] ； 研究如何从系统设计角度，通过合适的人机交互 方式来发展良好的人机关系 (信任，情感等)；研究 如何有效支持长期人−AI 合作 (如医用机器人)。 第三，HAII 研究要构建人−AI 合作场景所需 的人机交互建模。 与 A I 人员合作研究对人 −AI 合作中人机交互建模构成挑战的理论问题， 例如，分布式认知理论，基于上下文的知识表征 和知识图谱[59] ，人−AI 合作中情感交互、社交互动 等方面的认知建模。 最后，HAII 需要在真实的操作、社交环境中 研究人−AI 合作[60]。例如，实验室研究表明，与简 单机器人的交互可以增强人的协调性，并且机器 人可以直接与人合作[61] ；人−AI 合作中 AI 与人的 认知风格、人格特性等特性相适应时，可增强人 机互信与可靠性。今后要在真实社会环境中验证 这些人−AI 社会互动，这将有助于优化人−AI 合 作的设计。 3.4 可解释 AI 深度学习等方法会产生 AI“黑匣子”效应，导 致用户对 AI 系统的决策产生疑问，该效应可在各 类使用中发生，包括 AI 在金融股票、医疗诊断、 安全检测、法律判决等领域，导致系统决策效率 降低、伦理道德等问题，影响公众对 AI 的信任度。 寻求可解释 AI(explainable AI, XAI) 已成为 AI 界的一个研究热点，具有代表性的是 DARPA[62] 在 2016 年启动的项目。该项目集中在：1) 开发或 改进 ML 技术来获取可解释算法模型；2) 借助于 先进的人机交互技术，开发可解释 AI 的用户界面 模型；3) 评估心理学解释理论来协助可解释 AI 的 研发。 经过多年的努力，AI 界开始认识到非 AI 学 科在可解释 AI 研究中的重要性[63]。Miller 等 [64] 的调查表明，大多数可解释 AI 项目仅在 AI 学科 内展开。许多 AI 人员采用“以算法为中心”的方 法，加剧了算法的不透明[65]。一些 AI 人员没有遵 循 HCAI 理念，通常为自己而不是用户构建可解 释 AI[66]。研究还表明，如果采用行为科学方法， 侧重于用户而不是技术，针对可解释 AI 的研究将 更有效[64]。 今后 HAII 领域的工作主要有以下几方面。 首先，研究和开发“以人为中心的可解释 AI”解决 方案。HAII 领域要从人机交互、心理学、人因工 程等方面来寻找解决方案。以往许多研究是基于 静态和单向信息传达式的解释，今后 HAII 工作要 研究探索式、自然式、交互式解释来设计可解释 界面[67-68]。 第二，HAII 领域提倡可解释 AI 研究要进一 步挖掘心理学等模型。尽管这些理论和模型通常 是基于实验室研究产生，可解释 AI 研究应该善于 利用这些模型，同时验证它们的可行性[68]。HAII 的工作可以利用本身交叉学科的特点起到一个中 间桥梁作用，加快理论转换，构建有效的界面或 计算模型。 最后，HAII 领域要开展可理解 AI 的研究和 应用。可解释 AI 也应该是可理解的[68] ，可解释性 是必要条件，但不是充分条件。从 HCAI 理念考 虑，可理解 AI 方案应满足终端用户的需求 (例如 知识水平)。这方面的研究需要行为科学方法的 支持以及实验验证[69]。 3.5 人类可控自主化 智能自主化技术正在走进人们的工作和生 活，但是已有人开始混淆自动化与自主化的概 念，这可能导致对技术不恰当的期望和误用[10]。 自动化技术按照固定算法、逻辑和规则而产生确 定的机器行为。智能系统会拥有不同程度的类似 于人的智能 (自适应、自我执行等能力)，系统输出 具不确定性，有可能出现偏差的机器行为。AI 的 自主化特征对安全和大众心理等负面影响还没有 引起足够的重视[70]。 从 HCAI 理念出发，我们提倡基于“人类可控 AI”设计目标的人类可控自主化设计，即智能自 主化系统需要人类的监控，人类操作员具有最终 的决控权 (通过直接或远程操控等方式) [4]。 人因工程界已经对一些复杂领域 (航空、航 天等) 中的自动化系统开展了广泛的研究，已达 成共识[71-72]。许多复杂自动化系统存在脆弱性， 在设计所规定的操作场景中运行良好，但是在遇 到意外事件时，可能导致操作员的“自动化惊讶” 现象[71] ：操作员无法理解自动化正在做什么，为什 么这样做。 Endsley[70] 认为在智能自主化系统中，随着系统 自主化程度的提高，各单项功能的“自动化”水平 ·614· 智 能 系 统 学 报 第 16 卷