·606· 智能系统学报 第16卷 1000多起事故向，这些事故包括：自动驾驶汽车撞 作用习 死行人，交易算法错误导致市场“闪崩”，面部识 可见，第3次浪潮开始围绕“人的因素”来开 别系统导致无辜者被捕等。美国工程院院士、计 发AL,促使人们更多地考虑“以人为中心AI”的理 算机教授Shneiderman将围绕“以技术为中心”还 念。因此，第3次浪潮呈现出“技术提升+应用开 是“以人为中心”理念开发AI系统的争议形象化 发+以人为中心”的特征回，意味着AI开发不仅是 地描述为“AI哥白尼革命”，提出AI开发应该将 一个技术方案，还是跨学科合作的系统工程。 人类放在中心，而不是算法和AI技术。 1.2智能时代的新型人机关系 近几年来，围绕“以人为中心A”理念、如何 AI可以开发成具有自主化(autonomy)特征的 避免AI伤害人类以及产生社会负面影响等方面 智能体。取决于自主化程度，AI系统可以拥有一 的研究引起越来越多的重视3s山，目前国内外还 定程度上的类似于人的认知、学习、自适应、独立 没有形成系统化的跨学科工作框架来有效应对这 执行操作等能力，在特定的场景下可以自主地完成 些新挑战及促进这方面工作的开展。中国国家自 一些特定任务，可以在一些设计未预期的场景中 然科学基金委员会在2020年成立了交叉科学部， 自主地完成以往自动化技术所不能完成的任务切。 在交叉科学高端学术论坛上，受邀的AI、人机交 这种智能自主化特征赋予人机系统中机器新 互(human-computer interaction)、人因工程(human 的角色。在非智能时代，人类操作基于计算技 factors engineering)等专家一致认为，学科交叉是 术，机器充当辅助工具角色。人与AI系统的交互 未来科学发展的必然趋势。 本质上是人与自主智能体的交互。随着AI技术 在这样的基于跨学科合作理念的背景下，本 提升，自主智能体有可能从一种支持人类操作的 文回答以下3个问题：与传统计算技术相比， 辅助工具的角色发展成为与人类操作员共同合作 AI技术带来了什么新挑战？应该如何促进“以人 的队友，扮演“辅助工具+人机合作队友”的双重新 为中心AI”理念在AI研发中的应用？从跨学科 角色。 合作角度我们应该采取什么策略？本文将进一步 因此，智能时代的人机关系正在演变成为团 阐述我们在2019年提出的以人为中心AI”(human- 队队友关系，形成一种“人机组队”(human-ma- centered AI,HCA)理念，系统地提出人-人工智 chine teaming)式合作2-l。智能时代的这种人 能交互(human-AI interaction,HAID这一新兴跨学 机关系区别于PC时代的人机交互，对AI研发是 科领域。希望通过倡导HCAI理念和HAI领域， 挑战和机遇，研发者需要在AI研发中要利用这种 促进AI研发造福于人类，避免潜在的负面影响。 人机合作，保证人类能够有效控制AI系统，避免 1AI技术带来的新变化和新挑战 伤害人类。 1.3人-非AI系统交互与人-AI系统交互的比较 1.1AI技术的跨时代特征 人机交互是PC时代形成的跨学科领域，它 AI界一般认为AI技术主要经历了3次浪潮。 研究人-非AI计算系统之间的交互。表1比较了 前两次浪潮集中在科学探索，局限于“以技术为中 人-非AI系统交互与人-AI系统交互之间的一些 心”的视野，呈现出“学术主导”的特征。深度机器 特征。人-AI系统交互所具备的特征是基于 学习、算力、大数据等技术推动了第3次浪潮的 AI系统具有较高的智能自主化程度，有些特征目 兴起。在第3次浪潮中，人们开始重视AI技术的 前还没实现。从表1可见，与人-非智能系统交互 应用落地场景，开发对人类有用的前端应用和人 相比，人-智能系统交互带来了许多新特征和新 机交互技术，考虑AI伦理等问题。同时，AI界开 问题，也给人一智能系统交互的研究和应用带来 始提倡将人与AI视为一个人机系统，引入人的 了新机遇。 表1人-非AI计算系统交互与人-AI系统交互的特征比较 Table 1 Comparative analysis between human interaction with non-AI systems and AI systems 特征 计算机时代的人-非AI计算系统交互 智能时代的人一AI系统交互 实例 办公软件、洗衣机、自动生产线等 智能音响、智能决策系统、自动驾驶汽车等 按照固定算法、逻辑和规则产生确定的机器 具有不同程度的类似于人的认知能力（学习、自适 机器行为和智能 行为：不具备机器智能 应、自我执行等)：展示特殊、可演化的机器行为 机器角色 主要作为一种辅助工具 也可能成为与人类合作的团队队友1 000 多起事故[6] ，这些事故包括：自动驾驶汽车撞 死行人，交易算法错误导致市场“闪崩”，面部识 别系统导致无辜者被捕等。美国工程院院士、计 算机教授 Shneiderman[4] 将围绕“以技术为中心”还 是“以人为中心”理念开发 AI 系统的争议形象化 地描述为“AI 哥白尼革命”，提出 AI 开发应该将 人类放在中心，而不是算法和 AI 技术。 近几年来，围绕“以人为中心 AI”理念、如何 避免 AI 伤害人类以及产生社会负面影响等方面 的研究引起越来越多的重视[2-3, 5-11] ，目前国内外还 没有形成系统化的跨学科工作框架来有效应对这 些新挑战及促进这方面工作的开展。中国国家自 然科学基金委员会在 2020 年成立了交叉科学部， 在交叉科学高端学术论坛上，受邀的 AI、人机交 互 (human-computer interaction)、人因工程 (human factors engineering) 等专家一致认为，学科交叉是 未来科学发展的必然趋势。 在这样的基于跨学科合作理念的背景下，本 文回答以下 3 个问题：与传统计算技术相比， AI 技术带来了什么新挑战？应该如何促进“以人 为中心 AI”理念在 AI 研发中的应用？从跨学科 合作角度我们应该采取什么策略？本文将进一步 阐述我们在 2019 年提出的“以人为中心 AI”(human￾centered AI，HCAI) 理念[2] ，系统地提出人−人工智 能交互 (human-AI interaction，HAII) 这一新兴跨学 科领域。希望通过倡导 HCAI 理念和 HAII 领域， 促进 AI 研发造福于人类，避免潜在的负面影响。 1 AI 技术带来的新变化和新挑战 1.1 AI 技术的跨时代特征 AI 界一般认为 AI 技术主要经历了 3 次浪潮。 前两次浪潮集中在科学探索，局限于“以技术为中 心”的视野，呈现出“学术主导”的特征。深度机器 学习、算力、大数据等技术推动了第 3 次浪潮的 兴起。在第 3 次浪潮中，人们开始重视 AI 技术的 应用落地场景，开发对人类有用的前端应用和人 机交互技术，考虑 AI 伦理等问题。同时，AI 界开 始提倡将人与 AI 视为一个人机系统，引入人的 作用[1, 3]。 可见，第 3 次浪潮开始围绕“人的因素”来开 发 AI，促使人们更多地考虑“以人为中心 AI”的理 念。因此，第 3 次浪潮呈现出“技术提升+应用开 发+以人为中心”的特征[2] ，意味着 AI 开发不仅是 一个技术方案，还是跨学科合作的系统工程。 1.2 智能时代的新型人机关系 AI 可以开发成具有自主化 (autonomy) 特征的 智能体。取决于自主化程度，AI 系统可以拥有一 定程度上的类似于人的认知、学习、自适应、独立 执行操作等能力，在特定的场景下可以自主地完成 一些特定任务，可以在一些设计未预期的场景中 自主地完成以往自动化技术所不能完成的任务[9-11]。 这种智能自主化特征赋予人机系统中机器新 的角色。在非智能时代，人类操作基于计算技 术，机器充当辅助工具角色。人与 AI 系统的交互 本质上是人与自主智能体的交互。随着 AI 技术 提升，自主智能体有可能从一种支持人类操作的 辅助工具的角色发展成为与人类操作员共同合作 的队友，扮演“辅助工具+人机合作队友”的双重新 角色[11]。 因此，智能时代的人机关系正在演变成为团 队队友关系，形成一种“人机组队”(human-ma￾chine teaming) 式合作[12-13]。智能时代的这种人 机关系区别于 PC 时代的人机交互，对 AI 研发是 挑战和机遇，研发者需要在 AI 研发中要利用这种 人机合作，保证人类能够有效控制 AI 系统，避免 伤害人类。 1.3 人−非 AI 系统交互与人−AI 系统交互的比较 人机交互是 PC 时代形成的跨学科领域，它 研究人−非 AI 计算系统之间的交互。表 1 比较了 人−非 AI 系统交互与人−AI 系统交互之间的一些 特征。人 −AI 系统交互所具备的特征是基 于 AI 系统具有较高的智能自主化程度，有些特征目 前还没实现。从表 1 可见，与人−非智能系统交互 相比，人−智能系统交互带来了许多新特征和新 问题，也给人−智能系统交互的研究和应用带来 了新机遇。 表 1 人−非 AI 计算系统交互与人−AI 系统交互的特征比较 Table 1 Comparative analysis between human interaction with non-AI systems and AI systems 特征 计算机时代的人−非AI计算系统交互 智能时代的人−AI系统交互 实例 办公软件、洗衣机、自动生产线等 智能音响、智能决策系统、自动驾驶汽车等 机器行为和智能 按照固定算法、逻辑和规则产生确定的机器 行为；不具备机器智能 具有不同程度的类似于人的认知能力(学习、自适 应、自我执行等)；展示特殊、可演化的机器行为 机器角色 主要作为一种辅助工具 也可能成为与人类合作的团队队友 ·606· 智 能 系 统 学 报 第 16 卷