第4期 许为，等：人-AI交互：实现“以人为中心AI”理念的跨学科新领域 ·615· 也相应提高，这可能会导致操作员对这些功能的 需要HAⅡ工作的验证。多模态融合及并行交互 关注度降低，在应急状态下出现“人在环外”的现 范式是今后HAⅡ的重要研究内容，这方面研究目 象。对近几年发生的多起自动驾驶车致命事故调 前主要在AI、计算技术界展开，HAI应该提供跨 查表明，界面模式混淆、“人在环外”、过度信任等 学科支持。HAⅡ还要在情境感知、意图理解等方 问题正是以往自动化系统中出现的典型问题3。 面取得更大突破81) 智能技术中潜在的自主操作性等特征也会造 人一AI合作的新型人机关系对人机界面设计 成人们对该技术产生类似于对自动化的过度信 提出了新要求。传统人机界面主要基于“刺激-反 任。具有学习能力的自主化系统意味着其操作结 应”理念的“指令顺序”式交互，针对智能人机交 果的不确定性可能以意想不到的方式发展，有可 互（情感、意图识别、上下文检测等）的多模态余 能给操作员带来比自动化更强烈的“自动化惊讶” 度式交互，HAⅡ要设计有效的人机界面来支持人 体验。 AI合作所需的情景意识分享、人机互信、人机控 今后HAⅡ领域的工作可从以下几方面考虑： 制分享等。 首先，HAⅡ领域要针对一些自主化的基本问 HAⅡ领域要开发针对AI系统的人机交互设 题展开研究。从人机交互角度充分理解AI自主化 计标准。现有的标准主要是针对非AI系统，国际 特性对人机交互设计的影响，研究自主化对操作 标准化组织正在起草人一AI系统交互的设计标准 员期望、角色等的影响，研究自主化对操作员情绪 S09241-810),已有一些针对AI系统的人机交 应激、认知能力、人格特质和沟通属性的影响s。 互设计指南6例，但是还需要HAⅡ领域的贡献。 其次，HAⅡ领域要在自主系统开发中实现 3.7伦理化AI设计 HCAI理念的“人类可控AI”设计目标。目前，尽 HCAI理念推崇的伦理化AI设计目标是 管人机交互等专业人员参与了自主化系统（如自 AI界目前普遍关心的重要问题。研究表明，AI人 动驾驶汽车)的研发，但是频频发生的事故提醒 员在职业培训中通常缺乏应用伦理规范进行设计 我们评估目前的方法。SAEm认为L4-L5等级 的培训，AI界已经认识到伦理化AI设计需要多 的自动驾驶车不需要人类监控和干预，我们质疑 学科的合作。专业组织和企业已发布了多套AI SAE忽略了自动化和自主化之间的本质差异， 伦理准则，但是研究表明在AI系统开发中如何有 可能对设计、安全、标准化和认证等产生不利影 效落实这些规范有待进一步努力，一些专业人员 响。高等级自动驾驶汽车是一个“移动式”自主化 是在开发后期而不是过程中考虑伦理化设计⑧。 系统，不是传统的自动化系统。基于HCAI理念， 因此，HAⅡ领域的一项重要工作是将伦理化AI 要从人-AI合作、人机互信、态势感知共享、自主 设计落实在开发过程中。 化共享等角度探索自主化设计，实现有效的人机 首先，HAⅡ领域要开展针对AI机器行为的 共驾及交接9，任何等级的自动驾驶车都需要确 研究。2019年MT等大学的多名学者在《自然》 保人是系统的最终决控者（包括远程控制方式）。 上发文建议开展AI机器行为的研究。目前从 最后，实现针对自主化系统的“有意义的人类 事机器行为研究主要是A!人员，没有受过行为科 控制”(meaningful human control)设计目标o。 学的训练。A机器行为的非确定性，需要从算 HAⅡ工作要落实该目标的实现：1)通过“人在环 法、数据、培训、测试等方面来研究影响因素，避 路”、人机交互设计，保证应急状态下人类可接管 免算法偏差。目前，已有基于HCAI理念的机器 或中断系统运行；2)在重要的自主化系统中安装 行为研究，例如，“以人为中心的机器学习”、交互 “故障追踪系统”来实现设计改善和人机故障问责 式机器学习等方法26的。这些方法有助于在开发 制O,推动HCAI理念中“人类可控AI”设计目标 中解决AI系统极端行为、公平性等问题。 的实现。 第二，HAⅡ领域可采用跨学科的方法论来支 3.6智能人机交互 持伦理化AI设计，将人机交互所倡导的迭代式设 智能化人机交互为HAIⅡ领域带来了挑战和 计和测评方法应用在模型算法训练中，收集算法 机遇。AI系统丰富的应用场景和用户需求需要 培训数据，定义用户预期结果并且转化成有效的 有效的人机交互范式8。现有人机交互方式（如 输入数据，利用早期原型开展用户体验测评，通 WIMP)局限于有限的感知通道、交互带宽不足、 过迭代式设计和测试来减小算法偏差啊。 输入/输出带宽不平衡、交互方式不自然等问题， 第三，采用“有意义的人类控制”方法将伦理 已有研究提出了Post-WIMP的范式，这些范式 化AI落实在系统设计中，0。系统设计要保证：也相应提高，这可能会导致操作员对这些功能的 关注度降低，在应急状态下出现“人在环外”的现 象。对近几年发生的多起自动驾驶车致命事故调 查表明，界面模式混淆、“人在环外”、过度信任等 问题正是以往自动化系统中出现的典型问题[73-74]。 智能技术中潜在的自主操作性等特征也会造 成人们对该技术产生类似于对自动化的过度信 任。具有学习能力的自主化系统意味着其操作结 果的不确定性可能以意想不到的方式发展，有可 能给操作员带来比自动化更强烈的“自动化惊讶” 体验。 今后 HAII 领域的工作可从以下几方面考虑： 首先，HAII 领域要针对一些自主化的基本问 题展开研究。从人机交互角度充分理解 AI 自主化 特性对人机交互设计的影响，研究自主化对操作 员期望、角色等的影响，研究自主化对操作员情绪 应激、认知能力、人格特质和沟通属性的影响[75-76]。 其次，HAII 领域要在自主系统开发中实现 HCAI 理念的“人类可控 AI”设计目标。目前，尽 管人机交互等专业人员参与了自主化系统 (如自 动驾驶汽车) 的研发，但是频频发生的事故提醒 我们评估目前的方法[11]。SAE[77] 认为 L4-L5 等级 的自动驾驶车不需要人类监控和干预，我们质疑 SAE 忽略了自动化和自主化之间的本质差异[78] ， 可能对设计、安全、标准化和认证等产生不利影 响。高等级自动驾驶汽车是一个“移动式”自主化 系统，不是传统的自动化系统。基于 HCAI 理念， 要从人-AI 合作、人机互信、态势感知共享、自主 化共享等角度探索自主化设计，实现有效的人机 共驾及交接[79] ，任何等级的自动驾驶车都需要确 保人是系统的最终决控者 (包括远程控制方式)。 最后，实现针对自主化系统的“有意义的人类 控制”(meaningful human control) 设计目标[40]。 HAII 工作要落实该目标的实现：1) 通过“人在环 路”、人机交互设计，保证应急状态下人类可接管 或中断系统运行；2) 在重要的自主化系统中安装 “故障追踪系统”来实现设计改善和人机故障问责 制 [40] ，推动 HCAI 理念中“人类可控 AI”设计目标 的实现。 3.6 智能人机交互 智能化人机交互为 HAII 领域带来了挑战和 机遇。AI 系统丰富的应用场景和用户需求需要 有效的人机交互范式[80]。现有人机交互方式 (如 WIMP) 局限于有限的感知通道、交互带宽不足、 输入/输出带宽不平衡、交互方式不自然等问题， 已有研究提出了 Post-WIMP 的范式[81] ，这些范式 需要 HAII 工作的验证。多模态融合及并行交互 范式是今后 HAII 的重要研究内容，这方面研究目 前主要在 AI、计算技术界展开，HAII 应该提供跨 学科支持。HAII 还要在情境感知、意图理解等方 面取得更大突破[81-83]。 人−AI 合作的新型人机关系对人机界面设计 提出了新要求。传统人机界面主要基于“刺激−反 应”理念的“指令顺序”式交互，针对智能人机交 互 (情感、意图识别、上下文检测等) 的多模态余 度式交互，HAII 要设计有效的人机界面来支持人− AI 合作所需的情景意识分享、人机互信、人机控 制分享等。 HAII 领域要开发针对 AI 系统的人机交互设 计标准。现有的标准主要是针对非 AI 系统，国际 标准化组织正在起草人−AI 系统交互的设计标准 (ISO 9241-810)[36] ，已有一些针对 AI 系统的人机交 互设计指南[16, 64] ，但是还需要 HAII 领域的贡献。 3.7 伦理化 AI 设计 HCAI 理念推崇的伦理 化 AI 设计目标 是 AI 界目前普遍关心的重要问题。研究表明，AI 人 员在职业培训中通常缺乏应用伦理规范进行设计 的培训，AI 界已经认识到伦理化 AI 设计需要多 学科的合作[84]。专业组织和企业已发布了多套 AI 伦理准则，但是研究表明在 AI 系统开发中如何有 效落实这些规范有待进一步努力，一些专业人员 是在开发后期而不是过程中考虑伦理化设计[85]。 因此，HAII 领域的一项重要工作是将伦理化 AI 设计落实在开发过程中。 首先，HAII 领域要开展针对 AI 机器行为的 研究。2019 年 MIT 等大学的多名学者在《自然》 上发文建议开展 AI 机器行为的研究[9]。目前从 事机器行为研究主要是 AI 人员，没有受过行为科 学的训练。AI 机器行为的非确定性，需要从算 法、数据、培训、测试等方面来研究影响因素，避 免算法偏差。目前，已有基于 HCAI 理念的机器 行为研究，例如，“以人为中心的机器学习”、交互 式机器学习等方法[22, 66]。这些方法有助于在开发 中解决 AI 系统极端行为、公平性等问题。 第二，HAII 领域可采用跨学科的方法论来支 持伦理化 AI 设计，将人机交互所倡导的迭代式设 计和测评方法应用在模型算法训练中，收集算法 培训数据，定义用户预期结果并且转化成有效的 输入数据，利用早期原型开展用户体验测评，通 过迭代式设计和测试来减小算法偏差[86]。 第三，采用“有意义的人类控制”方法将伦理 化 AI 落实在系统设计中[40, 70]。系统设计要保证： 第 4 期 许为，等：人−AI 交互: 实现“以人为中心 AI”理念的跨学科新领域 ·615·