第4期 张菁，等：图像搜索中人机交互技术的新进展 ·15· 以客观反映图像内容.为此人们提出了基于图像内 是人与计算机系统相互沟通的平台，是人机对话的 容的检索(content-based image retrieval,CBIR),用 接口.以人为中心、自然、高效的交互是发展新一代 户通过鼠标和键盘等提供示例图或草图进行检索， 人机交互技术的主要目标 系统返回查询结果.这种方法虽然能够反映图像内 人机交互技术的发展经历了3个阶段，表1列 容，却无法理解用户语义.为了获取用户语义，人们 出了3代人机交互技术的主要特点.其中，第3代人 采用相关反馈的方法，通过用户手工标记正例反例， 机交互界面多模态用户界面(multimodal user 优化检索结果.然而这样产生的检索结果常常不能 interface,MU)融合了多种媒体、多种通道、是以用 满足人们的需求，一个重要原因是所提供的人机交 户为中心的交互.多模态交互方式有语音、手势、眼 互方式不能让用户充分表达自己的查询意图，图像 神、指点、键入等，用户利用多个输入模态以自然、并 底层特征和高层语义之间存在巨大的鸿沟. 行、协作的方式进行人机对话，通过融合来自多模态 的输入（精确的和不精确的）来表达用户的交互意 1人机交互技术 图，从而提高人机交互的自然性和高效性 1.1人机交互的发展 人机交互(humamcomputer interaction,HCI) 表13代人机交互技术的比较 Table 1 Comparison of three humamcomputer interaction 人机交互技术的不同阶段 优点 缺点 第1代.字符显示界面CUI 占用系统资源很少 用户需要记忆烦琐的命令，交互方式单一 交互方式较CUI方便（以鼠标为 菜单灵活性和效率较差，需要占用较多的屏幕空间， 第2代·图形用户界面GU1 主)，用户只需确认而不需回忆 并且难以表达和支持非空间性的抽象信息的交互 系统命令 交互环境自然，人机交互内容信 第3代，多模态用户界面MU1 息量更大，相比GUI交互方式多有关关键技术尚在发展中 样化 人们对人机交互技术已经进行了广泛的研究， 来表达自己的情感、情绪、态度和注意力.以人为中 如：人脸检测(face detection)】、人脸识别(face rec- 心的多模态交互结构如图1所示，输入模态由2部 ognition)B)、面部表情分析(facial expression analy- 分构成：人类感知（视觉、听觉、触觉、嗅觉、味觉）和 sis)1、声音情感(vocal emotion)s1、手势识别(ges 计算机输入设备（鼠标、键盘等）.视觉模态包括人机 ture recognition)I]、人体运动分析(human motion 交互中用视觉信息进行表达的各种形式；听觉模态 analysis))和人眼跟踪(eye tracking)8)等.文献 指的是交互采用的可听形式（包括多语言输入）.使 [9]提出了一种基于视觉的HCI方案，主要使用头 用多模态技术可以构造多种接口，其中最主要的是 跟踪、人脸和面部表情识别、人眼跟踪和手势识别进 感知接口和注意力接口.文献[14]对感知接口1做 行人机交互.文献[10]从计算机视觉的角度将自适 出了定义，它是一个具备高交互性，能够和计算机进 应的智能HCI用于人体运动分析，如下摆臂运动检 行丰富、自然、高效交互的多模态接口.感知接口对 测(lower arm movement detection)、人脸处理和手 那些不灵活的标准接口及通用VO设备如键盘、鼠 势分析.文献[11]讨论了多模态接口.文献[12]讨论 标和显示屏提供了感觉（输入）和描述（输出）方面的 了HCI实时视觉（手势、对象跟踪、手势和注视）交 支持.注意力接口是一种上下文感知接口，其输入是 互 人的注意力)，通过使用收集到的信息来估计出和 1.2多模态人机交互 用户交流的最佳时间和方法 如何充分利用人类的感觉器官.提供拟人化的 2 相关反馈技术 交互方式已经成为信息科学的一个研究热点，多模 态人机交互技术应运而生了.多模态人机交互涉及 除了提供自然友好的人机交互，还需要研究如 计算机视觉、心理学、人工智能等众多研究领域.人 何采用相关反馈技术获取用户的真实需求，以弥补 们通常使用语音、身体语言（姿势、注视]、手运动） 图像底层特征和高层语义之间的鸿沟，优化查询结 1994-2008 China Academic Journal Electronic Publishing House.All rights reserved.http://www.cnki.net以客观反映图像内容. 为此人们提出了基于图像内 容的检索(content2based image retrieval ,CBIR) ,用 户通过鼠标和键盘等提供示例图或草图进行检索 , 系统返回查询结果. 这种方法虽然能够反映图像内 容 ,却无法理解用户语义. 为了获取用户语义 ,人们 采用相关反馈的方法 ,通过用户手工标记正例反例 , 优化检索结果. 然而这样产生的检索结果常常不能 满足人们的需求 ,一个重要原因是所提供的人机交 互方式不能让用户充分表达自己的查询意图 ,图像 底层特征和高层语义之间存在巨大的鸿沟. 1 人机交互技术 1. 1 人机交互的发展 人机交互 ( human2comp uter interaction , HCI) 是人与计算机系统相互沟通的平台 ,是人机对话的 接口. 以人为中心、自然、高效的交互是发展新一代 人机交互技术的主要目标. 人机交互技术的发展经历了 3 个阶段 ,表 1 列 出了 3 代人机交互技术的主要特点. 其中 ,第 3 代人 机交互界面 ———多模态用户界面 (multimodal user interface ,MU I) 融合了多种媒体、多种通道、是以用 户为中心的交互. 多模态交互方式有语音、手势、眼 神、指点、键入等 ,用户利用多个输入模态以自然、并 行、协作的方式进行人机对话 ,通过融合来自多模态 的输入(精确的和不精确的) 来表达用户的交互意 图 ,从而提高人机交互的自然性和高效性. 表 1 3 代人机交互技术的比较 Table 1 Comparison of three human2computer interaction 人机交互技术的不同阶段 优点 缺点 第 1 代 - 字符显示界面 CU I 占用系统资源很少 用户需要记忆烦琐的命令 ,交互方式单一 第 2 代 - 图形用户界面 GU I 交互方式较 CUI 方便(以鼠标为 主) ,用户只需确认而不需回忆 系统命令 菜单灵活性和效率较差 ,需要占用较多的屏幕空间 , 并且难以表达和支持非空间性的抽象信息的交互 第 3 代 - 多模态用户界面 MUI 交互环境自然 ,人机交互内容信 息量更大 ,相比 GU I 交互方式多 样化 有关关键技术尚在发展中 人们对人机交互技术已经进行了广泛的研究 , 如 :人脸检测(face detection) [2 ] 、人脸识别(face rec2 ognition) [3 ] 、面部表情分析(facial expression analy2 sis) [4 ] 、声音情感(vocal emotion) [5 ] 、手势识别 ( ges2 t ure recognition) [ 6 ] 、人体运动分析 ( human motion analysis) [ 7 ] 和人眼跟踪 ( eye tracking) [8 ] 等. 文献 [9 ]提出了一种基于视觉的 HCI 方案 ,主要使用头 跟踪、人脸和面部表情识别、人眼跟踪和手势识别进 行人机交互. 文献[ 10 ]从计算机视觉的角度将自适 应的智能 HCI 用于人体运动分析 ,如下摆臂运动检 测(lower arm movement detection) 、人脸处理和手 势分析. 文献[ 11 ]讨论了多模态接口. 文献[ 12 ]讨论 了 HCI 实时视觉 (手势、对象跟踪、手势和注视) 交 互. 1. 2 多模态人机交互 如何充分利用人类的感觉器官 ,提供拟人化的 交互方式已经成为信息科学的一个研究热点 ,多模 态人机交互技术应运而生了. 多模态人机交互涉及 计算机视觉、心理学、人工智能等众多研究领域. 人 们通常使用语音、身体语言(姿势、注视[13 ] 、手运动) 来表达自己的情感、情绪、态度和注意力. 以人为中 心的多模态交互结构如图 1 所示 ,输入模态由 2 部 分构成 :人类感知(视觉、听觉、触觉、嗅觉、味觉) 和 计算机输入设备(鼠标、键盘等) . 视觉模态包括人机 交互中用视觉信息进行表达的各种形式 ;听觉模态 指的是交互采用的可听形式 (包括多语言输入) . 使 用多模态技术可以构造多种接口 ,其中最主要的是 感知接口和注意力接口. 文献[ 14 ]对感知接口[15 ] 做 出了定义 ,它是一个具备高交互性 ,能够和计算机进 行丰富、自然、高效交互的多模态接口. 感知接口对 那些不灵活的标准接口及通用 I/ O 设备如键盘、鼠 标和显示屏提供了感觉(输入) 和描述(输出) 方面的 支持. 注意力接口是一种上下文感知接口 ,其输入是 人的注意力[16 ] ,通过使用收集到的信息来估计出和 用户交流的最佳时间和方法. 2 相关反馈技术 除了提供自然友好的人机交互 ,还需要研究如 何采用相关反馈技术获取用户的真实需求 ,以弥补 图像底层特征和高层语义之间的鸿沟 ,优化查询结 第 4 期 张 菁 ,等 :图像搜索中人机交互技术的新进展 · 51 · © 1994-2008 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net