第4期 张菁，等：图像搜索中人机交互技术的新进展 ·17 和Fleck在文献[38]中也提到了类似的工作，他们 方式：或明确地指定相关的关键字.这种方式获得的 从对象中学习构造出了“正视图”.Hong和 用户信息具有较高的质量，歧义较少.但是对用户有 Huang!]将一个对象或场景定义为一个上下文样 很高的要求，如：用户要能理解这样反馈的目的，并 式，并使用一个属性关系图ARG(attributed rela- 有耐心去显式地参与系统 tional graph)o1来描述它.目前，相关反馈主要难点 2)无用户参与：并不是说用户不需要和系统做 是计算复杂度，此外，要达到相关反馈需要的实时处 任何的交互，而是用户不需要显式地说明自己的兴 理要求还相差甚远 趣，个性化系统将统计用户在普通使用互联网时的 行为方式，并从中发现用户的兴趣.例如：网络使用 3个性化搜索 挖掘(web usage mining)记录了用户浏览网页时的 个性化搜索是目前人机交互技术研究中的一个 行为；上下文搜索(context search)就范围广一些 前沿课题.通用搜索引擎是将所有人一致认同的“相 可以是用户使用计算机的所有行为；而用户反馈则 关度”认为是单个用户的相关度，采用唯一的一个相 侧重在一个查询进程(query session)内的行为等 关度计算方法，而个性化搜索(personalized search) 是针对个人的“相关度”，每个用户都有自己的一套 4人眼跟踪技术 独特的相关度计算方法.使用个性化搜索不仅可以 利用人眼跟踪技术，通过用户注视行为得到用 提高搜索精度，而且提供了确定用户检索意图的更 户对信息的注意力，从而可以快速地传递图像区域 好的方法.因此，个性化搜索是实现友好搜索的目 之间的相似度.这种基于人眼跟踪的交互技术为图 的 像搜索提供了一个自然快速的交互接口.文献[41] 实现个性化搜索服务，关键是进行用户个性化 提出了一个人眼跟踪图像检索系统的架构，如图3. 分析，构建个性化文件.用户的访问兴趣可以运用 人眼跟踪接口 ?!Ci求处理 web行为挖掘对用户注册信息、用户自定义的感兴 语义 视点 视觉注意力 趣的词汇和服务器记录的server logs,cookies logs 眼运动 等日志信息进行推理、预测和分类；运用快捷、高效、 分析 低复杂度的动态增量聚类算法和并行算法获取用户 访问信息：通过对用户访问日志中数据的清洗（消除 LED摄像头 19 噪声)，获得用户访问的路径信息，挖掘出用户检索 行为的模式，产生个性化文件(profiles).随着用户 提交查询请求的变化，搜索引擎可以通过自治、自适 图3人眼跟踪图像检索系统架构 应、学习来使个性化文件得到不断的更新.信息过滤 Fig.3 Architecture of eye tracking based 系统的作用则是实现信息空间和个性化文件的匹 image retrieval system 配.如图2是个性化搜索的工作原理图 图3系统主要由人眼跟踪接口和CBIR(基于内 容的图像检索)处理2部分组成，人眼跟踪接口通过 用户注册信息 自适应学习 显示器下方的摄像头采集人眼视频，并自动实时跟 用户自定义的 Agent(推理 踪人眼注视视点；人眼注视方向通过瞳孔中心/角膜 感兴趣词汇 预测、分类) 用户兴趣词典 反射分析获得，摄像头中心有一个红外发光二极管 Server日志信息 LED LED作用是对人眼照明产生角膜反射，从而 查询请求 匹配 造成亮瞳孔效应（如图4），这样可以增强瞳孔图像， 有助于准确地判断人眼注意力.系统用红外光照明 图2个性化搜索原理 眼晴并将反射图像用摄像机记录下来，将摄像头获 Fig.2 Personalized search framework 得的数据通过计算机或微处理器处理.系统光学元 个性化搜索是以用户为中心的搜索，按照用户 件在空间固定，相对受试者的眼睛有较为固定的距 的参与程度又可以进行如下的划分： 离，系统测量头部的位置和方向，用测得的数据作为 1)用户参与（用户显式的参与）：用户主动地向 计算视线的一个参考.计算机处理器识别瞳孔和角 系统提供自己的兴趣说明.例如明确的指定自己的 膜，找到它们面心之间的距离，计算瞳孔直径，然后 兴趣类别；或明确地指定自己感兴趣的相关网页等 计算出在屏幕空间中的注视点.基于内容的图像检 1994-2008 China Academic Journal Electronic Publishing House.All rights reserved.http://www.cnki.net和 Fleck 在文献[ 38 ]中也提到了类似的工作 ,他们 从对 象 中 学 习 构 造 出 了“正 视 图”. Hong 和 Huang [ 39 ]将一个对象或场景定义为一个上下文样 式 ,并使用一个属性关系图 AR G( attributed rela2 tional grap h) [40 ]来描述它. 目前 ,相关反馈主要难点 是计算复杂度 ,此外 ,要达到相关反馈需要的实时处 理要求还相差甚远. 3 个性化搜索 个性化搜索是目前人机交互技术研究中的一个 前沿课题. 通用搜索引擎是将所有人一致认同的“相 关度”认为是单个用户的相关度 ,采用唯一的一个相 关度计算方法 ,而个性化搜索 (personalized search) 是针对个人的“相关度”,每个用户都有自己的一套 独特的相关度计算方法. 使用个性化搜索不仅可以 提高搜索精度 ,而且提供了确定用户检索意图的更 好的方法. 因此 ,个性化搜索是实现友好搜索的目 的. 实现个性化搜索服务 ,关键是进行用户个性化 分析 ,构建个性化文件. 用户的访问兴趣可以运用 web 行为挖掘对用户注册信息、用户自定义的感兴 趣的词汇和服务器记录的 server logs、cookies logs 等日志信息进行推理、预测和分类 ;运用快捷、高效、 低复杂度的动态增量聚类算法和并行算法获取用户 访问信息 ;通过对用户访问日志中数据的清洗(消除 噪声) ,获得用户访问的路径信息 ,挖掘出用户检索 行为的模式 ,产生个性化文件 (profiles) . 随着用户 提交查询请求的变化 ,搜索引擎可以通过自治、自适 应、学习来使个性化文件得到不断的更新. 信息过滤 系统的作用则是实现信息空间和个性化文件的匹 配. 如图 2 是个性化搜索的工作原理图. 图 2 个性化搜索原理 Fig. 2 Personalized search framework 个性化搜索是以用户为中心的搜索 ,按照用户 的参与程度又可以进行如下的划分 : 1) 用户参与(用户显式的参与) :用户主动地向 系统提供自己的兴趣说明. 例如明确的指定自己的 兴趣类别 ;或明确地指定自己感兴趣的相关网页等 方式 ;或明确地指定相关的关键字. 这种方式获得的 用户信息具有较高的质量 ,歧义较少. 但是对用户有 很高的要求 ,如 :用户要能理解这样反馈的目的 ,并 有耐心去显式地参与系统. 2) 无用户参与 :并不是说用户不需要和系统做 任何的交互 ,而是用户不需要显式地说明自己的兴 趣 ;个性化系统将统计用户在普通使用互联网时的 行为方式 ,并从中发现用户的兴趣. 例如 :网络使用 挖掘(web usage mining) 记录了用户浏览网页时的 行为 ;上下文搜索 (context search) 就范围广一些 , 可以是用户使用计算机的所有行为 ;而用户反馈则 侧重在一个查询进程(query session ) 内的行为等. 4 人眼跟踪技术 利用人眼跟踪技术 ,通过用户注视行为得到用 户对信息的注意力 ,从而可以快速地传递图像区域 之间的相似度. 这种基于人眼跟踪的交互技术为图 像搜索提供了一个自然快速的交互接口. 文献[ 41 ] 提出了一个人眼跟踪图像检索系统的架构 ,如图 3. 图 3 人眼跟踪图像检索系统架构 Fig. 3 Architecture of eye tracking2based image retrieval system 图 3 系统主要由人眼跟踪接口和 CBIR(基于内 容的图像检索) 处理 2 部分组成 ,人眼跟踪接口通过 显示器下方的摄像头采集人眼视频 ,并自动实时跟 踪人眼注视视点 ;人眼注视方向通过瞳孔中心/ 角膜 反射分析获得 ,摄像头中心有一个红外发光二极管 L ED ,L ED 作用是对人眼照明产生角膜反射 ,从而 造成亮瞳孔效应(如图 4) ,这样可以增强瞳孔图像 , 有助于准确地判断人眼注意力. 系统用红外光照明 眼睛并将反射图像用摄像机记录下来 ,将摄像头获 得的数据通过计算机或微处理器处理. 系统光学元 件在空间固定 ,相对受试者的眼睛有较为固定的距 离 ,系统测量头部的位置和方向 ,用测得的数据作为 计算视线的一个参考. 计算机处理器识别瞳孔和角 膜 ,找到它们面心之间的距离 ,计算瞳孔直径 ,然后 计算出在屏幕空间中的注视点. 基于内容的图像检 第 4 期 张 菁 ,等 :图像搜索中人机交互技术的新进展 · 71 · © 1994-2008 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net