第2卷第4期 智能系统学报 Vol.2 Ng 4 2007年8月 CAAI Transactions on Intelligent Systems Aug.2007 图像搜索中人机交互技术的新进展 张菁'，沈兰荪'，David Dagan FENG3 (1.北京工业大学信号与信息处理研究室，北京100022：2.悉尼大学信息学院，悉尼2006；3.香港理工大学电子 与资讯工程学系，香港中国) 摘要：人机交互在图像搜索中起着重要的作用.研究下一代人机交互接口以更好地表达用户搜索意图，具有广大 的应用前景.如何充分利用人类的感觉器官，提供拟人化的交互方式已经成为信息科学的一个研究热点.除了提供 自然友好的人机交互，还需要研究如何采用相关反馈技术获取用户的真实需求，以弥补图像底层特征和高层语义之 间的鸿沟，优化查询结果，实现个性化搜索.首先对图像搜索的发展概况做了简要介绍，在对人机交互、相关反馈和 个性化搜索的研究进展进行讨论后，描述了人眼跟踪、语音和触摸导航在图像检索中的应用.最后指出了图像搜索 中人机交互技术进一步的发展前景. 关键词：人机交互：图像搜索；相关反馈：语义鸿沟 中图分类号：TP391文献标识码：A文章编号：16734785(2007)04001407 Human-computer interaction technology in image searches a survey ZHAN G Jing',SHEN Lansun',David Dagan FEN G3 (1.Signal&Information Processing Lab.,Beijing University of Technology,Beijing 100022,China;2.School of Information Technologies,the University of Sydney,NSW 2006,Australia;3.Department of Electronic Information Engineering, Hong Kong Polytechnic University,Hong Kong,China) Abstract:Humamcomputer interaction plays an important role in image searches.Next generation human computer interactions which can identify users'search intentions are a promising research field.Ways to do this by fully utilizing human sense organs and providing humanlike interaction have become a lively topic in informatics.Based on a natural and friendly humamcomputer interaction,relevance feedback is used to determine a user's requirements and narrow the gap between low-level image features and high-lev- el semantic concepts in order to optimize query results and perform a personalized search.Developments in the area of image searches are briefly addressed.The current state of humamcomputer interaction,rele- vance feedback,and personalized search are discussed.Applications for image retrieval using eye-tracking, speech,and haptical navigation are also described.Finally current challenges and future trends are out- lined. Keywords:humamcomputer interaction;image search;relevance feedback;semantic gap 随着数字图像和互联网的飞速发展，大量的数 引擎(image search engine)正是为了解决这个问题 字图像资源呈现在用户面前，但同时伴随的问题是 而出现的一种网络服务这是一种利用自动搜索技 用户越来越难以获得需要的图像信息山.图像搜索 术，对网络中的图像资源进行标记，为用户提供检索 服务的工具. 收稿日期：2007-01-12. 目前，大多数的图像搜索引擎采用的是基于关 基金项目：国家自然科学基金资助项目(60472036,60431020， 60402036):教育部博士点基金资助项目(20040005015)： 键字的检索方法，用户通过键盘输入关键字进行查 北京市自然科学基金资助项目(3052005)；the PolyU/ 询.这种方法检索速度快，实现简单，但是关键字难 UGC grants (B-Q698). 1994-2008 China Academic Journal Electronic Publishing House.All rights reserved htp://www.cnki.net第 2 卷第 4 期 智 能 系 统 学 报 Vol. 2 №. 4 2007 年 8 月 CAAI Transactions on Intelligent Systems Aug. 2007 图像搜索中人机交互技术的新进展 张 菁1 ,沈兰荪1 ,David Dagan FEN G 2 ,3 (1. 北京工业大学 信号与信息处理研究室 ,北京 100022 ;2. 悉尼大学 信息学院 ,悉尼 2006 ;3. 香港理工大学 电子 与资讯工程学系 ,香港 中国) 摘 要 :人机交互在图像搜索中起着重要的作用. 研究下一代人机交互接口以更好地表达用户搜索意图 ,具有广大 的应用前景. 如何充分利用人类的感觉器官 ,提供拟人化的交互方式已经成为信息科学的一个研究热点. 除了提供 自然友好的人机交互 ,还需要研究如何采用相关反馈技术获取用户的真实需求 ,以弥补图像底层特征和高层语义之 间的鸿沟 ,优化查询结果 ,实现个性化搜索. 首先对图像搜索的发展概况做了简要介绍 ,在对人机交互、相关反馈和 个性化搜索的研究进展进行讨论后 ,描述了人眼跟踪、语音和触摸导航在图像检索中的应用. 最后指出了图像搜索 中人机交互技术进一步的发展前景. 关键词 :人机交互 ;图像搜索 ;相关反馈 ;语义鸿沟 中图分类号 : TP391 文献标识码 :A 文章编号 :167324785 (2007) 0420014207 Human2computer interaction technology in image searches : a survey ZHAN G Jing 1 ,SH EN Lan2sun 1 ,David Dagan FEN G 2 ,3 (1. Signal & Information Processing Lab. , Beijing University of Technology , Beijing 100022 , China ; 2. School of Information Technologies , the University of Sydney , NSW 2006 , Australia ; 3. Department of Electronic & Information Engineering , Hong Kong Polytechnic University , Hong Kong , China) Abstract :Human2comp uter interaction plays an important role in image searches. Next generation human2 comp uter interactions which can identify users’search intentions are a promising research field. Ways to do t his by f ully utilizing human sense organs and providing human2like interaction have become a lively topic in informatics. Based on a nat ural and friendly human2comp uter interaction , relevance feedback is used to determine a user’s requirements and narrow the gap between low2level image feat ures and high2lev2 el semantic concepts in order to optimize query results and perform a personalized search. Developments in t he area of image searches are briefly addressed. The current state of human2comp uter interaction , rele2 vance feedback , and personalized search are discussed. Applications for image retrieval using eye2tracking , speech , and haptical navigation are also described. Finally current challenges and f uture trends are out2 lined. Keywords :human2comp uter interaction ; image search ; relevance feedback ; semantic gap 收稿日期 :2007201212. 基金项 目 : 国 家 自 然 科 学 基 金 资 助 项 目 ( 60472036 , 60431020 , 60402036) ;教育部博士点基金资助项目(20040005015) ; 北京市自然科学基金资助项目 ( 3052005) ; t he PolyU/ U GC grants (B - Q698) . 随着数字图像和互联网的飞速发展 ,大量的数 字图像资源呈现在用户面前 ,但同时伴随的问题是 用户越来越难以获得需要的图像信息[ 1 ] . 图像搜索 引擎(image search engine) 正是为了解决这个问题 而出现的一种网络服务. 这是一种利用自动搜索技 术 ,对网络中的图像资源进行标记 ,为用户提供检索 服务的工具. 目前 ,大多数的图像搜索引擎采用的是基于关 键字的检索方法 ,用户通过键盘输入关键字进行查 询. 这种方法检索速度快 ,实现简单 ,但是关键字难 © 1994-2008 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net