16 智能系统学报 第2卷 图像搜索引擎 Laaksonen等人在文献[32]中使用了TS-SOM来 对不同特征轴的特征向量进行索引，如颜色和纹理： 正例和反例在该自组织图中被映射为冲激，而通过 (类感 计算机输入设备 一个低通操作，可以隐式地表现出不同特征的相关 视觉 音频 味觉 指示： 键盘 身体 重要性，这就意味着一个“好的”图将留下正例，而抛 鼠标 弃反例.这是在Peng等o1基础上做的，该文献使用 三势 嗅觉 输入笔 其他 了概率论的方法来捕获特征相关度 近年来，相关反馈从基于启发式的技术发展到 最优化学习算法，并借鉴了文本检索中的词加权和 图1多模态人机交互 相关反馈方法33]，这种基于修正特征空间中特征轴 Fig.I Multimodal humamrcomputer interaction 权重的思想，提出了使用经验参数调节的启发式公 果.相关反馈(relevance feedback,RF)是一种查询 式1，目的是增加那些能有助产生正例的特征，并 修正技术，起源于信息检索.对于图像底层特征和高 将正例和反例分开 层语义之间的鸿沟，相关反馈技术提供了一种从用 之后，研究者们为了更系统化地处理这个问题， 户那里去挖掘信息的有效方法，通过多次信息回馈 将其划分成一个最优化、学习或分类问题.Ishikawa 和查询要求的提炼，来获取用户的确切需求.在不依 等人在文献[18]以及Rui和Huang在文献[27]中， 赖于能够辨识图像的高层次语义和人们的主观理解 基于最小化新查询中正例的总距离的思想，在新查 的情况下，用户的反馈信息提供了一个学习查询特 询中的平均权值和特征空间中的白化变换（或Ma 例语义的方法.但相关反馈的效果有赖于友好的人 halanobis距离矩阵)设计为最优解决方案.此外 机交互方式 Rui和Huang在文献[27]采用了一种2层的权重 传统的“相关反馈州1川是学习查询的特征差异 方案来更好地处理小样本集的情况.为了加入对反 或特征项的相关度，或者是通过学习特征项之间的 例的考虑，Schettini等人3通过比较正例的方差和 相关性得到特征空间中的一个线性变换8.20！.最新 正例与反例之间的联合方差，对每个特征轴上的特 研究将其称为密度估计21.1、学习2.1或分 征权重做了调整， 类221问题.下面列出了按短期和长期学习对相关 MacArthur等I3]将相关反馈看成一个两类学 反馈算法的分类： 习问题，使用一个决策树算法连续地“砍”掉特征空 高于启发式的（特征值加权） 间，直到所有包含分区的点都属于同一类为止.数据 基于密度估计的 库通过结果决策树进行分类：属于同一相关叶的图 短期学了 基于分类的 像被集中到一起，并且返回与其最近的相邻叶 基于比较搜索的 基于MDS可视化交互 2.2长期学习方法 相关反馈算法 基于启发式的 基于长期学习的相关反馈方法采用离线学习， 长期学了 基于信息检索和数据挖掘 在线执行.比如Guo等人在文献[35]中使用Ads 、基于增量学习 Boost进行人脸识别和语音检索.为了加速多类分 2.1短期学习方法 类方法的成对计算，提出了一个强制的多数投票 早期的研究29.0]主要针对文本检索领域.例 (constrained majority voting,CMV)机制，该机制 如，文献[29]采用基于文本区的“词频”和“逆文档频 允许已标记的训练样本被所有类使用.另一种是基 率”的学习方法，变换成为一种基于沿着连续特征空 于图像分割从样例中学习抽象结构的方法.Xù等人 间中每条特征轴的正反例排序的学习方法.文献 提出了一种用于抽象描述的等级排列方法，可以描 [30]将特征进行了量化，然后将图像或区域分组，从 述使用颜色和边缘进行分割后的基本区域6].比 而形成一个节点由单连接聚类的等级树.之后每个 如，系统通过一个表示其空间关系的邻接矩阵，学习 分组通过一系列运算赋予权重 若干区域的一个“复合节点”.Ratan等人在文献 在相关反馈的过程中，一般使用Kohonen的学 [37]中使用了一个多实例学习模型从特征样例中学 习向量量化(learning vector quantization,LVQ)算 习最重要的子图像集，该子集被称为一个实例包或 法B]和树结构自组织图(tree-structured self-or- 集合.为了得到所有正例图像的特征，而远离反例图 ganizing map,TS-SOM)2来进行动态数据聚类 像子集的特征空间，使用了反转密度算法.Forsyth 1994-2008 China Academic Journal Electronic Publishing House.All rights reserved.htp://www.cnki.nei图 1 多模态人机交互 Fig. 1 Multimodal human2computer interaction 果. 相关反馈 (relevance feedback ,RF) 是一种查询 修正技术 ,起源于信息检索. 对于图像底层特征和高 层语义之间的鸿沟 ,相关反馈技术提供了一种从用 户那里去挖掘信息的有效方法 ,通过多次信息回馈 和查询要求的提炼 ,来获取用户的确切需求. 在不依 赖于能够辨识图像的高层次语义和人们的主观理解 的情况下 ,用户的反馈信息提供了一个学习查询特 例语义的方法. 但相关反馈的效果有赖于友好的人 机交互方式. 传统的“相关反馈”[17 ] 是学习查询的特征差异 或特征项的相关度 ,或者是通过学习特征项之间的 相关性得到特征空间中的一个线性变换[18 - 20 ] . 最新 研究 将 其 称 为 密 度 估 计[21 - 22 ] 、学 习[23 - 26 ] 或 分 类[27 - 28 ]问题. 下面列出了按短期和长期学习对相关 反馈算法的分类 : 相关反馈算法 短期学习 高于启发式的(特征值加权) 基于密度估计的 基于分类的 基于比较搜索的 基于 MDS 可视化交互 长期学习 基于启发式的 基于信息检索和数据挖掘 基于增量学习 2. 1 短期学习方法 早期的研究[29 - 30 ] 主要针对文本检索领域. 例 如 ,文献[ 29 ]采用基于文本区的“词频”和“逆文档频 率”的学习方法 ,变换成为一种基于沿着连续特征空 间中每条特征轴的正反例排序的学习方法. 文献 [30 ]将特征进行了量化 ,然后将图像或区域分组 ,从 而形成一个节点由单连接聚类的等级树. 之后每个 分组通过一系列运算赋予权重. 在相关反馈的过程中 ,一般使用 Kohonen 的学 习向量量化 (learning vector quantization ,LVQ) 算 法[31 ] 和树结构自组织图 ( tree2struct ured self2or2 ganizing map , TS2SOM) [32 ] 来进行动态数据聚类. Laaksonen 等人在文献 [ 32 ]中使用了 TS2SOM 来 对不同特征轴的特征向量进行索引 ,如颜色和纹理. 正例和反例在该自组织图中被映射为冲激 ,而通过 一个低通操作 ,可以隐式地表现出不同特征的相关 重要性 ,这就意味着一个“好的”图将留下正例 ,而抛 弃反例. 这是在 Peng 等[30 ]基础上做的 ,该文献使用 了概率论的方法来捕获特征相关度. 近年来 ,相关反馈从基于启发式的技术发展到 最优化学习算法 ,并借鉴了文本检索中的词加权和 相关反馈方法[33 ] . 这种基于修正特征空间中特征轴 权重的思想 ,提出了使用经验参数调节的启发式公 式[18 ] ,目的是增加那些能有助产生正例的特征 ,并 将正例和反例分开. 之后 ,研究者们为了更系统化地处理这个问题 , 将其划分成一个最优化、学习或分类问题. Ishikawa 等人在文献[18 ]以及 Rui 和 Huang 在文献[ 27 ]中 , 基于最小化新查询中正例的总距离的思想 ,在新查 询中的平均权值和特征空间中的白化变换 (或 Ma2 halanobis 距离矩阵) 设计为最优解决方案. 此外 , Rui 和 Huang 在文献[ 27 ]采用了一种 2 层的权重 方案来更好地处理小样本集的情况. 为了加入对反 例的考虑 ,Schettini 等人[34 ]通过比较正例的方差和 正例与反例之间的联合方差 ,对每个特征轴上的特 征权重做了调整. MacArt hur 等[33 ]将相关反馈看成一个两类学 习问题 ,使用一个决策树算法连续地“砍”掉特征空 间 ,直到所有包含分区的点都属于同一类为止. 数据 库通过结果决策树进行分类 :属于同一相关叶的图 像被集中到一起 ,并且返回与其最近的相邻叶. 2. 2 长期学习方法 基于长期学习的相关反馈方法采用离线学习 , 在线执行. 比如 Guo 等人在文献[ 35 ]中使用 Ads2 Boost 进行人脸识别和语音检索. 为了加速多类分 类方法的成对计算 ,提出了一个强制的多数投票 (constrained majority voting , CMV) 机制 ,该机制 允许已标记的训练样本被所有类使用. 另一种是基 于图像分割从样例中学习抽象结构的方法. Xu 等人 提出了一种用于抽象描述的等级排列方法 ,可以描 述使用颜色和边缘进行分割后的基本区域[36 ] . 比 如 ,系统通过一个表示其空间关系的邻接矩阵 ,学习 若干区域的一个“复合节点”. Ratan 等人在文献 [37 ]中使用了一个多实例学习模型从特征样例中学 习最重要的子图像集 ,该子集被称为一个实例包或 集合. 为了得到所有正例图像的特征 ,而远离反例图 像子集的特征空间 ,使用了反转密度算法. Forsyt h · 61 · 智 能 系 统 学 报 第 2 卷 © 1994-2008 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net