第13卷第2期 智能系统学报 Vol.13 No.2 2018年4月 CAAI Transactions on Intelligent Systems Apr.2018 D0:10.11992/tis.201607010 网络出版地址：http:/kns.cnki.net/kcms/detail/23.1538.TP.20170626.1739.010.html 目标再确认中的优化扩散距离相似性度量 曹伟，韩华，王裕明，孙宪坤 (上海工程技术大学电子电气工程学院，上海201620)》 摘要：跨摄像头目标再确认是多摄像头监控领域中一个亟需解决的难点问题，如何获得准确率更高的距离度量算 法成为解决该难点的关键。为此本文在提取优秀的多特征基础上，建立了一种无需训练，适应更多场景的度量算法： 优化扩散距离相似性度量，用于跨摄像头目标再确认。在高维扩散距离的基础上，加入高斯金字塔图像采样和加权 性优化处理，用于提高相似空间向量的辨别力，并提高计算效率。通过对高维扩散距离的二次优化建立起最终的相 似性度量函数。最后对VIPR和ETHZ数据库中的图片进行多次目标再确认实验，排名第一的图片的正确匹配率达 到了50.5%。实验结果表明本文算法取得了较好的匹配结果。 关键词：优化扩散距离；相似性度量；多特征融合：目标再确认 中图分类号：TP391.9文献标志码：A文章编号：1673-4785(2018)02-0269-12 中文引用格式：曹伟，韩华，王裕明，等.目标再确认中的优化扩散距离相似性度量智能系统学报，2018,13(2)：269-280 英文引用格式：CAO Wei,.HAN Hua,VANG Yuming,etal.Target re-.identification based on optimized diffusion distanceJ. CAAI transactions on intelligent systems,2018,13(2):269-280. Target re-identification based on optimized diffusion distance CAO Wei,HAN Hua,WANG Yuming,SUN Xiankun (School of Electronic and Electrical Engineering,Shanghai University of Engineering Science,Shanghai 201620,China) Abstract:Target re-identification via cross-camera is a challenging problem in the field of multi-camera surveillance. How to get a more accurate distance measurement algorithm is the key to solve this difficult problem.So,in this paper, we established a new measurement algorithm without training based on extracting more excellent features to do target re-identification,which is optimized diffusion distance.On the basis of high-dimensional diffusion distance,Gaussian pyramid image sampling and weight optimization are added to improve the discrimination of similar space vectors and increase computational efficiency.The final similarity measure function is established by the second optimization of the high-dimensional diffusion distance.At last,we do numerous target re-identification experiments based on databases VIPeR and ETHZ.The matching rate of rank first image can reach 50.5%.The experimental results show that the al- gorithm proposed in this paper has good performance. Keywords:optimized diffusion distance;similarity measure,multi-feature fusion;target re-identification 跨摄像头目标再确认是目前多摄像机智能监控 认，是现在智能监控领域研究的热点。能否在复杂 领域的一个重点研究方向)，如何在不同的光照条 的环境中快速地匹配到同一目标的关键点在于能否 件、不同的行人姿态以及不同尺度甚至遮挡等复杂 找到目标在时间、空间上的不变特性以及选择合适 环境下实现不同监控摄像头下的同一目标的再确 的匹配算法。 收稿日期：2016-07-13.网络出版日期：2017-06-26. 基金项目：国家自然科学基金项目(61305014)：国家留学基金管理 目前最先进的算法对VIPeR(viewpoint invari- 委员会项目(201508310033)：上海市教育委员会和上海 市教育发展基金会“晨光计划”(13CG60):上海高校青年 ant pedestrian recognition)数据库的视频目标进行再 教师培养资助计划(ZZGJD13006):上海工程技术大学 确认的正确率为40%，处于比较低的水平。根据 人才行动计划(2017RC112015,nhrc-2015-11). 通信作者：韩华.E-mail:2070967@mail.dhu.edu.cn 上文所述，目标再确认主要的研究方法分为两类：
DOI: 10.11992/tis.201607010 网络出版地址: http://kns.cnki.net/kcms/detail/23.1538.TP.20170626.1739.010.html 目标再确认中的优化扩散距离相似性度量 曹伟，韩华，王裕明，孙宪坤 （上海工程技术大学 电子电气工程学院，上海 201620） 摘 要：跨摄像头目标再确认是多摄像头监控领域中一个亟需解决的难点问题，如何获得准确率更高的距离度量算 法成为解决该难点的关键。为此本文在提取优秀的多特征基础上，建立了一种无需训练，适应更多场景的度量算法： 优化扩散距离相似性度量，用于跨摄像头目标再确认。在高维扩散距离的基础上，加入高斯金字塔图像采样和加权 性优化处理，用于提高相似空间向量的辨别力，并提高计算效率。通过对高维扩散距离的二次优化建立起最终的相 似性度量函数。最后对 VIPeR 和 ETHZ 数据库中的图片进行多次目标再确认实验，排名第一的图片的正确匹配率达 到了 50.5%。实验结果表明本文算法取得了较好的匹配结果。 关键词：优化扩散距离；相似性度量；多特征融合；目标再确认 中图分类号：TP391.9 文献标志码：A 文章编号：1673−4785(2018)02−0269−12 中文引用格式：曹伟, 韩华, 王裕明, 等. 目标再确认中的优化扩散距离相似性度量[J]. 智能系统学报, 2018, 13(2): 269–280. 英文引用格式：CAO Wei, HAN Hua, WANG Yuming, et al. Target re-identification based on optimized diffusion distance[J]. CAAI transactions on intelligent systems, 2018, 13(2): 269–280. Target re-identification based on optimized diffusion distance CAO Wei，HAN Hua，WANG Yuming，SUN Xiankun (School of Electronic and Electrical Engineering, Shanghai University of Engineering Science, Shanghai 201620, China) Abstract: Target re-identification via cross-camera is a challenging problem in the field of multi-camera surveillance. How to get a more accurate distance measurement algorithm is the key to solve this difficult problem. So, in this paper, we established a new measurement algorithm without training based on extracting more excellent features to do target re-identification, which is optimized diffusion distance. On the basis of high-dimensional diffusion distance, Gaussian pyramid image sampling and weight optimization are added to improve the discrimination of similar space vectors and increase computational efficiency. The final similarity measure function is established by the second optimization of the high-dimensional diffusion distance. At last, we do numerous target re-identification experiments based on databases VIPeR and ETHZ. The matching rate of rank first image can reach 50.5%. The experimental results show that the algorithm proposed in this paper has good performance. Keywords: optimized diffusion distance; similarity measure; multi-feature fusion; target re-identification 跨摄像头目标再确认是目前多摄像机智能监控 领域的一个重点研究方向[1] ，如何在不同的光照条 件、不同的行人姿态以及不同尺度甚至遮挡等复杂 环境下实现不同监控摄像头下的同一目标的再确 认，是现在智能监控领域研究的热点。能否在复杂 的环境中快速地匹配到同一目标的关键点在于能否 找到目标在时间、空间上的不变特性以及选择合适 的匹配算法。 目前最先进的算法对 VIPeR(viewpoint invariant pedestrian recognition) 数据库的视频目标进行再 确认的正确率为 40%，处于比较低的水平[2]。根据 上文所述，目标再确认主要的研究方法分为两类： 收稿日期：2016−07−13. 网络出版日期：2017−06−26. 基金项目：国家自然科学基金项目 (61305014)；国家留学基金管理 委员会项目 (201508310033)；上海市教育委员会和上海 市教育发展基金会“晨光计划”(13CG60)；上海高校青年 教师培养资助计划 (ZZGJD13006)；上海工程技术大学 人才行动计划 (2017RC112015，nhrc-2015-11). 通信作者：韩华. E-mail：2070967@mail.dhu.edu.cn. 第 13 卷第 2 期 智 能 系 统 学 报 Vol.13 No.2 2018 年 4 月 CAAI Transactions on Intelligent Systems Apr. 2018
·270· 智能系统学报 第13卷 日标外观特征类和度量算法类。而目标外观特征类 特征时，直方图是目前应用最广泛的的外观描述 的研究又可以归纳为3类：1)依据目标本身的整体 器。但是，大部分基于直方图的方法，其不足之处 特征进行描述，如文献[3-9]通过建立整体相关特征 是缺少特征分布的空间信息。比如，基于直方图的 颜色直方图进行目标再确认：2)基于目标本身的局 方法不能分辨出一个穿着白色衬衫和黑色裤子的行 部特征进行目标匹配，如文献[10-13]通过训练大量 人与另一个穿着黑色衬衫和白色裤子的行人是否是 样本得出的数据作为匹配函数，依据目标本身的颜 不同的。 色特征、纹理特征进行目标的再确认；3)通过整体 因此，文中提出了一个新颖而简单的方法：基 和局部多特征融合来匹配目标，如文献14-18]通过 于两级区域的直方图提取方法。首先，提出的第一 人体本身的局部LBP(local binary patterns)特征、 级区域为：行人整个身体区域(Hglobat)颜色直方图； SIFT(scale-invariant feature transform)特征以及整体 提出的二级区域为：行人的上半身区域(H)和腿 的颜色特征进行描述，来完成目标再确认。度量算 部区域(He)如图1所示。图中(a)、(d)为一级区域 法类的研究方向相对特征类方法而言，对目标外观 身体直方图，图(b)、()为二级区域身躯直方图，图 特征的要求较低，更多地依赖选择和训练优秀的度 (c)、()为二级区域腿部直方图。 量函数。比如，ERSVM方法采用基于相对距离 排序的SVM分类器集成多个特征向量权重：文献 [20]采用多核SVM学习的方法融合颜色和视觉单 词直方图；文献[21]采用直方图交叉核；文献[22]采 用夹角余弦法等相似度量函数进行目标匹配。 以上两类方法在目标再确认过程中，度量算法 类对特征的选择要求较低，通常能取得更好的再确 二级 级 认效果。但其训练的时间和空间复杂度较高，且场 图1两级区域直方图 景和图库变化时需要重新训练。目标外观特征类方 Fig.1 Two levels of area histogram 法则需要人为地寻找和设计较好的特征，该方法的 图l(a)、(d)一级所提取的Hglobal直方图，(d)直 性能依赖于特征的优劣程度。本文受两类方法优点 方图中的3个峰值在(a)直方图中可以找到相似的 的启发，在特征类方法的思路下设计和构造优秀的 对应，因此单纯靠全局直方图很难发现目标是两个 特征；同时在度量算法类方法的思路下，引入物理 不同的人；通过对图1中的两个原始图像分别提取 学科中的热扩散原理作为度量函数2)，并最终建立 身躯段和腿部段的H和He直方图，对应于二级， 基于优化的扩散距离的度量函数完成目标再确认。 如图1左图中的(b)(c)和图1右图中的(e)、()所 基于上文所述，引入度量算法的基础来源于扩 示，对比图1(b)和图1(e),可发现两者身躯直方图 散距离。扩散距离是物理学中用于描述热力场中存 明显不同，同时对比图1(c)和图1（①也能发现两者 在的一种扩散现象的，国外学者Ling等曾提出了 的腿部直方图也是明显不同的，可以通过局部直方 图的差异，发现两目标并不是同一个人。通过上述 一种非线性基于扩散现象和距离判断方式二者结合 方法可以有效地提取颜色的空间信息，并区分出图1 的扩散距离，它是模拟热扩散和记录随机扩散遍历 两个行人的不同。 的时间计算两点之间的距离。这使得扩散距离具有 人体目标本身具有很多稳定不变的特征，这些 可以很好地描述目标间相似性的特性，同时，传统 不变特征在应对因光照变化或细微的肢体动作变化 度量算法存在诸多缺点，比如：对图像形变比较敏 时具有很好的鲁棒性。因此，为了更好利用这些优 感；缺少考虑像素间的空间关系；较小的形变就能 势特征来克服由于光照变化或其他因素所带来的干 使距离计算变化较大，从而产生误匹配等，而扩散 扰，本文在下文中会从整体特征和局部特征两方面 距离的引入克服了以上不足。基于扩散距离的众多 来介绍本文所提取的这些优势多特征，实验表明， 优点，因此本文引入扩散距离，并对其进行优化，构 使用这些多特征中的任何一类进行匹配时，识别率 造出优秀的相似性度量函数，以完成对行人目标的 都不太理想，但结合下文中的多特征进行目标再确 再确认。 认时，可以很大程度上提高目标的识别率。 多特征描述 1.1整体特征 整体特征使用基于一级区域（图1中Level 1) 目标再确认过程中，描述每个目标的外观相当 的RGB颜色直方图进行粗识别。在提取RGB颜 于从目标身上找到可辨识性的特征。在描述目标 色直方图时，本文将R、G、B这3个通道分别进行量化
目标外观特征类和度量算法类。而目标外观特征类 的研究又可以归纳为 3 类：1) 依据目标本身的整体 特征进行描述，如文献[3-9]通过建立整体相关特征 颜色直方图进行目标再确认；2) 基于目标本身的局 部特征进行目标匹配，如文献[10-13]通过训练大量 样本得出的数据作为匹配函数，依据目标本身的颜 色特征、纹理特征进行目标的再确认；3) 通过整体 和局部多特征融合来匹配目标，如文献[14-18]通过 人体本身的局部 LBP(local binary patterns) 特征、 SIFT(scale-invariant feature transform) 特征以及整体 的颜色特征进行描述，来完成目标再确认。度量算 法类的研究方向相对特征类方法而言，对目标外观 特征的要求较低，更多地依赖选择和训练优秀的度 量函数。比如，ERSVM 方法[19]采用基于相对距离 排序的 SVM 分类器集成多个特征向量权重；文献 [20]采用多核 SVM 学习的方法融合颜色和视觉单 词直方图；文献[21]采用直方图交叉核；文献[22]采 用夹角余弦法等相似度量函数进行目标匹配。 以上两类方法在目标再确认过程中，度量算法 类对特征的选择要求较低，通常能取得更好的再确 认效果。但其训练的时间和空间复杂度较高，且场 景和图库变化时需要重新训练。目标外观特征类方 法则需要人为地寻找和设计较好的特征，该方法的 性能依赖于特征的优劣程度。本文受两类方法优点 的启发，在特征类方法的思路下设计和构造优秀的 特征；同时在度量算法类方法的思路下，引入物理 学科中的热扩散原理作为度量函数[23] ，并最终建立 基于优化的扩散距离的度量函数完成目标再确认。 基于上文所述，引入度量算法的基础来源于扩 散距离。扩散距离是物理学中用于描述热力场中存 在的一种扩散现象的，国外学者 Ling 等 [23]曾提出了 一种非线性基于扩散现象和距离判断方式二者结合 的扩散距离，它是模拟热扩散和记录随机扩散遍历 的时间计算两点之间的距离。这使得扩散距离具有 可以很好地描述目标间相似性的特性，同时，传统 度量算法存在诸多缺点，比如：对图像形变比较敏 感；缺少考虑像素间的空间关系；较小的形变就能 使距离计算变化较大，从而产生误匹配等，而扩散 距离的引入克服了以上不足。基于扩散距离的众多 优点，因此本文引入扩散距离，并对其进行优化，构 造出优秀的相似性度量函数，以完成对行人目标的 再确认。 1 多特征描述 目标再确认过程中，描述每个目标的外观相当 于从目标身上找到可辨识性的特征。在描述目标 特征时，直方图是目前应用最广泛的的外观描述 器。但是，大部分基于直方图的方法，其不足之处 是缺少特征分布的空间信息。比如，基于直方图的 方法不能分辨出一个穿着白色衬衫和黑色裤子的行 人与另一个穿着黑色衬衫和白色裤子的行人是否是 不同的。 因此，文中提出了一个新颖而简单的方法：基 于两级区域的直方图提取方法。首先，提出的第一 级区域为：行人整个身体区域 (Hglobal) 颜色直方图； 提出的二级区域为：行人的上半身区域 (Htor) 和腿 部区域 (Hleg) 如图 1 所示。图中 (a)、(d) 为一级区域 身体直方图，图 (b)、(e) 为二级区域身躯直方图，图 (c)、(f) 为二级区域腿部直方图。 (b) (c) (d) (e) (f) ̬㏓ ̬㏓ θ㏓ θ㏓ (a) 图 1 两级区域直方图 Fig. 1 Two levels of area histogram 图 1(a)、(d) 一级所提取的 Hglobal 直方图，(d) 直 方图中的 3 个峰值在 (a) 直方图中可以找到相似的 对应，因此单纯靠全局直方图很难发现目标是两个 不同的人；通过对图 1 中的两个原始图像分别提取 身躯段和腿部段的 Htor 和 Hleg 直方图，对应于二级， 如图 1 左图中的 (b)、(c) 和图 1 右图中的 (e)、(f) 所 示，对比图 1(b) 和图 1(e)，可发现两者身躯直方图 明显不同，同时对比图 1(c) 和图 1(f) 也能发现两者 的腿部直方图也是明显不同的，可以通过局部直方 图的差异，发现两目标并不是同一个人。通过上述 方法可以有效地提取颜色的空间信息，并区分出图 1 两个行人的不同。 人体目标本身具有很多稳定不变的特征，这些 不变特征在应对因光照变化或细微的肢体动作变化 时具有很好的鲁棒性。因此，为了更好利用这些优 势特征来克服由于光照变化或其他因素所带来的干 扰，本文在下文中会从整体特征和局部特征两方面 来介绍本文所提取的这些优势多特征，实验表明， 使用这些多特征中的任何一类进行匹配时，识别率 都不太理想，但结合下文中的多特征进行目标再确 认时，可以很大程度上提高目标的识别率。 1.1 整体特征 整体特征使用基于一级区域 (图 1 中 Level 1) 的 RGB 颜色直方图进行粗识别。在提取 RGB 颜 色直方图时，本文将 R、G、B这 3 个通道分别进行量化。 ·270· 智 能 系 统 学 报 第 13 卷
第2期 曹伟，等：目标再确认中的优化扩散距离相似性度量 ·271· 而量化过程中存在两个极端问题：粗量化会造成大 部和背景干扰之后，身躯和腿部的R、G、B分量直 量的可辩别性信息被放弃，细量化会生成稀疏直方 方图。其中，图2(d)中的横轴，0~31代表身躯段和 图。本文在3个通道使用相同的量化级数32bins。 腿部段上的R颜色通道统计直方图（其中0~15代 通过大量实验验证了本文所使用的32bins具有较 表身躯段，16~31代表腿部段)：32~63代表身躯段和 好的可辨别性和准确性。通过图1可以很清楚地体 腿部段上的G颜色通道统计直方图：64~95代表身 现出来。 躯段和腿部段上的B颜色通道统计直方图。 1.2局部特征 局部特征相对整体特征而言更加注重局部小范 围特征的不变性，采用更细腻的特征描述子或者具 有较强鲁棒性的特征来进行匹配。观察大部分行人 目标的Ho和He特征发现：最显著的局部差异特 征仍是颜色特征，实验过程中发现使用颜色特征应 对摄像机镜头旋转变化所造成的差异具有很好的辨 别性。所以在下文中的局部特征表述过程中，基于 (a)原图 b)背景掩膜（©）分割示意图 上文中二级区域H和Hee的基础上，为了使人体 800 目标取得更佳的匹配效果使用GrabCut24背景去除 700 法，将干扰背景（头部也当作背景）进行去除，同时 600 500 将RGB颜色通道模型和加权HSV颜色通道模型作 400 为主要的局部特征：而另一方面考虑到局部人体目 300 标的表象和形状能够被梯度或边缘的方向密度分布 200 100 很好地描述，方向梯度直方图(histogram of oriented gradient,HOG)特征可以通过计算和统计图像局部 0 102030405060708090100 颜色区间 区域的梯度方向直方图来构成特征，并且能够对图 (d身躯、腿部R、G、B与通道直方图 像的几何和光学形变都能保持很好的不变性，所 图2局部RGB颜色直方图 以，将结构性HOG描述子作为次要的局部特征。 Fig.2 Local RGB color histogram 1.2.1局部RGB颜色特征 局部RGB颜色直方图充分利用了空间分布信 观察数据库中行人目标发现：去除头部的影响 息，可以有效区分出上文所提到的上身下身穿衣颜 后，由于目标行人上身所穿的衣服和下身所穿的裤 色的不同。在局部特征描述方面的应用中，可以较 子在颜色上往往会表现出明显的差异，所以本文在 好地实现应对图像旋转和平移的改变所带来的影 二级区域Hor和Hee基础上使用局部RGB颜色直 响，并且还可借助归一化技术，来达到不受图像尺 方图匹配。通过观察图2(b):掩膜背景图（图中干扰 度的改变所带来的影响，充分利用了局部颜色特征 背景和头部已经去除)和测试样本库里的图片（国 的优势。 际通用标准库VIPeR中的样本图片大小：48×128) 12.2加权HSV特征 分析得到：头部和身躯段的平均分界线在第20行， 身躯段和腿部段的平均分界线在62行。为了减少 根据人眼视觉特性，颜色信息中HSV特征相比 背景对匹配结果的干扰，如图2(C)所示，将身躯段 较RGB特征，在应对光照变化方面，可以很大程度 去除左右边界各4列，即使用整张图像的第 上忽略图像亮度变化所带来的影响；在二级区域中 20-60行，第644列作为身躯段窗口：同时，在腿部 对HSV模型使用高斯分布的加权处理，可以在提取 段部分去除最下面的8行，以及左右各14列，使用 空间信息基础上更好地对特征权重化处理，所以本 整张图像的第66122行，第14~36列，作为腿部段 文选择HSV颜色模型作为局部特征之一来使用。 窗口。在量化过程中，同整体特征量化数相同，提 考虑到由于人体目标特征分布比例的差异性， 取每个通道对其量化后的直方图统计如图2。 有些显著特征在人体身上的某些部位所占比例很 图2中，分段处理和图1中的两级区域一致， 重，而有些特征则在人体身上的某些部位所占比例 将图像中的人物按照不对称原则分为头部、身躯和 很小。通过观察图3(b)发现：身躯和腿部中间部分 腿部3个水平段，并将图像中的人物的身躯和腿部 的颜色特征比较明显，对图像匹配时的影响会比较 按照对称原则分为两个垂直段，并且去掉权重比较 重，所以相应地给予较大的权重分配，越远离垂直 小的头部像素点，得到的实际效果如图2(c)所示。 坐标的颜色特征对匹配性能的提高影响较小，甚至 图2(d)代表实验过程中所绘制的图2(b)被去除头 会降低匹配性能，所以相应地给予远离垂直坐标的
而量化过程中存在两个极端问题：粗量化会造成大 量的可辩别性信息被放弃，细量化会生成稀疏直方 图。本文在 3 个通道使用相同的量化级数 32bins。 通过大量实验验证了本文所使用的 32bins 具有较 好的可辨别性和准确性。通过图 1 可以很清楚地体 现出来。 1.2 局部特征 局部特征相对整体特征而言更加注重局部小范 围特征的不变性，采用更细腻的特征描述子或者具 有较强鲁棒性的特征来进行匹配。观察大部分行人 目标的 Htor 和 Hleg 特征发现：最显著的局部差异特 征仍是颜色特征，实验过程中发现使用颜色特征应 对摄像机镜头旋转变化所造成的差异具有很好的辨 别性。所以在下文中的局部特征表述过程中，基于 上文中二级区域 Htor 和 Hleg 的基础上，为了使人体 目标取得更佳的匹配效果使用 GrabCut[24]背景去除 法，将干扰背景 (头部也当作背景) 进行去除，同时 将 RGB 颜色通道模型和加权 HSV 颜色通道模型作 为主要的局部特征；而另一方面考虑到局部人体目 标的表象和形状能够被梯度或边缘的方向密度分布 很好地描述，方向梯度直方图 (histogram of oriented gradient，HOG) 特征可以通过计算和统计图像局部 区域的梯度方向直方图来构成特征，并且能够对图 像的几何和光学形变都能保持很好的不变性，所 以，将结构性 HOG 描述子作为次要的局部特征。 1.2.1 局部 RGB 颜色特征 观察数据库中行人目标发现：去除头部的影响 后，由于目标行人上身所穿的衣服和下身所穿的裤 子在颜色上往往会表现出明显的差异，所以本文在 二级区域 Htor 和 Hleg 基础上使用局部 RGB 颜色直 方图匹配。通过观察图 2(b)：掩膜背景图 (图中干扰 背景和头部已经去除) 和测试样本库里的图片 (国 际通用标准库 VIPeR 中的样本图片大小：48×128) 分析得到：头部和身躯段的平均分界线在第 20 行， 身躯段和腿部段的平均分界线在 62 行。为了减少 背景对匹配结果的干扰，如图 2(c) 所示，将身躯段 去除左右边界 各 4 列，即使用整张图像的 第 20~60 行，第 6~44 列作为身躯段窗口；同时，在腿部 段部分去除最下面的 8 行，以及左右各 14 列，使用 整张图像的第 66~122 行，第 14~36 列，作为腿部段 窗口。在量化过程中，同整体特征量化数相同，提 取每个通道对其量化后的直方图统计如图 2。 图 2 中，分段处理和图 1 中的两级区域一致， 将图像中的人物按照不对称原则分为头部、身躯和 腿部 3 个水平段，并将图像中的人物的身躯和腿部 按照对称原则分为两个垂直段，并且去掉权重比较 小的头部像素点，得到的实际效果如图 2(c) 所示。 图 2(d) 代表实验过程中所绘制的图 2(b) 被去除头 部和背景干扰之后，身躯和腿部的 R、G、B 分量直 方图。其中，图 2(d) 中的横轴，0~31 代表身躯段和 腿部段上的 R 颜色通道统计直方图 (其中 0~15 代 表身躯段，16~31 代表腿部段)；32~63 代表身躯段和 腿部段上的 G 颜色通道统计直方图；64~95 代表身 躯段和腿部段上的 B 颜色通道统计直方图。 (a) ࣋ప (b) 㗸ᮛᣕ㛈 (c) ܲޞᘻప (d) 䏗䏛ȟ㚫䘔RȟGȟB̺䕆䕿Ⱐప 800 700 600 500 400 300 200 100 0 10 20 30 40 50 60 70 80 90 100 ͖/䶽㉌ ䷈㞞ࡦ䬠 图 2 局部 RGB 颜色直方图 Fig. 2 Local RGB color histogram 局部 RGB 颜色直方图充分利用了空间分布信 息，可以有效区分出上文所提到的上身下身穿衣颜 色的不同。在局部特征描述方面的应用中，可以较 好地实现应对图像旋转和平移的改变所带来的影 响，并且还可借助归一化技术，来达到不受图像尺 度的改变所带来的影响，充分利用了局部颜色特征 的优势。 1.2.2 加权 HSV 特征 根据人眼视觉特性, 颜色信息中 HSV 特征相比 较 RGB 特征，在应对光照变化方面，可以很大程度 上忽略图像亮度变化所带来的影响；在二级区域中 对 HSV 模型使用高斯分布的加权处理，可以在提取 空间信息基础上更好地对特征权重化处理，所以本 文选择 HSV 颜色模型作为局部特征之一来使用。 考虑到由于人体目标特征分布比例的差异性， 有些显著特征在人体身上的某些部位所占比例很 重，而有些特征则在人体身上的某些部位所占比例 很小。通过观察图 3(b) 发现：身躯和腿部中间部分 的颜色特征比较明显，对图像匹配时的影响会比较 重，所以相应地给予较大的权重分配，越远离垂直 坐标的颜色特征对匹配性能的提高影响较小，甚至 会降低匹配性能，所以相应地给予远离垂直坐标的 第 2 期 曹伟，等：目标再确认中的优化扩散距离相似性度量 ·271·
·272· 智能系统学报 第13卷 点以较小的权重分配。根据人体不同部位所对应的 分成小的连通区域，我们把它叫细胞单元2。然后 分段坐标对HSV直方图进行高斯分布的加权处理。 采集细胞单元中各像素点梯度或边缘的方向直方 图。最后把这些直方图组合起来就可以构成特征描 1.0 述器。为了提高性能，还可以把这些局部直方图在 0.8 图像的更大的范围内（也可称为区间或block)进行 06 对比度归一化，所采用的方法是：先计算各直方图 在这个区间(block)中的密度，然后根据这个密度对 0.4 区间中的各个细胞单元做归一化。本文在实际操作 02 中使用的参数为：窗口大小统一为48×128，block块 大小为16×16，每个block划分为4个cell,并且 (a)原图 (b)高斯核图谱 block每次滑动8个像素（即一个cell的宽），以及梯 度方向划分为9个区间，最后在0~360°范围内统 1.0 计，将cell的梯度方向360°分成9个方向块，也就 1.0 0.9 是每360°19=40°分到一个方向，方向大小按像素边 0.8 8333 缘强度加权，对cll内每个像素用梯度方向在直方 0.6 图中进行加权投影（映射到固定的角度范围），其相 0.5 应的实验效果如图4（©）所示。实验过程中，根据上 0.4 文相应参数对图4(a)进行HOG特征提取，提取过 0.3 0.2 程中的实验效果如图4所示。 0.1 从图中可以清晰的看出：本文将cell的梯度方 50 向以40°为一个单位，分成一个方向；图4()代表实 40 图像高 30 验过程中提取的归一化后HOG3维特征曲面图。 10 20 00 图像宽 由于HOG方法是在图像的局部细胞单元上操作 (©)三维空间核图谱能量分布图 的，所以它对图像几何和光学的形变能够保持很好 800 的不变性，归一化后能对光照变化和阴影获得更好 700 的效果。它的优点不仅包括对图像几何和光学形变 600 500 方面能保持良好的不变性，还包括归一化后允许行 400 人有细微的肢体动作，且不影响检测效果，多特征 300 融合HOG特征描述可以很好地提高匹配率。 200 100 0.35 0.30 0 20 40 60 80 100 120 颜色权重分布区间 0.25 (d)权重分布直方图 图3人体加权HSV处理图 0.15 Fig.3 Body weighted HSV processing figure 0.10 如图3所示，为了更形象地表现人体身上特征 0.05 权重的分布，文中提取人体不同位置对应的高斯分 6 布图谱3b)和三维空间中的核能量图谱3(c)。考虑 bin (a)cell的单元直方图 到光照的影响会对匹配精度造成很大的影响，因而 为了抑制光照变化，将H$V中的亮度值(V)分配较 0.35 小区间段。文中的H、S、V通道分别分成16、16、4段， 0.30 进而得到一个加权的108段（其中0~31段为头部 0.25 段，已被忽略计算：32~71段为身躯段：72~107为 020 腿部段)HSV直方图，其相应的实验效果如图3(d)。 12.3HOG特征 .05 HOG是日标检测常用的特征描述子。目标局 5101520253035 部的表象和形状能够被梯度或边缘的方向的密度分 bin 布很好地描述4。具体的实现方法是：首先将图像 (b)block块直方图
点以较小的权重分配。根据人体不同部位所对应的 分段坐标对 HSV 直方图进行高斯分布的加权[16]处理。 1.0 0.8 0.6 0.4 0.2 0 (a) ࣋ప (b) 倄ᵤప䅝 1.0 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 140120 100 8060 40 20 0 0 10 20 30 40 50 1.0 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 (c) ̵㐠⾦䬠ᵤప䅝㘩䛻ܲጯప ࢁѹ⾦䬠㘩䛻ჲᏒ/kg పჩ ప倄 800 700 600 500 400 300 200 100 20 40 60 80 100 120 (d) ᱯ䛹ܲጯⰠప 0 ᱯ䛹 ䷈㞞ᱯ䛹ܲጯࡦ䬠 图 3 人体加权 HSV 处理图 Fig. 3 Body weighted HSV processing figure 如图 3 所示，为了更形象地表现人体身上特征 权重的分布，文中提取人体不同位置对应的高斯分 布图谱 3(b) 和三维空间中的核能量图谱 3(c)。考虑 到光照的影响会对匹配精度造成很大的影响，因而 为了抑制光照变化，将 HSV 中的亮度值 (V) 分配较 小区间段。文中的 H、S、V 通道分别分成 16、16、4 段， 进而得到一个加权的 108 段 (其中 0~31 段为头部 段，已被忽略计算；32~71 段为身躯段；72~107 为 腿部段)HSV 直方图，其相应的实验效果如图 3(d)。 1.2.3 HOG 特征 HOG 是目标检测常用的特征描述子。目标局 部的表象和形状能够被梯度或边缘的方向的密度分 布很好地描述[24]。具体的实现方法是：首先将图像 分成小的连通区域，我们把它叫细胞单元[25]。然后 采集细胞单元中各像素点梯度或边缘的方向直方 图。最后把这些直方图组合起来就可以构成特征描 述器。为了提高性能，还可以把这些局部直方图在 图像的更大的范围内 (也可称为区间或 block) 进行 对比度归一化，所采用的方法是：先计算各直方图 在这个区间 (block) 中的密度，然后根据这个密度对 区间中的各个细胞单元做归一化。本文在实际操作 中使用的参数为：窗口大小统一为 48×128，block 块 大小为 16×16，每个 block 划分为 4 个 cell，并且 block 每次滑动 8 个像素 (即一个 cell 的宽)，以及梯 度方向划分为 9 个区间，最后在 0~360o 范围内统 计，将 cell 的梯度方向 360o 分成 9 个方向块，也就 是每 360o /9=40o 分到一个方向，方向大小按像素边 缘强度加权，对 cell 内每个像素用梯度方向在直方 图中进行加权投影 (映射到固定的角度范围)，其相 应的实验效果如图 4(c) 所示。实验过程中，根据上 文相应参数对图 4(a) 进行 HOG 特征提取，提取过 程中的实验效果如图 4 所示。 从图中可以清晰的看出：本文将 cell 的梯度方 向以 40o 为一个单位，分成一个方向；图 4(d) 代表实 验过程中提取的归一化后 HOG 3 维特征曲面图。 由于 HOG 方法是在图像的局部细胞单元上操作 的，所以它对图像几何和光学的形变能够保持很好 的不变性，归一化后能对光照变化和阴影获得更好 的效果。它的优点不仅包括对图像几何和光学形变 方面能保持良好的不变性，还包括归一化后允许行 人有细微的肢体动作，且不影响检测效果，多特征 融合 HOG 特征描述可以很好地提高匹配率。 (a) cell ⮰ٯࢁⰠప 0.35 0.30 0.25 0.20 0.15 0.10 0.05 0 㐋䃍ը ᝂ㔱䶽 bin (b) block ಃⰠప 0.35 0.30 0.25 0.20 0.15 0.10 0.05 㐋䃍ը ᝂ㔱䶽 bin 0 ·272· 智 能 系 统 学 报 第 13 卷
第2期 曹伟，等：目标再确认中的优化扩散距离相似性度量 ·273· 9g00.6 T(x,)=To(x)() 120 60 T(x)=T(x,0)=d(x) 40 1 (2) 150 30 x,0= V吃epa X 那么一维分布hist1()和his2(x)的扩散距离定 义为 210 330 R(hist histz)=k(IT(x,t)Ddr (3) 0 240 300 270 式中：是一个正常数，且kT(x,0=T(x,dr。 (C)极坐标映射图 由于一维扩散距离的应用没有多大实际意义， 所以推广到高维且引人高斯金字塔对扩散距离进行 2 0.50 0.5 优化，进一步提高了相似性度量函数的计算效率。 0.1 0.40 0.30 假设有两个p维直方图Hist(X)和Hist2(X),其 0.3 0.2 0.20 中X为p维的实矩阵，由于高斯金字塔中图像的平 0.1 0.10 滑子采样不会产生混淆现象，能有效的描述温度场 504030 010005101520253035400 T(x,)的离散化连续性扩散过程，所以本文使用基 block个数 每一block 于成熟的高斯金字塔的交替距离定义高维扩散距 中特征数 离，即 (d三维特征 图4HOG特征描述子实验效果图 K(Hist,Hist,)= k(ld(x)) (4) Fig.4 HOG feature descriptor experimental result 式中： 2相似性度量函数 do()=Hist()-Hist(X),1=0 (5) 在相似性度量函数的建立方面，传统度量算法 d(X)=[d-(X)*(X,l2g,1=1,2,…,L (6) 1 大多基于欧氏距离或者余弦距离等进行优化。然 (X,σ)= (2PR。epr (7) 而，欧式距离和余弦距离本身存在诸多缺点，比如： 式(6)中的代表降采样，如果采样值偏小，有 欧式距离不能从高维特征向量恢复到具有低维的几 效信息会缺失；如果采样值偏大，会带来计算效率 何机构，对图像的形变比较敏感和缺少像素间的空 降低的问题，综合以上考虑，本文采样值大小设定 间关系；余弦距离存在位置判定上差异性太大以及 为经验值↓23，即取采样值的2/3。L是高斯金字塔 对数值的不敏感导致结果的众多误差等缺点。考虑 的层数，σ是高斯函数(X,σ)的标准差，式(7)中 到传统相似性度量算法的不足，本文引进物理学温 p代表直方图的维数。然后，使用L,范数标准对式 度场扩散距离2的概念来建立相似性度量函数。扩 (4)进行简化： 散距离的本质来源于物理学中的温度场，它不同于 欧式距离中的距离长短决定相似度大小的标准。扩 K(Hist Hist)=dX) (8) 散距离中的相似度取决于温度扩散路径的多少以及 热扩散的快慢。本文所使用的基于优化扩散距离相 从式(6)可以看出，d,中的向下采样操作在运 似性度量函数用于衡量个体在空间上存在的距离， 算量上呈指数减少，同时使用采样值的2/3，又能够 距离越远，说明个体间的差异越大，反之，差异越 最大限度保留样本值的信息：其次，高斯滤波卷积 小。优化扩散距离在一定程度上弥补了欧式和余弦 操作是线性运算，在计算效率上明显有优势。但 距离的不足的同时，在匹配性能上显示了较优的表 是，优化后的扩散距离虽然在计算效率上提高不 现2。其原理如下： 少，但是由式(4)和(5)可以知道，优化扩散距离在 首先，假设hist(x)和hist()为两个一维分布，其 表示空间向量直方图Hist(X)和Hist2(X)之间的累积 差异可以表示成： 差时，缺少对内部单个元素之间差异的表示。虽然 d(x)=hist (x)-hist,(x) (1) 使用式(8)可以直接应用到相似距离度量中，但其 如果存在一个独立的温度场T(x,)中，在时间 忽略了空间向量对应元素之间的相似性的影响，因 =0时，有T(x,0)=d(x)。那么温度场T(x,)的计算公 而其精确度会存在误差。由于不同Hst(X)中的每个 式为 元素代表不同的特征属性，比如wHSV(weighted
2 相似性度量函数 在相似性度量函数的建立方面，传统度量算法 大多基于欧氏距离或者余弦距离等进行优化。然 而，欧式距离和余弦距离本身存在诸多缺点，比如： 欧式距离不能从高维特征向量恢复到具有低维的几 何机构，对图像的形变比较敏感和缺少像素间的空 间关系；余弦距离存在位置判定上差异性太大以及 对数值的不敏感导致结果的众多误差等缺点。考虑 到传统相似性度量算法的不足，本文引进物理学温 度场扩散距离[26]的概念来建立相似性度量函数。扩 散距离的本质来源于物理学中的温度场，它不同于 欧式距离中的距离长短决定相似度大小的标准。扩 散距离中的相似度取决于温度扩散路径的多少以及 热扩散的快慢。本文所使用的基于优化扩散距离相 似性度量函数用于衡量个体在空间上存在的距离， 距离越远，说明个体间的差异越大，反之，差异越 小。优化扩散距离在一定程度上弥补了欧式和余弦 距离的不足的同时，在匹配性能上显示了较优的表 现 [26]。其原理如下： 首先，假设 hist1(x) 和 hist2(x) 为两个一维分布，其 差异可以表示成： d(x) = hist1(x)−hist2(x) (1) T(x,t) T(x,0) = d(x) T(x,t) 如果存在一个独立的温度场 中，在时间 t=0 时，有 。那么温度场 的计算公 式为 T(x,t) = T0(x)· ϕ(x) T0(x) = T(x,0) = d(x) ϕ(x,t) = 1 √ 2πt exp−x 2 /2t 2 (2) 那么一维分布 hist1(x) 和 hist2(x) 的扩散距离定 义为 Kˆ(hist1 ,hist2) = ∫ t¯ 0 k(|T(x,t)|)dt (3) t¯ k(|T(x,t)|) = ∫ +∞ −∞ 式中： 是一个正常数，且 |T(x,t)|dx。 由于一维扩散距离的应用没有多大实际意义， 所以推广到高维且引入高斯金字塔对扩散距离进行 优化，进一步提高了相似性度量函数的计算效率。 Hist1(X) Hist2(X) T(x,t) 假设有两个 p 维直方图 和 ，其 中 X 为 p 维的实矩阵，由于高斯金字塔中图像的平 滑子采样不会产生混淆现象，能有效的描述温度场 的离散化连续性扩散过程，所以本文使用基 于成熟的高斯金字塔的交替距离定义高维扩散距 离，即 K(Hist1,Hist2) = ∑L l=0 k(|dl(x)|) (4) 式中： d0(X) = Hist1(X)−Hist2(X),l = 0 (5) dl(X) = [dl−1(X) ∗ ϕ(X,σ)]↓2/3 , l = 1,2,··· ,L (6) ϕ(X,σ) = 1 (2π) p/2σ exp−X TX/2σ 2 (7) ↓ ↓2/3 ϕ(X,σ) 式 (6) 中的 代表降采样，如果采样值偏小，有 效信息会缺失；如果采样值偏大，会带来计算效率 降低的问题，综合以上考虑，本文采样值大小设定 为经验值 ，即取采样值的 2/3。L 是高斯金字塔 的层数，σ 是高斯函数 的标准差，式 (7) 中 p 代表直方图的维数。然后，使用 L1 范数标准对式 (4) 进行简化[26] ： K(Hist1,Hist2) = ∑L l=1 dl(X) (8) Hist1(X) Hist2(X) Hist(X) 从式 (6) 可以看出，dl 中的向下采样操作在运 算量上呈指数减少，同时使用采样值的 2/3，又能够 最大限度保留样本值的信息；其次，高斯滤波卷积 操作是线性运算，在计算效率上明显有优势。但 是，优化后的扩散距离虽然在计算效率上提高不 少，但是由式 (4) 和 (5) 可以知道，优化扩散距离在 表示空间向量直方图 和 之间的累积 差时，缺少对内部单个元素之间差异的表示。虽然 使用式 (8) 可以直接应用到相似距离度量中，但其 忽略了空间向量对应元素之间的相似性的影响，因 而其精确度会存在误差。由于不同 中的每个 元素代表不同的特征属性，比如 wHSV(weighted (d) ̵㐠➥ᒭ 㐋䃍ը ᝂ㔱䶽 0.5 0.1 0.3 0.2 0.1 0 50 40 30 20 10 0 0 5 10 15 20 25 30 35 40 0.50 0.40 0.30 0.20 0.10 0 Z Y X block 个数 每一 block 中特征数 (c) Ჭ౼ᴳᭌᄰప 0.6 60 40 30 0 330 300 270 240 210 180 150 120 90 Y X 0.4 图 4 HOG 特征描述子实验效果图 Fig. 4 HOG feature descriptor experimental result 第 2 期 曹伟，等：目标再确认中的优化扩散距离相似性度量 ·273·
·274· 智能系统学报 第13卷 HSV,加权HSV)直方图中的第：个元素代表第 :个区域内的像素点的总个数或者代表图像中的颜 色值为：。所以，进行相似性距离度量时，既要考虑 累积差异的影响，也要考虑对应元素间相似性的 影响。假设：His1(X)=[3,7,10],Hist2(X)=[1,1,5), Hist(X)=3,6,2,为简化计算，令X,)=1,不使用 降采样，相应的K(Hist1,Hist2)=V6=K(Histr,Hist), (a)同一个人扩散过程 (b)不同人的扩散过程 无法区分哪两个直方图更相似。通过观察Hst(X) 图5扩散距离匹配过程 Hist2(X)和Hist(X)发现，Hist3(X)相比Hist2(X)拥有 Fig.5 Diffusion distance matching process 更多相同或者相近的元素个数。从直观上，只能定 性的认为Hist(X与Hist3(X)应该比Hist1(X)与Hist2(X) 3 目标再确认 更相似。 3.1 归一化处理 通过以上分析，在计算空间向量直方图之间距 单独使用上述3种特征描述中任何一种所建立 离时，不应该将内部元素归置一样的权值，而应该 的相似性度量函数都不能达到较好的匹配效果，所 对那些元素值间对应相同或者相近的给予更大的权 以本文使用多特征融合进而建立起的相似性度量函 值。所以，本文在优化扩散距离基础上进行二次优 数进行目标再确认，对上述3种特征提取相应特征 化，提出加权式扩散距离，相应表达式为 直方图，然后分别计算相应的优化扩散距离，为防 首先，将式（⑤）改写成 止由于不同特征算出的扩散距离有较大差异而影响 目标再确认结果，对每类特征描述计算所得到的扩 do(X)= (HistL(X)-Histz;(X))2 (9) 散距离都做归一化处理。 =0 3.2总体相似性度量函数的建立 式中：1i和2i分别代表直方图1中第i个元素和直 目标再确认中，通常会有两组图像数据：待识 方图2中第i个元素，ie0,n:式(5)和(9)代表类 别目标L4和候选目标I。本文利用两组图像数据 似的含义，即两个直方图差异的距离等同于两个直 库，对上述3类特征得到的扩散距离都做相应的归 方图中每一个对应元素差异的累积。那么计算时使 一化处理之后，使用式(8)结合式(10)来计算不同 用的公式即为式(9)。 图像库L和Ig中的图像之间的匹配距离d(La,IB)。 其次，将式(9)改写成 d(IA.Ig)=a.dg(RGB:(IA).RGBg(Ig))+ B.dica(RGBica(IA),RGBia(Ig))+ ri do(X)= (Hist(X)-Histz (X))2 A.dha(wHSViea(I),wHSVia(Ig))+ (11) R (10) udiea(HOGea(IA),HOGIa(IB)) r:=exp-Histu-Histalle,= 式中：g代表一级区域；lca代表二级区域；a、B、λ、u 式中：R为归一化因子，R=∑；r,为权值；o为调节 分别代表不同特征直方图的权重，a+B+A+μ=1。 因子。根据式(10)计算，同样按照K(Histp,Hist2)=2.337, 本文对于粗识别过程中的整体RGB特征直方图分 K(Hist,His2)=1.025,因而能从直观上，定量的得出 配经验值为a=0.2影响因素较大的局部RGB直方 Hist(X)与Hist3(X)应该比Hist(X)与Hist2(X)更相似。 图给予较大的权值，选择目前最佳的经验值=0.4； 由此可以看出，本文提出的对优化扩散距离的二次 对于影响因素较弱的加权HSV直方图给予目前最 佳的经验值=0.3；对于影响因素最小的局部HOG 优化，对计算匹配距离时拥有更好的区分性，精度 直方图给予相对较弱的经验值=0.1。总的评价准 进一步提高。 则函数即总的相似性度量函数为式(11)。 图5显示了不同时间段扩散距离的状态。图 5(a)中显示同一个人在不同视角下的直方图差异的 4实验验证 扩散过程：图5(b)中显示不同的人在不同视角下的 上文所述理论相比传统再确认算法在特征选择 直方图差异的扩散过程。通过两幅图的对比我们可 和度量算法上都进行了优化，同时，本文进行多组 以看到，(a)图相比(b)图衰减更快，即同类人直方 实验验证了本文所提出优化算法的可行性，下文会 图的扩散距离小于不同类人的。 分别从实验运行效果和实验数据统计来阐述本文的
Hist1(X) = [3,7,10] Hist2(X) = [1,1,5] Hist3(X) = [3,6,2] ϕ(X,σ) = 1 K(Hist1,Hist2) = √ 65 =K(Hist1,Hist3) Hist1(X) Hist2(X) Hist3(X) Hist13(X) Hist12(X) Hist1(X) Hist3(X) Hist1(X) Hist2(X) HSV, 加权 HSV) 直方图中的第 z 个元素代表第 z 个区域内的像素点的总个数或者代表图像中的颜 色值为 z。所以，进行相似性距离度量时，既要考虑 累积差异的影响，也要考虑对应元素间相似性的 影响。假设： ， ， ，为简化计算，令 ，不使用 降采样，相应的 ， 无法区分哪两个直方图更相似。通过观察 、 和 发现， 相比 拥有 更多相同或者相近的元素个数。从直观上，只能定 性的认为 与 应该比 与 更相似。 通过以上分析，在计算空间向量直方图之间距 离时，不应该将内部元素归置一样的权值，而应该 对那些元素值间对应相同或者相近的给予更大的权 值。所以，本文在优化扩散距离基础上进行二次优 化，提出加权式扩散距离，相应表达式为 首先，将式 (5) 改写成 d0(X) = vt∑n i=0 (Hist1i(X)−Hist2i(X))2 (9) i ∈ {0,n} 式中：1i 和 2i 分别代表直方图 1 中第 i 个元素和直 方图 2 中第 i 个元素， ；式 (5) 和 (9) 代表类 似的含义，即两个直方图差异的距离等同于两个直 方图中每一个对应元素差异的累积。那么计算时使 用的公式即为式 (9)。 其次，将式 (9) 改写成 d0(X) = vt∑n i=0 ri R (Hist1i(X)−Hist2i(X))2 ri = exp−|Hist1i−Hist2i|/σ,σ = 1 (10) R = ∑ ri K(Hist1,Hist2)=2.337 K(Hist1,Hist2) = 1.025 Hist1(X) Hist3(X) Hist1(X) Hist2(X) 式中：R 为归一化因子， ；ri 为权值；σ 为调节 因子。根据式 (10) 计算，同样按照 ， ，因而能从直观上，定量的得出 与 应该比 与 更相似。 由此可以看出，本文提出的对优化扩散距离的二次 优化，对计算匹配距离时拥有更好的区分性，精度 进一步提高。 图 5 显示了不同时间段扩散距离的状态。图 5(a) 中显示同一个人在不同视角下的直方图差异的 扩散过程；图 5(b) 中显示不同的人在不同视角下的 直方图差异的扩散过程。通过两幅图的对比我们可 以看到，(a) 图相比 (b) 图衰减更快，即同类人直方 图的扩散距离小于不同类人的。 (a) ਼ањӪᢙᮓ䗷〻 (b) н਼ӪⲴᢙᮓ䗷〻 t=1 t=2 t=3 t=4 t=5 t=1 t=2 t=3 t=4 t=5 图 5 扩散距离匹配过程 Fig. 5 Diffusion distance matching process 3 目标再确认 3.1 归一化处理 单独使用上述 3 种特征描述中任何一种所建立 的相似性度量函数都不能达到较好的匹配效果，所 以本文使用多特征融合进而建立起的相似性度量函 数进行目标再确认，对上述 3 种特征提取相应特征 直方图，然后分别计算相应的优化扩散距离，为防 止由于不同特征算出的扩散距离有较大差异而影响 目标再确认结果，对每类特征描述计算所得到的扩 散距离都做归一化处理。 3.2 总体相似性度量函数的建立 d(IA,IB) 目标再确认中，通常会有两组图像数据：待识 别目标 IA 和候选目标 IB。本文利用两组图像数据 库，对上述 3 类特征得到的扩散距离都做相应的归 一化处理之后，使用式 (8) 结合式 (10) 来计算不同 图像库 IA 和 IB 中的图像之间的匹配距离 。 d(IA,IB) = α· dg(RGBg(IA),RGBg(IB))+ β · dlca(RGBlca(IA),RGBlca(IB))+ λ · dlca(wHSVlca(IA),wHSVlca(IB))+ µ · dlca(HOGlca(IA),HOGlca(IB)) (11) α+β+λ+µ = 1 式中：g 代表一级区域；lca 代表二级区域；α、β、λ、μ 分别代表不同特征直方图的权重， 。 本文对于粗识别过程中的整体 RGB 特征直方图分 配经验值为 α=0.2 影响因素较大的局部 RGB 直方 图给予较大的权值，选择目前最佳的经验值 β=0.4； 对于影响因素较弱的加权 HSV 直方图给予目前最 佳的经验值 λ=0.3；对于影响因素最小的局部 HOG 直方图给予相对较弱的经验值 μ=0.1。总的评价准 则函数即总的相似性度量函数为式 (11) 。 4 实验验证 上文所述理论相比传统再确认算法在特征选择 和度量算法上都进行了优化，同时，本文进行多组 实验验证了本文所提出优化算法的可行性，下文会 分别从实验运行效果和实验数据统计来阐述本文的 ·274· 智 能 系 统 学 报 第 13 卷
第2期 曹伟，等：目标再确认中的优化扩散距离相似性度量 ·275· 有效性。 4.1实验运行效果 从实验运行结果来看应用本文原理编程实现的 匹配成功率较为理想，能够很好地实现目标再确认 的功能，如图6(a)、图7所示。下面显示的效果图中 图6(a)和图7是目标再确认中显示正确的效果图， 图6(a)图显示了实验过程中成功再确认的案列，而 图7是实验完成后所有再确认成功的部分汇总。尽 (a)成功效果图 (b)错误效果图 管本文算法可以很好地实现目标再确认，但是，仍 图6匹配效果图 存在少数失败的案列，比如图6(b)所示。 Fig.6 Matching figures 图7目标再确认成功对显示图 Fig.7 Target to reconfirm success of figure 图6(a)是实验中匹配正确的效果图，从图中可 n个最相似候选目标内找到正确匹配图片的概率2可。 以看出两个摄像头中所呈现的目标的颜色特征有很 实验中随机抽取50对行人目标进行测试，实验的总 大相似性，在图6(a)中行人身上的局部颜色特征， 次数是5次。最后给出平均CMC曲线（横坐标为 如上身身躯和下身身躯的颜色差异性很明显，其他 排名，纵坐标为识别率)。假设曲线上有一点(m, 特征的干扰比较小，因而在特征表达更具体，更有 ),代表排名前m个的匹配目标中能够命中的概论 辨别性。所以在算法中可以比较容易地将目标进行 是n,当然其中的m可以理解成所有匹配数目中具 再确认。相比之下，图6(b)中两个行人在进行躯体 有最大相似度的前m个目标，n自然是这m个目标 分割，特征提取等过程后，由于用于提取特征而分 中包含正确匹配结果的比率)2，实验运行第1次 割出来的部分特征较为接近（左右两图上身衣服和 和5次实验运行之后生成CMC平均曲线效果图如 下身裤子的颜色分别比较接近)，因而导致出现了错 图8中的(a)和(b)图所示。 误的再确认结果。 图8(a)图中显示的是第1次实验完成后生成 本文通过随机选取图片库中45对图片进行目 的CMC性能曲线，其中图中的横轴代表排名等级， 标再确认实验，将部分匹配成功对在MATLAB画 竖轴是识别率，从曲线上可以看出第1次实验至少 布中显示在一起（图），可以更加直观地看出本文 前20位匹配的效率才能达到100%，此处的识别率 的算法达到了良好的再确认效果。具体性能指标可 也代表：达到最高效率所需要匹配的数量越少，说 以通过下文中实验数据统计评估结果进行说明。 明该算法越好。图8(b)图中显示的5次实验完成 4.2 实验数据统计评估 后生成的平均CMC性能曲线，从曲线上可以看出 评价目标再确认的性能是否优良并没有统一的 5次实验完成后求平均值生成的CMC曲线图中显 标准，但目前在评估行人再确认性能方面主要采用 示，至少前19位匹配的效率才能达到100%，当然 的是累积匹配特性曲线CMC2(cumulative match 这里达到最高效率所需要匹配数量越少，也说明该 characteristic)。CMC曲线反映的是在目标图库前 算法越好。图中第一次实验获得了44%的匹配率
有效性。 4.1 实验运行效果 从实验运行结果来看应用本文原理编程实现的 匹配成功率较为理想，能够很好地实现目标再确认 的功能，如图 6(a)、图 7 所示。下面显示的效果图中 图 6(a) 和图 7 是目标再确认中显示正确的效果图， 图 6(a) 图显示了实验过程中成功再确认的案列，而 图 7 是实验完成后所有再确认成功的部分汇总。尽 管本文算法可以很好地实现目标再确认，但是，仍 存在少数失败的案列，比如图 6(b) 所示。 (a) ߋᩴప (b) 䩅䄛ᩴప 图 6 匹配效果图 Fig. 6 Matching figures 图 7 目标再确认成功对显示图 Fig. 7 Target to reconfirm success of figure 图 6(a) 是实验中匹配正确的效果图，从图中可 以看出两个摄像头中所呈现的目标的颜色特征有很 大相似性，在图 6(a) 中行人身上的局部颜色特征， 如上身身躯和下身身躯的颜色差异性很明显，其他 特征的干扰比较小，因而在特征表达更具体，更有 辨别性。所以在算法中可以比较容易地将目标进行 再确认。相比之下，图 6(b) 中两个行人在进行躯体 分割，特征提取等过程后，由于用于提取特征而分 割出来的部分特征较为接近 (左右两图上身衣服和 下身裤子的颜色分别比较接近)，因而导致出现了错 误的再确认结果。 本文通过随机选取图片库中 45 对图片进行目 标再确认实验，将部分匹配成功对在 MATLAB 画 布中显示在一起 (图 7)，可以更加直观地看出本文 的算法达到了良好的再确认效果。具体性能指标可 以通过下文中实验数据统计评估结果进行说明。 4.2 实验数据统计评估 评价目标再确认的性能是否优良并没有统一的 标准，但目前在评估行人再确认性能方面主要采用 的是累积匹配特性曲线 CMC[27] (cumulative match characteristic)。CMC 曲线反映的是在目标图库前 n 个最相似候选目标内找到正确匹配图片的概率[27]。 实验中随机抽取 50 对行人目标进行测试，实验的总 次数是 5 次。最后给出平均 CMC 曲线 (横坐标为 排名，纵坐标为识别率)。假设曲线上有一点 (m, n)，代表排名前 m 个的匹配目标中能够命中的概论 是 n，当然其中的 m 可以理解成所有匹配数目中具 有最大相似度的前 m 个目标，n 自然是这 m 个目标 中包含正确匹配结果的比率) [27] ，实验运行第 1 次 和 5 次实验运行之后生成 CMC 平均曲线效果图如 图 8 中的 (a) 和 (b) 图所示。 图 8(a) 图中显示的是第 1 次实验完成后生成 的 CMC 性能曲线，其中图中的横轴代表排名等级， 竖轴是识别率，从曲线上可以看出第 1 次实验至少 前 20 位匹配的效率才能达到 100%，此处的识别率 也代表：达到最高效率所需要匹配的数量越少，说 明该算法越好。图 8(b) 图中显示的 5 次实验完成 后生成的平均 CMC 性能曲线，从曲线上可以看出 5 次实验完成后求平均值生成的 CMC 曲线图中显 示，至少前 19 位匹配的效率才能达到 100%，当然 这里达到最高效率所需要匹配数量越少，也说明该 算法越好。图中第一次实验获得了 44% 的匹配率， 第 2 期 曹伟，等：目标再确认中的优化扩散距离相似性度量 ·275·
·276· 智能系统学报 第13卷 5次平均实验后获得的匹配率为46%，相比现有提 1.0 出的参考算法，本文算法的匹配率是比较理想的。 8 1.0 0> 0.8 . 0. 0.7 0 10 20 30 40 50 排名等级 0.6 (a)单一特征和多特征性能对比 0.5 1.0 0.9 040 10 20 0.8 30 40 50 排名等级 (a)第一次实验生成的CMC曲线 6 .5 1.0 0.4 0.9 0.3 0 0.8 0 10 20 30 40 50 排名等级 20.7 (b)不同距离度量算法性能对比 0.6 图9 VIPeR图库性能对比图 Fig.9 The performance contrast figure based on the VIPeR 0.5 如图9(b)所示，通过3种算法的CMC曲线对 0. 0 10 2030 40 50 比图可以很明确地看出，本文算法在相同条件下识 排名等级 别率更高。从图中统计出Rank=1,3,6,8,10排名 (b)总共5次实验生成的平均CMC曲线图 时所对应不同算法的识别率，可以从数据中观察 图8基于VIPeR数据集的CMC性能曲线 出，本文的识别率已经达到了50.5%，而其他优秀算 Fig.8 CMC performance curve based on the data set of VIPeR 法中的直方图交叉核和夹角余弦算法的识别率分别 4.3不同数据集实验对比分析 为47.3%和22.5%：无论在哪个排名阶段，总体上， 4.3.1基于VIPeR数据库实验结果 优化扩散距离算法相比其他两种优秀算法在识别率 本文在实现基于优化扩散距离算法的基础上使 方面都比较高。 用多特征融合的方式进行目标再确认，实验过程 为了体现本文算法在识别率上的优势，实验 中，本文为了突出多特征组合的优势，相应的做了 中，同时进行了不同优秀算法和本文算法的性能对 多组实验：单一特征和多特征在同样距离度量算法 比，对应性能表如下表1所示。 的软硬件环境下进行了识别率对比，其相应实验效 表1本文算法与其他特征类算法的性能比较 果如图9(a)所示；同时将本文算法和传统的目标再 Table 1 Comparison between the proposed algorithm and 确认的其他优秀算法（夹角余弦度量算法和直方图 other feature-class algorithms 交叉核度量算法)进行了性能方面上的对比，其相 方法 R=1R=3R=6R=8R=10 文献 应实验效果图如图9(b)所示。如图9(a)所示，通 SDALF19.7736.5641.7845.8250.78CVPR2010 过CMC曲线图可以看出，使用本文中的多特征来 CPS 识别时匹配率更高。从图中统计出Rank=1,3,6,8, 20.3237.4250.2352.3656.34BMVC2010 10排名时所对应单一特征和多特征组合的识别率， LDFV21.4238.3344.4256.4260.23ECCV20122 可以从数据中观察出，本文中使用多特征组合所得 SCEAF25.3641.5552.6657.6562.14CVPR20130 识别率为46.2%；仅使用RGB特征所得识别率为 eSDC26.7744.2453.3858.6663.56CVPR20130 28.2%:仅使用HSV特征所得识别率为27.5%；仅使 HSCD29.3245.5657.4561.4565.55ECAS2014 用HOG特征所得识别率为4.5%；无论在哪个排名 Diffusion50.571.2284.1294.2396.24 本文 阶段，总体上，本文使用的多特征组合相对使用单 Distance 一特征来进行识别时，多特征组合的识别率更高， 通过表1特征类算法的对比：SDALF(sym- 更有优势。 metry-driven accumulation of local features)方法在
5 次平均实验后获得的匹配率为 46%，相比现有提 出的参考算法，本文算法的匹配率是比较理想的。 (a) 第一次实验生成的 CMC 曲线 (b) ᕧڝ 5 ⁍侸⩋⮰ CMC ᰞ㏫ప 1.0 0.9 0.8 0.7 0.6 0.5 0.4 0 10 20 30 40 50 1.0 0.9 0.8 0.7 0.6 0.5 0.4 0 10 20 30 40 50 䙹⢳ࡥ 䙹⢳ࡥ ᢾहふ㏓ ᢾहふ㏓ 图 8 基于 VIPeR 数据集的 CMC 性能曲线 Fig. 8 CMC performance curve based on the data set of VIPeR 4.3 不同数据集实验对比分析 4.3.1 基于 VIPeR 数据库实验结果 本文在实现基于优化扩散距离算法的基础上使 用多特征融合的方式进行目标再确认，实验过程 中，本文为了突出多特征组合的优势，相应的做了 多组实验：单一特征和多特征在同样距离度量算法 的软硬件环境下进行了识别率对比，其相应实验效 果如图 9(a) 所示；同时将本文算法和传统的目标再 确认的其他优秀算法 (夹角余弦度量算法和直方图 交叉核度量算法) 进行了性能方面上的对比，其相 应实验效果图如图 9(b) 所示。如图 9(a) 所示，通 过 CMC 曲线图可以看出，使用本文中的多特征来 识别时匹配率更高。从图中统计出 Rank=1, 3, 6, 8, 10 排名时所对应单一特征和多特征组合的识别率， 可以从数据中观察出，本文中使用多特征组合所得 识别率为 46.2%；仅使用 RGB 特征所得识别率为 28.2%；仅使用 HSV 特征所得识别率为 27.5%；仅使 用 HOG 特征所得识别率为 4.5%；无论在哪个排名 阶段，总体上，本文使用的多特征组合相对使用单 一特征来进行识别时，多特征组合的识别率更高， 更有优势。 (a) অа⢩ᖱ઼ཊ⢩ᖱᙗ㜭ሩ∄ (b) н਼䐍ᓖ䟿㇇⌅ᙗ㜭ሩ∄ 1.0 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 20 30 40 10 50 ᢾहふ㏓ 䙹⢳ࡥ 1.0 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0 20 30 40 10 50 ᢾहふ㏓ 䙹⢳ࡥ HOG RGB HSV Combination of Multi Features Histogram Intersection Optimal Diffusion Distance Included Angle Cosine 图 9 VIPeR 图库性能对比图 Fig. 9 The performance contrast figure based on the VIPeR 如图 9(b) 所示，通过 3 种算法的 CMC 曲线对 比图可以很明确地看出，本文算法在相同条件下识 别率更高。从图中统计出 Rank=1, 3, 6, 8, 10 排名 时所对应不同算法的识别率，可以从数据中观察 出，本文的识别率已经达到了 50.5%，而其他优秀算 法中的直方图交叉核和夹角余弦算法的识别率分别 为 47.3% 和 22.5%；无论在哪个排名阶段，总体上， 优化扩散距离算法相比其他两种优秀算法在识别率 方面都比较高。 为了体现本文算法在识别率上的优势，实验 中，同时进行了不同优秀算法和本文算法的性能对 比，对应性能表如下表 1 所示。 表 1 本文算法与其他特征类算法的性能比较 Table 1 Comparison between the proposed algorithm and other feature-class algorithms 方法 R=1 R=3 R=6 R=8 R=10 文献 SDALF 19.77 36.56 41.78 45.82 50.78 CVPR 2010[16] CPS 20.32 37.42 50.23 52.36 56.34 BMVC 2010[28] eLDFV 21.42 38.33 44.42 56.42 60.23 ECCV 2012[29] SCEAF 25.36 41.55 52.66 57.65 62.14 CVPR 2013[10] eSDC 26.77 44.24 53.38 58.66 63.56 CVPR 2013[30] HSCD 29.32 45.56 57.45 61.45 65.55 IECAS 2014[31] Diffusion Distance 50.5 71.22 84.12 94.23 96.24 本文 通过表 1 特征类算法的对比：SDALF (symmetry-driven accumulation of local features) 方法在 ·276· 智 能 系 统 学 报 第 13 卷
第2期 曹伟，等：目标再确认中的优化扩散距离相似性度量 ·277· 提取前景后分割人体目标为头部、躯干和腿部3部 度量类对比中，其50.5%的匹配率仍然具有一定的 分的基础上进行wHSV、最大稳定颜色区域和重复 优势。通过以上优秀算法和本文算法在数据上对比 纹理块组合识别，最后使用欧式距离进行测距，实 可以看出，本文在基于VIPeR图像库的基础上，识 验中的匹配率达到了19.77%，这个应用广泛的算法 别率方面性能相对比较好，这是因为本文特征设计 的优势在于较好特征的建立，但是在距离度量上还 上的优势和优秀度量算法引入的原因。 是使用传统的欧式距离，相比而言，本文在距离度 表2本文算法与其他距离度量类算法的性能比较 量上的优势是显而易见的；CPS(custom pictorial Table 2 Comparison between the proposed algorithm and structures)方法的优势在于能够根据人体结构检测 other distance metric-class algorithms 出人体的各个部位进行识别，能够更好地提取前景 方法 R=1R=3R=6R=8R=10 文献 特征，匹配率达到了20.32%；eLDFV(encoded local ELF 11.3623.1535.5839.9643.65CVPR2010 descriptors fisher vectors)方法结合SDALF使用 ERSVM14.3829.3240.9847.8950.69BMVC20109 Fisher向量编码图像的亮度和梯度信息，匹配率达 PRDC15.6530.2442.3650.2653.68ECCV2012B 到了21.42%，但是对于度量算法仍然需要改进； LMNN-R21.2237.2553.6958.9864.48CVPR2013B SCEFA(structural constraints enhanced feature accu- C0S22.5647.3167.6374.5577.55 CEA 2011P21 mulation)方法虽然使用基于Gabor纹理模式的关 键点检测和双向匹配颜色区域特征的方法，匹配率 HI 47.3867.4582.4386.2187.54CVPR20152 达到了25.36%，其多特征的构建是最大的优点；eS- Diffusion50.571.2284.1294.2396.24 本文 Distance DC(effectiveness salience and dense correspondence) 4.3.2基于ETHZ数据库实验结果 方法也是结合SDALF以及非监督的学习方式去寻 找个体更好的特征，匹配率达到了很高的26.77%， ETHZ数据库是从运动的摄像机中获取的图 但是欠缺考虑距离度量算法的改进；特征类中的 像，ETHZ1包含83个目标的4857幅图像；ETHZ2 包含35个目标的1936幅图像：ETHZ3包含28个 HSCD(hybrid spatiogram and covariance descriptor) 方法结合了空间直方图和区域协方差两种优秀的统 行人的1762幅图像。本文使用这类数据库作为测 试样本库，用来验证本文算法和余弦、直方图正交 计描述，并且从多个层次的统计区域提取多类互补 性较好的统计向量，这个方法和同类相比是最好 算法的性能对比。在数据库中，光照的改变和行人 的，得到了29.32%的识别率。通过表2所展现的度 的遮挡相对严重，人体姿态方面变化比较小。根据 量算法来看：ELF(ensemble of localized features)方 获得的目标的帧数，可以将目标再确认分为以下 法虽然AdaBoost分类器选取颜色和纹理特征，这种 3类： 方法充分利用了分类器的选优特性，识别率仅仅为 l)单帧对单帧(single vs single,SvsS) 11.36%;ERSVM(Ensemble RankSVM)方法和 2)多帧对单帧(multiple vs single,MvsS) 3)多帧对多帧(multiple vs multiple,.MvsM) PRDC(relative distance comparison)相类似，利用相 对距离排序的SVM分类器集成多个特征向量权 本文分别测试了SvsS、MvsS、MvsM模式下的 重，此方法在度量算法方面优势很明显，但是在特 不同算法的目标再确认的性能，相应的CMC曲线 征方面仍需要改进；LMNN-R(large margin nearest 图如图10所示。 neighbor with rejection)方法也使用相对距离比较 在图10中，(a)、(d)分别代表ETHZ1数据集下 的PRDC方法，使用了大边近邻分类器，在特征设 MvsS和MvsM的性能表现；(b)、(e)分别代表ETHZ2 计方面同样需要改进。 数据集下MvsS和MvsM的性能表现；(c)、()分别 度量算法类中，性能表现最好的是HI(histo- 代表ETHZ3数据集下MvsS和MvsM的性能表 gram intersection),直方图交叉核，该算法是一种基 现。通过测试ETHZ数据库中的实验图像可以发 于隐式对应关系的内核函数，解决了无序、可变长 现，在不同ETHZ集下，本文算法在匹配精度方面， 度的矢量集合的判别分类的问题，而且是正定的， 一直保持领先。ETHZ1中，在MvsS和MvsM帧 由于该算法的优势，应用到目标再确认领域，匹配 下，本文算法在Rak=1时都达到了87%左右：ETHZ2 率高达47.38%，因此，通过上文所述，同等条件下， 中，在MvsS和MvsM帧下，本文算法在Rank=l时 度量算法类相比特征类在匹配率方面具有一定的优 分别达到了87.5%和93%左右；ETHZ3中，在MvsS 势。而查看表格，本文算法无论在特征类还是距离 和MvsM帧下，本文算法在Rank=1时分别达到了
提取前景后分割人体目标为头部、躯干和腿部 3 部 分的基础上进行 wHSV、最大稳定颜色区域和重复 纹理块组合识别，最后使用欧式距离进行测距，实 验中的匹配率达到了 19.77%，这个应用广泛的算法 的优势在于较好特征的建立，但是在距离度量上还 是使用传统的欧式距离，相比而言，本文在距离度 量上的优势是显而易见的；CPS(custom pictorial structures) 方法的优势在于能够根据人体结构检测 出人体的各个部位进行识别，能够更好地提取前景 特征，匹配率达到了 20.32%；eLDFV(encoded local descriptors fisher vectors) 方法结合 SDALF 使用 Fisher 向量编码图像的亮度和梯度信息，匹配率达 到了 21.42%，但是对于度量算法仍然需要改进； SCEFA(structural constraints enhanced feature accumulation) 方法虽然使用基于 Gabor 纹理模式的关 键点检测和双向匹配颜色区域特征的方法，匹配率 达到了 25.36%，其多特征的构建是最大的优点；eSDC(effectiveness salience and dense correspondence) 方法也是结合 SDALF 以及非监督的学习方式去寻 找个体更好的特征，匹配率达到了很高的 26.77%， 但是欠缺考虑距离度量算法的改进；特征类中的 HSCD(hybrid spatiogram and covariance descriptor) 方法结合了空间直方图和区域协方差两种优秀的统 计描述，并且从多个层次的统计区域提取多类互补 性较好的统计向量，这个方法和同类相比是最好 的，得到了 29.32% 的识别率。通过表 2所展现的度 量算法来看：ELF(ensemble of localized features) 方 法虽然 AdaBoost 分类器选取颜色和纹理特征，这种 方法充分利用了分类器的选优特性，识别率仅仅为 11.36%；ERSVM(Ensemble RankSVM) 方法和 PRDC(relative distance comparison) 相类似，利用相 对距离排序的 SVM 分类器集成多个特征向量权 重，此方法在度量算法方面优势很明显，但是在特 征方面仍需要改进；LMNN-R(large margin nearest neighbor with rejection) 方法也使用相对距离比较 的 PRDC 方法，使用了大边近邻分类器，在特征设 计方面同样需要改进。 度量算法类中，性能表现最好的是 HI(histogram intersection)，直方图交叉核，该算法是一种基 于隐式对应关系的内核函数，解决了无序、可变长 度的矢量集合的判别分类的问题，而且是正定的， 由于该算法的优势，应用到目标再确认领域，匹配 率高达 47.38%，因此，通过上文所述，同等条件下， 度量算法类相比特征类在匹配率方面具有一定的优 势。而查看表格，本文算法无论在特征类还是距离 度量类对比中，其 50.5% 的匹配率仍然具有一定的 优势。通过以上优秀算法和本文算法在数据上对比 可以看出，本文在基于 VIPeR 图像库的基础上，识 别率方面性能相对比较好，这是因为本文特征设计 上的优势和优秀度量算法引入的原因。 表 2 本文算法与其他距离度量类算法的性能比较 Table 2 Comparison between the proposed algorithm and other distance metric-class algorithms 方法 R=1 R=3 R=6 R=8 R=10 文献 ELF 11.36 23.15 35.58 39.96 43.65 CVPR 2010[32] ERSVM 14.38 29.32 40.98 47.89 50.69 BMVC 2010[19] PRDC 15.65 30.24 42.36 50.26 53.68 ECCV 2012[33] LMNN-R 21.22 37.25 53.69 58.98 64.48 CVPR 2013[34] COS 22.56 47.31 67.63 74.55 77.55 CEA 2011[22] HI 47.38 67.45 82.43 86.21 87.54 CVPR 2015[21] Diffusion Distance 50.5 71.22 84.12 94.23 96.24 本文 4.3.2 基于 ETHZ 数据库实验结果 ETHZ 数据库是从运动的摄像机中获取的图 像，ETHZ1 包含 83 个目标的 4 857 幅图像；ETHZ2 包含 35 个目标的 1 936 幅图像；ETHZ3 包含 28 个 行人的 1 762 幅图像。本文使用这类数据库作为测 试样本库，用来验证本文算法和余弦、直方图正交 算法的性能对比。在数据库中，光照的改变和行人 的遮挡相对严重，人体姿态方面变化比较小。根据 获得的目标的帧数，可以将目标再确认分为以下 3 类： 1) 单帧对单帧 (single vs single, SvsS) 2) 多帧对单帧 (multiple vs single, MvsS) 3) 多帧对多帧 (multiple vs multiple, MvsM) 本文分别测试了 SvsS、MvsS、MvsM 模式下的 不同算法的目标再确认的性能，相应的 CMC 曲线 图如图 10 所示。 在图 10 中，(a)、(d) 分别代表 ETHZ1 数据集下 MvsS 和 MvsM 的性能表现；(b)、(e) 分别代表 ETHZ2 数据集下 MvsS 和 MvsM 的性能表现；(c)、(f) 分别 代表 ETHZ3 数据集下 MvsS 和 MvsM 的性能表 现。通过测试 ETHZ 数据库中的实验图像可以发 现，在不同 ETHZ 集下，本文算法在匹配精度方面， 一直保持领先。ETHZ1 中，在 MvsS 和 MvsM 帧 下，本文算法在 Rank=1 时都达到了 87% 左右；ETHZ2 中，在 MvsS 和 MvsM 帧下，本文算法在 Rank=1 时 分别达到了 87.5% 和 93% 左右；ETHZ3 中，在 MvsS 和 MvsM 帧下，本文算法在 Rank=1 时分别达到了 第 2 期 曹伟，等：目标再确认中的优化扩散距离相似性度量 ·277·
·278· 智能系统学报 第13卷 94%和96%左右。相比余弦算法和直方图正交算 其对应距离，从而准确的进行目标再确认。这也是 法，本文算法能够得到更好的表现，其原因在于：由 本文适合更多场景且无需监督的原因，通过在ETH☑ 于多特征的使用，可以应对摄像机镜头的不同、遮 数据集上的表现，可以看出本文算法的性能还是不 挡所造成的差异；更重要的是在距离匹配过程中所 错的，观察匹配出的效果图发现，本文所提出算法 应用的优化扩散距离，可以有效应对光亮、阴影等 在应对姿态、视角、和光照变化等方面具有较好的 造成的差异，并且利用直方图的空间信息更加精确 鲁棒性。 1.00 1.00 0.95 0.95 0.90 0.90 0.85 0.80 0.80 0.80 0.70 -COS方法 0.75 +C0S方法 0.65 -H方 0.70 0.60 SVSS N-1 0.55 0.65 0.50 MvsS N=8 0.60 3 4 6 3 6 排名等级 排名等级 (a)ETHZI MvsS (b)ETHZ2 MvsS 1.001 1.00 0.95 0.95 0.90 0.90 0.85 0.85 0.80 0.80 0.75 0.75 左法 0.70 森法 0.70 0.65 0.60 0.65 MvsS 0.55 0.60 0.50 2 3 5 6 2 3 5 6 排名等级 排名等级 (c)ETHZ3 MvsS (d)ETHZ1 MvsM 1.00 1.00 0.95 0.95 0.90 0.90 0.85 0.85 0.80 0.75 +COS方法 0.75 →COS方法 0.70 +HⅡ方法 一H方法 -SvsS N=1 0.70 -SvsS N=1 -MvsS N=3 -MvsS N=3 0.65 -MvsS N=5 0.65 MvsS N=5 -MvsS N-8 MvsS N=8 0.60 6 0.60 4 7 3 J 6 排名等级 排名等级 (e)ETHZ2 MvsM (①ETHZ3MvsM 图10基于ETHZ数据集下的多帧实验 Fig.10 The performance contrast figure based on the ETHZ 5结束语 化，进而提高了计算的准确性。特征提取方面，定 义了两级区域直方图提取方案，这种简易而有效的 通过上文中的理论分析和实验验证，本文最大 方法可以在特征基础上实现空间信息的添加，从而 的创新点在于引入物理学温度场的扩散距离的概念 提高了识别率。在两级区域方案基础上，通过高斯 并进行优化，来建立相似性度量函数。并为了提高 加权HSV直方图，整体、局部RGB直方图，以及 优化扩散距离的计算效率，进行了二次加权性优 HOG特征描述子3类特征的综合使用，并辅以适当
94% 和 96% 左右。相比余弦算法和直方图正交算 法，本文算法能够得到更好的表现，其原因在于：由 于多特征的使用，可以应对摄像机镜头的不同、遮 挡所造成的差异；更重要的是在距离匹配过程中所 应用的优化扩散距离，可以有效应对光亮、阴影等 造成的差异，并且利用直方图的空间信息更加精确 其对应距离，从而准确的进行目标再确认。这也是 本文适合更多场景且无需监督的原因，通过在 ETHZ 数据集上的表现，可以看出本文算法的性能还是不 错的，观察匹配出的效果图发现，本文所提出算法 在应对姿态、视角、和光照变化等方面具有较好的 鲁棒性。 1.00 0.95 0.90 0.85 0.80 0.75 0.70 0.65 0.60 0.55 0.50 䙹⢳ࡥ 1 2 3 4 5 6 7 ᢾहふ㏓ ᢾहふ㏓ ᢾहふ㏓ ᢾहふ㏓ ᢾहふ㏓ COS ∁ HI ∁ SvsS N=1 MvsS N=3 MvsS N=5 MvsS N=8 1.00 0.95 0.90 0.80 0.80 0.75 0.70 0.65 0.60 䙹⢳ࡥ 1 2 3 4 5 6 7 ᢾहふ㏓ 1.00 0.95 0.90 0.85 0.80 0.75 0.70 0.65 0.60 䙹⢳ࡥ 1 2 3 4 5 6 7 1.00 0.95 0.90 0.85 0.80 0.75 0.70 0.65 0.60 0.55 0.50 䙹⢳ࡥ 1 2 3 4 5 6 7 1.00 0.95 0.90 0.85 0.80 0.75 0.70 0.65 0.60 䙹⢳ࡥ 1 2 3 4 5 6 7 1.00 0.95 0.90 0.85 0.80 0.75 0.70 0.65 0.60 䙹⢳eࡥ 1 2 3 4 5 6 7 (a) ETHZ1_MvsS (c) ETHZ3_MvsS (d) ETHZ1_MvsM (e) ETHZ2_MvsM (f) ETHZ3_MvsM (b) ETHZ2_MvsS COS ∁ HI ∁ SvsS N=1 MvsS N=3 MvsS N=5 MvsS N=8 COS ∁ HI ∁ SvsS N=1 MvsS N=3 MvsS N=5 MvsS N=8 COS ∁ HI ∁ SvsS N=1 MvsS N=3 MvsS N=5 MvsS N=8 COS ∁ HI ∁ SvsS N=1 MvsS N=3 MvsS N=5 MvsS N=8 COS ∁ HI ∁ SvsS N=1 MvsS N=3 MvsS N=5 MvsS N=8 图 10 基于 ETHZ 数据集下的多帧实验 Fig. 10 The performance contrast figure based on the ETHZ 5 结束语 通过上文中的理论分析和实验验证，本文最大 的创新点在于引入物理学温度场的扩散距离的概念 并进行优化，来建立相似性度量函数。并为了提高 优化扩散距离的计算效率，进行了二次加权性优 化，进而提高了计算的准确性。特征提取方面，定 义了两级区域直方图提取方案，这种简易而有效的 方法可以在特征基础上实现空间信息的添加，从而 提高了识别率。在两级区域方案基础上，通过高斯 加权 HSV 直方图，整体、局部 RGB 直方图，以及 HOG 特征描述子 3 类特征的综合使用，并辅以适当 ·278· 智 能 系 统 学 报 第 13 卷