·772· 智能系统学报 第12卷 性能，通常将数据库中的行人分为训练集和测试集 precision)作为评价标准能更好地比较方法的优劣， 两个部分，在测试时，第1个摄像机所拍摄的数据 目前已有文献2将CMC曲线和mAP结合作为评 作为查找集，而第2个摄像机中的行人数据为候选 价标准。 集。目前常用的评价标准主要是CMC曲线(cumu- lated matching characteristic),当查找的对象在候选 2基于图像的行人重识别研究 集中进行距离比较之后，将候选集中的行人按照距 行人重识别算法大致可分为基于特征描述的方 离的远近由小到大进行排序，要查找的行人排序越 法和基于距离度量学习的方法两类。基于特征描述 靠前，则算法的效果越好。假设总共有N个行人， 的方法关注的是找到较好的描述行人外貌特征的 即共进行N次查询和排序，每次查询中目标行人的 表观模型，基于度量学习的方法关注的是找到有效 排序结果用r=(,2,,rw)表示，那么CMC曲线可 的行人特征相似度的度量准则。下面将分别介绍这 以表示为 两类。 CMC(R) ≤R 2.1特征表达方法 (1） n>R 基于特征表示的方法重点在于设计鲁棒可靠的 在近几年，Zheng等在论文中提出用平均正 行人图像特征表示模型，即能够区分不同行人，同 确率均值(mean average precision,.mAP)来进行算 时能够不受光照和视角变化的影响，将其主要分为 法的评价标准，指出同时使用mAP(mean average 以下几类进行介绍，典型特征总结见表1。 表1典型特征的总结 Table 1 A summary of typical features 作者 年份 图像特征 时间信息 表征 D.Gray等 2008 颜色、纹理 无 ELF (RGB,YCbCr,HSV.Gabor filters) A.Krizhevsky等B 2012 CNN颜色、形状 无 CNN Zhao R等7 2013 颜色 无 dColorSIFT (Dense Color.Dense SIFT) B.Ma等7 2014 外观、纹理生物激励特征 无 gBiCov(BlF,Gabor,.Covariance?描述符) Xiang Li等4s 2015 颜色、形状、纹理 无 Color,LBP,HOG GouM等B4 2016 颜色、局部、纹理、轨迹 有 Color&LBP,HOG3D,DynFV T.Matsukawa等9 2016 局部、形状、颜色、梯度 无 GOG(区域Gaussian分布、LAB,HSV,nRGB McLaughlin等9 2016 颜色、轨迹、CNN 有 卷积神经网(CNN)循环神经网络(RNN) 1)底层视觉特征：这种方法基本上都是将图像 式(LBP)2刃、Gabor滤波器2M、共生矩阵(Co-occur- 划分成多个区域，对每个区域提取多种不同的底层 rence Matrics)。 视觉特征，组合后得到鲁棒性更好的特征表示形 2)中层语义属性：可以通过语义信息来判断两 式。最常用的就是颜色直方图，多数情况下行人的 张图像中是否属于同一行人，比如颜色、衣服以及 衣服颜色结构简单，因此颜色表示是有效的特征， 携带的包等信息。相同的行人在不同视频拍摄下， 通常用RGB、HSV直方图表示。把RGB空间的图 语义属性很少变化。Layne等o1采用15种语义来 像转化成HSL和YCbCr颜色空间，观察对数颜色 描述行人，包括鞋子、头发颜色长短、是否携带物品 空间中目标像素值的分布，颜色特征在不同光照或 等，分类器用SVM定义每幅行人图像的以上语义 角度等行人识别的不适环境中具有一定的不变性。 属性。结合语义属性重要性加权以及与底层特征融 形状特征如方向梯度直方图1(histogram of ori- 合，最终描述行人图像。Shi等B对图像超像素划 ented gradients,.HOG)以及局部特征，如局部不变特 分，最近分割算法对图像块定义多种特征属性，颜 征-尺度不变特征变换(scale-invariant feature trans-. 色、位置和SFT特征，效果有提高。 form,SIFT),SURF2和Covariance描述子ELF 3)高级视觉特征：特征的选择技术对行人再识 (ensemble of localized features)方法中，结合RGB、 别的识别率的性能进行提升，如Fisher向量s编码； YCbCr、HS颜色空间的颜色直方图，具有旋转不变 提取颜色或纹理直方图，预先定义块或条纹形状的 性的Schmid和Gabor滤波器计算纹理直方图。还 图像区域：或者编码区域特征描述符来建立高级视 有纹理特征、Haar--like Represention!2、局部二值模 觉特征B。Gou等B用某种描述符对密集轨迹、纹r = (r1,r2,··· ,rN) 性能，通常将数据库中的行人分为训练集和测试集 两个部分，在测试时，第 1 个摄像机所拍摄的数据 作为查找集，而第 2 个摄像机中的行人数据为候选 集。目前常用的评价标准主要是 CMC 曲线 (cumu￾lated matching characteristic)，当查找的对象在候选 集中进行距离比较之后，将候选集中的行人按照距 离的远近由小到大进行排序，要查找的行人排序越 靠前，则算法的效果越好。假设总共有 N 个行人， 即共进行 N 次查询和排序，每次查询中目标行人的 排序结果用 表示，那么 CMC 曲线可 以表示为 CMC(R) = 1 N ∑N i=1 { 1, ri ⩽ R 0, ri > R (1) 在近几年，Zheng 等 [18]在论文中提出用平均正 确率均值 (mean average precision, mAP) 来进行算 法的评价标准，指出同时使用 mAP (mean average precision) 作为评价标准能更好地比较方法的优劣， 目前已有文献[20]将 CMC 曲线和 mAP 结合作为评 价标准。 2 基于图像的行人重识别研究 行人重识别算法大致可分为基于特征描述的方 法和基于距离度量学习的方法两类。基于特征描述 的方法关注的是找到较好的描述行人外貌特征的 表观模型，基于度量学习的方法关注的是找到有效 的行人特征相似度的度量准则。下面将分别介绍这 两类。 2.1 特征表达方法 基于特征表示的方法重点在于设计鲁棒可靠的 行人图像特征表示模型，即能够区分不同行人，同 时能够不受光照和视角变化的影响，将其主要分为 以下几类进行介绍, 典型特征总结见表 1。 1) 底层视觉特征：这种方法基本上都是将图像 划分成多个区域，对每个区域提取多种不同的底层 视觉特征，组合后得到鲁棒性更好的特征表示形 式。最常用的就是颜色直方图，多数情况下行人的 衣服颜色结构简单，因此颜色表示是有效的特征， 通常用 RGB、HSV 直方图表示。把 RGB 空间的图 像转化成 HSL 和 YCbCr 颜色空间，观察对数颜色 空间中目标像素值的分布，颜色特征在不同光照或 角度等行人识别的不适环境中具有一定的不变性。 形状特征如方向梯度直方图[14] （histogram of ori￾ented gradients，HOG）以及局部特征，如局部不变特 征–尺度不变特征变换（scale-invariant feature trans￾form，SIFT） [15] ，SURF[25]和 Covariance 描述子 ELF （ensemble of localized features）方法中，结合 RGB、 YCbCr、HS 颜色空间的颜色直方图，具有旋转不变 性的 Schmid 和 Gabor 滤波器计算纹理直方图。还 有纹理特征、Haar-like Represention[26] 、局部二值模 式（LBP） [27] 、Gabor 滤波器[28] 、共生矩阵（Co-occur￾rence Matrics） [29]。 2) 中层语义属性：可以通过语义信息来判断两 张图像中是否属于同一行人，比如颜色、衣服以及 携带的包等信息。相同的行人在不同视频拍摄下， 语义属性很少变化。Layne 等 [30]采用 15 种语义来 描述行人，包括鞋子、头发颜色长短、是否携带物品 等，分类器用 SVM 定义每幅行人图像的以上语义 属性。结合语义属性重要性加权以及与底层特征融 合，最终描述行人图像。Shi 等 [31]对图像超像素划 分，最近分割算法对图像块定义多种特征属性，颜 色、位置和 SIFT 特征，效果有提高。 3) 高级视觉特征：特征的选择技术对行人再识 别的识别率的性能进行提升，如 Fisher 向量[32]编码； 提取颜色或纹理直方图，预先定义块或条纹形状的 图像区域；或者编码区域特征描述符来建立高级视 觉特征[33]。Gou 等 [34]用某种描述符对密集轨迹、纹 表 1 典型特征的总结 Table 1 A summary of typical features 作者 年份 图像特征 时间信息 表征 D. Gray等 [4] 2008 颜色、纹理 无 ELF (RGB, YCbCr, HSV, Gabor filters) A.Krizhevsky等 [38] 2012 CNN颜色、形状 无 CNN Zhao R等 [7] 2013 颜色 无 dColorSIFT (Dense Color, Dense SIFT) B. Ma等 [47] 2014 外观、纹理 生物激励特征 无 gBiCov(BIF, Gabor, Covariance描述符) Xiang Li等 [48] 2015 颜色、形状、纹理 无 Color, LBP, HOG Gou M等 [34] 2016 颜色、局部、纹理、轨迹 有 Color&LBP, HOG3D, DynFV T. Matsukawa等 [49] 2016 局部、形状、颜色、梯度 无 GOG（区域Gaussian分布、LAB, HSV, nRGB） McLaughlin等 [39] 2016 颜色、轨迹、CNN 有 卷积神经网（CNN） 循环神经网络（RNN） ·772· 智 能 系 统 学 报 第 12 卷