第6期 宋婉茹，等：行人重识别研究综述 ·773· 理、直方图进行编码，突出重要信息。受到多视角 神经元学习各个领域共享的表征，而其他的神经元 行为识别研究和Fisher向量编码的影响，一种捕获 对特定的某个区域有效，得到鲁棒的CNN特征表示。 软矩阵的方法，即DynFV(dynamic fisher vector)特 2.2度量学习方法 征和捕获步态和移动轨迹的Fisher向量编码的密集 由于摄像机的视角、尺度、光照、服饰与姿态变 短轨迹时间金字塔特征被提出。Fisher向量编码方 化、分辨率不同以及存在遮挡，不同摄像头间可能 法是首先用来解决大尺度图像分类的方法，也能改 会失去连续的位置和运动信息，使用欧氏距离、巴 善行为识别的性能。Karanam等B对行人的n幅图 氏距离等标准的距离度量来度量行人表观特征的相 像的每个图像分成6个水平条带，在每个条带上计 似度不能获得很好的重识别效果，因此，研究者们 算纹理和颜色直方图。在YCbCr、HSV、白化的RGB 提出通过度量学习的方法。该方法获得一个新的距 颜色空间计算直方图建立颜色描述符，并用local 离度量空间，使得同一行人不同图像的特征距离小 fisher disrciminant analysis(LFDA)降维。Sugiya- 于与不同人的距离。距离度量学习方法一般是基于 ma等B6l学习出的矩阵把特征转换到新的空间，LF- 马氏距离(Mahalanobis distance)而进行。2002年， DA能在嵌入过程中使特征的局部结构适用于图像 Xing等提出以马氏距离为基础的度量学习算法， 遮挡，背景变化和光照变化的情况，最后把计算变 根据样本的类别标签，将具有相同标签的样本组成 换空间中的特征向量的均值作为这个行人最终的特 正样本对，反之组成负样本对，并以此作为约束训 征向量表示。T.Matsukawa等3m提出GOG(Gau- 练得到一个马氏矩阵，通过这样学习到的距离尺度 ssian Of Gaussian),把一幅图像分成水平条带和局 变换，使得相同的人的特征距离减小，而不同的人 部块，每个条带用一个高斯分布建模。每个条带看 特征距离增大，以此开创了行人重识别中距离度量 作一系列这样的高斯分布，然后用一个单一的高斯 学习的先河。 分布总体表示。GOG特征提取的方法好表现在用 目前在行人重识别研究中有一些普遍用于比较 像素级特征的一个局部高斯分布来描述全局颜色和 的度量学习算法，见表2。Weinberger等a提出 纹理分布，并且GOG是局部颜色和纹理结构的分 LMNN算法，通过学习一种距离度量，使在一个新 层模型，可以从一个人的衣服的某些部分得到。 的转换空间中，对于一个输入x,的k个近邻属于相 此外，深度学习也被应用于行人重识别的特征 同的类别，而不同类别的样本与x,保持一定大的距 提取中，在AlexNet-.Finetune中，开始在ImageNet 离。Dikmen等4对LMNN进行改进提出LMNN- 数据集上预训练的基于AlexNet结构的CNN,并用 R方法，用所有样本点的平均近邻边界来代替LMNN 这个数据集对数据进行微调3。在微调过程中，不 中不同样本点所采用的各自近邻边界，相较于LMNN 修改卷积层的权重，训练后两个全连接层。McLaug- 方法具有更强的约束效果。同一年，Guillaumin等 hlin等B采用了类似的方法，对图像提取颜色和光 基于概率论提出了LDML算法。LDML算法基于逻 流特征，采用卷积神经网络(CNN)处理得到高层表 辑回归的思想，使用$型函数来表示样本对是否属 征，然后用循环神经网络(RNN)捕捉时间信息，然 于等值约束的概率。Prosser等2将重识别问题抽 后池化得到序列特征。T.Xiao等l对来自各个领 象为相对排序问题，提出RankSVM学习到一个子 域的数据训练出同一个卷积神经网络(CNN),有些 空间，在这个子空间中相匹配的图像有更高的排序。 表2行人重识别研究中常用的度量学习的方法 Table 2 A summary of metric learning 年份 作者 方法 2009 Weinberger等 大间隔最近邻居((large margin nearest neighbor,.LMNN) 2009 Guillaumin等 逻辑判别距离度量学习logistic discriminant metric learning,LDML) 2010 Prosser等P RankSVM,对每种特征学习一个独立的权重 2011 Zheng等 概率相对距离比较(probabilistic relative distance comparison,PRDC)算法 Kostinger等2可 保持简单有效原则下的距离测度学习算法(Keep It Simple and 2012 Straightforward metric learning,KISSME 2013 Zheng等s 相对距离比较算法(relative distance comparison,RDC) 2013 Pedagadi等m 局部Fisher判别分析(local fisher discriminant analysis.,LFDA) 2015 Liao等7 XODA(cross-view quadratic discriminative analysis)理、直方图进行编码，突出重要信息。受到多视角 行为识别研究和 Fisher 向量编码的影响，一种捕获 软矩阵的方法，即 DynFV（dynamic fisher vector）特 征和捕获步态和移动轨迹的 Fisher 向量编码的密集 短轨迹时间金字塔特征被提出。Fisher 向量编码方 法是首先用来解决大尺度图像分类的方法，也能改 善行为识别的性能。Karanam 等 [35]对行人的 n 幅图 像的每个图像分成 6 个水平条带，在每个条带上计 算纹理和颜色直方图。在 YCbCr、HSV、白化的 RGB 颜色空间计算直方图建立颜色描述符，并用 local fisher disrciminant analysis（LFDA）降维。Sugiya￾ma 等 [36]学习出的矩阵把特征转换到新的空间，LF￾DA 能在嵌入过程中使特征的局部结构适用于图像 遮挡，背景变化和光照变化的情况，最后把计算变 换空间中的特征向量的均值作为这个行人最终的特 征向量表示。T. Matsukawa 等 [37]提出 GOG（Gau￾ssian Of Gaussian），把一幅图像分成水平条带和局 部块，每个条带用一个高斯分布建模。每个条带看 作一系列这样的高斯分布，然后用一个单一的高斯 分布总体表示。GOG 特征提取的方法好表现在用 像素级特征的一个局部高斯分布来描述全局颜色和 纹理分布，并且 GOG 是局部颜色和纹理结构的分 层模型，可以从一个人的衣服的某些部分得到。 此外，深度学习也被应用于行人重识别的特征 提取中，在 AlexNet-Finetune 中，开始在 ImageNet 数据集上预训练的基于 AlexNet 结构的 CNN，并用 这个数据集对数据进行微调[38]。在微调过程中，不 修改卷积层的权重，训练后两个全连接层。McLaug￾hlin 等 [39]采用了类似的方法，对图像提取颜色和光 流特征，采用卷积神经网络（CNN）处理得到高层表 征，然后用循环神经网络（RNN）捕捉时间信息，然 后池化得到序列特征。T. Xiao 等 [40]对来自各个领 域的数据训练出同一个卷积神经网络（CNN），有些 神经元学习各个领域共享的表征，而其他的神经元 对特定的某个区域有效，得到鲁棒的 CNN 特征表示。 2.2 度量学习方法 由于摄像机的视角、尺度、光照、服饰与姿态变 化、分辨率不同以及存在遮挡，不同摄像头间可能 会失去连续的位置和运动信息，使用欧氏距离、巴 氏距离等标准的距离度量来度量行人表观特征的相 似度不能获得很好的重识别效果，因此，研究者们 提出通过度量学习的方法。该方法获得一个新的距 离度量空间，使得同一行人不同图像的特征距离小 于与不同人的距离。距离度量学习方法一般是基于 马氏距离（Mahalanobis distance）而进行。 2002 年， Xing 等 [41]提出以马氏距离为基础的度量学习算法， 根据样本的类别标签，将具有相同标签的样本组成 正样本对，反之组成负样本对，并以此作为约束训 练得到一个马氏矩阵，通过这样学习到的距离尺度 变换，使得相同的人的特征距离减小，而不同的人 特征距离增大，以此开创了行人重识别中距离度量 学习的先河。 目前在行人重识别研究中有一些普遍用于比较 的度量学习算法，见表 2。Weinberger 等 [42]提出 LMNN 算法，通过学习一种距离度量，使在一个新 的转换空间中，对于一个输入 xi 的 k 个近邻属于相 同的类别，而不同类别的样本与 xi 保持一定大的距 离。Dikmen 等 [43]对 LMNN 进行改进提出 LMNN￾R 方法，用所有样本点的平均近邻边界来代替 LMNN 中不同样本点所采用的各自近邻边界，相较于 LMNN 方法具有更强的约束效果。同一年，Guillaumin 等 [44] 基于概率论提出了 LDML 算法。LDML 算法基于逻 辑回归的思想, 使用 S 型函数来表示样本对是否属 于等值约束的概率。Prosser 等 [28]将重识别问题抽 象为相对排序问题，提出 RankSVM 学习到一个子 空间，在这个子空间中相匹配的图像有更高的排序。 表 2 行人重识别研究中常用的度量学习的方法 Table 2 A summary of metric learning 年份 作者 方法 2009 Weinberger等 [42] 大间隔最近邻居(large margin nearest neighbor, LMNN) 2009 Guillaumin等 [44] 逻辑判别距离度量学习(logistic discriminant metric learning, LDML) 2010 Prosser等 [28] RankSVM，对每种特征学习一个独立的权重 2011 Zheng等 [45] 概率相对距离比较(probabilistic relative distance comparison, PRDC)算法 2012 Köstinger等 [27] 保持简单有效原则下的距离测度学习算法( Keep It Simple and Straightforward metric learning，KISSME 2013 Zheng等 [46] 相对距离比较算法（relative distance comparison, RDC） 2013 Pedagadi等 [17] 局部Fisher判别分析(local fisher discriminant analysis, LFDA) 2015 Liao等 [47] XQDA(cross-view quadratic discriminative analysis) 第 6 期 宋婉茹，等：行人重识别研究综述 ·773·