工程科学学报，第44卷，第X期 Lqua =max(dia.!p-din+margin1,0)+ 性能.Li等M提出MSCAN,利用空洞卷积完成多 max(dia.lp-di.!+margin,0) (3) 个尺度下的特征提取，充分利用了图像的上下文 现有的行人重识别方法在训练过程中，广泛 信息.引入STN(Spatial transformer networks)用于 使用交叉嫡损失函数与三元组损失函数联合对网 图像的分割，利用MSCAN网络提取局部特征，并 络的训练过程进行约束，在训练过程中，使用网络 将提取的全局特征与局部特征向量进行融合 层最后输出的特征向量进行三元组损失函数的计 Kalayeh等sI提出了一种SPReID架构，为了避免 算，之后连接全连接层进行交叉嫡损失函数的计 背景信息的干扰，使用语义分割方法替换常用的 算，在这一过程中，由于2种损失函数的收敛方向 检测方法来确定目标区域，从而进行局部特征的 不同，在训练过程中会产生一定冲突.Luo等啊提 提取.Xu等9利用多任务金字塔重叠匹配的方 出BNneck分类器，在最后一个网络层与全连接层 法，将全局信息与多尺度的局部信息进行融合，并 之间插人一个批次正则化层，从而实现两种损失 结合各分块的边缘信息，提升了网络的识别性能 函数的解耦，统一网络训练的收敛方向，使网络模 Zhu等so提出一种ISP(Identity-guided humansemantic 型的性能得到有效提升 parsing)模型，通过人体语义解析的方法，仅通过 评价与总结：利用度量学习对卷积神经网络 人的身份标签，进行人体部位的定位与像素级别 提取的特征向量进行处理，从而得到行人重识别 的分类 的结果.对照损失注重图像对之间的联系，但是在 Image crop Feature capture Feature fusion 类别较多的问题中，又会损失类间的相互关系.三 元组损失函数则通过拉近类内图像距离、扩大类 Feature map 间距离的方法，使行人重识别的性能得到有效提 升.它的问题在于类内距离与类间距离没有一个 明确的阈值，导致类内距离有时会大于类间距离 图4采取固定分块方式的局部特征提取方法 针对这个问题，学者们提出改进的三元组损失函 Fig.Local feature extraction method based on fixed blocks 数以及四元组损失函数，对图像对距离加以约束， 些学者引入注意力机制进行局部特征的提 从而取得了识别精度的提升 取.Zhao等s提出一种方法，没有使用固定的区 3基于深度学习的行人重识别方法 域分割方法，而是在注意力机制的启发下，在网络 中根据不同权值分为了K个分支，用于提取不同 3.1基于局部特征的行人重识别方法 区域的特征，解决了关键点未对齐的问题.董亚超 在行人重识别的研究中，针对行人遮挡与部 等四利用注意力机制提取注意力特征图，并与卷 位不对齐等问题，学者们通过提取局部特征来代 积神经网络提取的全局特征进行融合，之后将特 替全局特征，提出了固定分块、基于注意力机制以 征图进行切块，相邻块之间进行协作式融合，保持 及其他融合局部特征的方法，对这些固有问题进 了特征块之间的联系.Wang等s]提取一种有效 行研究与探讨.下面对基于局部特征的行人重识 地解决遮挡问题的行人重识别方法，将图像的局 别方法的研究进展进行总结与讨论 部特征作为图的节点，通过一种自适应方向的图 早期的一些方法，将图像按照预设的划分方 卷积(ADGC)来聚合节点间的信息 式进行划分，但当使用从不同角度拍摄的数据时， 此外，Yang等I使用LSTM(Long short--term 固定的分割方式并不能很好地将图像中身体各部 memory)对局部特征进行融合，有效地改善了 位分开，图像间对应区域包含的部位也不能很好 遮挡问题.Varior等s阿在孪生卷积神经网络的中 地对应.Sun等I使用PCB(Part-based convolutional 间层加入了匹配门(Matching gate)机制，通过对比 baseline)方法，如图4所示，在提取特征的过程中， 图像对在卷积中间层的特征，有选择地增强局部 将特征图分为多个水平特征块后进行池化操作， 细节，提升了网络的判别能力.杨婉香等57提出 再通过小尺寸卷积核进行特征降维生成多个特征 了一种多尺度生成对抗网络，使用低分辨率图像 向量输入到分类器中，进行D的区分.同时为了 作为输入重构高分辨率的行人图像，有效融合不 解决在划分过程中伴随的部位不一致问题，提出 同尺度的图像细节信息，提升了行人图像去遮挡 了改良的局部池化方法，进一步地提升了PCB的 的性能，表4给出了不同方法在多个数据集上的Lqua = max(dIa,Ip −dIa,In +margin1,0)+ max(dIa,Ip −dIn,In2 +margin2 ,0) （3） 现有的行人重识别方法在训练过程中，广泛 使用交叉熵损失函数与三元组损失函数联合对网 络的训练过程进行约束，在训练过程中，使用网络 层最后输出的特征向量进行三元组损失函数的计 算，之后连接全连接层进行交叉熵损失函数的计 算，在这一过程中，由于 2 种损失函数的收敛方向 不同，在训练过程中会产生一定冲突. Luo 等[45] 提 出 BNneck 分类器，在最后一个网络层与全连接层 之间插入一个批次正则化层，从而实现两种损失 函数的解耦，统一网络训练的收敛方向，使网络模 型的性能得到有效提升. 评价与总结：利用度量学习对卷积神经网络 提取的特征向量进行处理，从而得到行人重识别 的结果. 对照损失注重图像对之间的联系，但是在 类别较多的问题中，又会损失类间的相互关系. 三 元组损失函数则通过拉近类内图像距离、扩大类 间距离的方法，使行人重识别的性能得到有效提 升. 它的问题在于类内距离与类间距离没有一个 明确的阈值，导致类内距离有时会大于类间距离. 针对这个问题，学者们提出改进的三元组损失函 数以及四元组损失函数，对图像对距离加以约束， 从而取得了识别精度的提升. 3    基于深度学习的行人重识别方法 3.1    基于局部特征的行人重识别方法 在行人重识别的研究中，针对行人遮挡与部 位不对齐等问题，学者们通过提取局部特征来代 替全局特征，提出了固定分块、基于注意力机制以 及其他融合局部特征的方法，对这些固有问题进 行研究与探讨. 下面对基于局部特征的行人重识 别方法的研究进展进行总结与讨论. 早期的一些方法，将图像按照预设的划分方 式进行划分，但当使用从不同角度拍摄的数据时， 固定的分割方式并不能很好地将图像中身体各部 位分开，图像间对应区域包含的部位也不能很好 地对应. Sun 等[46] 使用 PCB（Part-based convolutional baseline）方法，如图 4 所示，在提取特征的过程中， 将特征图分为多个水平特征块后进行池化操作， 再通过小尺寸卷积核进行特征降维生成多个特征 向量输入到分类器中，进行 ID 的区分. 同时为了 解决在划分过程中伴随的部位不一致问题，提出 了改良的局部池化方法，进一步地提升了 PCB 的 性能. Li 等[47] 提出 MSCAN，利用空洞卷积完成多 个尺度下的特征提取，充分利用了图像的上下文 信息. 引入 STN（Spatial transformer networks）用于 图像的分割，利用 MSCAN 网络提取局部特征，并 将提取的全局特征与局部特征向量进行融合. Kalayeh 等[48] 提出了一种 SPReID 架构，为了避免 背景信息的干扰，使用语义分割方法替换常用的 检测方法来确定目标区域，从而进行局部特征的 提取. Xu 等[49] 利用多任务金字塔重叠匹配的方 法，将全局信息与多尺度的局部信息进行融合，并 结合各分块的边缘信息，提升了网络的识别性能. Zhu 等[50] 提出一种ISP（Identity-guided human semantic parsing）模型，通过人体语义解析的方法，仅通过 人的身份标签，进行人体部位的定位与像素级别 的分类. Image crop Feature capture Feature fusion Feature map 图 4    采取固定分块方式的局部特征提取方法[46] Fig.4    Local feature extraction method based on fixed blocks[46] 一些学者引入注意力机制进行局部特征的提 取. Zhao 等[51] 提出一种方法，没有使用固定的区 域分割方法，而是在注意力机制的启发下，在网络 中根据不同权值分为了 K 个分支，用于提取不同 区域的特征，解决了关键点未对齐的问题. 董亚超 等[52] 利用注意力机制提取注意力特征图，并与卷 积神经网络提取的全局特征进行融合，之后将特 征图进行切块，相邻块之间进行协作式融合，保持 了特征块之间的联系. Wang 等[53] 提取一种有效 地解决遮挡问题的行人重识别方法，将图像的局 部特征作为图的节点，通过一种自适应方向的图 卷积（ADGC）来聚合节点间的信息. 此外 ， Yang 等 [54] 使 用 LSTM（ Long  short-term memory） [55] 对局部特征进行融合，有效地改善了 遮挡问题. Varior 等[56] 在孪生卷积神经网络的中 间层加入了匹配门（Matching gate）机制，通过对比 图像对在卷积中间层的特征，有选择地增强局部 细节，提升了网络的判别能力. 杨婉香等[57] 提出 了一种多尺度生成对抗网络，使用低分辨率图像 作为输入重构高分辨率的行人图像，有效融合不 同尺度的图像细节信息，提升了行人图像去遮挡 的性能，表 4 给出了不同方法在多个数据集上的 · 6 · 工程科学学报，第 44 卷，第 X 期