李擎等：基于深度学习的行人重识别方法综述 7 精度表现，其中PCB方法的识别精度测试于按照 据扩充提供了新思路.在这个方法的基础上，Zhong 新版协议划分的CUHKO3数据集. 等6o使用CycleGAN!对数据集进行训练，对不 同摄像机拍下的图像数据进行迁移，生成一个行 表4基于局部特征的行人重识别方法的性能表现 Table 4 Performance of person re-identification method based on local 人在不同摄像机风格下的新图像，保留了行人的 feature 标签信息.同时文章对前文提出的LSRO进行了 Market-1501 DukeMTMC-relD CUHK03 推广，提出了一种LSR(Label smoothing regularization) Methods Year- Rank-1 mAP Rank-1 mAP Rank-1mAP 方法，减轻了生成数据噪声对模型训练的影响 PCB+RPPI6I 201893.881.683.3 69.2 63.757.5 Deng等6将CycleGAN与孪生网络结合，提出了 SPRelD+re-ranking!201894.6 90.9 88.9 84.9 一种图像在数据集之间迁移的方法，在将图像由 RNLSTM 54 201990.376.4 77.0 62.1 86.183.6 原数据集向目标数据集迁移的过程中，保留了图 mGD+RNLSTMA2020 91.3 77.9 80.8 63.9 88.084.2 像的标签信息.Wei等提出PTGAN,完成了行人 SMC-ReID41202095.393.0 图像在不同数据集之间的风格迁移，并提出了 HORelDl531 202094.284.986.9 75.6 MSMTI7数据集.Li等Is提出了一种ReadNet用 ISPlsol 202095.388.689.680.0 于解决数据不平衡问题.Zhai等6提出增广判别 聚类方法实现了数据的迁移.Zhang等I6根据源 评价与总结：为了解决行人图像的遮挡问题， 域图像与目标与图像的语义一致性，基于弱标注 学者们提出了基于局部特征的方法.提取局部特 的源域行人图像，将源域图像的语义信息迁移到 征可以使网络更加关注图像的细节信息.但由于 目标域上，增强了跨域的行人重识别特征表达能 固定的分块方式，并不能解决部位不对齐问题，因 力.Liu等6提出UnityGAN,学习不同摄像机之 此学者们引入了注意力机制增强重要部位的显著 间的背景风格差异，并生成基于这些背景风格差 性，能够实现部位对齐.对于行人重识别中存在的 异的平均风格图像，提升了行人重识别模型对于 遮挡与部位不对齐问题，基于注意力机制是目前 相机背景风格的泛化能力.表5给出了部分基于 主流的方法，也是未来的研究热点 生成对抗网络的行人重识别方法的性能表现 3.2基于生成对抗网络的行人重识别方法 表5基于生成对抗网络的行人重识别方法的性能表现 在行人重识别任务的研究中，对于训练数据 Table 5 Performance of person re-identification method based on GAN 的处理具有较高的要求，首先需要对从监控系统 Market-1501 DukeMTMC CUHK03 中采集的图像进行切割，得到行人的切片图像.之 Methods Year Rank-1 mAP Rank-1 mAP Rank-1 mAP 后还要对图像进行标注，标明行人D以及图像采 DCGAN+LSRO 2017 一 84.687.4 集时间、摄像头编号等信息.所以，行人重识别的 DE+CamStyle+RE6201889.571.678.358.6 一些主流数据集，训练数据都相对较少，在数据集 Pose-Transfer 201887.768.9 78.556.9 45.142.0 Market--1501上，平均每一个行人类别只有17.2张图 PNGANI67I 201889.472.673.653.279.8- 像，CUHK03数据集平均为9.6张，DukeMTMC-reID PCB+UnityGAN%202095.893.689.396.2 数据集平均为23.5张.由于数据集之间背景差异较 st-ReID+UnityGANI202098.595.895.193.6 大，导致模型的泛化能力较差.针对这些问题，学者 们利用生成对抗网络(Generative adversarial networks,, 为了解决数据集之间姿态的差异，利用生成 GAN)S,来进行数据集的扩充，从而加强行人重 对抗网络进行姿态的迁移，成为了行人重识别数 识别模型的泛化能力 据集扩充的重要方向.一些优秀的神经网络模型 Zheng等间首次将生成对抗网络用于行人重 可以在一定程度上弥补数据集中行人姿态较少的 识别的问题上来，他们使用行人重识别数据集对 缺点，但是扩充姿态多样性的数据仍然是提升模 DCGAN!9进行训练，输入随机向量生成新的行人 型性能的关键.Liu等68提出了一种姿态迁移的 图像，对数据集进行了有效扩充，同时提出一种标 方法，选择姿态丰富的数据集，利用姿态检测算法6侧 签平滑正则化(Label Smoothing Regularization for 提取图像中行人的姿态信息，并使用RGB图像进 Outliers.LSRO)的方法，进行半监督学习.作为生 行表征，将姿态信息与待迁移数据集中的行人图 成对抗网络在行人重识别领域的首次应用，该方 像作为输入数据，训练CGAN四生成新的行人图 法在精度上取得了小幅提升，为行人重识别的数 像，完成姿态信息的迁移.同时提出了一种指导模精度表现，其中 PCB 方法的识别精度测试于按照 新版协议划分的 CUHK03 数据集. 表 4 基于局部特征的行人重识别方法的性能表现 Table 4   Performance of person re-identification method based on local feature Methods Year Market-1501 DukeMTMC-reID CUHK03 Rank-1 mAP Rank-1 mAP Rank-1mAP PCB+RPP[46] 2018 93.8 81.6 83.3 69.2 63.7 57.5 SPReID+re-ranking[48] 2018 94.6 90.9 88.9 84.9 — — RNLSTMA [54] 2019 90.3 76.4 77.0 62.1 86.1 83.6 mGD+ RNLSTMA [56] 2020 91.3 77.9 80.8 63.9 88.0 84.2 SMC-ReID[49] 2020 95.3 93.0 — — — — HOReID[53] 2020 94.2 84.9 86.9 75.6 — — ISP[50] 2020 95.3 88.6 89.6 80.0 — — 评价与总结：为了解决行人图像的遮挡问题， 学者们提出了基于局部特征的方法. 提取局部特 征可以使网络更加关注图像的细节信息. 但由于 固定的分块方式，并不能解决部位不对齐问题，因 此学者们引入了注意力机制增强重要部位的显著 性，能够实现部位对齐. 对于行人重识别中存在的 遮挡与部位不对齐问题，基于注意力机制是目前 主流的方法，也是未来的研究热点. 3.2    基于生成对抗网络的行人重识别方法 在行人重识别任务的研究中，对于训练数据 的处理具有较高的要求，首先需要对从监控系统 中采集的图像进行切割，得到行人的切片图像. 之 后还要对图像进行标注，标明行人 ID 以及图像采 集时间、摄像头编号等信息. 所以，行人重识别的 一些主流数据集，训练数据都相对较少，在数据集 Market-1501 上，平均每一个行人类别只有 17.2 张图 像，CUHK03 数据集平均为 9.6 张，DukeMTMC-reID 数据集平均为 23.5 张. 由于数据集之间背景差异较 大，导致模型的泛化能力较差. 针对这些问题，学者 们利用生成对抗网络（Generative adversarial networks, GAN） [58] ，来进行数据集的扩充，从而加强行人重 识别模型的泛化能力. Zheng 等[5] 首次将生成对抗网络用于行人重 识别的问题上来，他们使用行人重识别数据集对 DCGAN[59] 进行训练，输入随机向量生成新的行人 图像，对数据集进行了有效扩充，同时提出一种标 签平滑正则化（ Label Smoothing Regularization for Outliers, LSRO）的方法，进行半监督学习. 作为生 成对抗网络在行人重识别领域的首次应用，该方 法在精度上取得了小幅提升，为行人重识别的数 据扩充提供了新思路. 在这个方法的基础上，Zhong 等[60] 使用 CycleGAN[61] 对数据集进行训练，对不 同摄像机拍下的图像数据进行迁移，生成一个行 人在不同摄像机风格下的新图像，保留了行人的 标签信息. 同时文章对前文提出的 LSRO 进行了 推广，提出了一种 LSR (Label smoothing regularization) 方法，减轻了生成数据噪声对模型训练的影响. Deng 等[62] 将 CycleGAN 与孪生网络结合，提出了 一种图像在数据集之间迁移的方法，在将图像由 原数据集向目标数据集迁移的过程中，保留了图 像的标签信息. Wei 等[9] 提出 PTGAN，完成了行人 图像在不同数据集之间的风格迁移 ，并提出了 MSMT17 数据集. Li 等[63] 提出了一种 ReadNet 用 于解决数据不平衡问题. Zhai 等[64] 提出増广判别 聚类方法实现了数据的迁移. Zhang 等[65] 根据源 域图像与目标与图像的语义一致性，基于弱标注 的源域行人图像，将源域图像的语义信息迁移到 目标域上，增强了跨域的行人重识别特征表达能 力. Liu 等[66] 提出 UnityGAN，学习不同摄像机之 间的背景风格差异，并生成基于这些背景风格差 异的平均风格图像，提升了行人重识别模型对于 相机背景风格的泛化能力. 表 5 给出了部分基于 生成对抗网络的行人重识别方法的性能表现. 表 5 基于生成对抗网络的行人重识别方法的性能表现 Table 5   Performance of person re-identification method based on GAN Methods Year Market-1501 DukeMTMC CUHK03 Rank-1 mAP Rank-1 mAP Rank-1 mAP DCGAN+LSRO[59] 2017 — — — — 84.6 87.4 IDE+CamStyle+RE[62] 2018 89.5 71.6 78.3 58.6 — — Pose-Transfer[9] 2018 87.7 68.9 78.5 56.9 45.1 42.0 PNGAN[67] 2018 89.4 72.6 73.6 53.2 79.8 — PCB+UnityGAN[66] 2020 95.8 93.6 89.3 96.2 — — st-ReID+UnityGAN[66] 2020 98.5 95.8 95.1 93.6 — — 为了解决数据集之间姿态的差异，利用生成 对抗网络进行姿态的迁移，成为了行人重识别数 据集扩充的重要方向. 一些优秀的神经网络模型 可以在一定程度上弥补数据集中行人姿态较少的 缺点，但是扩充姿态多样性的数据仍然是提升模 型性能的关键. Liu 等[68] 提出了一种姿态迁移的 方法，选择姿态丰富的数据集，利用姿态检测算法[69] 提取图像中行人的姿态信息，并使用 RGB 图像进 行表征，将姿态信息与待迁移数据集中的行人图 像作为输入数据，训练 CGAN[70] 生成新的行人图 像，完成姿态信息的迁移. 同时提出了一种指导模 李    擎等： 基于深度学习的行人重识别方法综述 · 7 ·