第6期 宋婉茹，等：行人重识别研究综述 ·771· 像机视域的视频序列中识别出目标行人。以图1为 1.2研究现状 例，因为这些镜头是无重叠的，所以视域完全不同， 相对于行人检测来说，行人重识别的研究还不 假设我们要对在摄像头2中拍摄到的目标个体1在 算成熟，但早在1996年，就有学者关注行人重识别 其他镜头中进行重识别，需要在其他的摄像头中定 问题，在2006年，行人重识别的概念第一次在 位到这个目标，除了目标本身在不同镜头下外观上 CVPR上提出后o,相关的研究不断涌现。2007年 的不同，还会受到其他个体的影响，比如在摄像头 Gray提出一个对于行人重识别的研究具有重大意 2中目标个体1需要与摄像头1中的4个目标个体 义的数据库VIPeR四。此后越来越多的学者开始关 都进行比较。因此研究该问题对公共安全和刑侦有 注行人重识别的研究。近些年，每年在国际顶级的 着非常重要的现实意义。 会议以及顶级期刊上关于行人重识别的工作不在少 数，如图3.2012年，第一个行人重识别研讨会在 聂像头2 ECCV会议上召开；2013年，Gong等出版第一本 摄像头 行人重识别的专著；2014年后，深度学习被应用到 像头 行人重识别领域；2016年，行人重识别迎来井喷式 ● 摄像头4 的增长，在各大计算机视觉的会议中出现了几十篇 相关论文，尤其是基于深度神经网络的方法引起了 广泛的关注；同时，相关数据集在不断地扩充， 图1多镜头监控中的行人重识别 在各个数据集上的结果也获得很大的提升，到目 Fig.1 Person Re-identification under different cameras 前，行人重识别问题已成为计算机视觉的一个热点 行人重识别的研究面临着诸如图像分辨率低 问题。 视角变化、姿态变化、光线变化以及遮挡等带来的 30 ◆-CVPR■-ICCV/ECCV 诸多挑战。比如，1)监控视频的画面一般比较模 糊，分辨率也比较低，如图2(a)所示，所以利用人脸 识别等方式无法进行重识别的工作，只能利用头部 0路路鲁-经 之外的人体外观信息进行识别，而不同行人的体型 2008 20 和衣着服饰有可能相同，这为行人重识别的准确度 年份 带来了极大的挑战：2)行人重识别的图像往往采自 图3顶级会议收录行人的论文篇数 于不同的摄像机，由于拍摄场景、摄像参数不同，行 Fig.3 Percentage of person re-ID papers on top confer- 人重识别工作一般存在光照变化及视角变化等问 ences over the years 题，如图2b)、(c)所示，这导致同一个行人在不同摄 传统的行人重识别从特征提取和距离度量学习 像机下存在较大的差异，不同行人的外貌特征可能 两个方面进行研究。2014年后，越来越多的研究 比同一个人的外貌特征更相似；3)进行重识别的行 者尝试将行人重识别的研究与深度学习结合在一 人图像可能拍摄于不同的时间，行人姿态、衣着会 起，深度学习不仅应用于提取高层特征，也为度 有不同程度的改变。此外在不同的光照条件下，行 量学习的研究带来了革新。即使深度学习在规模较 人的外观特征也会有很大的差异，如图2（©）。此外 小的数据集上的结果没有很明显的提升，但随着研 实际视频监控下的场景非常复杂，很多监控场景人 流量大，场景复杂，画面很容易出现遮挡等情况，如 究方法的成熟以及较大规模的数据集的出现，深度 图2(d),这种时候靠步态等特征就很难进行重识 学习在行人重识别领域越来越受研究者们青睐。行 别。以上情况都给行人重识别的研究带来了巨大的 人重识别最开始是在基于图片的情况下，11，即 挑战，因此目前的研究距离实际应用层面还有很大 在每个数据集中每个摄像机视角下只有一幅或者几 的距离。 幅行人图像。但是视频相较于图像而言拥有更多信 息，并且基于视频的研究更符合视频监控环境下的 现实情况，因此我们很自然地考虑处理基于视频的 行人重识别问题。从2010年后，很多学者开始对基 于视频的行人重识别进行研究2。我们将按照基 (a)低分辨图像(b)视角变化(c)光线变化 (d遮挡 于图像和基于视频的行人重识别研究进行介绍。 图2行人重识别的困难与挑战 13评价标准 Fig.2 Difficulty and challenge to person reidentification 在研究中为了评价所提出的行人重识别方法的像机视域的视频序列中识别出目标行人。以图 1 为 例，因为这些镜头是无重叠的，所以视域完全不同， 假设我们要对在摄像头 2 中拍摄到的目标个体 1 在 其他镜头中进行重识别，需要在其他的摄像头中定 位到这个目标，除了目标本身在不同镜头下外观上 的不同，还会受到其他个体的影响，比如在摄像头 2 中目标个体 1 需要与摄像头 1 中的 4 个目标个体 都进行比较。因此研究该问题对公共安全和刑侦有 着非常重要的现实意义。 行人重识别的研究面临着诸如图像分辨率低、 视角变化、姿态变化、光线变化以及遮挡等带来的 诸多挑战。比如，1）监控视频的画面一般比较模 糊，分辨率也比较低，如图 2(a) 所示，所以利用人脸 识别等方式无法进行重识别的工作，只能利用头部 之外的人体外观信息进行识别，而不同行人的体型 和衣着服饰有可能相同，这为行人重识别的准确度 带来了极大的挑战；2）行人重识别的图像往往采自 于不同的摄像机，由于拍摄场景、摄像参数不同，行 人重识别工作一般存在光照变化及视角变化等问 题，如图 2(b)、(c) 所示，这导致同一个行人在不同摄 像机下存在较大的差异，不同行人的外貌特征可能 比同一个人的外貌特征更相似；3）进行重识别的行 人图像可能拍摄于不同的时间，行人姿态、衣着会 有不同程度的改变。此外在不同的光照条件下，行 人的外观特征也会有很大的差异，如图 2(c)。此外 实际视频监控下的场景非常复杂，很多监控场景人 流量大，场景复杂，画面很容易出现遮挡等情况，如 图 2(d), 这种时候靠步态等特征就很难进行重识 别。以上情况都给行人重识别的研究带来了巨大的 挑战，因此目前的研究距离实际应用层面还有很大 的距离。 1.2 研究现状 相对于行人检测来说，行人重识别的研究还不 算成熟，但早在 1996 年，就有学者关注行人重识别 问题[ 9 ] ，在 2006 年，行人重识别的概念第一次在 CVPR 上提出后[10] ，相关的研究不断涌现。2007 年 Gray 提出一个对于行人重识别的研究具有重大意 义的数据库 VIPeR[11]。此后越来越多的学者开始关 注行人重识别的研究。近些年，每年在国际顶级的 会议以及顶级期刊上关于行人重识别的工作不在少 数，如图 3。2012 年，第一个行人重识别研讨会在 ECCV 会议上召开；2013 年，Gong 等 [12]出版第一本 行人重识别的专著；2014 年后，深度学习被应用到 行人重识别领域；2016 年，行人重识别迎来井喷式 的增长，在各大计算机视觉的会议中出现了几十篇 相关论文，尤其是基于深度神经网络的方法引起了 广泛的关注；同时，相关数据集在不断地扩充， 在各个数据集上的结果也获得很大的提升，到目 前，行人重识别问题已成为计算机视觉的一个热点 问题。 传统的行人重识别从特征提取和距离度量学习 两个方面进行研究。2014 年后，越来越多的研究 者尝试将行人重识别的研究与深度学习结合在一 起 [13-15] ，深度学习不仅应用于提取高层特征，也为度 量学习的研究带来了革新。即使深度学习在规模较 小的数据集上的结果没有很明显的提升，但随着研 究方法的成熟以及较大规模的数据集的出现，深度 学习在行人重识别领域越来越受研究者们青睐。行 人重识别最开始是在基于图片的情况下[13, 16-19] ，即 在每个数据集中每个摄像机视角下只有一幅或者几 幅行人图像。但是视频相较于图像而言拥有更多信 息，并且基于视频的研究更符合视频监控环境下的 现实情况，因此我们很自然地考虑处理基于视频的 行人重识别问题。从 2010 年后，很多学者开始对基 于视频的行人重识别进行研究[20-24]。我们将按照基 于图像和基于视频的行人重识别研究进行介绍。 1.3 评价标准 在研究中为了评价所提出的行人重识别方法的 1 1 ᥰ׻ ๠2 ᥰ׻ ๠3 ᥰ׻ ๠1 ᥰ׻ ๠4 2 6 5 4 7 6 5 4 3 ๠׻ᥰ ๠׻ᥰ 图 1 多镜头监控中的行人重识别 Fig. 1 Person Re-identification under different cameras (a) Ѻܲ䓔ప׻) b) 㻲㻾ऄࡂ) c) اٴ㏫ऄࡂ) d) 䖚ᡍ 图 2 行人重识别的困难与挑战 Fig. 2 Difficulty and challenge to person reidentification 0 10 20 30 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 ン᪜ ᎠЩ CVPR ICCV/ECCV 图 3 顶级会议收录行人的论文篇数 Fig. 3 Percentage of person re-ID papers on top confer￾ences over the years 第 6 期 宋婉茹，等：行人重识别研究综述 ·771·