【机器学习】一种鲁棒的Multi-Egocentric视频中的多目标检测及匹配算法

第11卷第5期 智能系统学报 Vol.11 No.5 2016年10月 CAAI Transactions on Intelligent Systems 0ct.2016 D0I:10.11992/is.201603050 网络出版地址：htp:/www.cnki.net/kcms/detail/23.1538.TP.20160824.0929.016.html 一种鲁棒的Multi-Egocentric视频中的 多目标检测及匹配算法 李龙，尹辉2，许宏丽，欧伟奇 (1.北京交通大学计算机与信息技术学院，北京100044：2.北京交通大学交通数据分析与挖据北京市重点实验室， 北京100044) 摘要：针对视频中的背景变化剧烈、目标尺度差异明显和视角时变性强的特点，提出一种鲁棒的针对muli-egocen- ic视频的多目标检测及匹配算法。首先，构建基于boosting方法的多目标检测模型对各视频序列中的显著目标进 行粗检测，并提出一种基于局部相似度的区域优化算法对粗检测显著目标的轮廓进行优化，提高Egocentric视频中 显著目标轮廓检测和定位的准确性。在显著目标检测基础上，对不同视角中的显著目标构建基于HOG特征的SVM 分类器，实现多视角的多目标匹配。在Party Scene数据集上的实验验证了本文算法的有效性。 关键词：Muli-Egocentric视频：多目标检测：多目标匹配 中图分类号：TP391.4文献标志码：A文章编号：1673-4785(2016)05-0619-08 中文引用格式：李龙，尹辉，许宏丽，等.一种鲁棒的Multi-Egocentric视频中的多目标检测及匹配算法[J].智能系统学报，2016,11 (5):619-626. 英文引用格式：LI Long,YIN Hui,XU Hongli,etal.A robust multi-object detection and matching algorithm for multi-egocentric videos[J].CAAI transactions on intelligent systems,2016,11(5):619-626. A robust multi-object detection and matching algorithm for multi-egocentric videos LI Long',Yin Hui.2,XU Hongli',OU Weiqi (1.Department of Computer Science and Technology,Beijing Jiaotong University,Beijing 100044,China;2.Beijing Key Lab of Transportation Data Analysis and Mining,Beijing Jiaotong University,Beijing 100044,China) Abstract:In this paper,a robust multi-object detection and matching algorithm for a multi-egocentric video is pro- posed by considering the characteristics of multi-egocentric videos,for example,sudden changes in background, and variable target scales and viewpoints.First,a multi-target detection model based on a boosting method is con- structed,to roughly detect any salient objects in the video frames.Then an optimization algorithm based on local similarity is proposed for optimizing the salient-object area and improving the accuracy of salient-object detection and localization.Finally,a SVM classifier based on HOG features is trained to realize multi-target matching in multi-egocentric videos.Experiments using Scene Party datasets show the effectiveness of the proposed method. Keywords:multi-egocentric video;multi-object detection;multi-object matching Egocentric视频是通过固定在拍摄者头、肩、手特点，同时存在拍摄视频不平顺、运动模糊、噪声大 等部位或由拍摄者手持的穿戴式摄像机，在拍摄者 等问题，为基于此的计算机视觉任务带来极大的挑 自由运动过程中所拍摄的。Egocentric视频具有背 战。Multi-Egocentric视频是由处于同一场景中的多 景变化剧烈、目标尺度差异明显和视角时变性强的 个个体所拍摄的不同视角、不同运动轨迹的视频，研 究基于multi-egocentric视频的目标检测和匹配对于 收稿日期：2016-03-20.网络出版日期：2016-08-24. 后续的场景理解等高级视觉任务具有重要的意义。 基金项目：国家自然科学基金项目(61472029,61473031). 由于场景的复杂性和运动的多样性，基于视频 通信作者：李龙.E-mail:hyin@djpu.cdu.cn

第 １１ 卷第 ５ 期 智 能 系 统 学 报 Ｖｏｌ．１１ №．５ ２０１６ 年 １０ 月 ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ Ｏｃｔ． ２０１６ ＤＯＩ：１０．１１９９２ ／ ｔｉｓ．２０１６０３０５０ 网络出版地址：ｈｔｔｐ： ／ ／ ｗｗｗ．ｃｎｋｉ．ｎｅｔ ／ ｋｃｍｓ／ ｄｅｔａｉｌ ／ ２３．１５３８．ＴＰ．２０１６０８２４．０９２９．０１６．ｈｔｍｌ 一种鲁棒的 Ｍｕｌｔｉ⁃Ｅｇｏｃｅｎｔｒｉｃ 视频中的 多目标检测及匹配算法 李龙１ ，尹辉１，２ ，许宏丽１ ，欧伟奇１ （１．北京交通大学 计算机与信息技术学院，北京 １０００４４； ２． 北京交通大学 交通数据分析与挖掘北京市重点实验室， 北京 １０００４４） 摘 要：针对视频中的背景变化剧烈、目标尺度差异明显和视角时变性强的特点，提出一种鲁棒的针对 ｍｕｌｔｉ⁃ｅｇｏｃｅｎ⁃ ｔｒｉｃ 视频的多目标检测及匹配算法。 首先，构建基于 ｂｏｏｓｔｉｎｇ 方法的多目标检测模型对各视频序列中的显著目标进 行粗检测，并提出一种基于局部相似度的区域优化算法对粗检测显著目标的轮廓进行优化，提高 Ｅｇｏｃｅｎｔｒｉｃ 视频中 显著目标轮廓检测和定位的准确性。 在显著目标检测基础上，对不同视角中的显著目标构建基于 ＨＯＧ 特征的 ＳＶＭ 分类器，实现多视角的多目标匹配。 在 Ｐａｒｔｙ Ｓｃｅｎｅ 数据集上的实验验证了本文算法的有效性。 关键词：Ｍｕｌｔｉ⁃Ｅｇｏｃｅｎｔｒｉｃ 视频；多目标检测；多目标匹配 中图分类号：ＴＰ３９１．４ 文献标志码：Ａ 文章编号：１６７３⁃４７８５（２０１６）０５⁃０６１９⁃０８ 中文引用格式：李龙，尹辉，许宏丽，等．一种鲁棒的 Ｍｕｌｔｉ⁃Ｅｇｏｃｅｎｔｒｉｃ 视频中的多目标检测及匹配算法［Ｊ］． 智能系统学报， ２０１６， １１ （５）：６１９⁃６２６． 英文引用格式：ＬＩ Ｌｏｎｇ， ＹＩＮ Ｈｕｉ， ＸＵ Ｈｏｎｇｌｉ，ｅｔ ａｌ． Ａ ｒｏｂｕｓｔ ｍｕｌｔｉ⁃ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｍａｔｃｈｉｎｇ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｍｕｌｔｉ⁃ｅｇｏｃｅｎｔｒｉｃ ｖｉｄｅｏｓ［Ｊ］． ＣＡＡＩ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｉｎｔｅｌｌｉｇｅｎｔ ｓｙｓｔｅｍｓ， ２０１６，１１（５）：６１９⁃６２６． Ａ ｒｏｂｕｓｔ ｍｕｌｔｉ⁃ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｍａｔｃｈｉｎｇ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｍｕｌｔｉ⁃ｅｇｏｃｅｎｔｒｉｃ ｖｉｄｅｏｓ ＬＩ Ｌｏｎｇ １ ， Ｙｉｎ Ｈｕｉ １，２ ， ＸＵ Ｈｏｎｇｌｉ １ ， ＯＵ Ｗｅｉｑｉ １ （１． Ｄｅｐａｒｔｍｅｎｔ ｏｆ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ， Ｂｅｉｊｉｎｇ Ｊｉａｏｔｏｎｇ Ｕｎｉｖｅｒｓｉｔｙ， Ｂｅｉｊｉｎｇ １０００４４， Ｃｈｉｎａ； ２． Ｂｅｉｊｉｎｇ Ｋｅｙ Ｌａｂ ｏｆ Ｔｒａｎｓｐｏｒｔａｔｉｏｎ Ｄａｔａ Ａｎａｌｙｓｉｓ ａｎｄ Ｍｉｎｉｎｇ， Ｂｅｉｊｉｎｇ Ｊｉａｏｔｏｎｇ Ｕｎｉｖｅｒｓｉｔｙ， Ｂｅｉｊｉｎｇ １０００４４， Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｉｎ ｔｈｉｓ ｐａｐｅｒ， ａ ｒｏｂｕｓｔ ｍｕｌｔｉ⁃ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｍａｔｃｈｉｎｇ ａｌｇｏｒｉｔｈｍ ｆｏｒ ａ ｍｕｌｔｉ⁃ｅｇｏｃｅｎｔｒｉｃ ｖｉｄｅｏ ｉｓ ｐｒｏ⁃ ｐｏｓｅｄ ｂｙ ｃｏｎｓｉｄｅｒｉｎｇ ｔｈｅ ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ ｏｆ ｍｕｌｔｉ⁃ｅｇｏｃｅｎｔｒｉｃ ｖｉｄｅｏｓ， ｆｏｒ ｅｘａｍｐｌｅ， ｓｕｄｄｅｎ ｃｈａｎｇｅｓ ｉｎ ｂａｃｋｇｒｏｕｎｄ， ａｎｄ ｖａｒｉａｂｌｅ ｔａｒｇｅｔ ｓｃａｌｅｓ ａｎｄ ｖｉｅｗｐｏｉｎｔｓ． Ｆｉｒｓｔ， ａ ｍｕｌｔｉ⁃ｔａｒｇｅｔ ｄｅｔｅｃｔｉｏｎ ｍｏｄｅｌ ｂａｓｅｄ ｏｎ ａ ｂｏｏｓｔｉｎｇ ｍｅｔｈｏｄ ｉｓ ｃｏｎ⁃ ｓｔｒｕｃｔｅｄ， ｔｏ ｒｏｕｇｈｌｙ ｄｅｔｅｃｔ ａｎｙ ｓａｌｉｅｎｔ ｏｂｊｅｃｔｓ ｉｎ ｔｈｅ ｖｉｄｅｏ ｆｒａｍｅｓ． Ｔｈｅｎ ａｎ ｏｐｔｉｍｉｚａｔｉｏｎ ａｌｇｏｒｉｔｈｍ ｂａｓｅｄ ｏｎ ｌｏｃａｌ ｓｉｍｉｌａｒｉｔｙ ｉｓ ｐｒｏｐｏｓｅｄ ｆｏｒ ｏｐｔｉｍｉｚｉｎｇ ｔｈｅ ｓａｌｉｅｎｔ⁃ｏｂｊｅｃｔ ａｒｅａ ａｎｄ ｉｍｐｒｏｖｉｎｇ ｔｈｅ ａｃｃｕｒａｃｙ ｏｆ ｓａｌｉｅｎｔ⁃ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｌｏｃａｌｉｚａｔｉｏｎ． Ｆｉｎａｌｌｙ， ａ ＳＶＭ ｃｌａｓｓｉｆｉｅｒ ｂａｓｅｄ ｏｎ ＨＯＧ ｆｅａｔｕｒｅｓ ｉｓ ｔｒａｉｎｅｄ ｔｏ ｒｅａｌｉｚｅ ｍｕｌｔｉ⁃ｔａｒｇｅｔ ｍａｔｃｈｉｎｇ ｉｎ ｍｕｌｔｉ⁃ｅｇｏｃｅｎｔｒｉｃ ｖｉｄｅｏｓ． Ｅｘｐｅｒｉｍｅｎｔｓ ｕｓｉｎｇ Ｓｃｅｎｅ Ｐａｒｔｙ ｄａｔａｓｅｔｓ ｓｈｏｗ ｔｈｅ ｅｆｆｅｃｔｉｖｅｎｅｓｓ ｏｆ ｔｈｅ ｐｒｏｐｏｓｅｄ ｍｅｔｈｏｄ． Ｋｅｙｗｏｒｄｓ：ｍｕｌｔｉ⁃ｅｇｏｃｅｎｔｒｉｃ ｖｉｄｅｏ； ｍｕｌｔｉ⁃ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ； ｍｕｌｔｉ⁃ｏｂｊｅｃｔ ｍａｔｃｈｉｎｇ 收稿日期：２０１６⁃０３⁃２０． 网络出版日期：２０１６⁃０８⁃２４． 基金项目：国家自然科学基金项目（６１４７２０２９，６１４７３０３１）． 通信作者：李龙． Ｅ⁃ｍａｉｌ：ｈｙｉｎ＠ ｄｊｐｕ．ｅｄｕ．ｃｎ． Ｅｇｏｃｅｎｔｒｉｃ 视频是通过固定在拍摄者头、肩、手 等部位或由拍摄者手持的穿戴式摄像机，在拍摄者 自由运动过程中所拍摄的。 Ｅｇｏｃｅｎｔｒｉｃ 视频具有背 景变化剧烈、目标尺度差异明显和视角时变性强的 特点，同时存在拍摄视频不平顺、运动模糊、噪声大 等问题，为基于此的计算机视觉任务带来极大的挑 战。 Ｍｕｌｔｉ⁃Ｅｇｏｃｅｎｔｒｉｃ 视频是由处于同一场景中的多 个个体所拍摄的不同视角、不同运动轨迹的视频，研 究基于 ｍｕｌｔｉ⁃ｅｇｏｃｅｎｔｒｉｃ 视频的目标检测和匹配对于 后续的场景理解等高级视觉任务具有重要的意义。 由于场景的复杂性和运动的多样性，基于视频

·620 智能系统学报 第11卷 的显著目标检测一直都是计算机视觉研究领域的难 分类器预测显著区域，但此类方法无法获得显著区 点问题之一。基于单视角视频的目标检测主要有基 域中成员的精确位置：Lin等[6在多个视频中利用 于单帧图像通过特征提取训练目标检测器的方法， 不同运动模式对成员做匹配，然后利用条件随机场 如Pedro Felzenszwalb等I)提出的可变性组件模型 寻找时空一致性最高的成员，即为当前最显著成员， (deformable part model,.DPM),基于目标成员的可变 但此类方法需要每个成员同一时刻的动作具有差异 形部位，结合边界敏感的方法挖掘负样本，训练隐性 性：通过多个视频寻找匹配点利用透视图原理计算 支持向量机(latent,SVM)分类器检测目标，但对于 出多个成员的位置和姿态，如Hyun Soo Park等)通 视频中距离镜头较远的目标有漏检的情况；Lubomir 过SM)方法，恢复三维场景及成员位置和姿态，实 Bourdev等2提出Poselet模型用带标注的三维人体 现场景理解：利用多个视频间的相互运动关系进行 动作关节点数据集训练SVM分类器，以检测人的 成员检测，如Ryo Yonetani等[)利用一对成员互相 头、躯干、背部等部位，该算法在清晰图像上取得较 拍摄的视频，根据超像素分割单位区域的局部相对 好的效果，但对于低质图像漏检率较高：利用时空特 运动和全局运动信息搜索其中一个成员，但此方法 征和表面特征相结合的训练方法，如Philippe 一次只能检测一个拍摄视频的成员面部。上述传统 Weinzaepfel)提出运动边模型(motion boundary, 的基于视频的显著目标检测方法大多基于固定视角 MB)将图像局部区域的颜色、光流以包的形式训练 或视角微变的视频，而multi-egocentric视频中场景 随机森林模型，得到的支持向量机(SVM)分类器可 变化剧烈，目标运动稳定性低，如DPM)在视角变 检测精确的目标边缘，但当目标无明显运动时，边缘 换剧烈时的检测效果下降；Poselets[2算法在图像有 检测结果不佳：基于多视角视频的目标检测利用多 轻微运动模糊时的性能受到较大影响；Motion 个不同视角的监控视频跟踪目标，检测目标行为，如 Boundariest)算法在目标尺寸较小时出现漏检。基 KSusheel Kumar等提出的实时多视角视频跟踪算 于此，本文提出了一种两步层进目标检测算法，将目 法，应用在安全系统中。 标检测分为粗检测阶段和细检测两阶段，从而提高 Egocentric视频的分析和处理是近年来的研究 了基于Egocentric视频的目标检测的鲁棒性，并提 热点之一，目前的研究主要集中于估计拍摄者所关 出了multi-.egocentric视频中的目标匹配算法，实现 注的显著区域，例如Hyun Soo Park[)提出利用群体 了多视角多目标的匹配。算法流程图如图1。 模式的几何关系得到成员交互关系，经训练后得到 输入视频 基于Boosting模型的目标粗检测 粗检测 检测及匹配结果 输入 相机1 匹配 两 基于空间位置关系的区域融合算法 基于方 进 梯度 相机2 标 方图 细检测 测 基于局部相似度的目标区域优化算法（显著目标） 算 法 征的支 相机3 向量机模 (非显著目标) (显著目标) 训练 训练集 输入 相机 B.BB 图1 本文算法流程(n为相机个数，即视角数，B,i=1,2,…,11为目标编号) Fig.1 The framework of our method (n represents the number of camera,B,i=1,2,..,11 is target number)

的显著目标检测一直都是计算机视觉研究领域的难 点问题之一。 基于单视角视频的目标检测主要有基 于单帧图像通过特征提取训练目标检测器的方法， 如 Ｐｅｄｒｏ Ｆｅｌｚｅｎｓｚｗａｌｂ 等［１］ 提出的可变性组件模型 （ｄｅｆｏｒｍａｂｌｅ ｐａｒｔ ｍｏｄｅｌ，ＤＰＭ），基于目标成员的可变 形部位，结合边界敏感的方法挖掘负样本，训练隐性 支持向量机（ ｌａｔｅｎｔ，ＳＶＭ）分类器检测目标，但对于 视频中距离镜头较远的目标有漏检的情况；Ｌｕｂｏｍｉｒ Ｂｏｕｒｄｅｖ 等［２］提出 Ｐｏｓｅｌｅｔ 模型用带标注的三维人体 动作关节点数据集训练 ＳＶＭ 分类器，以检测人的 头、躯干、背部等部位，该算法在清晰图像上取得较 好的效果，但对于低质图像漏检率较高；利用时空特 征和 表 面 特 征 相 结 合 的 训 练 方 法， 如 Ｐｈｉｌｉｐｐｅ Ｗｅｉｎｚａｅｐｆｅｌ ［３］ 提 出 运 动 边 模 型 （ ｍｏｔｉｏｎ ｂｏｕｎｄａｒｙ， ＭＢ）将图像局部区域的颜色、光流以包的形式训练 随机森林模型，得到的支持向量机（ＳＶＭ）分类器可 检测精确的目标边缘，但当目标无明显运动时，边缘 检测结果不佳；基于多视角视频的目标检测利用多 个不同视角的监控视频跟踪目标，检测目标行为，如 ＫＳｕｓｈｅｅｌ Ｋｕｍａｒ 等［４］提出的实时多视角视频跟踪算 法，应用在安全系统中。 Ｅｇｏｃｅｎｔｒｉｃ 视频的分析和处理是近年来的研究 热点之一，目前的研究主要集中于估计拍摄者所关 注的显著区域，例如 Ｈｙｕｎ Ｓｏｏ Ｐａｒｋ ［５］提出利用群体 模式的几何关系得到成员交互关系，经训练后得到 分类器预测显著区域，但此类方法无法获得显著区 域中成员的精确位置；Ｌｉｎ 等［６］ 在多个视频中利用 不同运动模式对成员做匹配，然后利用条件随机场 寻找时空一致性最高的成员，即为当前最显著成员， 但此类方法需要每个成员同一时刻的动作具有差异 性；通过多个视频寻找匹配点利用透视图原理计算 出多个成员的位置和姿态，如 Ｈｙｕｎ Ｓｏｏ Ｐａｒｋ 等［５］通 过 ＳｆＭ ［７］方法，恢复三维场景及成员位置和姿态，实 现场景理解；利用多个视频间的相互运动关系进行 成员检测，如 Ｒｙｏ Ｙｏｎｅｔａｎｉ 等［８］ 利用一对成员互相 拍摄的视频，根据超像素分割单位区域的局部相对 运动和全局运动信息搜索其中一个成员，但此方法 一次只能检测一个拍摄视频的成员面部。 上述传统 的基于视频的显著目标检测方法大多基于固定视角 或视角微变的视频，而 ｍｕｌｔｉ⁃ｅｇｏｃｅｎｔｒｉｃ 视频中场景 变化剧烈，目标运动稳定性低，如 ＤＰＭ ［１］ 在视角变 换剧烈时的检测效果下降；Ｐｏｓｅｌｅｔｓ ［２］ 算法在图像有 轻微 运 动 模 糊 时 的 性 能 受 到 较 大 影 响； Ｍｏｔｉｏｎ Ｂｏｕｎｄａｒｉｅｓ ［３］算法在目标尺寸较小时出现漏检。 基 于此，本文提出了一种两步层进目标检测算法，将目 标检测分为粗检测阶段和细检测两阶段，从而提高 了基于 Ｅｇｏｃｅｎｔｒｉｃ 视频的目标检测的鲁棒性，并提 出了 ｍｕｌｔｉ⁃ｅｇｏｃｅｎｔｒｉｃ 视频中的目标匹配算法，实现 了多视角多目标的匹配。 算法流程图如图 １。 图 １ 本文算法流程（ｎ 为相机个数，即视角数，βｉ，ｉ＝ １，２，…，１１ 为目标编号） Ｆｉｇ．１ Ｔｈｅ ｆｒａｍｅｗｏｒｋ ｏｆ ｏｕｒ ｍｅｔｈｏｄ （ｎ ｒｅｐｒｅｓｅｎｔｓ ｔｈｅ ｎｕｍｂｅｒ ｏｆ ｃａｍｅｒａ， βｉ，ｉ＝ １，２，…，１１ ｉｓ ｔａｒｇｅｔ ｎｕｍｂｅｒ） ·６２０· 智 能 系 统 学 报 第 １１ 卷

第5期 李龙，等：一种鲁棒的Muli-Egocentrie视频中的多目标检测及匹配算法 ·621. 1两步层进目标检测算法 m为检测器个数，K:表示第i个检测器，则第i个检 测器针对图像f的检测结果用集合来表示，且 两步层进目标检测算法的主要思想是首先粗略 B={bIk=1,2,…,},其中为检测器K在图像 定位目标位置，其次优化目标区域。算法分为两步： f上检测出的目标个数，=[]，、 第1步是基于Boosting)模型的目标粗定位方法， 、分别表示的左上角x坐标、左上角y坐 融合多个检测器结果，最大限度覆盖目标区域，此种 标、右下角x坐标、右下角y坐标、表示为显著 方法在一定程度上克服了Egocentric视频背景变化 目标的概率，且∈(0,1)，则所有检测器对图像f 剧烈、目标尺度差异明显和视角时变性强等特点导 致的检测结果不完整、漏检、错检等问题，提高了算 的检测结果为B以=UB。本文取m=4,分别为Mo i=1 法的鲁棒性：第2步采用基于局部相似度的区域优化 tion Boundaries](MB)算法、DPM)算法、Pose- 方法对目标轮廓进行优化，得到更精确的目标区域。 lets[2算法和空间金字塔池化(sptial pyramid poo- 1.1基于Boosting模型的目标粗检测算法 ling,SPP Net)[o算法。算法流程如图2所示，图 设输入的Egocentric视频集合为山={c,Il=1, 中Color表示仅用颜色特征：ColorFlow采用颜色和 2,…,n},其中n为视频个数，c表示第l个相机拍 光流特征；Color Flow Warping采用颜色、光流以及 摄的视频，则第l个视频的第j帧图像表示为f。假 形变特征，而Color Flow Warping Backward增加了反 设有一系列目标检测器={K:i=1,2,…,m,其中 向特征。 Color ColorFlow ColorFlowWarping ColorFlowWarpingBackwardo 输入图像 目标检测结果 基于空间位置关 系的区域融合 目标候选区域 图2基于boosting模型的目标粗检测算法流程 Fig.2 Object detection based on boosting model 在以上的检测算法中设置较低的检测阈值，可 的显著目标候选区域集合B以，b=[xyxys],b∈B 获得较多的目标候选区域，当然其中包含大量的冗 作为算法输入。 余结果。根据目标候选区的空间位置关系进行区域 2)计算每个显著目标候选区域b:的面积S:= 融合得到目标粗检测结果。具体算法如下： Iy:-y:1×1x,-x:I,保留中满足S:>01的显著目标 算法1基于空间位置关系的区域融合算法 候选区域，其中日，为阈值。 1)由基于boosting模型的目标粗检测算法得到 3)搜索B中有重叠的任意2个显著目标候选

１ 两步层进目标检测算法 两步层进目标检测算法的主要思想是首先粗略 定位目标位置，其次优化目标区域。 算法分为两步： 第 １ 步是基于 Ｂｏｏｓｔｉｎｇ ［９］ 模型的目标粗定位方法， 融合多个检测器结果，最大限度覆盖目标区域，此种 方法在一定程度上克服了 Ｅｇｏｃｅｎｔｒｉｃ 视频背景变化 剧烈、目标尺度差异明显和视角时变性强等特点导 致的检测结果不完整、漏检、错检等问题，提高了算 法的鲁棒性；第 ２ 步采用基于局部相似度的区域优化 方法对目标轮廓进行优化，得到更精确的目标区域。 １．１ 基于 Ｂｏｏｓｔｉｎｇ 模型的目标粗检测算法 设输入的 Ｅｇｏｃｅｎｔｒｉｃ 视频集合为 ψ ＝ ｛ ｃｌ ｜ ｌ ＝ １， ２，…，ｎ｝ ，其中 ｎ 为视频个数，ｃｌ 表示第 ｌ 个相机拍 摄的视频，则第 ｌ 个视频的第 ｊ 帧图像表示为 ｆ ｊ ｌ。 假 设有一系列目标检测器 ξ ＝ ｛κｉ ｜ ｉ ＝ １，２，…，ｍ｝，其中 ｍ 为检测器个数，κｉ 表示第 ｉ 个检测器，则第 ｉ 个检 测器针对图像 ｆ ｊ ｌ的检测结果用集合 Ｂ ｊ ｌｉ 来表示，且 Ｂ ｊ ｌｉ ＝ ｛ｂ ｊｋ ｌｉ ｜ ｋ ＝ １，２，…，ｚ ｊ ｌｉ｝，其中 ｚ ｊ ｌｉ为检测器 κｉ 在图像 ｆ ｊ ｌ上检测出的目标个数，ｂ ｊｋ ｌｉ ＝ ［ｘ ｊｋ ｌｉ ｙ ｊｋ ｌｉ ｘ ～ ｊｋ ｌｉ ｙ ～ ｊｋ ｌｉ ｓ ｊｋ ｌｉ ］， ｘ ｊｋ ｌｉ 、 ｙ ｊｋ ｌｉ 、ｘ ～ ｊｋ ｌｉ 、ｙ ～ ｊｋ ｌｉ分别表示 ｂ ｊｋ ｌｉ 的左上角 ｘ 坐标、左上角 ｙ 坐 标、右下角 ｘ 坐标、右下角 ｙ 坐标、ｓ ｊｋ ｌｉ 表示 ｂ ｊｋ ｌｉ 为显著 目标的概率，且 ｓ ｊｋ ｌｉ∈（０，１），则所有检测器对图像ｆ ｊ ｌ 的检测结果为 Ｂ ｊ ｌ ＝∪ ｍ ｉ ＝ １ Ｂ ｊ ｌｉ。 本文取 ｍ ＝ ４，分别为 Ｍｏ⁃ ｔｉｏｎ Ｂｏｕｎｄａｒｉｅｓ ［３］ （ ＭＢ ） 算 法、 ＤＰＭ ［１］ 算 法、 Ｐｏｓｅ⁃ ｌｅｔｓ ［２］算法和空间金字塔池化（ ｓｐｔｉａｌ ｐｙｒａｍｉｄ ｐｏｏ⁃ ｌｉｎｇ，ＳＰＰ Ｎｅｔ ） ［１０］ 算法。 算法流程如图 ２ 所示，图 中 Ｃｏｌｏｒ 表示仅用颜色特征：ＣｏｌｏｒＦｌｏｗ 采用颜色和 光流特征；Ｃｏｌｏｒ Ｆｌｏｗ Ｗａｒｐｉｎｇ 采用颜色、光流以及 形变特征，而 Ｃｏｌｏｒ Ｆｌｏｗ Ｗａｒｐｉｎｇ Ｂａｃｋｗａｒｄ 增加了反 向特征。 图 ２ 基于 ｂｏｏｓｔｉｎｇ 模型的目标粗检测算法流程 Ｆｉｇ．２ Ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ ｂａｓｅｄ ｏｎ ｂｏｏｓｔｉｎｇ ｍｏｄｅｌ 在以上的检测算法中设置较低的检测阈值，可 获得较多的目标候选区域，当然其中包含大量的冗 余结果。 根据目标候选区的空间位置关系进行区域 融合得到目标粗检测结果。 具体算法如下： 算法 １ 基于空间位置关系的区域融合算法 １）由基于 ｂｏｏｓｔｉｎｇ 模型的目标粗检测算法得到 的显著目标候选区域集合 Ｂ ｊ ｌ，ｂ ＝ ［ ｘ ｙ ｘ ～ ｙ ～ ｓ］，ｂ∈Ｂ ｊ ｌ 作为算法输入。 ２）计算每个显著目标候选区域 ｂｉ 的面积 Ｓｉ ＝ ｜ ｙｉ －ｙ ～ ｉ ｜ × ｜ ｘｉ －ｘ ～ ｉ ｜ ，保留 Ｂ ｊ ｌ 中满足 Ｓｉ ＞θ１ 的显著目标 候选区域，其中 θ１ 为阈值。 ３）搜索 Ｂ ｉ ｌ 中有重叠的任意 ２ 个显著目标候选 第 ５ 期 李龙，等：一种鲁棒的 Ｍｕｌｔｉ⁃Ｅｇｏｃｅｎｔｒｉｃ 视频中的多目标检测及匹配算法 ·６２１·

·622 智能系统学报 第11卷 区域b:,;计算其重叠面积Sn。如果Sn>82,其 H(p:)=1,P:∈边界超像素 (2) 中0，为阈值，则根据式(1)更新显著目标区域并删 H(P:)=0,P:∈非边界超像素 除队中面积较小的那个显著目标候选区域 对任意超像素p:,计算其属于显著目标可能性为 fb:=[min(x:,x)min(yy)max(元：，)max(:,）s+ D(p:)= （ω中.（P:P)+w.(p:,P)）·H(P) s],S:>S i=1*i (3) b=[min(x:,x）min(y:y)max(元：，x)max(y:,y)s:+ 式中：山(P:P)表示超像素P:和p的颜色相似度， si],S;>S: 由颜色直方图特征向量的k2距离确定，中(P:,P)表 (1) 示超像素P:和P,之间的运动相似度，由光流模直方 4)重复执行3)，直至无重叠的显著目标候选区 图特征向量的K2距离确定，ω。和ω。为权值。 域，算法结束。 计算所有超像素的显著目标可能性后，保留 1.2基于局部相似度的目标区域优化算法 超像素集合P中D(P:)≥0，(0，为阈值)的超像 由基于空间位置关系的区域融合算法得到融合 素P:,从而得到优化后的显著目标区域，基于局 后的显著目标区域中包含了较多的非目标区域，为 部相似度的D计算式(3)的区域优化算法示意 了更精确地检测目标区域，本文提出基于局部相似 如图3。 度的区域优化算法对目标区域进行进一步的优化。 由于，经过两步层进目标检测后，得到了各个视 首先对显著目标区域b∈B进行超像素分割，得超 角的Egocentric视频每帧中的显著目标检测结果， 像素集合P={p,|i=1,2,…,n},由超像素空间位置 下面将对各个视角中的显著目标进行匹配。 设置超像素的边界属性： D(p) D(p.) D(p,) 区域优化 (Dp)≥0) 粗检测结果 D(p) 局部相似度计算 显著目标区域b 超像素分割区域 优化后的目标区域 图3基于局部相似度的区域优化算法 Fig.3 Bounding box area optimization based on local similarity 2基于HOG特征的目标匹配算法 (HOG),并将不同level的直方图特征连接起来组 成特征向量，： 为了实现muli-egocentric中的多目标匹配，首 4)最后将'，和B,输入SVM分类器中进行 先对数据集中关键帧的显著目标进行人工标注得到 训练 显著目标区域h,以及对应目标编号B,构建训练集 5)重复执行3)、4)直到所有显著目标区域训练 H={(hnBn)1m=1,2,…,Q:Bn∈{0,1，…，Q},其 完毕，输出SVM目标匹配模型。 基于HOG特征的目标匹配分类器训练流程如 中Q为标注的目标个数，Q为目标分类数。基于 图4所示。 HOG特征的目标匹配算法如下： 由两步层进法检测得到多视角的显著目标后， 算法2基于H0G特征的目标匹配算法 基于HOG特征的目标匹配分类器实现多视角中多 1)输入H={(hn,Bn)17=1,2,…,Q,B,∈{0， 目标的匹配流程如图5所示。 1,…,Q}作为输入： 3实验结果 2)初始化sVM分类器参数，bins以及level;: 3)将h,按不同level划分为固定大小的矩形 为了验证本文算法的有效性，采用Hyun Soo 块：在每一个矩形块上统计梯度向量直方图 Park[)的Party Scene数据集进行目标检测和目标

区域 ｂｉ，ｂｊ；计算其重叠面积 Ｓｂｉ∩ｂｊ 。 如果 Ｓｂｉ∩ｂｊ ＞θ２ ，其 中 θ２ 为阈值，则根据式（１）更新显著目标区域并删 除 Ｂ ｊ ｅ 中面积较小的那个显著目标候选区域 ｂｉ ＝［ｍｉｎ（ｘｉ，ｘｊ）ｍｉｎ（ｙｉ，ｙｊ）ｍａｘ（ｘ ～ ｉ，ｘ ～ ｊ）ｍａｘ（ｙ ～ ｉ，ｙ ～ ｊ） ｓｉ ＋ ｓｊ］，Ｓｉ ＞ Ｓｊ ｂｊ ＝［ｍｉｎ（ｘｉ，ｘｊ） ｍｉｎ（ｙｉ，ｙｊ）ｍａｘ（ｘ ～ ｉ，ｘ ～ ｊ）ｍａｘ（ｙ ～ ｉ，ｙ ～ ｊ）ｓｉ ＋ ｓｊ］ ，Ｓｊ ＞ Ｓｉ ì î í ï ï ï ï ïï （１） ４）重复执行 ３），直至无重叠的显著目标候选区 域，算法结束。 １．２ 基于局部相似度的目标区域优化算法 由基于空间位置关系的区域融合算法得到融合 后的显著目标区域中包含了较多的非目标区域，为 了更精确地检测目标区域，本文提出基于局部相似 度的区域优化算法对目标区域进行进一步的优化。 首先对显著目标区域 ｂ∈Ｂ ｉ ｌ 进行超像素分割，得超 像素集合 Ｐ ＝ ｛ｐｉ ｜ ｉ ＝ １，２，…，ｎ｝，由超像素空间位置 设置超像素的边界属性： Ｈ（ｐｉ） ＝ １，ｐｉ ∈ 边界超像素 Ｈ（ｐｉ） ＝ ０，ｐ { ｉ ∈ 非边界超像素 （２） 对任意超像素 ｐｉ，计算其属于显著目标可能性为 Ｄ（ｐｉ） ＝ ∑ ｎ ｊ ＝ １，ｊ≠ｉ （ωａψａ（ｐｉ，ｐｊ） ＋ ωｏψｏ（ｐｉ，ｐｊ））·Ｈ（ｐｉ） （３） 式中：ψａ（ｐｉ，ｐｊ）表示超像素 ｐｉ 和 ｐｊ 的颜色相似度， 由颜色直方图特征向量的 κ ２ 距离确定，ψｏ（ｐｉ，ｐｊ）表 示超像素 ｐｉ 和 ｐｊ 之间的运动相似度，由光流模直方 图特征向量的 κ ２ 距离确定，ωａ 和 ωｏ 为权值。 计算所有超像素的显著目标可能性后，保留 超像素集合 Ｐ 中 Ｄ（ ｐｉ ） ≥θ３ （ θ３ 为阈值） 的超像 素 ｐｉ，从而得到优化后的显著目标区域，基于局 部相似度的 Ｄ 计算式（ ３） 的区域优化算法示意 如图 ３。 由于，经过两步层进目标检测后，得到了各个视 角的 Ｅｇｏｃｅｎｔｒｉｃ 视频每帧中的显著目标检测结果， 下面将对各个视角中的显著目标进行匹配。 图 ３ 基于局部相似度的区域优化算法 Ｆｉｇ．３ Ｂｏｕｎｄｉｎｇ ｂｏｘ ａｒｅａ ｏｐｔｉｍｉｚａｔｉｏｎ ｂａｓｅｄ ｏｎ ｌｏｃａｌ ｓｉｍｉｌａｒｉｔｙ ２ 基于 ＨＯＧ 特征的目标匹配算法 为了实现 ｍｕｌｔｉ⁃ｅｇｏｃｅｎｔｒｉｃ 中的多目标匹配，首 先对数据集中关键帧的显著目标进行人工标注得到 显著目标区域 ｈη 以及对应目标编号 βη 构建训练集 Ｈ＝ ｛（ｈη ，βη ） ｜ η ＝ １，２，…，Ｑ；βη∈｛０，１，…，Ｑ ～ ｝｝，其 中 Ｑ 为标注的目标个数，Ｑ ～ 为目标分类数。 基于 ＨＯＧ 特征的目标匹配算法如下： 算法 ２ 基于 ＨＯＧ 特征的目标匹配算法 １）输入 Ｈ＝ ｛（ ｈη ，βη ） ｜ η ＝ １，２，…，Ｑ，βη∈｛０， １，…，Ｑ ～ ｝｝作为输入； ２）初始化 ＳＶＭ 分类器参数，ｂｉｎｓ 以及 ｌｅｖｅｌ； ３）将 ｈη 按不同 ｌｅｖｅｌ 划分为固定大小的矩形 块； 在 每 一 个 矩 形 块 上 统 计 梯 度 向 量 直 方 图 （ＨＯＧ），并将不同 ｌｅｖｅｌ 的直方图特征连接起来组 成特征向量 ｖη ； ４） 最后将 ｖη 和 βη 输入 ＳＶＭ 分类器中进行 训练； ５）重复执行 ３）、４）直到所有显著目标区域训练 完毕，输出 ＳＶＭ 目标匹配模型。 基于 ＨＯＧ 特征的目标匹配分类器训练流程如 图 ４ 所示。 由两步层进法检测得到多视角的显著目标后， 基于 ＨＯＧ 特征的目标匹配分类器实现多视角中多 目标的匹配流程如图 ５ 所示。 ３ 实验结果 为了验证本文算法的有效性，采用 Ｈｙｕｎ Ｓｏｏ Ｐａｒｋ ［３］的 Ｐａｒｔｙ Ｓｃｅｎｅ 数据集进行目标检测和目标 ·６２２· 智 能 系 统 学 报 第 １１ 卷

第5期 李龙，等：一种鲁棒的Muli-Egocentrie视频中的多目标检测及匹配算法 ·623· 匹配实验。该multi-egocentric数据集进行目标检测 到或只能部分检测到目标，如图6中第1行、第3 和目标匹配实验。该数据集包括来自11个相机的 列，检测结果中漏检了目标的手部：而Poselets算法 第一视角视频数据，并且是同时拍摄同一场景得到 首先检测目标部位，再根据目标种类的不同合并符 的。每个视频共8640帧，经同步后每个视频共 合模式的部位检测结果，因此检测结果中会产生 8566帧，本文取前914帧中的目标样本做手工标 些孤立的部位检测结果，降低了检测结果的精度，如 注，作为训练集：另选取50帧作为测试集，其包含没 图6中Poselets列所示；由Egocentric视频视角时变 有任何目标个体的帧。本文的目标检测算法与 性导致的像第3行这样的拍摄角度不正的图像非常 MB、DPM、SPP Net、Poselets算法结果对比如图6所 常见，而SPPNet、DPM算法对此种图像会有显著目 示。SPP Net、DPM算法在随机窗口中搜索窗口包 标漏检的情况。本文算法在粗检测过程中综合了以 含目标概率最高的框，因此搜索结果可能不会完全 上算法优势，并基于空间位置进行了区域融合，从而 覆盖目标区域，但相对准确，这也使得检测的显著目 有效地避免了egocentric视频中目标尺度、运动差异 标轮廓不完整，如图6中第1行、第2行所示；MB算 较大而引起的漏检问题，而基于局部相似度的区域 法主要通过目标的运动信息检测目标边缘，但Eg0 优化能很好地排除复杂背景的影响，因而具有较强 centric视频中的运动相对复杂，尤其是当目标运动 的鲁棒性。本文算法的显著目标检测结果如图6中 不显著或目标只有局部运动时，MB算法无法检测 第1列所示。 标注 相机1 标注 SVM分类器 相机2 HOG特征提取 训练 BB 标注 目标匹配 模型 相机n 数据标注 区域剪栽 图4基于H0G特征的目标匹配分类器训练流程(B,i=1,2,“,)表示目标编号) Fig.4 Object classification model training based on HOG feature(B,i=1,2,represents match number of target region) HOG特征提取 目标匹配模型 两步层进目标 检测结果 区域剪裁 目标匹配结果 图5多视角多目标匹配算法流程(B,i=1,2,…,)表示显著目标区域匹配编号) Fig.5 Multi-view and multi-object matching algorithm (B,,i=1,2,...,n represents match number of match target region)

匹配实验。 该 ｍｕｌｔｉ⁃ｅｇｏｃｅｎｔｒｉｃ 数据集进行目标检测 和目标匹配实验。 该数据集包括来自 １１ 个相机的 第一视角视频数据，并且是同时拍摄同一场景得到 的。 每个视 频 共 ８ ６４０ 帧， 经 同 步 后 每 个 视 频 共 ８ ５６６帧，本文取前 ９１４ 帧中的目标样本做手工标 注，作为训练集；另选取 ５０ 帧作为测试集，其包含没 有任何目标个体的帧。 本文的目标检测算法与 ＭＢ、ＤＰＭ、ＳＰＰ Ｎｅｔ、Ｐｏｓｅｌｅｔｓ 算法结果对比如图 ６ 所 示。 ＳＰＰ Ｎｅｔ、ＤＰＭ 算法在随机窗口中搜索窗口包 含目标概率最高的框，因此搜索结果可能不会完全 覆盖目标区域，但相对准确，这也使得检测的显著目 标轮廓不完整，如图 ６ 中第 １ 行、第 ２ 行所示；ＭＢ 算 法主要通过目标的运动信息检测目标边缘，但 Ｅｇｏ⁃ ｃｅｎｔｒｉｃ 视频中的运动相对复杂，尤其是当目标运动 不显著或目标只有局部运动时，ＭＢ 算法无法检测 到或只能部分检测到目标，如图 ６ 中第 １ 行、第 ３ 列，检测结果中漏检了目标的手部；而 Ｐｏｓｅｌｅｔｓ 算法 首先检测目标部位，再根据目标种类的不同合并符 合模式的部位检测结果，因此检测结果中会产生一 些孤立的部位检测结果，降低了检测结果的精度，如 图 ６ 中 Ｐｏｓｅｌｅｔｓ 列所示；由 Ｅｇｏｃｅｎｔｒｉｃ 视频视角时变 性导致的像第 ３ 行这样的拍摄角度不正的图像非常 常见，而 ＳＰＰＮｅｔ、ＤＰＭ 算法对此种图像会有显著目 标漏检的情况。 本文算法在粗检测过程中综合了以 上算法优势，并基于空间位置进行了区域融合，从而 有效地避免了 ｅｇｏｃｅｎｔｒｉｃ 视频中目标尺度、运动差异 较大而引起的漏检问题，而基于局部相似度的区域 优化能很好地排除复杂背景的影响，因而具有较强 的鲁棒性。 本文算法的显著目标检测结果如图 ６ 中 第 １ 列所示。 图 ４ 基于 ＨＯＧ 特征的目标匹配分类器训练流程（βｉ，ｉ＝ １，２，…，η 表示目标编号） Ｆｉｇ．４ Ｏｂｊｅｃｔ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｍｏｄｅｌ ｔｒａｉｎｉｎｇ ｂａｓｅｄ ｏｎ ＨＯＧ ｆｅａｔｕｒｅ（βｉ，ｉ＝１，２，…，ηｒｅｐｒｅｓｅｎｔｓ ｍａｔｃｈ ｎｕｍｂｅｒ ｏｆ ｔａｒｇｅｔ ｒｅｇｉｏｎ） 图 ５ 多视角多目标匹配算法流程（βｉ，ｉ＝ １，２，…，η 表示显著目标区域匹配编号） Ｆｉｇ．５ Ｍｕｌｔｉ⁃ｖｉｅｗ ａｎｄ ｍｕｌｔｉ⁃ｏｂｊｅｃｔ ｍａｔｃｈｉｎｇ ａｌｇｏｒｉｔｈｍ （βｉ，ｉ＝ １，２，…，η ｒｅｐｒｅｓｅｎｔｓ ｍａｔｃｈ ｎｕｍｂｅｒ ｏｆ ｍａｔｃｈ ｔａｒｇｅｔ ｒｅｇｉｏｎ） 第 ５ 期 李龙，等：一种鲁棒的 Ｍｕｌｔｉ⁃Ｅｇｏｃｅｎｔｒｉｃ 视频中的多目标检测及匹配算法 ·６２３·

·624. 智能系统学报 第11卷 Ours GT MB SPP Net DPM Poselets 图6本文方法与DPM,SPP Net,.Poselets算法结果对比图(Ours列为本文方法的检测结果，图中椭圆框中为算法漏检或错检的区域) Fig.6 Comparison of our method with DPM,SPP Net and Poselets(missing or wrong detection areas are in ellipse boxes) 本文提出的基于HOG特征的多目标匹配算法 P=SnG 实验结果如图7所示，可以看出，在大多数情况下， S 本文提出的算法能够有效地匹配多视角中的多个目 R=∑0 (4) 标。但是当视频视角变化较大时，目标姿态不正，从 G 而导致目标匹配失败，究其原因，因为训练是通过人 式中：S为目标检测算法检测的目标区域像素数，G 工标注的包含目标的矩形框来完成的，从而导致训 为人工标注的目标区域像素数，n为目标数。 练样例包含更多的非目标区域给匹配结果的正确性 则F-measure为 带来影响，造成匹配结果不准确，如图7中第3列的 2PR F二P+R (5) 目标1和第4列的目标7；另外，由于提取特征时是 目标匹配正确率的计算为 通过将显著目标区域分成固定尺寸的bins(子块)， 匹配正确的目标数 因此当显著目标区域较小时，所划分的bins(子块) A= (6) 目标总数 也就很少，提取的特征也就不显著，因此会出现结果 本文提出的鲁棒的muli-egocentric视频中的目 错误，如图7中第1列的目标2、5、3。 标检测和目标匹配算法在整个数据集上的检测结果 最后，本文采用F-measure方法评价目标检测 如表1所示。 算法。查准率和查全率的计算为

图６ 本文方法与 ＤＰＭ、ＳＰＰ Ｎｅｔ、Ｐｏｓｅｌｅｔｓ 算法结果对比图（Ｏｕｒｓ 列为本文方法的检测结果，图中椭圆框中为算法漏检或错检的区域） Ｆｉｇ．６ Ｃｏｍｐａｒｉｓｏｎ ｏｆ ｏｕｒ ｍｅｔｈｏｄ ｗｉｔｈ ＤＰＭ、ＳＰＰ Ｎｅｔ ａｎｄ Ｐｏｓｅｌｅｔｓ（ｍｉｓｓｉｎｇ ｏｒ ｗｒｏｎｇ ｄｅｔｅｃｔｉｏｎ ａｒｅａｓ ａｒｅ ｉｎ ｅｌｌｉｐｓｅ ｂｏｘｅｓ） 本文提出的基于 ＨＯＧ 特征的多目标匹配算法 实验结果如图 ７ 所示，可以看出，在大多数情况下， 本文提出的算法能够有效地匹配多视角中的多个目 标。 但是当视频视角变化较大时，目标姿态不正，从 而导致目标匹配失败，究其原因，因为训练是通过人 工标注的包含目标的矩形框来完成的，从而导致训 练样例包含更多的非目标区域给匹配结果的正确性 带来影响，造成匹配结果不准确，如图 ７ 中第 ３ 列的 目标 １ 和第 ４ 列的目标 ７；另外，由于提取特征时是 通过将显著目标区域分成固定尺寸的 ｂｉｎｓ（子块）， 因此当显著目标区域较小时，所划分的 ｂｉｎｓ（子块） 也就很少，提取的特征也就不显著，因此会出现结果 错误，如图 ７ 中第 １ 列的目标 ２、５、３。 最后，本文采用 Ｆ⁃ｍｅａｓｕｒｅ 方法评价目标检测 算法。 查准率和查全率的计算为 Ｐ ＝ ∑ ｎ ｉ ＝ １ Ｓｉ ∩ Ｇｉ Ｓｉ Ｒ ＝ ∑ ｎ ｉ ＝ １ Ｓｉ ∩ Ｇｉ Ｇｉ （４） 式中：Ｓｉ 为目标检测算法检测的目标区域像素数，Ｇｉ 为人工标注的目标区域像素数，ｎ 为目标数。 则 Ｆ⁃ｍｅａｓｕｒｅ 为 Ｆ ＝ ２ＰＲ Ｐ ＋ Ｒ （５） 目标匹配正确率的计算为 Ａ ＝ 匹配正确的目标数 目标总数 （６） 本文提出的鲁棒的 ｍｕｌｔｉ⁃ｅｇｏｃｅｎｔｒｉｃ 视频中的目 标检测和目标匹配算法在整个数据集上的检测结果 如表 １ 所示。 ·６２４· 智 能 系 统 学 报 第 １１ 卷

第5期 李龙，等：一种鲁棒的Muli-Egocentric视频中的多目标检测及匹配算法 ·625· C1F914 C9F5577 C6F5044 C11F4772 C5F188 图7本文基于HOG特征的显著目标匹配算法结果和Ground-Truth对比图 Fig.7 Comparison of Ground-Truth and object matching results of our method 表I在Party Scene数据集上的实验结果对比 discriminatively trained,multiscale,deformable part model Table 1 Comparison of experimental results on Scene Par- [C]//Proceedings of IEEE Conference on Computer Vision ty data sets and Pattern Recognition.Anchorage,AK:IEEE,2008:1-8. 目标 R [2]BOURDEV L,MALIK J.Poselets:body part detectors trained using 3d human pose annotations[C]//Proceedings 显著目标 0.77 0.61 0.68 0.61 of the 2009 IEEE 12th International Conference on Comput- 所有目标 0.28 0.39 0.33 0.21 er Vision.Kyoto:IEEE,2009:1365-1372. [3]WEINZAEPFEL P,REVAUD J,HARCHAOUI Z,et al. 4结束语 Learning to detect motion boundaries C]//Proceedings of 本文对multi-egocentric视频中的多目标检测和 2015 IEEE Conference on Computer Vision and Pattern Recognition.Boston,MA:IEEE,2015:2578-2586 匹配进行了研究，提出了基于boosting和局部相似 [4]KUMAR K S,PRASAD S,SAROJ P K,et al.Multiple 度的两步层进目标检测算法，综合多种检测模型的 cameras using real time object tracking for surveillance and 优势以克服Egocentric视频中目标尺度差异明显和 security system[C]//Proceedings of the 2010 3rd Interna- 视角时变性强给检测带来的干扰。在显著目标检测 tional Conference on Emerging Trends in Engineering and 基础上，对不同视角中的显著目标构建基于HOG特 Technology.Goa:IEEE,2010:213-218. 征的SVM分类器，实现多视角的多目标匹配，为后 [5]SOO PARK H,SHI Jianbo.Social saliency prediction 期的群体分析、场景理解等高级视觉任务提供了前 [C]//Proceedings of the IEEE Conference on Computer 期基础。muli-egocentric视频的处理和分析是一个 Vision and Pattern Recognition.Boston,MA:IEEE, 极具挑战的研究课题，在后续的研究工作中，将进一 2015:4777-4785. 步考虑融合局部相似度和全局相似度的显著目标区 [6]LIN Yuewei,ABDELFATAH K,ZHOU Youjie,et al.Co- 域检测方法，同时多视角之间的运动关联和目标自 interest person detection from multiple wearable camera vid- 运动轨迹也是多视角视频分析中的重要线索。 eos[C]//Proceedings of the IEEE International Conference 参考文献： on Computer Vision.Santiago:IEEE,2015:4426-4434. [7]SNAVELY N,SEITZ S M,SZELISKI R.Photo tourism: [1]FELZENSZWALB P,MCALLESTER D,RAMANAN D.A exploring photo collections in 3D[J].ACM transactions on

图 ７ 本文基于 ＨＯＧ 特征的显著目标匹配算法结果和 Ｇｒｏｕｎｄ⁃Ｔｒｕｔｈ 对比图 Ｆｉｇ．７ Ｃｏｍｐａｒｉｓｏｎ ｏｆ Ｇｒｏｕｎｄ⁃Ｔｒｕｔｈ ａｎｄ ｏｂｊｅｃｔ ｍａｔｃｈｉｎｇ ｒｅｓｕｌｔｓ ｏｆ ｏｕｒ ｍｅｔｈｏｄ 表 １ 在 Ｐａｒｔｙ Ｓｃｅｎｅ 数据集上的实验结果对比 Ｔａｂｌｅ １ Ｃｏｍｐａｒｉｓｏｎ ｏｆ ｅｘｐｅｒｉｍｅｎｔａｌ ｒｅｓｕｌｔｓ ｏｎ Ｓｃｅｎｅ Ｐａｒ⁃ ｔｙ ｄａｔａ ｓｅｔｓ 目标 Ｐ Ｒ Ｆ Ａ 显著目标 ０．７７ ０．６１ ０．６８ ０．６１ 所有目标 ０．２８ ０．３９ ０．３３ ０．２１ ４ 结束语 本文对 ｍｕｌｔｉ⁃ｅｇｏｃｅｎｔｒｉｃ 视频中的多目标检测和 匹配进行了研究，提出了基于 ｂｏｏｓｔｉｎｇ 和局部相似 度的两步层进目标检测算法，综合多种检测模型的 优势以克服 Ｅｇｏｃｅｎｔｒｉｃ 视频中目标尺度差异明显和 视角时变性强给检测带来的干扰。 在显著目标检测 基础上，对不同视角中的显著目标构建基于 ＨＯＧ 特 征的 ＳＶＭ 分类器，实现多视角的多目标匹配，为后 期的群体分析、场景理解等高级视觉任务提供了前 期基础。 ｍｕｌｔｉ⁃ｅｇｏｃｅｎｔｒｉｃ 视频的处理和分析是一个 极具挑战的研究课题，在后续的研究工作中，将进一 步考虑融合局部相似度和全局相似度的显著目标区 域检测方法，同时多视角之间的运动关联和目标自 运动轨迹也是多视角视频分析中的重要线索。 参考文献： ［１］ＦＥＬＺＥＮＳＺＷＡＬＢ Ｐ， ＭＣＡＬＬＥＳＴＥＲ Ｄ， ＲＡＭＡＮＡＮ Ｄ． Ａ ｄｉｓｃｒｉｍｉｎａｔｉｖｅｌｙ ｔｒａｉｎｅｄ， ｍｕｌｔｉｓｃａｌｅ， ｄｅｆｏｒｍａｂｌｅ ｐａｒｔ ｍｏｄｅｌ ［Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ． Ａｎｃｈｏｒａｇｅ， ＡＫ： ＩＥＥＥ， ２００８： １⁃８． ［２ ］ ＢＯＵＲＤＥＶ Ｌ， ＭＡＬＩＫ Ｊ． Ｐｏｓｅｌｅｔｓ： ｂｏｄｙ ｐａｒｔ ｄｅｔｅｃｔｏｒｓ ｔｒａｉｎｅｄ ｕｓｉｎｇ ３ｄ ｈｕｍａｎ ｐｏｓｅ ａｎｎｏｔａｔｉｏｎｓ［Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２００９ ＩＥＥＥ １２ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔ⁃ ｅｒ Ｖｉｓｉｏｎ． Ｋｙｏｔｏ： ＩＥＥＥ， ２００９： １３６５⁃１３７２． ［３］ ＷＥＩＮＺＡＥＰＦＥＬ Ｐ， ＲＥＶＡＵＤ Ｊ， ＨＡＲＣＨＡＯＵＩ Ｚ， ｅｔ ａｌ． Ｌｅａｒｎｉｎｇ ｔｏ ｄｅｔｅｃｔ ｍｏｔｉｏｎ ｂｏｕｎｄａｒｉｅｓ［Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ２０１５ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ． Ｂｏｓｔｏｎ， ＭＡ： ＩＥＥＥ， ２０１５： ２５７８⁃２５８６． ［４］ ＫＵＭＡＲ Ｋ Ｓ， ＰＲＡＳＡＤ Ｓ， ＳＡＲＯＪ Ｐ Ｋ， ｅｔ ａｌ． Ｍｕｌｔｉｐｌｅ ｃａｍｅｒａｓ ｕｓｉｎｇ ｒｅａｌ ｔｉｍｅ ｏｂｊｅｃｔ ｔｒａｃｋｉｎｇ ｆｏｒ ｓｕｒｖｅｉｌｌａｎｃｅ ａｎｄ ｓｅｃｕｒｉｔｙ ｓｙｓｔｅｍ［Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２０１０ ３ｒｄ Ｉｎｔｅｒｎａ⁃ ｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｅｍｅｒｇｉｎｇ Ｔｒｅｎｄｓ ｉｎ Ｅｎｇｉｎｅｅｒｉｎｇ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ． Ｇｏａ： ＩＥＥＥ， ２０１０： ２１３⁃２１８． ［５ ］ ＳＯＯ ＰＡＲＫ Ｈ， ＳＨＩ Ｊｉａｎｂｏ． Ｓｏｃｉａｌ ｓａｌｉｅｎｃｙ ｐｒｅｄｉｃｔｉｏｎ ［Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ． Ｂｏｓｔｏｎ， ＭＡ： ＩＥＥＥ， ２０１５： ４７７７⁃４７８５． ［６］ＬＩＮ Ｙｕｅｗｅｉ， ＡＢＤＥＬＦＡＴＡＨ Ｋ， ＺＨＯＵ Ｙｏｕｊｉｅ， ｅｔ ａｌ． Ｃｏ⁃ ｉｎｔｅｒｅｓｔ ｐｅｒｓｏｎ ｄｅｔｅｃｔｉｏｎ ｆｒｏｍ ｍｕｌｔｉｐｌｅ ｗｅａｒａｂｌｅ ｃａｍｅｒａ ｖｉｄ⁃ ｅｏｓ［Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ． Ｓａｎｔｉａｇｏ： ＩＥＥＥ， ２０１５： ４４２６⁃４４３４． ［７］ ＳＮＡＶＥＬＹ Ｎ， ＳＥＩＴＺ Ｓ Ｍ， ＳＺＥＬＩＳＫＩ Ｒ． Ｐｈｏｔｏ ｔｏｕｒｉｓｍ： ｅｘｐｌｏｒｉｎｇ ｐｈｏｔｏ ｃｏｌｌｅｃｔｉｏｎｓ ｉｎ ３Ｄ［ Ｊ］． ＡＣＭ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ 第 ５ 期 李龙，等：一种鲁棒的 Ｍｕｌｔｉ⁃Ｅｇｏｃｅｎｔｒｉｃ 视频中的多目标检测及匹配算法 ·６２５·

·626. 智能系统学报 第11卷 graphics(T0G),2006,25(3):835-846. [14]ZHU Wangjiang,LIANG Shuang,WEI Yichen,et al.Sa- [8]YONETANI R,KITANI K M,SATO Y.Ego-surfing first liency optimization from robust background detection[C]// person videos[C]//Proceedings of 2015 IEEE Conference Proceedings of 2014 IEEE Conference on Computer Vision on Computer Vision and Pattern Recognition.Boston,MA: and Pattern Recognition.Columbus,OH:IEEE,2014: EEE,2015:5445-5454. 2814-2821. [9]FREUND Y,SCHAPIRE R.A short introduction to boosting 作者简介： [J].Journal of Japanese society for artificial intelligence, 李龙，男，1982年生，硕士研究生， 1999,14(5):771-780. 主要研究方向为图像处理与计算机 [10]HE Kaiming,ZHANG Xiangyu,REN Shaoqing,et al. 视觉。 Spatial pyramid pooling in deep convolutional networks for visual recognition M ]//FLEET D,PAJDLA T. SCHIELE B,et al.Computer Vision-ECCV 2014.Switzer- land:Springer International Publishing,2014:346-361. [11]LAZEBNIK S,SCHMID C.PONCE J.Beyond bags of fea- 尹辉，女，1972年生，副教授，博士 tures:spatial pyramid matching for recognizing natural 生导师，主要研究方向为计算机视觉、 scene categories[C]//Proceedings of 2006 IEEE Comput- 模式识别以及神经计算。 er Society Conference on Computer Vision and Pattern Recognition.New York,NY,USA:IEEE,2006,2: 2169-2178. [12]BURGES C J C.A tutorial on support vector machines for pattern recognition[].Data mining and knowledge discov- 许宏丽.女，1963年生，教授，主要 ey,1998,2(2):121-167. 研究方向为计算机技术、机器学习以及 [13]DALAL N,TRIGGS B.Histograms of oriented gradients for 认知计算。 human detection[C]//Proceedings of IEEE Computer So- ciety Conference on Computer Vision and Pattern Recogni- tion.San Diego,CA,USA:IEEE,2005,1:886-893

ｇｒａｐｈｉｃｓ （ＴＯＧ）， ２００６， ２５（３）： ８３５⁃８４６． ［８］ ＹＯＮＥＴＡＮＩ Ｒ， ＫＩＴＡＮＩ Ｋ Ｍ， ＳＡＴＯ Ｙ． Ｅｇｏ⁃ｓｕｒｆｉｎｇ ｆｉｒｓｔ ｐｅｒｓｏｎ ｖｉｄｅｏｓ［Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ２０１５ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ． Ｂｏｓｔｏｎ， ＭＡ： ＩＥＥＥ， ２０１５： ５４４５⁃５４５４． ［９］ＦＲＥＵＮＤ Ｙ， ＳＣＨＡＰＩＲＥ Ｒ． Ａ ｓｈｏｒｔ ｉｎｔｒｏｄｕｃｔｉｏｎ ｔｏ ｂｏｏｓｔｉｎｇ ［Ｊ］． Ｊｏｕｒｎａｌ ｏｆ Ｊａｐａｎｅｓｅ ｓｏｃｉｅｔｙ ｆｏｒ ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ， １９９９， １４（５）： ７７１⁃７８０． ［１０］ ＨＥ Ｋａｉｍｉｎｇ， ＺＨＡＮＧ Ｘｉａｎｇｙｕ， ＲＥＮ Ｓｈａｏｑｉｎｇ， ｅｔ ａｌ． Ｓｐａｔｉａｌ ｐｙｒａｍｉｄ ｐｏｏｌｉｎｇ ｉｎ ｄｅｅｐ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋｓ ｆｏｒ ｖｉｓｕａｌ ｒｅｃｏｇｎｉｔｉｏｎ ［ Ｍ ］ ／ ／ ＦＬＥＥＴ Ｄ， ＰＡＪＤＬＡ Ｔ， ＳＣＨＩＥＬＥ Ｂ， ｅｔ ａｌ． Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ⁃ＥＣＣＶ ２０１４． Ｓｗｉｔｚｅｒ⁃ ｌａｎｄ： Ｓｐｒｉｎｇｅｒ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｐｕｂｌｉｓｈｉｎｇ， ２０１４： ３４６⁃３６１． ［１１］ＬＡＺＥＢＮＩＫ Ｓ， ＳＣＨＭＩＤ Ｃ， ＰＯＮＣＥ Ｊ． Ｂｅｙｏｎｄ ｂａｇｓ ｏｆ ｆｅａ⁃ ｔｕｒｅｓ： ｓｐａｔｉａｌ ｐｙｒａｍｉｄ ｍａｔｃｈｉｎｇ ｆｏｒ ｒｅｃｏｇｎｉｚｉｎｇ ｎａｔｕｒａｌ ｓｃｅｎｅ ｃａｔｅｇｏｒｉｅｓ［Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ２００６ ＩＥＥＥ Ｃｏｍｐｕｔ⁃ ｅｒ Ｓｏｃｉｅｔｙ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ． Ｎｅｗ Ｙｏｒｋ， ＮＹ， ＵＳＡ： ＩＥＥＥ， ２００６， ２： ２１６９⁃２１７８． ［１２］ＢＵＲＧＥＳ Ｃ Ｊ Ｃ． Ａ ｔｕｔｏｒｉａｌ ｏｎ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅｓ ｆｏｒ ｐａｔｔｅｒｎ ｒｅｃｏｇｎｉｔｉｏｎ［Ｊ］． Ｄａｔａ ｍｉｎｉｎｇ ａｎｄ ｋｎｏｗｌｅｄｇｅ ｄｉｓｃｏｖ⁃ ｅｒｙ， １９９８， ２（２）： １２１⁃１６７． ［１３］ＤＡＬＡＬ Ｎ， ＴＲＩＧＧＳ Ｂ． Ｈｉｓｔｏｇｒａｍｓ ｏｆ ｏｒｉｅｎｔｅｄ ｇｒａｄｉｅｎｔｓ ｆｏｒ ｈｕｍａｎ ｄｅｔｅｃｔｉｏｎ［Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏ⁃ ｃｉｅｔｙ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉ⁃ ｔｉｏｎ． Ｓａｎ Ｄｉｅｇｏ， ＣＡ， ＵＳＡ： ＩＥＥＥ， ２００５， １： ８８６⁃８９３． ［１４］ＺＨＵ Ｗａｎｇｊｉａｎｇ， ＬＩＡＮＧ Ｓｈｕａｎｇ， ＷＥＩ Ｙｉｃｈｅｎ， ｅｔ ａｌ． Ｓａ⁃ ｌｉｅｎｃｙ ｏｐｔｉｍｉｚａｔｉｏｎ ｆｒｏｍ ｒｏｂｕｓｔ ｂａｃｋｇｒｏｕｎｄ ｄｅｔｅｃｔｉｏｎ［Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ２０１４ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ． Ｃｏｌｕｍｂｕｓ， ＯＨ： ＩＥＥＥ， ２０１４： ２８１４⁃２８２１． 作者简介： 李龙，男，１９８２ 年生，硕士研究生， 主要研究方向为图像处理与计算机 视觉。 尹辉，女，１９７２ 年生，副教授，博士 生导师，主要研究方向为计算机视觉、 模式识别以及神经计算。 许宏丽，女，１９６３ 年生， 教授，主要 研究方向为计算机技术、机器学习以及 认知计算。 ·６２６· 智 能 系 统 学 报 第 １１ 卷