【机器学习】一种基于Multi-Egocentric视频运动轨迹重建的多目标跟踪算法

第14卷第2期 智能系统学报 Vol.14 No.2 2019年3月 CAAI Transactions on Intelligent Systems Mar.2019 D0:10.11992/tis.201709003 网络出版地址：http:/kns.cnki.net/kcms/detail/23.1538.tp.20180417.1832.013.html 一种基于Multi-Egocentric视频运动轨迹重建的 多目标跟踪算法 欧伟奇2，尹辉2，许宏丽2，刘志浩2 (1.北京交通大学计算机与信息技术学院，北京100044,2.北京交通大学交通数据分析与挖掘北京市重点实 验室，北京100044) 摘要：Egocentric视频具有目标运动剧烈、遮挡频繁、目标尺度差异明显及视角时变性强的特点，给目标跟踪 任务造成了极大的困难。本文从重建不同视角Egocentric视频中各目标的运动轨迹出发，提出一种基于Multi-- Egocentric视频运动轨迹重建的多目标跟踪算法，该方法基于多视角同步帧之间的单应性约束解决目标遮挡和 丢失问题，然后根据多视角目标空间位置约束关系通过轨迹重建进一步优化目标定位，并采用卡尔曼滤波构建 目标运动模型优化目标运动轨迹，在BJMOT、EPLF-campus4数据集上的对比实验验证了本文算法在解决 Multi--Egocentric视频多目标跟踪轨迹不连续问题的有效性。 关键词：Multi-egocentric视频；轨迹重建；多目标跟踪；单应性约束；对极几何约束；空间重构；卡尔曼滤波：运动 模型 中图分类号：TP391.4文献标志码：A文章编号：1673-4785(2019)02-0246-08 中文引用格式：欧伟奇，尹辉，许宏丽，等.一种基于Multi-Egocentric视频运动轨迹重建的多目标跟踪算法J.智能系统学报， 2019,14(2):246-253. 英文引用格式：OU Weiqi,.YIN Hui,XU Hongli,etal.A multi-object tracking algorithm based on trajectory reconstruction on multi-egocentric videoJl.CAAI transactions on intelligent systems,2019,14(2):246-253. A multi-object tracking algorithm based on trajectory reconstruction on multi-egocentric video OU Weiqi2,YIN Hui2,XU Hongli2,LIU Zhihao2 (1.Department of Computer and Information Technology,Beijing Jiaotong University,Beijing 100044,China;2.Beijing Key Lab of Transportation Data Analysis and Mining,Beijing Jiaotong University,Beijing 100044,China) Abstract:In egocentric video,objects have the characteristics of violent motion,frequent occlusion,so it brings much trouble to carrying out the tracking task.In this paper,we propose a multi-object tracking algorithm based on the mo- tion trajectory reconstruction of multi-egocentric video from different visual angles egocentric videos.First,this method is based on the homographic constraint of multi-view synch frames to fix position of occluded and missing object. Second,using the relative position constraint relation of multi-angle target,the trajectory is reconstructed to locate the target position.Meanwhile,the trajectory of the object is optimized by constructing the motion model of object.Then the continuous trajectory of the object is obtained and the problem of the discontinuity trajectory in multi-object track- ing is resolved.In the end,the performance of proposed method has been verified by using the multi-view video dataset which is created by us. Keywords:Multi-Egocentric video;trajectory reconstruction;multi-object tracking;homographic constraint;epipolar geometry constraint;spatial reconstruction;Kalman filter;motion model 收稿日期：2017-09-05.网络出版日期：2018-04-18. 目标跟踪是计算机视觉重要研究领域之一， 基金项目：国家自然科学基金项目(61472029,61473031)：科技 部国家重点研发计划项目(2017NFB1201104,2016YFB 在智能交通、运动分析、行为识别、人机交互四等 I200100):中央高校基本科研业务费专项资金项目 (2016JBZ005). 方面具有广泛应用。随着可穿戴式相机的普及， 通信作者：尹辉.E-mail:hyin@bjtu.edu.cn. 基于Egocentric视频的目标跟踪引起研究人员的

DOI: 10.11992/tis.201709003 网络出版地址: http://kns.cnki.net/kcms/detail/23.1538.tp.20180417.1832.013.html 一种基于 Multi-Egocentric 视频运动轨迹重建的 多目标跟踪算法 欧伟奇1,2，尹辉1,2，许宏丽1,2，刘志浩1,2 （1. 北京交通大学 计算机与信息技术学院，北京 100044; 2. 北京交通大学 交通数据分析与挖掘北京市重点实 验室，北京 100044） 摘 要：Egocentric 视频具有目标运动剧烈、遮挡频繁、目标尺度差异明显及视角时变性强的特点，给目标跟踪 任务造成了极大的困难。本文从重建不同视角 Egocentric 视频中各目标的运动轨迹出发，提出一种基于 Multi￾Egocentric 视频运动轨迹重建的多目标跟踪算法，该方法基于多视角同步帧之间的单应性约束解决目标遮挡和 丢失问题，然后根据多视角目标空间位置约束关系通过轨迹重建进一步优化目标定位，并采用卡尔曼滤波构建 目标运动模型优化目标运动轨迹，在 BJMOT、EPLF-campus4 数据集上的对比实验验证了本文算法在解决 Multi-Egocentric 视频多目标跟踪轨迹不连续问题的有效性。 关键词：Multi-egocentric 视频；轨迹重建；多目标跟踪；单应性约束；对极几何约束；空间重构；卡尔曼滤波；运动 模型 中图分类号：TP391.4 文献标志码：A 文章编号：1673−4785(2019)02−0246−08 中文引用格式：欧伟奇, 尹辉, 许宏丽, 等. 一种基于 Multi-Egocentric 视频运动轨迹重建的多目标跟踪算法[J]. 智能系统学报, 2019, 14(2): 246–253. 英文引用格式：OU Weiqi, YIN Hui, XU Hongli, et al. A multi-object tracking algorithm based on trajectory reconstruction on multi-egocentric video[J]. CAAI transactions on intelligent systems, 2019, 14(2): 246–253. A multi-object tracking algorithm based on trajectory reconstruction on multi-egocentric video OU Weiqi1,2 ，YIN Hui1,2 ，XU Hongli1,2 ，LIU Zhihao1,2 (1. Department of Computer and Information Technology, Beijing Jiaotong University, Beijing 100044, China; 2. Beijing Key Lab of Transportation Data Analysis and Mining, Beijing Jiaotong University, Beijing 100044, China) Abstract: In egocentric video, objects have the characteristics of violent motion, frequent occlusion, so it brings much trouble to carrying out the tracking task. In this paper, we propose a multi-object tracking algorithm based on the mo￾tion trajectory reconstruction of multi-egocentric video from different visual angles egocentric videos. First, this method is based on the homographic constraint of multi-view synch frames to fix position of occluded and missing object. Second, using the relative position constraint relation of multi-angle target, the trajectory is reconstructed to locate the target position. Meanwhile, the trajectory of the object is optimized by constructing the motion model of object. Then the continuous trajectory of the object is obtained and the problem of the discontinuity trajectory in multi-object track￾ing is resolved. In the end, the performance of proposed method has been verified by using the multi-view video dataset which is created by us. Keywords: Multi-Egocentric video; trajectory reconstruction; multi-object tracking; homographic constraint; epipolar geometry constraint; spatial reconstruction; Kalman filter; motion model 目标跟踪是计算机视觉重要研究领域之一， 在智能交通、运动分析、行为识别、人机交互[1]等 方面具有广泛应用。随着可穿戴式相机的普及， 基于 Egocentric 视频的目标跟踪引起研究人员的 收稿日期：2017−09−05. 网络出版日期：2018−04−18. 基金项目：国家自然科学基金项目 (61472029，61473031)；科技 部国家重点研发计划项目 (2017YFB1201104，2016YFB 1200100)；中央高校基本科研业务费专项资金项目 (2016JBZ005). 通信作者：尹辉. E-mail：hyin@bjtu.edu.cn. 第 14 卷第 2 期 智 能 系 统 学 报 Vol.14 No.2 2019 年 3 月 CAAI Transactions on Intelligent Systems Mar. 2019

第2期 欧伟奇，等：一种基于Multi-Egocentric视频运动轨迹重建的多目标跟踪算法 ·247· 极大兴趣。由于单视角视野有限，当相机剧烈晃 根据所有粒子的权重，利用蒙特卡洛序列方法确 动时易造成目标丢失以至于跟踪轨迹的不连续性 定状态的后验概率，对跟踪过程中噪声具有一定 问题，无法进行全方位的跟踪。Multi-Egocentric 的鲁棒性。Bae等o以及Dicle等跟据轨迹片段 视频是由多个处于同一场景中的穿戴式或手持式 的置信度进行轨迹关联实现多目标跟踪，但由于 相机所拍摄的不同视角、不同运动轨迹的视频。 目标轨迹不连续，容易造成短时间的目标误匹配 多视角跟踪由于视野范围更大，视角丰富，能够 问题。Xiang等2l通过构造马尔可夫决策过程求 根据多视角信息有效跟踪目标。相对多固定视角 取最优策略的方法来预测目标下一刻状态。上述 视频的跟踪任务，Multi-.Egocentric视角随拍摄者 算法一定程度上能够解决运动视角下目标的鲁棒 移动，一方面带有Egocentric视频背景变化剧烈、 性跟踪问题，但对于视角时变性强的Multi--ego 目标尺度差异明显和视角时变性强的特点，另一 centric视频，容易因目标运动不连续性造成跟踪 方面由于继承了拍摄者的关注兴趣，能以更好的 失败。近年来深度学习方法在目标跟踪领域也有 视角拍摄所关注的目标，同时多样化的视角为解 广泛应用，其中MDNet算法采用共享层和特定 决遮挡、漂移等问题提供了更为丰富的线索。 层相结合的深度模型进行目标跟踪，该方法具有 目前大多数跟踪算法致力于解决单个Egocen- 很好的鲁棒性和适应性，但对多目标跟踪具有局 tic视角或多个固定视角中存在的目标遮挡、跟踪 限性。 漂移等问题。为了进行鲁棒的目标跟踪，Xu等 针对Multi--egocentric视频的特点，本文从目 基于目标表面模型和运动模型，提出层次轨迹关 标空间几何关系约束的角度出发，并结合卡尔曼 联模型构建有向无环图解决固定多视角下轨迹片 滤波算法，提出一种基于运动轨迹重建的多目标 段关联问题，将其应用于Multi-Egocentric视频鲁 跟踪算法。与以上算法相比，本文算法通过轨迹 棒性较差，无法解决目标不连续性问题。Fleuret 重建可以有效解决Multi--egocentric视频中运动目 等将颜色、纹理和运动信息3个特征相结合建 标轨迹不连续的问题。 立目标模型，并通过目标之间的相对位置对目标 进行定位，能够有效解决多固定视角下目标遮挡 1基于运动轨迹重建的多目标跟踪 问题，但是将其应用于Multi-Egocentric视频跟踪 本文针对Multi--egocentric视频的特点，提出 任务中，背景变化烈情况会对跟踪结果造成很 大影响，常出现轨迹误匹配问题。另外，XMi等 一种基于运动轨迹重建的多目标跟踪算法，算法 提出的稀疏表示算法采用稀疏线性表示的方法使 流程如图1所示。该算法利用多视角之间目标位 跟踪器可以应对光照变化、遮挡等问题。在线多 置和运动轨迹的几何约束关系降低了目标定位 示例学习算法使用图像块的集合表示目标，使 误差、目标跟踪漂移以及轨迹不连续等对多目标 得跟踪器在目标经历光照变化和遮挡时可以有效 跟踪造成的影响，并在Multi--Egocentric视频数据 地跟踪目标。Yuxia Wang等采用粒子滤波方 集和多固定视角数据集上验证了本文算法的有 法，基于贝叶斯滤波理论，解决状态估计问题，再 效性。 输入视频 目标检测 单应性几何约束下的初始位置估计 跟踪结果 单应性矩阵 视1 视频1 视频1 对极几何约束下的位置估计 相机1 基于空间位置 关系的目标区 域位置融合 同步帧 同步帧 同步帧 目标位： 目标位 目标位 置估计 置估计 置估计 视颜n 视颜n 相机n 视频n 卡尔曼滤波状态更新 图1基于运动轨迹重建的多目标跟踪算法流程 Fig.1 Flow chart of multi-target tracking algorithm based on trajectory reconstruction

极大兴趣。由于单视角视野有限，当相机剧烈晃 动时易造成目标丢失以至于跟踪轨迹的不连续性 问题，无法进行全方位的跟踪。Multi-Egocentric 视频是由多个处于同一场景中的穿戴式或手持式 相机所拍摄的不同视角、不同运动轨迹的视频。 多视角跟踪由于视野范围更大，视角丰富，能够 根据多视角信息有效跟踪目标。相对多固定视角 视频的跟踪任务，Multi-Egocentric 视角随拍摄者 移动，一方面带有 Egocentric 视频背景变化剧烈、 目标尺度差异明显和视角时变性强的特点，另一 方面由于继承了拍摄者的关注兴趣，能以更好的 视角拍摄所关注的目标，同时多样化的视角为解 决遮挡、漂移等问题提供了更为丰富的线索。 目前大多数跟踪算法致力于解决单个 Egocen￾tric 视角或多个固定视角中存在的目标遮挡、跟踪 漂移等问题[2-5]。为了进行鲁棒的目标跟踪，Xu 等 [4] 基于目标表面模型和运动模型，提出层次轨迹关 联模型构建有向无环图解决固定多视角下轨迹片 段关联问题，将其应用于 Multi-Egocentric 视频鲁 棒性较差，无法解决目标不连续性问题。Fleuret 等 [6]将颜色、纹理和运动信息 3 个特征相结合建 立目标模型，并通过目标之间的相对位置对目标 进行定位，能够有效解决多固定视角下目标遮挡 问题，但是将其应用于 Multi-Egocentric 视频跟踪 任务中，背景变化剧烈情况会对跟踪结果造成很 大影响，常出现轨迹误匹配问题。另外，X.Mei 等 [7] 提出的稀疏表示算法采用稀疏线性表示的方法使 跟踪器可以应对光照变化、遮挡等问题。在线多 示例学习算法[8]使用图像块的集合表示目标，使 得跟踪器在目标经历光照变化和遮挡时可以有效 地跟踪目标。Yuxia Wang 等 [9]采用粒子滤波方 法，基于贝叶斯滤波理论，解决状态估计问题，再 根据所有粒子的权重，利用蒙特卡洛序列方法确 定状态的后验概率，对跟踪过程中噪声具有一定 的鲁棒性。Bae 等 [10]以及 Dicle 等 [11]跟据轨迹片段 的置信度进行轨迹关联实现多目标跟踪，但由于 目标轨迹不连续，容易造成短时间的目标误匹配 问题。Xiang 等 [12]通过构造马尔可夫决策过程求 取最优策略的方法来预测目标下一刻状态。上述 算法一定程度上能够解决运动视角下目标的鲁棒 性跟踪问题，但对于视角时变性强的 Multi-ego￾centric 视频，容易因目标运动不连续性造成跟踪 失败。近年来深度学习方法在目标跟踪领域也有 广泛应用，其中 MDNet 算法[13]采用共享层和特定 层相结合的深度模型进行目标跟踪，该方法具有 很好的鲁棒性和适应性，但对多目标跟踪具有局 限性。 针对 Multi-egocentric 视频的特点，本文从目 标空间几何关系约束的角度出发，并结合卡尔曼 滤波算法，提出一种基于运动轨迹重建的多目标 跟踪算法。与以上算法相比，本文算法通过轨迹 重建可以有效解决 Multi-egocentric 视频中运动目 标轨迹不连续的问题。 1 基于运动轨迹重建的多目标跟踪 本文针对 Multi-egocentric 视频的特点，提出 一种基于运动轨迹重建的多目标跟踪算法，算法 流程如图 1 所示。该算法利用多视角之间目标位 置和运动轨迹的几何约束关系降低了目标定位 误差、目标跟踪漂移以及轨迹不连续等对多目标 跟踪造成的影响，并在 Multi-Egocentric 视频数据 集和多固定视角数据集上验证了本文算法的有 效性。 基于空间位置 关系的目标区 域位置融合 视频 1 跟踪结果 视频 n 视频 1 输入视频 视频 n 视频 1 目标检测 单应性几何约束下的初始位置估计 单应性矩阵 相机 1 相机 n 对极几何约束下的位置估计 卡尔曼滤波状态更新 同步帧 目标位 置估计 同步帧 目标位 置估计 同步帧 目标位 置估计 输 入 视频 n f j i f j i′ … … … … … … … 图 1 基于运动轨迹重建的多目标跟踪算法流程 Fig. 1 Flow chart of multi-target tracking algorithm based on trajectory reconstruction 第 2 期 欧伟奇，等：一种基于 Multi-Egocentric 视频运动轨迹重建的多目标跟踪算法 ·247·

·248· 智能系统学报 第14卷 与单视角目标跟踪算法不同，多视角目标跟 针对这种问题，本文基于具有重叠视野区域 踪可以利用多视角之间目标位置的关联关系优化 的视角之间存在平面上的单应性约束关系，利 目标定位；本文提出基于运动轨迹重建的Multi-- 用多个视角之间目标的相对位置，根据Camera Egocentric视频多目标跟踪算法，首先在目标检测 第j帧f∥中的目标轨迹点来估计Camera,第j帧f的 基础上，通过求解不同视角间单应性约束解决同 目标所在位置。算法具体描述和实现如算法1所示。 一时刻目标的遮挡和丢失问题，然后基于多视角 算法1多视角单应性约束下的目标位置估计 轨迹立体重建算法进行目标定位估计，最后结合 输入l)Camera,.第j帧f、Camera,第j帧f、 卡尔曼滤波的状态更新实现基于空间位置关系的 中被遮挡目标k在f中的轨迹点坐标； 目标区域位置融合，得到最佳的目标跟踪结果。 1.1多视角辅助下的目标初始位置估计 2)f的目标所在位置： 设f为视角(=1,2，，n)第j帧图像，其中包含 3)采用SIFT角点检测算法对f∥和f两帧提取 m个目标P,其中k=1,2,…,m,B表示目标检测在 地面特征点，得到匹配点集合P和P: f的检测框集合，B=bk=1,2,…,m,b={x,y 4)利用匹配点构建方程(2)，并利用RANSAC ,}表示第k个目标的Bounding Box,其中 算法剔除误匹配，点求解单应性矩阵： 、、分别表示b的左上角横坐标、左上 P=HP (2) 角纵坐标、右下角横坐标、右下角纵坐标，设作 式中：H为3×3的单应性矩阵。 为检测结果中目标k在视角第帧的轨迹点： 5)根据式(2)把代入求得f中被遮挡目标 t=[,0+)/2] (1) k所在位置： 由于Egocentric视频视角时变性的特点，移动 输出的目标所在位置 视角因剧烈晃动或平移等因素造成单个视角中目 通过不同视角同一时刻目标之间存在的单应 标消失等运动轨迹的不连续性问题。如图2所 性约束关系可以对遮挡和丢失目标进行重新定 示，箭头指示两个视角下的相同目标所在位置。 位，从而解决单个视角中目标的遮挡和丢失问 从Camera,视角方向来看，两个目标在同一个方 题。同时由于特征点的检测和匹配误差使得单应 向造成目标遮挡，而Camera,的视角中各目标无遮 性约束只能粗定位遮挡和丢失的目标，因此本文 挡问题。如图3所示，左右两视角都向两边移动 通过多视角轨迹重建进一步优化目标位置估计。 时，造成单个视角只检测到部分目标，右侧扩充 1.2多视角轨迹重建位置估计 区域是对单个视角的视野范围的扩充，用于显示 多视角轨迹重建位置估计是根据不同视角同 目标之间的相对位置关系。以上两种情况都会因 目标丢失导致某些视角跟踪失败。 时刻帧目标的像素坐标对应位置关系做空间约 束进一步对目标进行定位。根据不同视角同步帧 之间重叠视野区域特征点的对应关系采用立体视 Camera, 觉三维重建算法实现同步帧目标位置估计。立体 重 视觉三维算法示意图如图4所示，相机采用张正 视野 区域 友标定法i获得Camera,内参矩阵K,和Camera,内 参矩阵K,然后分别提取∥和f之间重叠区域的 匹配点集合P和P,由单应性约束得： 图2多视角中目标之间相互遮挡示意图 (P)TEP!=0 (3) Fig.2 Multi-view of the occlusion between targets Ei=(K)TFi Kr (4) 利用PnPI刀和RANSAC算法求出基础矩阵 Camera F和本质矩阵E;当f中目标k在Camera,中没 重叠 视野扩充 有对应位置，把目标轨迹点4代入式(3)可以求 区域区域 解目标在f}中的扩展匹配坐标位置：，并把和 分别加入P和P。对E作SVD分解，可得 Camera,相对于Camera,的旋转矩阵R和平移向量 图3多视角移动造成目标丢失示意图 Fig.3 Multi-view movement causes the target to lose the T。然后计算得到目标轨迹点的三维空间坐标位 sketch map 置集合S={5k=1,2,…,mo

与单视角目标跟踪算法不同，多视角目标跟 踪可以利用多视角之间目标位置的关联关系优化 目标定位；本文提出基于运动轨迹重建的 Multi￾Egocentric 视频多目标跟踪算法，首先在目标检测 基础上，通过求解不同视角间单应性约束解决同 一时刻目标的遮挡和丢失问题，然后基于多视角 轨迹立体重建算法进行目标定位估计，最后结合 卡尔曼滤波的状态更新实现基于空间位置关系的 目标区域位置融合，得到最佳的目标跟踪结果。 1.1 多视角辅助下的目标初始位置估计 f j i i i j m Pk ,其中k = 1,2,··· ,m B j i f j i B j i = {b j ik|k = 1,2,··· ,m} b j ik = {x j ik, y j ik, x˜ j ik, y˜ j ik} k x j ik、y j ik、x˜ j ik、y˜ j ik b j ik t j ik k i j 设 为视角 ( =1,2,···,n) 第 帧图像，其中包含 个目标 ， 表示目标检测在 的检测框集合， ， 表示第 个目标 的 Bounding Box ，其中 分别表示 的左上角横坐标、左上 角纵坐标、右下角横坐标、右下角纵坐标，设 作 为检测结果中目标 在视角 第 帧的轨迹点： t j ik = [ ˜x j ik,(y j ik+y˜ j ik)/2] (1) 由于 Egocentric 视频视角时变性的特点，移动 视角因剧烈晃动或平移等因素造成单个视角中目 标消失等运动轨迹的不连续性问题。如图 2 所 示，箭头指示两个视角下的相同目标所在位置。 从 Camerai 视角方向来看，两个目标在同一个方 向造成目标遮挡，而 Camerai'的视角中各目标无遮 挡问题。如图 3 所示，左右两视角都向两边移动 时，造成单个视角只检测到部分目标，右侧扩充 区域是对单个视角的视野范围的扩充，用于显示 目标之间的相对位置关系。以上两种情况都会因 目标丢失导致某些视角跟踪失败。 j f j i j f j i ′ 针对这种问题，本文基于具有重叠视野区域 的视角之间存在平面上的单应性约束关系[14] ，利 用多个视角之间目标的相对位置，根据 Camerai 第 帧 中的目标轨迹点来估计 Camerai'第 帧 的 目标所在位置。算法具体描述和实现如算法 1 所示。 算法 1 多视角单应性约束下的目标位置估计 j f j i j f j i ′ f j i ′ f j i t j ik 输入 1) Camerai 第 帧 、Camerai'第 帧 、 中被遮挡目标 k 在 中的轨迹点坐标 ； f j i ′ t j i ′k 2) 的目标所在位置 ； f j i f j i ′ P j i P j i ′ 3) 采用 SIFT 角点检测算法对 和 两帧提取 地面特征点，得到匹配点集合 和 ； 4) 利用匹配点构建方程 (2)，并利用 RANSAC[15] 算法剔除误匹配点求解单应性矩阵； P j i = HPj i ′ (2) 式中： H 为 3×3 的单应性矩阵。 t j ik f j i ′ k t j i ′k 5) 根据式 (2) 把 代入求得 中被遮挡目标 所在位置 ； f j i ′ t j i ′ 输出 的目标所在位置 k 通过不同视角同一时刻目标之间存在的单应 性约束关系可以对遮挡和丢失目标进行重新定 位，从而解决单个视角中目标的遮挡和丢失问 题。同时由于特征点的检测和匹配误差使得单应 性约束只能粗定位遮挡和丢失的目标，因此本文 通过多视角轨迹重建进一步优化目标位置估计。 1.2 多视角轨迹重建位置估计 i Ki Ki ′ f j i f j i ′ P j i P j i ′ 多视角轨迹重建位置估计是根据不同视角同 一时刻帧目标的像素坐标对应位置关系做空间约 束进一步对目标进行定位。根据不同视角同步帧 之间重叠视野区域特征点的对应关系采用立体视 觉三维重建算法实现同步帧目标位置估计。立体 视觉三维算法示意图如图 4 所示，相机 采用张正 友标定法[16]获得 Camerai 内参矩阵 和 Camerai'内 参矩阵 ，然后分别提取 和 之间重叠区域的 匹配点集合 和 ，由单应性约束得： (P j i ) TF j i,i ′ P j i ′ = 0 (3) E j i,i ′ = (Ki) TF j i,i ′Ki ′ (4) F j i,i ′ E j i,i ′ f j i f j i t j ik f j i ′ t j i ′′k t j ik t j i ′′k P j i P j i ′ E j i,i ′ R j i T j i S j i = {s j ik|k = 1,2,··· ,m} 利用 PnP[17]和 RANSAC 算法求出基础矩阵 和本质矩阵 ；当 中目标 k 在 Camerai'中没 有对应位置，把 目标轨迹点 代入式 (3) 可以求 解目标在 中的扩展匹配坐标位置 ，并把 和 分别加入 和 。 对 作 S VD 分解，可 得 Camerai'相对于 Camerai 的旋转矩阵 和平移向量 。然后计算得到目标轨迹点的三维空间坐标位 置集合 。 Z X Camerai P1 Y Camerai′ 重叠 视野 区域 P2 图 2 多视角中目标之间相互遮挡示意图 Fig. 2 Multi-view of the occlusion between targets X Z Y Camerai P1 Camerai′ 重叠 视野 区域 扩充 区域 扩充 区域 P2 图 3 多视角移动造成目标丢失示意图 Fig. 3 Multi-view movement causes the target to lose the sketch map ·248· 智 能 系 统 学 报 第 14 卷

第2期 欧伟奇，等：一种基于Multi-Egocentric视频运动轨迹重建的多目标跟踪算法 ·249· 目标1，目标2，…，目标m 最优估计值。 PnP+RANSAC] 各匹配点 14基于空间位置关系的目标区域位置融合 基础矩阵了 由以上3个部分的结果，结合单应性约束目 标位置估计结果，多视角轨迹重建估计结果和 相机旋转矩阵R和 amera. 2D 平移矩阵T 卡尔曼滤波当前时刻的最优估计值，求解目标 2) k在j时刻的最优位置0： 相机坐标X 0=w+w2+w (7) 世界坐标x,y乙☑团 1+2+=1 式中w、2和分别表示b以、和s的权重。 图4同步帧目标位置估计算法图 Fig.4 Sketch map of synchronous frame target location 2实验结果与分析 estimation algorithm 由上述方法得到目标三维坐标S,再根据像 本文提出的基于Multi--Egocentric视频运动轨 素坐标与相机坐标之间的关系，把三维跟踪轨迹 迹重建的多目标跟踪算法是针对Multi--Egocentric 转换成像素坐标系中的二维坐标S。多视角轨迹 视频的，目前尚无针对此任务的公开评价数据 重建利用不同视角同步帧的目标空间位置一致性 集，为了验证算法的有效性，设计并拍摄了针对 对同步帧目标位置进行了优化，下一步利用同一 多目标跟踪任务的Multi-Egocentric视频数据集 视角的运动连续性对目标位置进行跟踪。 BMOT。由于数据集采集规模所限，该视频数据 1.3基于轨迹重建的多目标跟踪 集包含两个视角的视频，由两个拍摄者佩戴相同 设置目标的运动状态参数为某一帧目标的位 规格的运动相机拍摄，场景中有两个以上的自由 置和速度。定义卡尔曼滤波1第k个目标在j时 运动目标，各视频经同步后，每个视频时长为45s, 刻状态是一个四维向量r()=(px,Py,), 帧率为每秒25帧，并从每个视频各提取220帧进 pr,x,Py,y分别表示目标在x轴和y轴上的位 行了人工标注作为ground-truth。同时为了验证本 置和速度，设单位时间T内假设目标是匀速运 文算法的适应性，还在固定多视角的数据集EPLF 动、初始位置为s、初始速度设为0、T(O)=(m campus44进行了跟踪实验，表1为两个数据集的 0,m,O)T;其中下一步预测方程为 相关信息。 -=Aut+Bc+w (5) 表1实验采用的数据集 式中：为目标k在第j-1时刻到j时刻的先验 Table 1 Experimental data sets information 状态估计；为在第j-1时刻的后验状态估计； 数据集 视角特征帧数 视角 c~为第j-1时刻的控制输入；w为第j-1时刻的 BJMOT 移动视角222 Camera1;Camera2 激励噪声；A为状态转移矩阵；B为系统控制矩 EPLF-campus4 固定视角20 1 Camera1:Camera 阵。定义状态转移矩阵A为 [1T001 本文采用的目标检测方法为ACF算法1咧，并 0 10 0 将算法与MDP算法2和CMOT算法I进行了对 0 01T 比说明。实验评价指标采用中心位置误差和重 0 001 叠率两种度量方式。中心位置误差是跟踪结果 由系统方程和观测状态定义矩阵B为 和实际情况中心点间的欧式距离，重叠率是PAS [10001 B= CAL中目标检测的评分标准20，即对于给定的跟 0010 踪目标框为，和ground-truth为r,定义中心位置误 卡尔曼滤波状态更新方程为 差为 u=in-+Ki-Hi] (6) EI=(rx-rx)+(ry-rgy) (8) 式中：为第j时刻的观测值，-H沙为观测过 程残差，K为时刻的卡尔曼残差增益，H为观测 式中：x和ry分别表示，的中心横坐标和纵坐 矩阵；由既往时刻的估计值和当前时刻的观测 标，rgx和ry分别表示r的中心横坐标和纵坐标， 值，利用无偏最小均方差准则，得到当前时刻的 定义目标框的重叠率为

S j i s j i 由上述方法得到目标三维坐标 ，再根据像 素坐标与相机坐标之间的关系，把三维跟踪轨迹 转换成像素坐标系中的二维坐标 。多视角轨迹 重建利用不同视角同步帧的目标空间位置一致性 对同步帧目标位置进行了优化，下一步利用同一 视角的运动连续性对目标位置进行跟踪。 1.3 基于轨迹重建的多目标跟踪 rk(j) = (px j k , vx j k , py j k , vy j k ) px j k , vx j k , py j k , vy j k s j k rk(0) = (x ′ k,pos 0, yk,pos ,0)T 设置目标的运动状态参数为某一帧目标的位 置和速度。定义卡尔曼滤波[18]第 k 个目标在 j 时 刻状态是一个四维向量 ， 分别表示目标在 x 轴和 y 轴上的位 置和速度，设单位时间 T 内假设目标是匀速运 动、初始位置为 、初始速度设为 0、 ；其中下一步预测方程为 uˆ j/ j−1 k = Au j−1 k + Bc j−1 k +w j−1 k (5) uˆ j/ j−1 k j−1 u j−1 k j−1 c j−1 k j−1 w j−1 k j−1 A B A 式中： 为目标 k 在第 时刻到 j 时刻的先验 状态估计； 为在第 时刻的后验状态估计； 为第 时刻的控制输入； 为第 时刻的 激励噪声； 为状态转移矩阵； 为系统控制矩 阵。定义状态转移矩阵 为 A =   1 T 0 0 0 1 0 0 0 0 1 T 0 0 0 1   由系统方程和观测状态定义矩阵 B 为 B = [ 1 0 0 0 0 0 1 0 ] 卡尔曼滤波状态更新方程为 u j k = uˆ j/ j−1 k +K j k [z j k − Huˆ j/ j−1 k ] (6) z j k j z j k − Huˆ j/ j−1 k K j k j H 式中： 为第 时刻的观测值， 为观测过 程残差， 为 时刻的卡尔曼残差增益， 为观测 矩阵；由既往时刻的估计值和当前时刻的观测 值，利用无偏最小均方差准则，得到当前时刻的 u j 最优估计值 k。 1.4 基于空间位置关系的目标区域位置融合 t j k s j k u j k k j O j k 由以上 3 个部分的结果，结合单应性约束目 标位置估计结果 ，多视角轨迹重建估计结果 和 卡尔曼滤波当前时刻的最优估计值 ，求解目标 在 时刻的最优位置 ： { O j k = ω1 t j k +ω2 s j k +ω3u j k ω1 +ω2 +ω3 = 1 (7) ω1、ω2和ω3 b j k t j k s j 式中 分别表示 、 和 k的权重。 2 实验结果与分析 本文提出的基于 Multi-Egocentric 视频运动轨 迹重建的多目标跟踪算法是针对 Multi-Egocentric 视频的，目前尚无针对此任务的公开评价数据 集，为了验证算法的有效性，设计并拍摄了针对 多目标跟踪任务的 Multi-Egocentric视频数据集 BJMOT。由于数据集采集规模所限，该视频数据 集包含两个视角的视频，由两个拍摄者佩戴相同 规格的运动相机拍摄，场景中有两个以上的自由 运动目标，各视频经同步后，每个视频时长为 45 s， 帧率为每秒 25 帧，并从每个视频各提取 220 帧进 行了人工标注作为 ground-truth。同时为了验证本 文算法的适应性，还在固定多视角的数据集 EPLF￾campus4 进行了跟踪实验，表 1 为两个数据集的 相关信息。 表 1 实验采用的数据集 Table 1 Experimental data sets information 数据集 视角特征 帧数 视角 BJMOT 移动视角 222 Camera1 ;Camera2 EPLF-campus4 固定视角 201 Camera1 ;Camera2 rt rg 本文采用的目标检测方法为 ACF 算法[19] ，并 将算法与 MDP 算法[12]和 CMOT 算法[10]进行了对 比说明。实验评价指标采用中心位置误差和重 叠率两种度量方式。中心位置误差是跟踪结果 和实际情况中心点间的欧式距离，重叠率是 PAS￾CAL 中目标检测的评分标准[20] ，即对于给定的跟 踪目标框为 和 ground-truth 为 ，定义中心位置误 差为 Err = √ (rt .x−rg.x) 2 +(rt .y−rg.y) 2 (8) rt .x rt .y rt rg.x rg.y rg 式中： 和 分别表示 的中心横坐标和纵坐 标， 和 分别表示 的中心横坐标和纵坐标， 定义目标框的重叠率为 世界坐标Xj , Yj , Zj 相机坐标Xj , Yj 相机旋转矩阵Ri , 平移矩阵Ti 基础矩阵 F PnP+RANSAC 算法 各匹配点 Camera1 Camerai Cameran 2D 2D 2D 3D 目标 1, 目标 2,···, 目标 m j j 图 4 同步帧目标位置估计算法图 Fig. 4 Sketch map of synchronous frame target location estimation algorithm 第 2 期 欧伟奇，等：一种基于 Multi-Egocentric 视频运动轨迹重建的多目标跟踪算法 ·249·

·250· 智能系 统学报 第14卷 area(r,nrg） Score= (9) 表2本文算法在BJMOT上的平均中心误差和平均重 area(r,Urg) 叠率 Table 2 The mean center error and the average overlap 2.1在BMOT数据集上的实验结果 rate of the proposed algorithm over BJMOT 本文算法在BJMOT数据集上的平均中心误 视角 单应性约束 平均中心误差 平均重叠率 差如图5所示，表2为平均重叠率和平均中心误 差的统计结果，对于部分目标丢失的情况不在计 无 7.7 0.76 Camera 算中心误差范围之内。实验过程中，对、ω2和 有 7.3 0.89 3分别取值为w1=0.64,2=0.23,=0.13。相比 无 7.6 0.73 缺少单应性约束条件的实验结果，结合单应性约 有 7.1 0.82 束的目标初始位置估计和多视角轨迹重建的方法 下，本文算法实验结果的平均重叠率在第一个视 部分典型帧在Camera,和Camera2上的实验 角和第二个视角分别提高了13%和9%，能够有 结果分别如图6~7所示，图6~7中给出正常情况、 效降低遮挡或部分丢失等因素造成的不连续因素 部分遮挡情况、完全遮挡情况、部分消失和完全 对跟踪的影响。 消失情况等5种典型情况下的目标跟踪实验结 果。其中第1行表示目标检测结果或单应性约束 15 +Camera, 目标位置估计结果，行中实线框表示目标检测结 .Camera, 果，虚线框表示单应性约束计算结果；第2行中虚 线框为多视角轨迹重建估计结果；第3行中虚线 框为卡尔曼滤波当前时刻的最优估计值；第四行 5 表示最终结果。第5列中由于目标缺失，在跟踪 过程中通过运动一致性可以有效定位目标所在位 置，算法计算出的结果在扩展视野区域；并且从 0 4 68102141618202210 图6中第2行第3列也可以看出，通过轨迹重建 帧数 得到的目标位置误差较大，实验结果容易受到目 图5本文算法在BJMOT数据集的中心误差曲线 标检测算法和单应性计算结果的影响；当目标检 Fig.5 The central error curve of the algorithm in BJMOT 测误差较大时，该部分所产生的误差也较大，而 dataset 通过融合对这类误差进行了较好的修正。 7 (a)F005(正常帧) (b)F020(目标部分 (c)F035(目标完全 (d)F106(目标部分 (e)F116(目标完全 遮挡) 遮挡) 消失) 消失) 图6本文算法在BJMOT数据集第1个视角视频中的分步实验结果 Fig.6 The experimental results of ours algorithm in the first video sequences of the BJMOT datasets

Score = area(rt ∩rg) area(rt ∪rg) (9) 2.1 在 BJMOT 数据集上的实验结果 ω1、ω2 ω3 ω1 = 0.64,ω2 = 0.23,ω3 = 0.13 本文算法在 BJMOT 数据集上的平均中心误 差如图 5 所示，表 2 为平均重叠率和平均中心误 差的统计结果，对于部分目标丢失的情况不在计 算中心误差范围之内。实验过程中，对 和 分别取值为 。相比 缺少单应性约束条件的实验结果，结合单应性约 束的目标初始位置估计和多视角轨迹重建的方法 下，本文算法实验结果的平均重叠率在第一个视 角和第二个视角分别提高了 13% 和 9%，能够有 效降低遮挡或部分丢失等因素造成的不连续因素 对跟踪的影响。 部分典型帧在 Camera1 和 Camera2 上的实验 结果分别如图 6~7 所示，图 6~7 中给出正常情况、 部分遮挡情况、完全遮挡情况、部分消失和完全 消失情况等 5 种典型情况下的目标跟踪实验结 果。其中第 1 行表示目标检测结果或单应性约束 目标位置估计结果，行中实线框表示目标检测结 果，虚线框表示单应性约束计算结果；第 2 行中虚 线框为多视角轨迹重建估计结果；第 3 行中虚线 框为卡尔曼滤波当前时刻的最优估计值；第四行 表示最终结果。第 5 列中由于目标缺失，在跟踪 过程中通过运动一致性可以有效定位目标所在位 置，算法计算出的结果在扩展视野区域；并且从 图 6 中第 2 行第 3 列也可以看出，通过轨迹重建 得到的目标位置误差较大，实验结果容易受到目 标检测算法和单应性计算结果的影响；当目标检 测误差较大时，该部分所产生的误差也较大，而 通过融合对这类误差进行了较好的修正。 2 0 5 10 15 Camera1 Camera2 4 6 8 10 12 帧数 中心误差 14 16 18 20 22 ×10 图 5 本文算法在 BJMOT 数据集的中心误差曲线 Fig. 5 The central error curve of the algorithm in BJMOT dataset (a) F005 (正常帧) (b) F020 (目标部分 遮挡) (c) F035 (目标完全 遮挡) (d) F106 (目标部分 消失) (e) F116 (目标完全 消失) 图 6 本文算法在 BJMOT 数据集第 1 个视角视频中的分步实验结果 Fig. 6 The experimental results of ours algorithm in the first video sequences of the BJMOT datasets 表 2 本文算法在 BJMOT 上的平均中心误差和平均重 叠率 Table 2 The mean center error and the average overlap rate of the proposed algorithm over BJMOT 视角 单应性约束 平均中心误差 平均重叠率 Camera1 无 7.7 0.76 有 7.3 0.89 Camera2 无 7.6 0.73 有 7.1 0.82 ·250· 智 能 系 统 学 报 第 14 卷

第2期 欧伟奇，等：一种基于Multi-Egocentric视频运动轨迹重建的多目标跟踪算法 ·251· (a)F005(正常帧) (b)F020(目标部分 (c)F035(目标完全 (dF106(目标部分 (e)F116(目标完全 遮挡) 遮挡) 消失) 消失) 图7本文算法在BJMOT数据集第2个视角视频中的分步实验结果 Fig.7 The experimental results of ours algorithm in the in the second video sequences of B.MOT datasets 2.2在EPLF-campus.4数据集上的实验结果 20 -·-本文方法 本文算法与MDP算法、CMOT算法在EPLF- -CMOT 15 -MDP campus4数据集上的平均重叠率结果对比如表3 所示。表4为3个跟踪器在EPLF-campus4数据 集上的平均中心位置误差。从表3中看出，相比 其他两种算法，本文算法在Camera,中的重叠率 更高，而在Camera.2中的重叠率较低于CMOT算 法，其原因是在CMOT算法中目标跟踪框不会随 2 468102141618202登10 着目标大小进行变化，在目标较远时，检测框与 帧数 目标真实范围重合率较大。从表4可以看出本文 图83种算法在Camera1视频中的中心误差曲线 的算法的平均中心误差较小。因此从整体来看本 Fig.8 The center error of three tracking algorithms on 文算法在该数据集上优于其他两种算法。图8~9 camera 20r 是3种算法在EPLF-campus44数据集中两个视角 的中心误差变化趋势。 15 表33个跟踪算法在EPLF-campus.4上的平均重叠率 Table 3 The average overlap rate of 3 tracking algorithms on EPLF-campus4 视角 MDP☒ CMOTO 本文方法 5 Cameray 0.79 0.83 0.89 Camera 0.74 0.79 0.82 2 68 10214161820210 表43个跟踪算法在EPLF-campus4上的平均中心误差 帧数 Table 4 Average center error of 3 tracking algorithms on 图93种算法在Camera2视频中的中心误差曲线 EPLF-campus4 Fig.9 The center error of three tracking algorithms on 视角 MDPl②I CMOTIIO 本文方法 cameraz Camera 9.6 7.1 5.1 在EPLF-campus44数据集上Camera,和Cam- Cameraz 9.5 6.9 5.9 era2的典型帧跟踪结果分别如图10~I1所示。同

2.2 在 EPLF-campus4 数据集上的实验结果 本文算法与 MDP 算法、CMOT 算法在 EPLF￾campus4 数据集上的平均重叠率结果对比如表 3 所示。表 4 为 3 个跟踪器在 EPLF-campus4 数据 集上的平均中心位置误差。从表 3 中看出，相比 其他两种算法，本文算法在 Camera1 中的重叠率 更高，而在 Camera2 中的重叠率较低于 CMOT 算 法，其原因是在 CMOT 算法中目标跟踪框不会随 着目标大小进行变化，在目标较远时，检测框与 目标真实范围重合率较大。从表 4 可以看出本文 的算法的平均中心误差较小。因此从整体来看本 文算法在该数据集上优于其他两种算法。图 8~9 是 3 种算法在 EPLF-campus4 数据集中两个视角 的中心误差变化趋势。 在 EPLF-campus4 数据集上 Camera1 和 Cam￾era2 的典型帧跟踪结果分别如图 10~11 所示。同 (a) F005 (正常帧) (b) F020 (目标部分 遮挡) (c) F035 (目标完全 遮挡) (d) F106 (目标部分 消失) (e) F116 (目标完全 消失) 图 7 本文算法在 BJMOT 数据集第 2 个视角视频中的分步实验结果 Fig. 7 The experimental results of ours algorithm in the in the second video sequences of BJMOT datasets 2 5 10 15 20 本文方法 CMOT MDP 4 6 8 10 12 帧数 中心误差 14 16 18 20 22 ×10 图 8 3 种算法在 Camera1 视频中的中心误差曲线 Fig. 8 The center error of three tracking algorithms on camera1 2 0 5 10 15 20 4 6 8 10 12 帧数 中心误差 14 16 18 20 22 ×10 图 9 3 种算法在 Camera2 视频中的中心误差曲线 Fig. 9 The center error of three tracking algorithms on camera2 表 3 3 个跟踪算法在 EPLF-campus4 上的平均重叠率 Table 3 The average overlap rate of 3 tracking algorithms on EPLF-campus4 视角 MDP[12] CMOT[10] 本文方法 Camera1 0.79 0.83 0.89 Camera2 0.74 0.79 0.82 表 4 3 个跟踪算法在 EPLF-campus4 上的平均中心误差 Table 4 Average center error of 3 tracking algorithms on EPLF-campus4 视角 MDP[12] CMOT[10] 本文方法 Camera1 9.6 7.1 5.1 Camera2 9.5 6.9 5.9 第 2 期 欧伟奇，等：一种基于 Multi-Egocentric 视频运动轨迹重建的多目标跟踪算法 ·251·

·252· 智能系统学报 第14卷 样选取五种典型情况下的目标跟踪实验结果进行 对比。从椭圆区域可以看出，本文算法能够根据 分析。其中虚线框表示单应性约束计算结果。第 视角之间的位置信息更好定位到目标，MDP算法 五列中由于目标缺失，算法结果在扩展视野区 在遮挡情况下出现目标丢失，CMOT虽然能跟踪 域，椭圆区域为不同跟踪算法产生的差异性结果 到目标，但是其偏离目标中心位置，误差较大。 F109(目标完全遮挡F121(目标部分遮挡) F126(正常帧 F131(目标部分消失)F135(目标完全消失) (@)本文提出方法的结果 (b)MDP方法的结果 (c)CMOT方法结果 图103种算法在EPLF-campus-4数据集第一个视角视频中的跟踪对比结果 Fig.10 Tracking results of three algorithms in the first video of EPLF-campus4 datasets F109(目标完全遮均F121(目标部分遮挡F126(正常询F131(目标部分消失)F135(目标完全消失) (a)本文提出方法的结果 (b)MDP方法的结果 (c)CMOT方法结果 图113种算法在EPLF-campus4数据集第二个视角视频中的跟踪对比结果 Fig.11 Tracking results of three algorithms in the second video of EPLF-campus4 datasets 3结束语 不连续情况下的跟踪问题。与相关算法的对比实 验结果表明，本文利用多视角的信息更加有效地 本文针对Multi-.Egocentric视频中的目标遮挡 解决了多目标跟踪不连续性问题。本文在单应性 和丢失问题，提出了基于多视角运动轨迹重建的 估计和轨迹重建方面仍然有改进空间，可以通过 多目标跟踪算法，利用多视角之间单应性约束和 提高特征点匹配的准确性进一步提高本文算法的 空间位置约束关系，结合卡尔曼滤波解决目标在 准确性

样选取五种典型情况下的目标跟踪实验结果进行 分析。其中虚线框表示单应性约束计算结果。第 五列中由于目标缺失，算法结果在扩展视野区 域，椭圆区域为不同跟踪算法产生的差异性结果 对比。从椭圆区域可以看出，本文算法能够根据 视角之间的位置信息更好定位到目标，MDP 算法 在遮挡情况下出现目标丢失，CMOT 虽然能跟踪 到目标，但是其偏离目标中心位置，误差较大。 3 结束语 本文针对 Multi-Egocentric 视频中的目标遮挡 和丢失问题，提出了基于多视角运动轨迹重建的 多目标跟踪算法，利用多视角之间单应性约束和 空间位置约束关系，结合卡尔曼滤波解决目标在 不连续情况下的跟踪问题。与相关算法的对比实 验结果表明，本文利用多视角的信息更加有效地 解决了多目标跟踪不连续性问题。本文在单应性 估计和轨迹重建方面仍然有改进空间，可以通过 提高特征点匹配的准确性进一步提高本文算法的 准确性。 F109 (目标完全遮挡) F121 (目标部分遮挡) F126 (正常帧) F131 (目标部分消失) F135 (目标完全消失) (a) 本文提出方法的结果 (b) MDP 方法的结果 (c) CMOT 方法结果 图 10 3 种算法在 EPLF-campus4 数据集第一个视角视频中的跟踪对比结果 Fig. 10 Tracking results of three algorithms in the first video of EPLF-campus4 datasets F109 (目标完全遮挡) F121 (目标部分遮挡) F126 (正常帧) F131 (目标部分消失) F135 (目标完全消失) (a) 本文提出方法的结果 (b) MDP 方法的结果 (c) CMOT 方法结果 图 11 3 种算法在 EPLF-campus4 数据集第二个视角视频中的跟踪对比结果 Fig. 11 Tracking results of three algorithms in the second video of EPLF-campus4 datasets ·252· 智 能 系 统 学 报 第 14 卷

第2期 欧伟奇，等：一种基于Multi-Egocentric视频运动轨迹重建的多目标跟踪算法 ·253· 参考文献： neural networks for visual tracking[C]//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern [1]SHAN Caifeng,WEI Yucheng,TAN Tieniu,et al.Real Recognition.Las Vegas.NV.USA.2016:4293-4302. time hand tracking by combining particle filtering and [14]KHAN S M,YAN Pingkun,SHAH M.A homographic mean shift[C]//Proceedings of the 6th IEEE International framework for the fusion of multi-view silhouettes[C]// Conference on Automatic Face and Gesture Recognition. Proceedings of the 11th International Conference on Seoul,South Korea,2004:669-674. Computer Vision.Rio de Janeiro,Brazil,2007:1-8. [2]ZHANG Lei,LI Yuan,NEVATIA R.Global data associ- [15]FISCHLER M A.BOLLES R C.Random sample con- ation for multi-object tracking using network flows[C1// sensus:a paradigm for model fitting with applications to Proceedings of 2008 IEEE Conference on Computer Vis- image analysis and automated cartography[J.Communic- ion and Pattern Recognition.Anchorage,AK.USA.2008:1-8. ations of the ACM,1981,24(6):381-395. [3]AVIDAN S.Ensemble tracking[J].IEEE transactions on [16]ZHANG Z.A flexible new technique for camera calibra- pattern analysis and machine intelligence,2007,29(2): tion[J].IEEE transactions on pattern analysis and ma- 261-271 chine intelligence,2000,22(11):1330-1334. [4]XU Yuanlu,LIU Xiaobai,LIU Yang,et al.Multi-view [17]SCHWEIGHOFER G,PINZ A.Robust pose estimation people tracking via hierarchical trajectory composition[Cl// from a planar target[J].IEEE transactions on pattern ana- Proceedings of 2016 IEEE Conference on Computer Vis- ion and Pattern Recognition.Las Vegas,NV,USA,2016: lysis and machine intelligence,2006,28(12):2024-2030. 4256-4265. [18]BEKIR E.Adaptive Kalman filter for tracking maneuver [5]HE Shengfeng,YANG Qingxiong,LAU R W H,et al. ing targets[J].Journal of guidance,control,and dynamics. Visual tracking via locality sensitive histograms[C]//Pro- 2015,6(5):414-416. ceedings of 2013 IEEE Conference on Computer Vision [19]DOLLAR P.APPEL R.BELONGIE S,et al.Fast feature and Pattern Recognition.Portland,USA,2013:2427-2434. pyramids for object detection[J].IEEE transactions on [6]FLEURET F,BERCLAZ J,LENGAGNE R,et al.Mul- pattern analysis and machine intelligence,2014,36(8): ticamera people tracking with a probabilistic occupancy 1532-1545 map[J].IEEE transactions on pattern analysis and machine [20]BERNARDI K,STIEFELHAGEN R.Evaluating mul- intelligence,2008.30(2):267-282. tiple object tracking performance:the CLEAR MOT met- [7]MEI Xue,LING Haibo.Robust visual tracking using (1 rics[J].EURASIP Journal on image and video processing. minimization[C]//Proceedings of the 12th IEEE Interna- 2008.2008(1):246309 tional Conference on Computer Vision.Kyoto,Japan, 作者简介： 2009:1436-1443 [8]BABENKO B,YANG M H.BELONGIE S.Robust object 欧伟奇，男，1992出生，硕士研究 生，主要研究方向为图像处理、机器 tracking with online multiple instance learning[J].IEEE 学习。 transactions on pattern analysis and machine intelligence. 2011.33(8):1619-1632. [9]王宇霞，赵清杰，蔡艺明，等.基于自重构粒子滤波算法 的目标跟踪).计算机学报，2016,39(7)：1294-1306. WANG Yuxia,ZHAO Qingjie,CAI Yiming,et al.Track- ing by auto-reconstructing particle filter trackers[J]. 尹辉.女，1972出生，教授，博士， Chinese journal of computers,2016,39(7):1294-1306. 主要研究方向为机器视觉、模式识别 [10]BAE S H,YOON K J.Robust online multi-object track- 和神经计算。主持和参加国家和省部 ing based on tracklet confidence and online discriminat- 级科研项目60余项，发表学术论文 ive appearance learning[C]//Proceedings of 2014 IEEE 20余篇，知识产权18项，获国家科学 Conference on Computer Vision and Pattern Recognition. 技术进步奖一等奖1项，教育部科技 Columbus.OH.USA.2014:1218-1225 进步一等奖1项，中国专利优秀奖 [11]DICLE C,CAMPS O I,SZNAIER M.The way they 1项，中国铁道学会科学技术奖特等奖、二等奖各1项，北京 move:tracking multiple targets with similar appearance[Cl/ 市高等教育教学成果奖二等奖1项。 Proceedings of 2013 IEEE International Conference on Computer Vision.Sydney,NSW,Australia,2013: 许宏丽，女，1963出生.教授，博 2304-2311. 士，主要研究方向为图像处理、机器学 [12]XIANG Yu.ALAHI A,SAVARESE S.Learning to track: 习和认知计算。主持铁道部项目 online multi-object tracking by decision making[C]//Pro- 2项国重项目1项，参与多项国家和省 ceedings of 2015 IEEE International Conference on Com- 部级科研项目，发表学术论文20余 puter Vision.Santiago,Chile,2015:4705-4713. 篇。主持国家精品课程《多媒体技术 [13]NAM H.HAN B.Learning multi-domain convolutional 应用》，获国家教学进步二等奖

参考文献： SHAN Caifeng, WEI Yucheng, TAN Tieniu, et al. Real time hand tracking by combining particle filtering and mean shift[C]//Proceedings of the 6th IEEE International Conference on Automatic Face and Gesture Recognition. Seoul, South Korea, 2004: 669–674. [1] ZHANG Lei, LI Yuan, NEVATIA R. Global data associ￾ation for multi-object tracking using network flows[C]// Proceedings of 2008 IEEE Conference on Computer Vis￾ion and Pattern Recognition. Anchorage, AK, USA, 2008: 1–8. [2] AVIDAN S. Ensemble tracking[J]. IEEE transactions on pattern analysis and machine intelligence, 2007, 29(2): 261–271. [3] XU Yuanlu, LIU Xiaobai, LIU Yang, et al. Multi-view people tracking via hierarchical trajectory composition[C]// Proceedings of 2016 IEEE Conference on Computer Vis￾ion and Pattern Recognition. Las Vegas, NV, USA, 2016: 4256–4265. [4] HE Shengfeng, YANG Qingxiong, LAU R W H, et al. Visual tracking via locality sensitive histograms[C]//Pro￾ceedings of 2013 IEEE Conference on Computer Vision and Pattern Recognition. Portland, USA, 2013: 2427–2434. [5] FLEURET F, BERCLAZ J, LENGAGNE R, et al. Mul￾ticamera people tracking with a probabilistic occupancy map[J]. IEEE transactions on pattern analysis and machine intelligence, 2008, 30(2): 267–282. [6] MEI Xue, LING Haibo. Robust visual tracking using ℓ1 minimization[C]//Proceedings of the 12th IEEE Interna￾tional Conference on Computer Vision. Kyoto, Japan, 2009: 1436–1443. [7] BABENKO B, YANG M H, BELONGIE S. Robust object tracking with online multiple instance learning[J]. IEEE transactions on pattern analysis and machine intelligence, 2011, 33(8): 1619–1632. [8] 王宇霞, 赵清杰, 蔡艺明, 等. 基于自重构粒子滤波算法 的目标跟踪[J]. 计算机学报, 2016, 39(7): 1294–1306. WANG Yuxia, ZHAO Qingjie, CAI Yiming, et al. Track￾ing by auto-reconstructing particle filter trackers[J]. Chinese journal of computers, 2016, 39(7): 1294–1306. [9] BAE S H, YOON K J. Robust online multi-object track￾ing based on tracklet confidence and online discriminat￾ive appearance learning[C]//Proceedings of 2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus, OH, USA, 2014: 1218–1225. [10] DICLE C, CAMPS O I, SZNAIER M. The way they move: tracking multiple targets with similar appearance[C]// Proceedings of 2013 IEEE International Conference on Computer Vision. Sydney, NSW, Australia, 2013: 2304–2311. [11] XIANG Yu, ALAHI A, SAVARESE S. Learning to track: online multi-object tracking by decision making[C]//Pro￾ceedings of 2015 IEEE International Conference on Com￾puter Vision. Santiago, Chile, 2015: 4705–4713. [12] [13] NAM H, HAN B. Learning multi-domain convolutional neural networks for visual tracking[C]//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, NV, USA, 2016: 4293–4302. KHAN S M, YAN Pingkun, SHAH M. A homographic framework for the fusion of multi-view silhouettes[C]// Proceedings of the 11th International Conference on Computer Vision. Rio de Janeiro, Brazil, 2007: 1–8. [14] FISCHLER M A, BOLLES R C. Random sample con￾sensus: a paradigm for model fitting with applications to image analysis and automated cartography[J]. Communic￾ations of the ACM, 1981, 24(6): 381–395. [15] ZHANG Z. A flexible new technique for camera calibra￾tion[J]. IEEE transactions on pattern analysis and ma￾chine intelligence, 2000, 22(11): 1330–1334. [16] SCHWEIGHOFER G, PINZ A. Robust pose estimation from a planar target[J]. IEEE transactions on pattern ana￾lysis and machine intelligence, 2006, 28(12): 2024–2030. [17] BEKIR E. Adaptive Kalman filter for tracking maneuver￾ing targets[J]. Journal of guidance, control, and dynamics, 2015, 6(5): 414–416. [18] DOLLÁR P, APPEL R, BELONGIE S, et al. Fast feature pyramids for object detection[J]. IEEE transactions on pattern analysis and machine intelligence, 2014, 36(8): 1532–1545. [19] BERNARDI K, STIEFELHAGEN R. Evaluating mul￾tiple object tracking performance: the CLEAR MOT met￾rics[J]. EURASIP Journal on image and video processing, 2008, 2008(1): 246309. [20] 作者简介： 欧伟奇，男，1992 出生，硕士研究 生，主要研究方向为图像处理、机器 学习。 尹辉，女，1972 出生，教授，博士， 主要研究方向为机器视觉、模式识别 和神经计算。主持和参加国家和省部 级科研项目 60 余项，发表学术论文 20 余篇，知识产权 18 项，获国家科学 技术进步奖一等奖 1 项，教育部科技 进步一等奖 1 项，中国专利优秀奖 1 项，中国铁道学会科学技术奖特等奖、二等奖各 1 项，北京 市高等教育教学成果奖二等奖 1 项。 许宏丽，女，1963 出生，教授，博 士，主要研究方向为图像处理、机器学 习和认知计算。主持铁道部项目 2 项,国重项目 1 项,参与多项国家和省 部级科研项目,发表学术论文 20 余 篇。主持国家精品课程《多媒体技术 应用》，获国家教学进步二等奖。 第 2 期 欧伟奇，等：一种基于 Multi-Egocentric 视频运动轨迹重建的多目标跟踪算法 ·253·