第2期 欧伟奇，等：一种基于Multi-Egocentric视频运动轨迹重建的多目标跟踪算法 ·247· 极大兴趣。由于单视角视野有限，当相机剧烈晃 根据所有粒子的权重，利用蒙特卡洛序列方法确 动时易造成目标丢失以至于跟踪轨迹的不连续性 定状态的后验概率，对跟踪过程中噪声具有一定 问题，无法进行全方位的跟踪。Multi-Egocentric 的鲁棒性。Bae等o以及Dicle等跟据轨迹片段 视频是由多个处于同一场景中的穿戴式或手持式 的置信度进行轨迹关联实现多目标跟踪，但由于 相机所拍摄的不同视角、不同运动轨迹的视频。 目标轨迹不连续，容易造成短时间的目标误匹配 多视角跟踪由于视野范围更大，视角丰富，能够 问题。Xiang等2l通过构造马尔可夫决策过程求 根据多视角信息有效跟踪目标。相对多固定视角 取最优策略的方法来预测目标下一刻状态。上述 视频的跟踪任务，Multi-.Egocentric视角随拍摄者 算法一定程度上能够解决运动视角下目标的鲁棒 移动，一方面带有Egocentric视频背景变化剧烈、 性跟踪问题，但对于视角时变性强的Multi--ego 目标尺度差异明显和视角时变性强的特点，另一 centric视频，容易因目标运动不连续性造成跟踪 方面由于继承了拍摄者的关注兴趣，能以更好的 失败。近年来深度学习方法在目标跟踪领域也有 视角拍摄所关注的目标，同时多样化的视角为解 广泛应用，其中MDNet算法采用共享层和特定 决遮挡、漂移等问题提供了更为丰富的线索。 层相结合的深度模型进行目标跟踪，该方法具有 目前大多数跟踪算法致力于解决单个Egocen- 很好的鲁棒性和适应性，但对多目标跟踪具有局 tic视角或多个固定视角中存在的目标遮挡、跟踪 限性。 漂移等问题。为了进行鲁棒的目标跟踪，Xu等 针对Multi--egocentric视频的特点，本文从目 基于目标表面模型和运动模型，提出层次轨迹关 标空间几何关系约束的角度出发，并结合卡尔曼 联模型构建有向无环图解决固定多视角下轨迹片 滤波算法，提出一种基于运动轨迹重建的多目标 段关联问题，将其应用于Multi-Egocentric视频鲁 跟踪算法。与以上算法相比，本文算法通过轨迹 棒性较差，无法解决目标不连续性问题。Fleuret 重建可以有效解决Multi--egocentric视频中运动目 等将颜色、纹理和运动信息3个特征相结合建 标轨迹不连续的问题。 立目标模型，并通过目标之间的相对位置对目标 进行定位，能够有效解决多固定视角下目标遮挡 1基于运动轨迹重建的多目标跟踪 问题，但是将其应用于Multi-Egocentric视频跟踪 本文针对Multi--egocentric视频的特点，提出 任务中，背景变化烈情况会对跟踪结果造成很 大影响，常出现轨迹误匹配问题。另外，XMi等 一种基于运动轨迹重建的多目标跟踪算法，算法 提出的稀疏表示算法采用稀疏线性表示的方法使 流程如图1所示。该算法利用多视角之间目标位 跟踪器可以应对光照变化、遮挡等问题。在线多 置和运动轨迹的几何约束关系降低了目标定位 示例学习算法使用图像块的集合表示目标，使 误差、目标跟踪漂移以及轨迹不连续等对多目标 得跟踪器在目标经历光照变化和遮挡时可以有效 跟踪造成的影响，并在Multi--Egocentric视频数据 地跟踪目标。Yuxia Wang等采用粒子滤波方 集和多固定视角数据集上验证了本文算法的有 法，基于贝叶斯滤波理论，解决状态估计问题，再 效性。 输入视频 目标检测 单应性几何约束下的初始位置估计 跟踪结果 单应性矩阵 视1 视频1 视频1 对极几何约束下的位置估计 相机1 基于空间位置 关系的目标区 域位置融合 同步帧 同步帧 同步帧 目标位： 目标位 目标位 置估计 置估计 置估计 视颜n 视颜n 相机n 视频n 卡尔曼滤波状态更新 图1基于运动轨迹重建的多目标跟踪算法流程 Fig.1 Flow chart of multi-target tracking algorithm based on trajectory reconstruction极大兴趣。由于单视角视野有限，当相机剧烈晃 动时易造成目标丢失以至于跟踪轨迹的不连续性 问题，无法进行全方位的跟踪。Multi-Egocentric 视频是由多个处于同一场景中的穿戴式或手持式 相机所拍摄的不同视角、不同运动轨迹的视频。 多视角跟踪由于视野范围更大，视角丰富，能够 根据多视角信息有效跟踪目标。相对多固定视角 视频的跟踪任务，Multi-Egocentric 视角随拍摄者 移动，一方面带有 Egocentric 视频背景变化剧烈、 目标尺度差异明显和视角时变性强的特点，另一 方面由于继承了拍摄者的关注兴趣，能以更好的 视角拍摄所关注的目标，同时多样化的视角为解 决遮挡、漂移等问题提供了更为丰富的线索。 目前大多数跟踪算法致力于解决单个 Egocen￾tric 视角或多个固定视角中存在的目标遮挡、跟踪 漂移等问题[2-5]。为了进行鲁棒的目标跟踪，Xu 等 [4] 基于目标表面模型和运动模型，提出层次轨迹关 联模型构建有向无环图解决固定多视角下轨迹片 段关联问题，将其应用于 Multi-Egocentric 视频鲁 棒性较差，无法解决目标不连续性问题。Fleuret 等 [6]将颜色、纹理和运动信息 3 个特征相结合建 立目标模型，并通过目标之间的相对位置对目标 进行定位，能够有效解决多固定视角下目标遮挡 问题，但是将其应用于 Multi-Egocentric 视频跟踪 任务中，背景变化剧烈情况会对跟踪结果造成很 大影响，常出现轨迹误匹配问题。另外，X.Mei 等 [7] 提出的稀疏表示算法采用稀疏线性表示的方法使 跟踪器可以应对光照变化、遮挡等问题。在线多 示例学习算法[8]使用图像块的集合表示目标，使 得跟踪器在目标经历光照变化和遮挡时可以有效 地跟踪目标。Yuxia Wang 等 [9]采用粒子滤波方 法，基于贝叶斯滤波理论，解决状态估计问题，再 根据所有粒子的权重，利用蒙特卡洛序列方法确 定状态的后验概率，对跟踪过程中噪声具有一定 的鲁棒性。Bae 等 [10]以及 Dicle 等 [11]跟据轨迹片段 的置信度进行轨迹关联实现多目标跟踪，但由于 目标轨迹不连续，容易造成短时间的目标误匹配 问题。Xiang 等 [12]通过构造马尔可夫决策过程求 取最优策略的方法来预测目标下一刻状态。上述 算法一定程度上能够解决运动视角下目标的鲁棒 性跟踪问题，但对于视角时变性强的 Multi-ego￾centric 视频，容易因目标运动不连续性造成跟踪 失败。近年来深度学习方法在目标跟踪领域也有 广泛应用，其中 MDNet 算法[13]采用共享层和特定 层相结合的深度模型进行目标跟踪，该方法具有 很好的鲁棒性和适应性，但对多目标跟踪具有局 限性。 针对 Multi-egocentric 视频的特点，本文从目 标空间几何关系约束的角度出发，并结合卡尔曼 滤波算法，提出一种基于运动轨迹重建的多目标 跟踪算法。与以上算法相比，本文算法通过轨迹 重建可以有效解决 Multi-egocentric 视频中运动目 标轨迹不连续的问题。 1 基于运动轨迹重建的多目标跟踪 本文针对 Multi-egocentric 视频的特点，提出 一种基于运动轨迹重建的多目标跟踪算法，算法 流程如图 1 所示。该算法利用多视角之间目标位 置和运动轨迹的几何约束关系降低了目标定位 误差、目标跟踪漂移以及轨迹不连续等对多目标 跟踪造成的影响，并在 Multi-Egocentric 视频数据 集和多固定视角数据集上验证了本文算法的有 效性。 基于空间位置 关系的目标区 域位置融合 视频 1 跟踪结果 视频 n 视频 1 输入视频 视频 n 视频 1 目标检测 单应性几何约束下的初始位置估计 单应性矩阵 相机 1 相机 n 对极几何约束下的位置估计 卡尔曼滤波状态更新 同步帧 目标位 置估计 同步帧 目标位 置估计 同步帧 目标位 置估计 输 入 视频 n f j i f j i′ … … … … … … … 图 1 基于运动轨迹重建的多目标跟踪算法流程 Fig. 1 Flow chart of multi-target tracking algorithm based on trajectory reconstruction 第 2 期 欧伟奇，等：一种基于 Multi-Egocentric 视频运动轨迹重建的多目标跟踪算法 ·247·