·248· 智能系统学报 第14卷 与单视角目标跟踪算法不同，多视角目标跟 针对这种问题，本文基于具有重叠视野区域 踪可以利用多视角之间目标位置的关联关系优化 的视角之间存在平面上的单应性约束关系，利 目标定位；本文提出基于运动轨迹重建的Multi-- 用多个视角之间目标的相对位置，根据Camera Egocentric视频多目标跟踪算法，首先在目标检测 第j帧f∥中的目标轨迹点来估计Camera,第j帧f的 基础上，通过求解不同视角间单应性约束解决同 目标所在位置。算法具体描述和实现如算法1所示。 一时刻目标的遮挡和丢失问题，然后基于多视角 算法1多视角单应性约束下的目标位置估计 轨迹立体重建算法进行目标定位估计，最后结合 输入l)Camera,.第j帧f、Camera,第j帧f、 卡尔曼滤波的状态更新实现基于空间位置关系的 中被遮挡目标k在f中的轨迹点坐标； 目标区域位置融合，得到最佳的目标跟踪结果。 1.1多视角辅助下的目标初始位置估计 2)f的目标所在位置： 设f为视角(=1,2，，n)第j帧图像，其中包含 3)采用SIFT角点检测算法对f∥和f两帧提取 m个目标P,其中k=1,2,…,m,B表示目标检测在 地面特征点，得到匹配点集合P和P: f的检测框集合，B=bk=1,2,…,m,b={x,y 4)利用匹配点构建方程(2)，并利用RANSAC ,}表示第k个目标的Bounding Box,其中 算法剔除误匹配，点求解单应性矩阵： 、、分别表示b的左上角横坐标、左上 P=HP (2) 角纵坐标、右下角横坐标、右下角纵坐标，设作 式中：H为3×3的单应性矩阵。 为检测结果中目标k在视角第帧的轨迹点： 5)根据式(2)把代入求得f中被遮挡目标 t=[,0+)/2] (1) k所在位置： 由于Egocentric视频视角时变性的特点，移动 输出的目标所在位置 视角因剧烈晃动或平移等因素造成单个视角中目 通过不同视角同一时刻目标之间存在的单应 标消失等运动轨迹的不连续性问题。如图2所 性约束关系可以对遮挡和丢失目标进行重新定 示，箭头指示两个视角下的相同目标所在位置。 位，从而解决单个视角中目标的遮挡和丢失问 从Camera,视角方向来看，两个目标在同一个方 题。同时由于特征点的检测和匹配误差使得单应 向造成目标遮挡，而Camera,的视角中各目标无遮 性约束只能粗定位遮挡和丢失的目标，因此本文 挡问题。如图3所示，左右两视角都向两边移动 通过多视角轨迹重建进一步优化目标位置估计。 时，造成单个视角只检测到部分目标，右侧扩充 1.2多视角轨迹重建位置估计 区域是对单个视角的视野范围的扩充，用于显示 多视角轨迹重建位置估计是根据不同视角同 目标之间的相对位置关系。以上两种情况都会因 目标丢失导致某些视角跟踪失败。 时刻帧目标的像素坐标对应位置关系做空间约 束进一步对目标进行定位。根据不同视角同步帧 之间重叠视野区域特征点的对应关系采用立体视 Camera, 觉三维重建算法实现同步帧目标位置估计。立体 重 视觉三维算法示意图如图4所示，相机采用张正 视野 区域 友标定法i获得Camera,内参矩阵K,和Camera,内 参矩阵K,然后分别提取∥和f之间重叠区域的 匹配点集合P和P,由单应性约束得： 图2多视角中目标之间相互遮挡示意图 (P)TEP!=0 (3) Fig.2 Multi-view of the occlusion between targets Ei=(K)TFi Kr (4) 利用PnPI刀和RANSAC算法求出基础矩阵 Camera F和本质矩阵E;当f中目标k在Camera,中没 重叠 视野扩充 有对应位置，把目标轨迹点4代入式(3)可以求 区域区域 解目标在f}中的扩展匹配坐标位置：，并把和 分别加入P和P。对E作SVD分解，可得 Camera,相对于Camera,的旋转矩阵R和平移向量 图3多视角移动造成目标丢失示意图 Fig.3 Multi-view movement causes the target to lose the T。然后计算得到目标轨迹点的三维空间坐标位 sketch map 置集合S={5k=1,2,…,mo与单视角目标跟踪算法不同，多视角目标跟 踪可以利用多视角之间目标位置的关联关系优化 目标定位；本文提出基于运动轨迹重建的 Multi￾Egocentric 视频多目标跟踪算法，首先在目标检测 基础上，通过求解不同视角间单应性约束解决同 一时刻目标的遮挡和丢失问题，然后基于多视角 轨迹立体重建算法进行目标定位估计，最后结合 卡尔曼滤波的状态更新实现基于空间位置关系的 目标区域位置融合，得到最佳的目标跟踪结果。 1.1 多视角辅助下的目标初始位置估计 f j i i i j m Pk ,其中k = 1,2,··· ,m B j i f j i B j i = {b j ik|k = 1,2,··· ,m} b j ik = {x j ik, y j ik, x˜ j ik, y˜ j ik} k x j ik、y j ik、x˜ j ik、y˜ j ik b j ik t j ik k i j 设 为视角 ( =1,2,···,n) 第 帧图像，其中包含 个目标 ， 表示目标检测在 的检测框集合， ， 表示第 个目标 的 Bounding Box ，其中 分别表示 的左上角横坐标、左上 角纵坐标、右下角横坐标、右下角纵坐标，设 作 为检测结果中目标 在视角 第 帧的轨迹点： t j ik = [ ˜x j ik,(y j ik+y˜ j ik)/2] (1) 由于 Egocentric 视频视角时变性的特点，移动 视角因剧烈晃动或平移等因素造成单个视角中目 标消失等运动轨迹的不连续性问题。如图 2 所 示，箭头指示两个视角下的相同目标所在位置。 从 Camerai 视角方向来看，两个目标在同一个方 向造成目标遮挡，而 Camerai'的视角中各目标无遮 挡问题。如图 3 所示，左右两视角都向两边移动 时，造成单个视角只检测到部分目标，右侧扩充 区域是对单个视角的视野范围的扩充，用于显示 目标之间的相对位置关系。以上两种情况都会因 目标丢失导致某些视角跟踪失败。 j f j i j f j i ′ 针对这种问题，本文基于具有重叠视野区域 的视角之间存在平面上的单应性约束关系[14] ，利 用多个视角之间目标的相对位置，根据 Camerai 第 帧 中的目标轨迹点来估计 Camerai'第 帧 的 目标所在位置。算法具体描述和实现如算法 1 所示。 算法 1 多视角单应性约束下的目标位置估计 j f j i j f j i ′ f j i ′ f j i t j ik 输入 1) Camerai 第 帧 、Camerai'第 帧 、 中被遮挡目标 k 在 中的轨迹点坐标 ； f j i ′ t j i ′k 2) 的目标所在位置 ； f j i f j i ′ P j i P j i ′ 3) 采用 SIFT 角点检测算法对 和 两帧提取 地面特征点，得到匹配点集合 和 ； 4) 利用匹配点构建方程 (2)，并利用 RANSAC[15] 算法剔除误匹配点求解单应性矩阵； P j i = HPj i ′ (2) 式中： H 为 3×3 的单应性矩阵。 t j ik f j i ′ k t j i ′k 5) 根据式 (2) 把 代入求得 中被遮挡目标 所在位置 ； f j i ′ t j i ′ 输出 的目标所在位置 k 通过不同视角同一时刻目标之间存在的单应 性约束关系可以对遮挡和丢失目标进行重新定 位，从而解决单个视角中目标的遮挡和丢失问 题。同时由于特征点的检测和匹配误差使得单应 性约束只能粗定位遮挡和丢失的目标，因此本文 通过多视角轨迹重建进一步优化目标位置估计。 1.2 多视角轨迹重建位置估计 i Ki Ki ′ f j i f j i ′ P j i P j i ′ 多视角轨迹重建位置估计是根据不同视角同 一时刻帧目标的像素坐标对应位置关系做空间约 束进一步对目标进行定位。根据不同视角同步帧 之间重叠视野区域特征点的对应关系采用立体视 觉三维重建算法实现同步帧目标位置估计。立体 视觉三维算法示意图如图 4 所示，相机 采用张正 友标定法[16]获得 Camerai 内参矩阵 和 Camerai'内 参矩阵 ，然后分别提取 和 之间重叠区域的 匹配点集合 和 ，由单应性约束得： (P j i ) TF j i,i ′ P j i ′ = 0 (3) E j i,i ′ = (Ki) TF j i,i ′Ki ′ (4) F j i,i ′ E j i,i ′ f j i f j i t j ik f j i ′ t j i ′′k t j ik t j i ′′k P j i P j i ′ E j i,i ′ R j i T j i S j i = {s j ik|k = 1,2,··· ,m} 利用 PnP[17]和 RANSAC 算法求出基础矩阵 和本质矩阵 ；当 中目标 k 在 Camerai'中没 有对应位置，把 目标轨迹点 代入式 (3) 可以求 解目标在 中的扩展匹配坐标位置 ，并把 和 分别加入 和 。 对 作 S VD 分解，可 得 Camerai'相对于 Camerai 的旋转矩阵 和平移向量 。然后计算得到目标轨迹点的三维空间坐标位 置集合 。 Z X Camerai P1 Y Camerai′ 重叠 视野 区域 P2 图 2 多视角中目标之间相互遮挡示意图 Fig. 2 Multi-view of the occlusion between targets X Z Y Camerai P1 Camerai′ 重叠 视野 区域 扩充 区域 扩充 区域 P2 图 3 多视角移动造成目标丢失示意图 Fig. 3 Multi-view movement causes the target to lose the sketch map ·248· 智 能 系 统 学 报 第 14 卷