第15卷第5期 智能系统学报 Vol.15 No.5 2020年9月 CAAI Transactions on Intelligent Systems Sep.2020 D0:10.11992tis.202006037 多特征融合的异视角目标关联算法 付昆，田金文，马懿超2 (1.华中科技大学多谱信息处理国家级重点实验室，武汉湖北430074,2.北京机电工程研究所，北京100074) 摘要：目标关联在协同多目标探测中具有重要意义，受视角变换等因素的影响，传统目标关联算法在异视角 目标观测情况下效果较差。本文提出了一种基于拓扑特征与颜色特征合的无人机协同侦查目标关联算法， 通过利用无人机提供的位置、姿态及其搭载传感器获得的多维特征数据，提取出目标的拓扑特征及颜色特征， 并通过D-$证据理论融合多维特征，完成对异视角目标群的关联。实验表明，这种算法框架能够有效帮助无人 机完成对目标群的关联任务。 关键词：目标关联：异视角：协同探测：无人机：多特征融合：姿态数据：拓扑特征：颜色特征：D-S证据理论 中图分类号：TP391文献标志码：A文章编号：1673-4785(2020)05-0847-09 中文引用格式：付昆，田金文，马懿超.多特征融合的异视角目标关联算法.智能系统学报，2020,15（⑤）：847-855 英文引用格式：FUKun,.TIAN Jinwen,,MA Yichao..Target association from different perspectives based on multi--feature fusion. CAAI transactions on intelligent systems,2020,15(5):847-855. Target association from different perspectives based on multi-feature fusion FU Kun',TIAN Jinwen',MA Yichao? (1.College of Automation,National Key Laboratory of Multispectral Information Processing Technology,Huazhong University of Science and Technology,Wuhan 430074,China;2.Beijing Electro-mechanical Engineering Institute,Beijing 100074,China) Abstract:Target association has great significance in collaborative multi-target detection.As traditional target associ- ation algorithms are affected by factors such as changes in view angle,they are less effective when observing targets from different perspectives.This paper proposes a target association algorithm for collaborative reconnaissance by un- manned aerial vehicles (UAVs)based on the fusion of topological and color features.Using position,attitude,and multi- dimensional feature data obtained by the sensors in the UAV,the topological and color features of the target are extrac- ted and the multi-dimensional features are then fused based on the Dempster-Shafer evidence theory to complete the as- sociation of target groups from different perspectives.Experiments show that this algorithm framework can effectively help UAVs to complete the task of target group association. Keywords:target association;different perspective;cooperative detection:UAV:multi feature fusion;attitude data;to- pological feature;color feature;D-S evidence theory 目标关联是数据融合过程的重要步骤，其本 文的研究任务是如何对异视角下同一目标群的多 质是确定传感器量测与目标源之间的对应关系。 个量测进行目标关联。 根据应用场景的不同，又可以分为量测与目标的 国外针对航迹起始比较成熟的量测-量测关 关联和量测与量测的关联。前者的任务是将新获 联方法主要有3类：基于启发式规则的方法山，基 得的量测信息与已有目标进行对应，后者关心的 于逻辑规则的方法和基于Hough变换的方法。 是将对同一目标群的多个量测进行一一对应。本 前两者利用的都是目标运动的机动限制条件，仅 适用于噪声虚警和杂波较少的环境。后者适应性 收稿日期：2020-06-23. 基金项目：国家自然科学基金项目(61273279). 更强但需要知道目标轨道的参数信息，并且在参 通信作者：田金文.E-mail:jwtian@mail.hust.edu.cn 数域运行聚类方法的计算量较大
DOI: 10.11992/tis.202006037 多特征融合的异视角目标关联算法 付昆1 ，田金文1 ，马懿超2 （1. 华中科技大学 多谱信息处理国家级重点实验室，武汉 湖北 430074; 2. 北京机电工程研究所，北京 100074） 摘 要：目标关联在协同多目标探测中具有重要意义，受视角变换等因素的影响，传统目标关联算法在异视角 目标观测情况下效果较差。本文提出了一种基于拓扑特征与颜色特征融合的无人机协同侦查目标关联算法， 通过利用无人机提供的位置、姿态及其搭载传感器获得的多维特征数据，提取出目标的拓扑特征及颜色特征， 并通过 D-S 证据理论融合多维特征，完成对异视角目标群的关联。实验表明，这种算法框架能够有效帮助无人 机完成对目标群的关联任务。 关键词：目标关联；异视角；协同探测；无人机；多特征融合；姿态数据；拓扑特征；颜色特征；D-S 证据理论 中图分类号：TP391 文献标志码：A 文章编号：1673−4785(2020)05−0847−09 中文引用格式：付昆, 田金文, 马懿超. 多特征融合的异视角目标关联算法 [J]. 智能系统学报, 2020, 15(5): 847–855. 英文引用格式：FU Kun, TIAN Jinwen, MA Yichao. Target association from different perspectives based on multi-feature fusion[J]. CAAI transactions on intelligent systems, 2020, 15(5): 847–855. Target association from different perspectives based on multi-feature fusion FU Kun1 ，TIAN Jinwen1 ，MA Yichao2 (1. College of Automation, National Key Laboratory of Multispectral Information Processing Technology, Huazhong University of Science and Technology, Wuhan 430074, China; 2. Beijing Electro-mechanical Engineering Institute, Beijing 100074, China) Abstract: Target association has great significance in collaborative multi-target detection. As traditional target association algorithms are affected by factors such as changes in view angle, they are less effective when observing targets from different perspectives. This paper proposes a target association algorithm for collaborative reconnaissance by unmanned aerial vehicles (UAVs) based on the fusion of topological and color features. Using position, attitude, and multidimensional feature data obtained by the sensors in the UAV, the topological and color features of the target are extracted and the multi-dimensional features are then fused based on the Dempster–Shafer evidence theory to complete the association of target groups from different perspectives. Experiments show that this algorithm framework can effectively help UAVs to complete the task of target group association. Keywords: target association; different perspective; cooperative detection; UAV; multi feature fusion; attitude data; topological feature; color feature; D-S evidence theory 目标关联是数据融合过程的重要步骤，其本 质是确定传感器量测与目标源之间的对应关系。 根据应用场景的不同，又可以分为量测与目标的 关联和量测与量测的关联。前者的任务是将新获 得的量测信息与已有目标进行对应，后者关心的 是将对同一目标群的多个量测进行一一对应。本 文的研究任务是如何对异视角下同一目标群的多 个量测进行目标关联。 国外针对航迹起始比较成熟的量测−量测关 联方法主要有 3 类：基于启发式规则的方法[1] ，基 于逻辑规则的方法[2] 和基于 Hough 变换的方法[3-4]。 前两者利用的都是目标运动的机动限制条件，仅 适用于噪声虚警和杂波较少的环境。后者适应性 更强但需要知道目标轨道的参数信息，并且在参 数域运行聚类方法的计算量较大。 收稿日期：2020−06−23. 基金项目：国家自然科学基金项目 (61273279). 通信作者：田金文. E-mail：jwtian@mail.hust.edu.cn. 第 15 卷第 5 期 智 能 系 统 学 报 Vol.15 No.5 2020 年 9 月 CAAI Transactions on Intelligent Systems Sep. 2020
·848· 智能系统学报 第15卷 按照关联因子的不同，目标关联主要可分为 定的优化。 基于位置信息和基于属性信息两大类，由于异 2)算法同时考虑了目标群的位置特征和属性 视角对属性特征的影响较大，早期关联算法大多 特征，具有更好的抗干扰能力和准确性。 是基于位置信息的。一些经典的多目标关联算 3)基于D-S证据理论的融合框架具有很好的 法，如最近邻算法(NN)、概率数据关联算法 扩展能力，可以根据应用场景的不同使用不同的 (PDA)、多假设跟踪算法MHT)等。近年来，很多 目标群特征。 学者在此基础上做了很多改进。赵健阿研究的基 于点模式匹配算法可以处理目标群的刚体或非刚 1算法基本框架 体形变，对基于位置的关联效果有很大提升。 本文整体算法框架如图1所示，目标检测模 Zeng等)提出了一种舰船编队特征与舰船属性 块获得目标群位置后，将目标区域子图像送入属 特征相结合的目标关联算法，该算法同时考虑了 性特征提取模块，获得目标的颜色特征并计算不 目标的属性特征和舰船编队形状特征进行证据合 同视角下的特征相似度。与此同时，将目标群的 成，充分利用了两者的互补性，但受形状描述及 位置分布及无人机姿态信息等送入拓扑特征提取 目标识别算法的影响，关联正确率不高。刘铮等圆 模块，获得目标的位置信息特征及对应的相似 针对多源数据多特征融合的应用场景，提出基于 度。利用D-S证据理论融合不同特征下的关联概 多模型估计方法对同类型目标进行初步筛选，再 率分配结果并输出最终关联结果。 基于多特征最大联合概率分布对目标精细关联的 方案，有效提高了弱小目标关联的准确性。王继 视角1目标 视角2目标 群图像坐标 群图像坐标 阳等9提出了一种基于目标属性特征的多假设关 颜色特征 联算法，仅仅使用目标的属性特征作为关联依 提取 据，该算法适用于基于低时间分辨率的遥感图像 关联。如何单纯依靠属性特征完成关联任务，目 无人机位置 拓扑特征 无人机位置 姿态信息 提取 姿态信息 前鲜见较为成熟的解决方案。唐宏美0详细研 究了从坐标变换、全局结构、谱特征到拓扑特征 的多种位置关联算法，得出拓扑特征具有最强的 计算属性 计算拓扑 特征相似度 特征相似度 适应性和最高准确率的结论。此外，也有少量综 合位置和属性信息的目标关联方法。汤守波等山 融合不同特征 下的目标关联 在目标运动状态信息可用的情况下，采用原始的 概率 状态滤波的方法形成多条可能航迹，而后利用属 性信息的相似性对关联结果进行修正。孙寒涛回 触合关联 结果 利用灰色系统理论和系统聚类分析方法判断目标 间的相似程度。对于不确定的集合再次进行方位 图1本文算法流程图 Fig.1 Flow chart of the proposed method 数据关联，有效弥补了单一方法的缺陷。 总体来说，以上方案的主要思路都是基于目 2 特征提取子模块 标的位置信息，对目标群运动过程建立适当的模 型，根据这些运动参量计算出航迹量测的匹配 2.1 颜色特征提取子模块 度，进而对关联关系的判断1。这些算法并没有 目标的属性特征包括目标的颜色、纹理、形 充分利用目标的属性信息。随着无人机信息采集 状等，这些属性特征大多受视角变换影响较大， 技术的发展，目标关联可以利用的信息越来越丰 因此传统目标关联算法很少利用其属性特征。无 富。区别于传统的天基、地基传感器，以无人机 人机编队因其自带姿态位置传感器，能够在一定 编队为载体的各种传感器可以提供多视角、近距 程度上修正视角对观测结果的影响，使得属性特 离的各种目标特征信息。综合利用目标在时空和 征的引入具有可行性。 属性上的特征，能够有效提高关联的准确率。与 本文算法主要使用了目标的颜色特征，为减 传统目标关联算法相比，本文算法具有以下优势： 小视角变化对目标颜色特征的影响，使用以下步 1)借助姿态及位置传感器，无人机成像平台 骤提取日标的颜色特征。 提供的目标空间信息，能够对二维图像特征进行 1)去除背景干扰。由于目标检测给出的目标
按照关联因子的不同，目标关联主要可分为 基于位置信息和基于属性信息两大类[5] ，由于异 视角对属性特征的影响较大，早期关联算法大多 是基于位置信息的。一些经典的多目标关联算 法，如最近邻算 法 (NN)、概率数据关联算 法 (PDA)、多假设跟踪算法 (MHT) 等。近年来，很多 学者在此基础上做了很多改进。赵健[6] 研究的基 于点模式匹配算法可以处理目标群的刚体或非刚 体形变，对基于位置的关联效果有很大提升。 Zeng 等 [7] 提出了一种舰船编队特征与舰船属性 特征相结合的目标关联算法，该算法同时考虑了 目标的属性特征和舰船编队形状特征进行证据合 成，充分利用了两者的互补性，但受形状描述及 目标识别算法的影响，关联正确率不高。刘铮等[8] 针对多源数据多特征融合的应用场景，提出基于 多模型估计方法对同类型目标进行初步筛选，再 基于多特征最大联合概率分布对目标精细关联的 方案，有效提高了弱小目标关联的准确性。王继 阳等[9] 提出了一种基于目标属性特征的多假设关 联算法，仅仅使用目标的属性特征作为关联依 据，该算法适用于基于低时间分辨率的遥感图像 关联。如何单纯依靠属性特征完成关联任务，目 前鲜见较为成熟的解决方案。唐宏美[10] 详细研 究了从坐标变换、全局结构、谱特征到拓扑特征 的多种位置关联算法，得出拓扑特征具有最强的 适应性和最高准确率的结论。此外，也有少量综 合位置和属性信息的目标关联方法。汤守波等[11] 在目标运动状态信息可用的情况下，采用原始的 状态滤波的方法形成多条可能航迹，而后利用属 性信息的相似性对关联结果进行修正。孙寒涛[12] 利用灰色系统理论和系统聚类分析方法判断目标 间的相似程度。对于不确定的集合再次进行方位 数据关联，有效弥补了单一方法的缺陷。 总体来说，以上方案的主要思路都是基于目 标的位置信息，对目标群运动过程建立适当的模 型，根据这些运动参量计算出航迹量测的匹配 度，进而对关联关系的判断[13]。这些算法并没有 充分利用目标的属性信息。随着无人机信息采集 技术的发展，目标关联可以利用的信息越来越丰 富。区别于传统的天基、地基传感器，以无人机 编队为载体的各种传感器可以提供多视角、近距 离的各种目标特征信息。综合利用目标在时空和 属性上的特征，能够有效提高关联的准确率。与 传统目标关联算法相比，本文算法具有以下优势： 1) 借助姿态及位置传感器，无人机成像平台 提供的目标空间信息，能够对二维图像特征进行 一定的优化。 2) 算法同时考虑了目标群的位置特征和属性 特征，具有更好的抗干扰能力和准确性。 3) 基于 D-S 证据理论的融合框架具有很好的 扩展能力，可以根据应用场景的不同使用不同的 目标群特征。 1 算法基本框架 本文整体算法框架如图 1 所示，目标检测模 块获得目标群位置后，将目标区域子图像送入属 性特征提取模块，获得目标的颜色特征并计算不 同视角下的特征相似度。与此同时，将目标群的 位置分布及无人机姿态信息等送入拓扑特征提取 模块，获得目标的位置信息特征及对应的相似 度。利用 D-S 证据理论融合不同特征下的关联概 率分配结果并输出最终关联结果。 视角 1 目标 群图像坐标 视角 2 目标 群图像坐标 颜色特征 提取 拓扑特征 提取 计算拓扑 特征相似度 计算属性 特征相似度 融合不同特征 下的目标关联 概率 融合关联 结果 无人机位置 姿态信息 无人机位置 姿态信息 图 1 本文算法流程图 Fig. 1 Flow chart of the proposed method 2 特征提取子模块 2.1 颜色特征提取子模块 目标的属性特征包括目标的颜色、纹理、形 状等，这些属性特征大多受视角变换影响较大， 因此传统目标关联算法很少利用其属性特征。无 人机编队因其自带姿态位置传感器，能够在一定 程度上修正视角对观测结果的影响，使得属性特 征的引入具有可行性。 本文算法主要使用了目标的颜色特征，为减 小视角变化对目标颜色特征的影响，使用以下步 骤提取目标的颜色特征。 1) 去除背景干扰。由于目标检测给出的目标 ·848· 智 能 系 统 学 报 第 15 卷
第5期 付昆，等：多特征融合的异视角目标关联算法 ·849· 框往往带有一定的背景区域，这些背景不属于目 X 1 0 0 标的信息，在统计目标的颜色特征时应当预先剔 0 cos y sin y Z 0 除。本文使用基于自适应阈值的泛洪填充算法计 -sin y cos y cos 0 sin 0 cos 0 -sin 算背景区域。具体步骤如下：①计算宽w高h的 sin 0 cos 00 0 1 0 跟踪框内每个像素对应的像素梯度，按升序进行 0 0 1 sin 0 cos 排序得到w×h长度的一维数组S:②计算目标边 式中：(X,Y,Z)为目标在地理坐标系下的坐标； 缘的梯度阈值：③从跟踪框的矩形边缘开始向中 (0,p,)分别为无人机的俯仰角、航向角、滚动角。 心进行遍历，将梯度小于阈值的像素点标记为背 2)计算目标的拓扑描述子。由于无人机编队 景，直到遇到大于边缘阈值的像素停止遍历。标 覆盖范围有限，目标群分布范围可近似看做同一 记为背景的像素不参与颜色统计。 高度分布，只需要提取目标的二维拓扑特征。以 视角中某一目标为原点建立极坐标系，将其余目 2)二维透视变换消除视角畸变。由于无人机 标按照极角分为12个区间，每个区间为π6弧度 多为高空侦查，地面目标可近似为二维物体，使 的扇形区域。统计每个区间中目标的极径之和 用二维透视变换将目标的前下视图像矫正为正下 作为这一区间的特征值。这个12维特征向量即 视图可以消除视角倾斜带来的影响。具体方案为 为当前参考目标的拓扑描述子。 使用无人机的姿态及相机内参确定投影矩阵，将 3)根据描述子计算目标之间的拓扑特征相似 图像上的目标像素分别投影到地平面上，然后将 度。本文使用改进的曼哈顿距离计算拓扑描述子 地平面上的虚拟目标等比例缩放获得目标的俯 的相似度，具体步骤如下。①将两目标的拓扑描 视图。 述子按位相减，获得12维的差值；②以3为滑动 3)统计目标颜色直方图并计算频率直方图。 窗口宽度，对12维差值非零部分做均值滤波，消 本文采用RGB或HSV颜色空间，将每种颜色分 除观测角度误差带来的影响；③对滤波后的差值 量按照0~255分为10个区间，统计每个区间的像 绝对值求和为S,最终相似度Similarity计算方式 素点数目，并除以目标像素点总数。这个30维的 如下，A、B分别为两视角下某观测的拓扑描述 颜色频率分布直方图即为属性特征向量。 子，函数∫为均值滤波操作。 4)计算两目标区域的颜色特征相似度并进行 Similarity =1-- sum 关联概率分配。本文采用余弦距离计算颜色特征 S=abs(f(A(i)-B(i))) 向量的相似度。相似度取值范围为0~1，数值越 12 大相似度越高。为方便后续进行特征融合，两视 sum 角不同量测之间的关联概率需要满足∑P=1, abs(A(O),∑abs(BU》 P,表示视角1中的量测i与视角2中的量测j对 4)根据拓扑相似度进行关联概率分配。设两 应同一目标的概率。 视角下分别有M和N个目标，由以上步骤可获得 2.2拓扑特征提取子模块 M×N维的相似度矩阵M。在矩阵中寻找最大元 目标的拓扑特征指的是目标在目标群中的几 素M,若M≥(=0.7)，则量测i与量测j关联， 何位置信息，与单纯的坐标信息不同，拓扑特征 然后从相似矩阵中划掉、j对应的行和列，得到 综合考虑了参考目标与其他目标之间的相对位置 降阶的相似矩阵，在降阶矩阵中再找最大元素， 关系。由于当前技术条件下无人机的位置传感器 重复上述过程，直到所有元素均小于阈值为止。 精度不足，基于坐标相对关系的拓扑特征往往更 2.3D-S证据理论特征融合模块 基于颜色特征和拓扑特征均可获得一个 加准确稳定。 MxN维的关联概率矩阵，使用D-S证据理论融合 由于不同无人机视角不同，为获得同一坐标 两个矩阵可获得更加可靠的关联结果。 系下的几何位置分布，需要使用无人机的姿态参 本文在基于属性特征和拓扑特征的关联概率 数将目标群图像坐标转换为地理坐标。具体算法 矩阵上运行证据融合过程，视角1中每个量测分 步骤如下： 别有8个关联概率与视角2中目标对应，加上全 1)将目标的二维图像坐标转化为三维地理坐 集和空集，每个量测的关联概率向量为10维。合 标。转换过程需先把成像坐标系转换为导航坐标 成规则如下： 系，再将导航坐标系变为地理坐标系。坐标系转 0为假设空间，mass函数是一个在假设空间 化公式如下： 上的基本概率分配函数m,满足：
框往往带有一定的背景区域，这些背景不属于目 标的信息，在统计目标的颜色特征时应当预先剔 除。本文使用基于自适应阈值的泛洪填充算法计 算背景区域。具体步骤如下：①计算宽 w 高 h 的 跟踪框内每个像素对应的像素梯度，按升序进行 排序得到 w×h 长度的一维数组 S；②计算目标边 缘的梯度阈值；③从跟踪框的矩形边缘开始向中 心进行遍历，将梯度小于阈值的像素点标记为背 景，直到遇到大于边缘阈值的像素停止遍历。标 记为背景的像素不参与颜色统计。 2) 二维透视变换消除视角畸变。由于无人机 多为高空侦查，地面目标可近似为二维物体，使 用二维透视变换将目标的前下视图像矫正为正下 视图可以消除视角倾斜带来的影响。具体方案为 使用无人机的姿态及相机内参确定投影矩阵，将 图像上的目标像素分别投影到地平面上，然后将 地平面上的虚拟目标等比例缩放获得目标的俯 视图[14]。 3) 统计目标颜色直方图并计算频率直方图。 本文采用 RGB 或 HSV 颜色空间，将每种颜色分 量按照 0~255 分为 10 个区间，统计每个区间的像 素点数目，并除以目标像素点总数。这个 30 维的 颜色频率分布直方图即为属性特征向量。 4) 计算两目标区域的颜色特征相似度并进行 关联概率分配。本文采用余弦距离计算颜色特征 向量的相似度。相似度取值范围为 0~1，数值越 大相似度越高。为方便后续进行特征融合，两视 角不同量测之间的关联概率需要满足∑Pi j=1， Pij 表示视角 1 中的量测 i 与视角 2 中的量测 j 对 应同一目标的概率。 2.2 拓扑特征提取子模块 目标的拓扑特征指的是目标在目标群中的几 何位置信息，与单纯的坐标信息不同，拓扑特征 综合考虑了参考目标与其他目标之间的相对位置 关系。由于当前技术条件下无人机的位置传感器 精度不足，基于坐标相对关系的拓扑特征往往更 加准确稳定。 由于不同无人机视角不同，为获得同一坐标 系下的几何位置分布，需要使用无人机的姿态参 数将目标群图像坐标转换为地理坐标。具体算法 步骤如下： 1) 将目标的二维图像坐标转化为三维地理坐 标。转换过程需先把成像坐标系转换为导航坐标 系，再将导航坐标系变为地理坐标系。坐标系转 化公式如下： X Y Z = T −1 Xc Yc Zc T = 1 0 0 0 cos γ sin γ 0 −sin γ cos γ ∗ cos θ sin θ 0 −sin θ cos θ 0 0 0 1 cos φ 0 −sin φ 0 1 0 sin φ 0 cos φ 式中：(X，Y，Z) 为目标在地理坐标系下的坐标； (θ，φ，γ) 分别为无人机的俯仰角、航向角、滚动角。 2) 计算目标的拓扑描述子。由于无人机编队 覆盖范围有限，目标群分布范围可近似看做同一 高度分布，只需要提取目标的二维拓扑特征。以 视角中某一目标为原点建立极坐标系，将其余目 标按照极角分为 12 个区间，每个区间为 π/6 弧度 的扇形区域。统计每个区间中目标的极径之和， 作为这一区间的特征值。这个 12 维特征向量即 为当前参考目标的拓扑描述子。 3) 根据描述子计算目标之间的拓扑特征相似 度。本文使用改进的曼哈顿距离计算拓扑描述子 的相似度，具体步骤如下。①将两目标的拓扑描 述子按位相减，获得 12 维的差值；②以 3 为滑动 窗口宽度，对 12 维差值非零部分做均值滤波，消 除观测角度误差带来的影响；③对滤波后的差值 绝对值求和为 S，最终相似度 Similarity 计算方式 如下，A、B 分别为两视角下某观测的拓扑描述 子，函数 f 为均值滤波操作。 Similarity = 1− S sum S = ∑12 i=1 abs(f(A(i)− B(i))) sum = max ∑12 i=1 abs(A(i)), ∑12 j=1 abs(B(j)) 4) 根据拓扑相似度进行关联概率分配。设两 视角下分别有 M 和 N 个目标，由以上步骤可获得 M×N 维的相似度矩阵 Ms。在矩阵中寻找最大元 素 Msij，若 Msij≥ɛ(ɛ=0.7)，则量测 i 与量测 j 关联， 然后从相似矩阵中划掉 i、j 对应的行和列，得到 降阶的相似矩阵，在降阶矩阵中再找最大元素， 重复上述过程，直到所有元素均小于阈值为止。 2.3 D-S 证据理论特征融合模块 基于颜色特征和拓扑特征均可获得一 个 M×N 维的关联概率矩阵，使用 D-S 证据理论融合 两个矩阵可获得更加可靠的关联结果。 本文在基于属性特征和拓扑特征的关联概率 矩阵上运行证据融合过程，视角 1 中每个量测分 别有 8 个关联概率与视角 2 中目标对应，加上全 集和空集，每个量测的关联概率向量为 10 维。合 成规则如下： θ 为假设空间，mass 函数是一个在假设空间 上的基本概率分配函数 m，满足： 第 5 期 付昆，等：多特征融合的异视角目标关联算法 ·849·
·850· 智能系统学报 第15卷 m(O)=0,∑mA)=1 对任意A属于0,0上的两个mass函数m1, m2的Dempster合成规则为 1 m1⊕m2(A)= ∑m4(B-m,(C),B,Cc8 K=1- 2 mi(B).m2(C) BnC=0 (a)视角1目标分布位置 对任意A属于0,0上的n个mass函数m1, m2,…,mn的Dempster合成规则为 m1⊕m2⊕…⊕1mn(A)= ∑m1(A)-m2(A2）…·ma(A) AinA:-A.=A A1,A2,…,Ang6, K=1-∑(A)m(A)m.A) 3实验分析 (b)视角2目标分布位置 本文的实验图像是基于两架无人机在不同视 图3两个视角下的目标分布 角下同时采集获得的可见光图像，图2为原图，分 Fig.3 Target distribution from two perspectives 辨率3000×4000，图3为目标群的位置分布情况， 表1两视角不同目标与量测的对应关系 关联目标为车辆，每幅图像带有相应的拍摄坐标 Table 1 Corresponding relationship between different tar- 及飞行姿态数据。在两个视角中分别选取8个 gets and measurement from two perspectives 和9个车辆目标作为识别目标，分别编号为101~ 目标 0 1 2 3 109,201~208。正确对应关系如表1所示。 视角1 101 102 103 104 视角2 201 202 203 204 目标 6 6 9 视角1 105 106 107 108 109 视角2 205 206 207 208 (a)视角1原图 (b)视角2原图 图2两视角下无人机拍摄原图 两视角目标区域图片裁剪如表2所示，视角 Fig.2 Original picture taken by UAV 2拍摄位置离地更高，故同一目标的量测更小。 表2目标区域裁剪子图像 Table 2 Sub image cut from target area 编号 101 102 103 104 105 106 107 108 109 图片 编号 201 202 203 204 205 206 207 208 图片 3.1颜色特征提取 标图像如表3所示，预处理将背景像素统一标记 3.11去除背景像素 为黑色。 基于自适应阈值的泛洪填充算法处理后的目
m(Ø) = 0, ∑ A⊆θ m(A) = 1 对任意 A 属于 θ，θ 上的两个 mass 函数 m1， m2 的 Dempster 合成规则为 m1 ⊕m2(A) = 1 K ∑ B∩C=A m1(B)·m2(C),B,C ⊆ θ, K = 1− ∑ B∩C=Ø m1(B)·m2(C) 对任意 A 属于 θ，θ 上的 n 个 mass 函数 m1， m2，…，mn 的 Dempster 合成规则为 m1 ⊕m2 ⊕ ··· ⊕mn(A) = 1 K ∑ A1∩A2 ···An=A m1(A1)·m2(A2)· ··· ·mn(An) A1,A2,··· ,An ⊆ θ, K = 1− ∑ m1(A1)·m2(A2)· ··· ·mn(An) 3 实验分析 本文的实验图像是基于两架无人机在不同视 角下同时采集获得的可见光图像，图 2 为原图，分 辨率 3 000×4 000，图 3 为目标群的位置分布情况， 关联目标为车辆，每幅图像带有相应的拍摄坐标 及飞行姿态数据。在两个视角中分别选取 8 个 和 9 个车辆目标作为识别目标，分别编号为 101~ 109，201~208。正确对应关系如表 1 所示。 (a) 视角 1 原图 (b) 视角 2 原图 图 2 两视角下无人机拍摄原图 Fig. 2 Original picture taken by UAV (a) 视角 1 目标分布位置 (b) 视角 2 目标分布位置 图 3 两个视角下的目标分布 Fig. 3 Target distribution from two perspectives 表 1 两视角不同目标与量测的对应关系 Table 1 Corresponding relationship between different targets and measurement from two perspectives 目标 0 1 2 3 4 视角1 101 − 102 103 104 视角2 − 201 202 203 204 目标 5 6 7 8 9 视角1 105 106 107 108 109 视角2 205 206 207 208 − 两视角目标区域图片裁剪如表 2 所示，视角 2 拍摄位置离地更高，故同一目标的量测更小。 3.1 颜色特征提取 3.1.1 去除背景像素 基于自适应阈值的泛洪填充算法处理后的目 标图像如表 3 所示，预处理将背景像素统一标记 为黑色。 表 2 目标区域裁剪子图像 Table 2 Sub image cut from target area 编号 101 102 103 104 105 106 107 108 109 图片 编号 201 202 203 204 205 206 207 208 图片 ·850· 智 能 系 统 学 报 第 15 卷
第5期 付昆，等：多特征融合的异视角目标关联算法 ·851· 表3消除背景后的目标图像 Table 3 Target area without background pixels 编号 101 102 103 104 105 106 107 108 109 图片 编号 201 202 203 204 205 206 207 208 图片 3.1.2计算颜色特征向量 率分布直方图，可以看出，不同颜色的目标颜色 表4是以RGB颜色分量计算的部分目标频 特征向量有很大的不同。 表4部分目标的颜色特征向量 Table 4 Color feature vector of some targets 目标编号 2 3 目标图像 100 0 1020 t00 颜色特征直方图 色升日区到 B色分量区 色分量区到 200 20 100 200 t00 0 GB色分区 分量区间 目标编号 4 目标图像 颜色特征直方图 e8 100 0 00 B色分量区到 GB黑色分阳区到 台横色升量区到
3.1.2 计算颜色特征向量 表 4 是以 RGB 颜色分量计算的部分目标频 率分布直方图，可以看出，不同颜色的目标颜色 特征向量有很大的不同。 表 4 部分目标的颜色特征向量 Table 4 Color feature vector of some targets 目标编号 2 3 目标图像 颜色特征直方图 RGB 颜色分量区间 RGB 颜色分量区间 RGB 颜色分量区间 RGB 颜色分量区间 RGB 颜色分量区间 RGB 颜色分量区间 像素数目 像素数目 像素数目 像素数目 像素数目 像素数目 RGB 颜色分量区间 RGB 颜色分量区间 RGB 颜色分量区间 RGB 颜色分量区间 RGB 颜色分量区间 RGB 颜色分量区间 像素数目 像素数目 像素数目 像素数目 像素数目 像素数目 目标编号 4 7 目标图像 颜色特征直方图 RGB 颜色分量区间 RGB 颜色分量区间 RGB 颜色分量区间 RGB 颜色分量区间 RGB 颜色分量区间 RGB 颜色分量区间 像素数目 像素数目 像素数目 像素数目 像素数目 像素数目 RGB 颜色分量区间 RGB 颜色分量区间 RGB 颜色分量区间 RGB 颜色分量区间 RGB 颜色分量区间 RGB 颜色分量区间 像素数目 像素数目 像素数目 像素数目 像素数目 像素数目 表 3 消除背景后的目标图像 Table 3 Target area without background pixels 编号 101 102 103 104 105 106 107 108 109 图片 编号 201 202 203 204 205 206 207 208 图片 第 5 期 付昆，等：多特征融合的异视角目标关联算法 ·851·
·852· 智能系统学报 第15卷 3.1.3基于颜色特征的关联概率分配结果 率较大，相似度一般在0.8以上，满足D-S据理论 基于颜色特征向量计算的相似度矩阵如式 对证据有效性的要求，然而，仅仅使用颜色对目 (1)所示。取阈值ε=0.7，关联概率分配结果如 标量测进行关联决策存在较大的误差，需要其他 表5所示。显然属于同一目标的两个量测关联概 特征的辅助判别。 0.7540.3670.8250.7660.9700.4270.3880.425 0.3080.9650.455 0.4080.4290.4500.5920.535 0.7860.4880.8370.7580.9390.4090.3470.387 0.750 0.3410.8790.9340.8110.799 0.593 0.688 similarity 0.4920.2440.6330.5660.8610.3550.4020.471 (1) 0.6110.3340.7580.834.0.6120.863 0.649 0.731 0.3110.5290.5310.5390.4820.588 0.9340.749 0.3850.7240.6060.6050.5460.669 0.7510.927 0.347 0.6090.5710.582 0.5190.6210.8340.884 表5基于颜色特征的关联概率分配结果 Table 5 Association probability assignment results based on color features 编号 关联对象/关联概率 201/0.2275 203/0.2489 204/0.2311 101 205/0.2925 102 202/1.0000 201/0.2368 203/0.2520 204/0.2282 103 205/0.2830 201/0.1798 203/0.2107 204/0.2237 104 205/0.1943 206/0.1916 105 205/1.0000 203/0.2378 204/0.2616 206/0.2710 106 208/0.2295 107 207/0.5702 208/0.4298 108 202/0.3021 207/0.3129 208/0.3860 109 207/0.4854 208/0.5146 3.2拓扑特征提取 后，两视角的目标群位置分布如图4所示。 3.2.1坐标系转换 以7号目标为例，其在视角1和视角2量测 将目标坐标从图像坐标系统一到地理坐标 的拓扑描述子如图5所示。 意w 1000 ●105104 ●● 102 109 205204 203 900 。101 900 201202 800 106 800 206 700 700 600 蓝 600 500 107 500 e 20” 400 400 108 208 30 60010001400 300 200 1800 00 600◆100014001800 东西方向目标相对位置分布/像素 东西方向目标相对位置分布/像素 (a)视角1目标群位置 (b)视角2目标群位置 图4目标群位置分布示意图 Fig.4 Location distribution of target group
3.1.3 基于颜色特征的关联概率分配结果 基于颜色特征向量计算的相似度矩阵如式 (1) 所示。取阈值ɛ=0.7，关联概率分配结果如 表 5 所示。显然属于同一目标的两个量测关联概 率较大，相似度一般在 0.8 以上，满足 D-S 据理论 对证据有效性的要求，然而，仅仅使用颜色对目 标量测进行关联决策存在较大的误差，需要其他 特征的辅助判别。 similarity = 0.754 0.367 0.825 0.766 0.970 0.427 0.388 0.425 0.308 0.965 0.455 0.408 0.429 0.450 0.592 0.535 0.786 0.488 0.837 0.758 0.939 0.409 0.347 0.387 0.750 0.341 0.879 0.934 0.811 0.799 0.593 0.688 0.492 0.244 0.633 0.566 0.861 0.355 0.402 0.471 0.611 0.334 0.758 0.834 0.612 0.863 0.649 0.731 0.311 0.529 0.531 0.539 0.482 0.588 0.934 0.749 0.385 0.724 0.606 0.605 0.546 0.669 0.751 0.927 0.347 0.609 0.571 0.582 0.519 0.621 0.834 0.884 (1) 表 5 基于颜色特征的关联概率分配结果 Table 5 Association probability assignment results based on color features 编号 关联对象/关联概率 101 201 / 0.227 5 203 / 0.2489 204 / 0.2311 205 / 0.292 5 102 202 / 1.000 0 103 201 / 0.236 8 203 / 0.2520 204 / 0.2282 205 / 0.283 0 104 201 / 0.179 8 203 / 0.2107 204 / 0.2237 205 / 0.194 3 206 / 0.1916 105 205 / 1.000 0 106 203 / 0.237 8 204 / 0.2616 206 / 0.2710 208 / 0.229 5 107 207 / 0.570 2 208 / 0.4298 108 202 / 0.302 1 207 / 0.3129 208 / 0.3860 109 207 / 0.485 4 208 / 0.5146 3.2 拓扑特征提取 3.2.1 坐标系转换 将目标坐标从图像坐标系统一到地理坐标 后，两视角的目标群位置分布如图 4 所示。 以 7 号目标为例，其在视角 1 和视角 2 量测 的拓扑描述子如图 5 所示。 200 600 1 000 1 400 1 800 300 400 500 600 700 800 900 1 000 1 100 南北方向目标相对位置分布/像素 300 400 500 600 700 800 900 1 000 1 100 南北方向目标相对位置分布/像素 106 109 105 104 102 101 107 108 东西方向目标相对位置分布/像素 (a) 视角 1 目标群位置 200 600 1 000 1 400 1 800 东西方向目标相对位置分布/像素 (b) 视角 2 目标群位置 206 205 204 207 208 201 203 202 图 4 目标群位置分布示意图 Fig. 4 Location distribution of target group ·852· 智 能 系 统 学 报 第 15 卷
第5期 付昆，等：多特征融合的异视角目标关联算法 ·853· 3500 3500 3000 3000 2500 2500 2000 2000 1500 1500 1000 500 500 123456789101112 123456789101112 方位角区间/（π/6rad 方位角区间/（π/6rad (a)目标"在视角1下的拓扑特征向量 (b)目标，在视角2下的拓扑特征向量 图5目标7在视角1及视角2下的拓扑特征向量 Fig.5 Topological characteristics of target 7 from different perspectives 基于拓扑特征向量计算的相似度矩阵如式(2)，同一目标的拓扑特征相似度都在0.9以上。 0.9050.9680.9340.3810.3120.8070.1260.175 0.8330.9080.8740.1300.0720.7580.0820.129 0.8640.9390.9060.3530.2870.7840.0960.144 0.4520.7880.4360.9510.8420.6590.1320.386 similarity 0.3300.7390.3170.8990.9720.5330.1300.380 (2) 0.2140.6350.1930.6350.7360.9590.6780.678 0.1590.6920.3030.5220.6030.8620.9430.978 0.1530.3040.3110.2570.2200.8110.8840.941 0.3130.7260.2860.8390.9370.5460.2040.373 3.2.2基于拓扑特征的关联概率分配结果 2中任何一个目标对应，与事实一致。目标7和 取阈值ε=0.85，拓扑特征的关联概率分配结 目标8颜色接近，并且在两视角下的拓扑结构接 果如表6所示。 近，因此对应的量测关联概率也较为接近。对比 表6基于拓扑特征的关联概率分配结果 单独使用颜色特征和拓扑特征的关联概率，显然 Table 6 Distribution results of association probability 融合概率矩阵更加准确可靠，其中大部分目标能 based on topological features 给出清晰的判定结果。 编号 关联对象/关联概率 表7融合拓扑特征和颜色特征的关联概率分配结果 101 201/0.3223 202/0.3449 203/0.3328 Table 7 Association probability assignment result based on the topological feature and color feature 102 202/0.5094 203/0.4906 Pg201202203204205206207 208 103 201/0.3188 202/0.3468 203/0.3343 1010.469500.5305000 0 104 204/1.0000 102 0 1 0 0 0 0 0 0 105 204/0.4804 205/0.5196 1030.472700.52730 0 0 0 0 106 206/1.0000 104 0 0 107 206/0.3097 207/0.3388 208/0.3515 105 0 0 0 0 108 207/0.4843 208/0.5157 106 0 0 0 0 0 0 0 109 205/1.0000 107 0 0 0 00.56120.4388 3.3多特征融合匹配结果 108 0 0 0 0 00.43220.5678 使用D-S证据理论融合颜色特征和拓扑特征 109 0 0 0 0 0 0 0 0 的关联概率后，综合关联概率如表7所示(P表 示量测i和量测j的关联概率)。 3.4关联算法优劣势对比 根据关联概率矩阵进行量测分配，所有量测 考虑到关联算法应用场景的不同，本文没有 对应关系均分配正确，其中量测109不与视角 进行对比实验，通过总结不同文献的关联思想
1 2 3 4 5 6 7 8 9 10 11 12 方位角区间/(π/6·rad) 方位角区间/(π/6·rad) 0 500 1 000 1 500 2 000 2 500 3 000 3 500 相对距离和/像素 0 500 1 000 1 500 2 000 2 500 3 000 3 500 相对距离和/像素 1 2 3 4 5 6 7 8 9 10 11 12 (a) 目标 η 在视角 1 下的拓扑特征向量 (b) 目标 η 在视角 2 下的拓扑特征向量 图 5 目标 7 在视角 1 及视角 2 下的拓扑特征向量 Fig. 5 Topological characteristics of target 7 from different perspectives 基于拓扑特征向量计算的相似度矩阵如式 (2)，同一目标的拓扑特征相似度都在 0.9 以上。 similarity = 0.905 0.968 0.934 0.381 0.312 0.807 0.126 0.175 0.833 0.908 0.874 0.130 0.072 0.758 0.082 0.129 0.864 0.939 0.906 0.353 0.287 0.784 0.096 0.144 0.452 0.788 0.436 0.951 0.842 0.659 0.132 0.386 0.330 0.739 0.317 0.899 0.972 0.533 0.130 0.380 0.214 0.635 0.193 0.635 0.736 0.959 0.678 0.678 0.159 0.692 0.303 0.522 0.603 0.862 0.943 0.978 0.153 0.304 0.311 0.257 0.220 0.811 0.884 0.941 0.313 0.726 0.286 0.839 0.937 0.546 0.204 0.373 (2) 3.2.2 基于拓扑特征的关联概率分配结果 取阈值ɛ=0.85，拓扑特征的关联概率分配结 果如表 6 所示。 表 6 基于拓扑特征的关联概率分配结果 Table 6 Distribution results of association probability based on topological features 编号 关联对象/关联概率 101 201 / 0.3223 202 / 0.344 9 203 / 0.3328 102 202 / 0.5094 203 / 0.490 6 103 201 / 0.3188 202 / 0.346 8 203 / 0.3343 104 204 / 1.0000 105 204 / 0.4804 205 / 0.519 6 106 206 / 1.0000 107 206 / 0.3097 207 / 0.338 8 208 / 0.3515 108 207 / 0.4843 208 / 0.515 7 109 205 / 1.0000 3.3 多特征融合匹配结果 使用 D-S 证据理论融合颜色特征和拓扑特征 的关联概率后，综合关联概率如表 7 所示 (Pij 表 示量测 i 和量测 j 的关联概率)。 根据关联概率矩阵进行量测分配，所有量测 对应关系均分配正确，其中量测 109 不与视角 2 中任何一个目标对应，与事实一致。目标 7 和 目标 8 颜色接近，并且在两视角下的拓扑结构接 近，因此对应的量测关联概率也较为接近。对比 单独使用颜色特征和拓扑特征的关联概率，显然 融合概率矩阵更加准确可靠，其中大部分目标能 给出清晰的判定结果。 表 7 融合拓扑特征和颜色特征的关联概率分配结果 Table 7 Association probability assignment result based on the topological feature and color feature Pij 201 202 203 204 205 206 207 208 101 0.4695 0 0.530 5 0 0 0 0 0 102 0 1 0 0 0 0 0 0 103 0.4727 0 0.527 3 0 0 0 0 0 104 0 0 0 1 0 0 0 0 105 0 0 0 0 1 0 0 0 106 0 0 0 0 0 1 0 0 107 0 0 0 0 0 0 0.561 2 0.4388 108 0 0 0 0 0 0 0.432 2 0.5678 109 0 0 0 0 0 0 0 0 3.4 关联算法优劣势对比 考虑到关联算法应用场景的不同，本文没有 进行对比实验，通过总结不同文献的关联思想， 第 5 期 付昆，等：多特征融合的异视角目标关联算法 ·853·
·854· 智能系统学报 第15卷 归纳出适用于无人机平台的3类基础算法，并与 信息能够对目标的颜色和拓扑特征起到一定的优 本文算法进行优劣势对比。 化效果。 算法1基于全局结构的位置关联算法。以 实验证明了利用多特征融合改进关联结果的 目标的绝对位置或相对位置（相对目标群重心或 可行性，由于证据理论中基本概率分配的独立 地图指定参考点)为关联依据的一类算法。相关 性，新型有效特征的引入必然对关联结果有一定 特征有点对特征、谱特征、拓扑特征等，对传感器 的改进。由于时间关系，本文仅使用了颜色和拓 精度要求较高。 扑两种特征，对于其他应用场景，可以在本框架 算法2基于属性特征的数据关联算法。依 的基础上使用其他特征，如目标面积、纹理等。 据使用传感器的不同，关联可以使用的属性特征 在国防领域，对于搭载红外传感器和雷达的无人 主要有目标面积、周长、长宽比、形状特征链表、 侦察机，本文可使用的基础特征有更多的选择， 偏心率、电磁特性、红外成像提供的温度特征 可以预见，通过综合不同传感器获得的目标特征 等。受应用环境、传感器性能不足、电磁干扰等 信息，关联结果的准确性能够得到极大的提升。 因素的影响，单一属性特征往往很不可靠，视角 参考文献： 变换带来的畸变因素更加限制了属性特征的 使用。 [1]VAN KEUK G.Sequential track extraction[J].IEEE 算法3基于目标运动信息的关联算法。以 Transactions on aerospace and electronic systems,1998, 目标速度、加速度、航迹等因素作为关联依据的 344):1135-1148. 算法，适用于长时关联，但需要对目标的稳定跟 [2]BAR-SHALOM Y,FORTMANN T E.Tracking and data 踪，关联时间较长。 association[M].New York:Academic Press,1988. 以上3种算法与本文算法优缺点如表8所示。 [3]CARLSON B D,EVANS E D,WILSON S L.Search radar detection and track with the Hough transform.III.Detec- 表8本文算法与常用算法的效果对比 Table 8 Effect comparison between the algorithm in this tion performance with binary integration[J].IEEE transac- paper and the classical algorithm tions on aerospace and electronic systems,1994,30(1): 位置关属性关运动信息关本文 116-125 效果 [4]CHEN Ji,LEUNG H.LO T,et al.A modified probabilist- 联算法联算法联算法算法 ic data association filter in a real clutter environment[J]. 观测距离 长 短 长 较短 IEEE transactions on aerospace and electronic systems, 关联用时 短 短 长 短 1996,32(1)300-313. 对视角变化是否敏感 否 是 否 否 [5]曾吴.基于星载异类传感器的舰船编队目标数据关联方 对光照强度是否敏感 否 是 否 否 法研究D1.合肥：国防科技大学，2008。 两场景待关联目标数目 ZENG Hao.Data association research about targets among 大 小 大 小 不一致的影响 ship formation based on heterogeneous spaceborne recon- 传感器精度要求 高 高 低 较低 naissance sensors[D].Hefei:National University of De- fense Technology,2018 此外，目前也有一些算法融合了不同类型特 [6]赵健.点模式匹配算法研究D1.合肥：国防科技大学」 征，如基于电子与光学传感器多特征综合的关联 2012 算法。然而，由于受到视角差异的干扰，这类算 ZHAO Jian.The research on point pattern matching[D]. 法在无人机平台上效果较差。对近距离无人机探 Hefei:National University of Defense Technology,2012 测任务来说，引入无人机提供的位置姿态信息对 [7]ZENG Hao,WANG Zhuang.A ships data association al- 属性信息修正是有效而必要的措施。 gorithm based on the ships formation structure and ships attribute information[C]//2008 9th International Confer- 4结束语 ence on Signal Processing.Beijing.China:IEEE,2008: 2837-2841. 本文提出了一种基于无人机编队平台的多特 [8]刘铮，毛宏霞，戴聪明，等.基于多源数据多特征融合的 征融合目标关联算法，通过融合目标的颜色和位 弱小目标关联研究].红外与激光工程，2019,48(5)： 置信息，对两视角下的目标量测取得了较好的关 0526001. 联结果。研究发现，无人机平台提供的位置姿态 LIU Zheng,MAO Hongxia,DAI Congming,et al.Dim
归纳出适用于无人机平台的 3 类基础算法，并与 本文算法进行优劣势对比。 算法 1 基于全局结构的位置关联算法。以 目标的绝对位置或相对位置 (相对目标群重心或 地图指定参考点) 为关联依据的一类算法。相关 特征有点对特征、谱特征、拓扑特征等，对传感器 精度要求较高。 算法 2 基于属性特征的数据关联算法。依 据使用传感器的不同，关联可以使用的属性特征 主要有目标面积、周长、长宽比、形状特征链表、 偏心率、电磁特性、红外成像提供的温度特征 等。受应用环境、传感器性能不足、电磁干扰等 因素的影响，单一属性特征往往很不可靠，视角 变换带来的畸变因素更加限制了属性特征的 使用。 算法 3 基于目标运动信息的关联算法。以 目标速度、加速度、航迹等因素作为关联依据的 算法，适用于长时关联，但需要对目标的稳定跟 踪，关联时间较长。 以上 3 种算法与本文算法优缺点如表 8 所示。 表 8 本文算法与常用算法的效果对比 Table 8 Effect comparison between the algorithm in this paper and the classical algorithm 效果 位置关 联算法 属性关 联算法 运动信息关 联算法 本文 算法 观测距离 长 短 长 较短 关联用时 短 短 长 短 对视角变化是否敏感 否 是 否 否 对光照强度是否敏感 否 是 否 否 两场景待关联目标数目 不一致的影响 大 小 大 小 传感器精度要求 高 高 低 较低 此外，目前也有一些算法融合了不同类型特 征，如基于电子与光学传感器多特征综合的关联 算法。然而，由于受到视角差异的干扰，这类算 法在无人机平台上效果较差。对近距离无人机探 测任务来说，引入无人机提供的位置姿态信息对 属性信息修正是有效而必要的措施。 4 结束语 本文提出了一种基于无人机编队平台的多特 征融合目标关联算法，通过融合目标的颜色和位 置信息，对两视角下的目标量测取得了较好的关 联结果。研究发现，无人机平台提供的位置姿态 信息能够对目标的颜色和拓扑特征起到一定的优 化效果。 实验证明了利用多特征融合改进关联结果的 可行性，由于证据理论中基本概率分配的独立 性，新型有效特征的引入必然对关联结果有一定 的改进。由于时间关系，本文仅使用了颜色和拓 扑两种特征，对于其他应用场景，可以在本框架 的基础上使用其他特征，如目标面积、纹理等。 在国防领域，对于搭载红外传感器和雷达的无人 侦察机，本文可使用的基础特征有更多的选择， 可以预见，通过综合不同传感器获得的目标特征 信息，关联结果的准确性能够得到极大的提升。 参考文献： VAN KEUK G. Sequential track extraction[J]. IEEE Transactions on aerospace and electronic systems, 1998, 34(4): 1135–1148. [1] BAR-SHALOM Y, FORTMANN T E. Tracking and data association[M]. New York: Academic Press, 1988. [2] CARLSON B D, EVANS E D, WILSON S L. Search radar detection and track with the Hough transform. III. Detection performance with binary integration[J]. IEEE transactions on aerospace and electronic systems, 1994, 30(1): 116–125. [3] CHEN Ji, LEUNG H, LO T, et al. A modified probabilistic data association filter in a real clutter environment[J]. IEEE transactions on aerospace and electronic systems, 1996, 32(1): 300–313. [4] 曾昊. 基于星载异类传感器的舰船编队目标数据关联方 法研究 [D]. 合肥: 国防科技大学, 2008. ZENG Hao. Data association research about targets among ship formation based on heterogeneous spaceborne reconnaissance sensors[D]. Hefei: National University of Defense Technology, 2018. [5] 赵健. 点模式匹配算法研究 [D]. 合肥: 国防科技大学, 2012. ZHAO Jian. The research on point pattern matching[D]. Hefei: National University of Defense Technology, 2012. [6] ZENG Hao, WANG Zhuang. A ships data association algorithm based on the ships formation structure and ships attribute information[C]//2008 9th International Conference on Signal Processing. Beijing, China: IEEE, 2008: 2837−2841. [7] 刘铮, 毛宏霞, 戴聪明, 等. 基于多源数据多特征融合的 弱小目标关联研究 [J]. 红外与激光工程, 2019, 48(5): 0526001. LIU Zheng, MAO Hongxia, DAI Congming, et al. Dim [8] ·854· 智 能 系 统 学 报 第 15 卷
第5期 付昆，等：多特征融合的异视角目标关联算法 ·855· and small target association based on multi-source data and 31(3):1-5,10 multi-feature fusion[J].Infrared and laser engineering, [14]代勤，王延杰，韩广良.基于改进Hough变换和透视变 2019,48(5:0526001. 换的透视图像矫正[J].液晶与显示，2012,27(4)： [9]王继阳，陆军，粟毅.一种基于目标属性特征的多假设关 552-556 联算法).计算机仿真，2005,22(1)：76-79,83. DAI Qin,WANG Yanjie,HAN Guangliang.Perspective WANG Jiyang,LU Jun,SU Yi.A multiple hypothesis as- image rectification based on improved Hough transforma- sociation algorithm based on targets'attribute data]. tion and perspective transformation[J].Chinese journal of Computer simulation,2005,22(1):76-79,83. [10]唐宏美.基于电子与光学传感器的目标关联技术研 liquid crystals and displays,2012,27(4):552-556. 究D].哈尔滨：哈尔滨工业大学，2013 作者简介： TANG Hongmei.Research on technology of target asso- 付昆，硕士研究生，主要研究方向 ciation based on electronic sensor and optical sensor[D]. 为遥感图像处理、协同目标跟踪、计算 Harbin:Harbin Institute of Technology,2013. 机视觉。 [11]汤亚波，徐守时.基于D-S证据理论的多源遥感图像目 标数据联合关联算法[J].中国科学技术大学学报 2006,36(5)466-471 TANG Yabo,XU Shoushi.A united target data associ- 田金文，教授，博士生导师，中国 ation algorithm based on D-S theory and multiple remote 电子学会高级会员，主要研究方向为 sensing images[J].Journal of University of Science and 计算机视觉及其应用、目标识别及应 Technology of China,2006,36(5):466-471. 用、遥感图像信息处理、目标光学特性 [12]孙寒涛.基于状态和属性的多目标联合关联算法).应 建模与成像仿真。主持国家自然科学 基金项目1项，国家863项目多项。 用科技，2020,47(3)：7479. 发表学术论文20余篇。 SUN Hantao.Multi-objective joint association algorithm based on state and attribute[J].Applied science and tech- 马懿超，高级工程师，主要研究方 nology,2020,47(3):74-79. 向为信息融合、自动目标识别。 [13]李文超，邹焕新，雷琳，等.目标数据关联技术综述) 计算机仿真，2014,31(3)1-5,10. LI Wenchao,ZOU Huanxin,LEI Lin,et al.A survey of target data association[J].Computer simulation,2014
and small target association based on multi-source data and multi-feature fusion[J]. Infrared and laser engineering, 2019, 48(5): 0526001. 王继阳, 陆军, 粟毅. 一种基于目标属性特征的多假设关 联算法 [J]. 计算机仿真, 2005, 22(1): 76–79, 83. WANG Jiyang, LU Jun, SU Yi. A multiple hypothesis association algorithm based on targets’ attribute data[J]. Computer simulation, 2005, 22(1): 76–79, 83. [9] 唐宏美. 基于电子与光学传感器的目标关联技术研 究 [D]. 哈尔滨: 哈尔滨工业大学, 2013. TANG Hongmei. Research on technology of target association based on electronic sensor and optical sensor[D]. Harbin: Harbin Institute of Technology, 2013. [10] 汤亚波, 徐守时. 基于 D-S 证据理论的多源遥感图像目 标数据联合关联算法 [J]. 中国科学技术大学学报, 2006, 36(5): 466–471. TANG Yabo, XU Shoushi. A united target data association algorithm based on D-S theory and multiple remote sensing images[J]. Journal of University of Science and Technology of China, 2006, 36(5): 466–471. [11] 孙寒涛. 基于状态和属性的多目标联合关联算法 [J]. 应 用科技, 2020, 47(3): 74–79. SUN Hantao. Multi-objective joint association algorithm based on state and attribute[J]. Applied science and technology, 2020, 47(3): 74–79. [12] 李文超, 邹焕新, 雷琳, 等. 目标数据关联技术综述 [J]. 计算机仿真, 2014, 31(3): 1–5, 10. LI Wenchao, ZOU Huanxin, LEI Lin, et al. A survey of target data association[J]. Computer simulation, 2014, [13] 31(3): 1–5, 10. 代勤, 王延杰, 韩广良. 基于改进 Hough 变换和透视变 换的透视图像矫正 [J]. 液晶与显示, 2012, 27(4): 552–556. DAI Qin, WANG Yanjie, HAN Guangliang. Perspective image rectification based on improved Hough transformation and perspective transformation[J]. Chinese journal of liquid crystals and displays, 2012, 27(4): 552–556. [14] 作者简介： 付昆，硕士研究生，主要研究方向 为遥感图像处理、协同目标跟踪、计算 机视觉。 田金文，教授，博士生导师，中国 电子学会高级会员，主要研究方向为 计算机视觉及其应用、目标识别及应 用、遥感图像信息处理、目标光学特性 建模与成像仿真。主持国家自然科学 基金项目 1 项，国家 863 项目多项。 发表学术论文 20 余篇。 马懿超，高级工程师，主要研究方 向为信息融合、自动目标识别。 第 5 期 付昆，等：多特征融合的异视角目标关联算法 ·855·