第17卷第2期 智能系统学报 Vol.17 No.2 2022年3月 CAAI Transactions on Intelligent Systems Mar.2022 D0:10.11992/tis.202101009 网络出版地址：https:/kns.cnki.net/kcms/detail/23.1538.TP.20210628.1654.002.html 基于局部对比度背景估计的红外小目标检测方法 赵骞，韩金辉，徐茂，陈园园 (周口师范学院物理与电信工程学院，河南周口466001) 摘要：为缓解复杂背景对红外小目标检测任务的干扰，提出一种新的红外小目标检测方法。该方法将背景估 计与局部对比度相结合，以提高算法的检测性能。提出了一种更适合于小目标检测的双层均值最大化背景估 计算法，以获得更准确的基准背景值。在原始图像和估计背景之间提出了比差联合局部对比度度量方法，可以 在增强目标的同时抑制各种类型的复杂背景。通过实验对比分析，验证该方法的有效性和鲁棒性。 关键词：红外小目标；最大均值：背景估计：比差联合方法；局部对比度；目标检测：单帧检测：抗噪声能力 中图分类号：TP391.4 文献标志码：A文章编号：1673-4785(2022)02-0314-11 中文引用格式：赵骞，韩金辉，徐茂，等.基于局部对比度背景估计的红外小目标检测方法.智能系统学报，2022,17(2)： 314-324. 英文引用格式：ZHAO Qian,,HAN Jinhui,XU Mao,,etal.Infrared smal-target detection utilizing background estimation com- bined with local contrastJ].CAAI transactions on intelligent systems,2022,17(2):314-324. Infrared small-target detection utilizing background estimation combined with local contrast ZHAO Qian,HAN Jinhui,XU Mao,CHEN Yuanyuan (College of Physics and Telecommunication,Zhoukou Normal University,Zhoukou 466001,China) Abstract:In order to alleviate the interference of complex backgrounds in infrared small target detection,a new in- frared small target detection method is proposed.The new method combines background estimation with local contrast to improve the detection performance of the algorithm.The main work includes the following aspects:First,a double- layer max-mean background estimation algorithm that is more suitable for small target detection is proposed to get a more accurate background benchmark.Then,a ratio-difference joint local contrast measure is proposed between the raw image and the estimated background to enhance the different sizes of true targets while simultaneously suppressing vari- ous types of complex backgrounds.The analysis and comparison in the experiment show its effectiveness and robustness. Keywords:IR small target;max-mean;background estimation;ratio-difference joint;local contrast;target detection; single frame detection;noise-resistant ability 红外精确制导、红外预警、海上搜救等领域 sized noises with high brightness,PNHB)等，给目 中，被测目标与传感器之间的距离通常很远。由 标检测带来严重干扰，导致较高的虚警率。 于光学系统和焦平面阵列性能的限制，图像中目 在现有的红外小目标检测领域，研究者为实 标通常仅占据几个像素且灰度值较小，容易导致 现高检测率和低虚警率，提出了多种检测方法， 较低的检测率山。此外，由于视野中树木、房屋、 主要包括基于序列的算法和基于单帧的算法。基 云层、海浪和其他随机因素的存在，原始红外图 于序列的算法倾向于利用多帧之间的运动信息检 像中可能存在各种类型的复杂背景，例如高亮度 测目标，因此即使目标在某些帧中被遮挡，仍可 背景、背景边缘)和高亮度孤立点噪声(pixel-- 以取得良好的检测性能。但基于序列的算法通常 有较大的计算量，在某些应用中无法满足实时性 收稿日期：2021-01-08.网络出版日期：2021-06-28. 基金项目：国家自然科学基金项目(61802455,62003381)：河南 要求。基于单帧的算法仅使用单帧内的信息，因 省重点研发与推广专项（科技攻关）项日(192102210089， 212102210525). 此常具有较快的检测速度。此外，基于单帧的算 通信作者：韩金辉.E-mail:hanjinhui@zknu.edu.cn 法可作为某些基于序列的算法的基础模块进行使
DOI: 10.11992/tis.202101009 网络出版地址: https://kns.cnki.net/kcms/detail/23.1538.TP.20210628.1654.002.html 基于局部对比度背景估计的红外小目标检测方法 赵骞，韩金辉，徐茂，陈园园 （周口师范学院 物理与电信工程学院，河南 周口 466001） 摘 要：为缓解复杂背景对红外小目标检测任务的干扰，提出一种新的红外小目标检测方法。该方法将背景估 计与局部对比度相结合，以提高算法的检测性能。提出了一种更适合于小目标检测的双层均值最大化背景估 计算法，以获得更准确的基准背景值。在原始图像和估计背景之间提出了比差联合局部对比度度量方法，可以 在增强目标的同时抑制各种类型的复杂背景。通过实验对比分析，验证该方法的有效性和鲁棒性。 关键词：红外小目标；最大均值；背景估计；比差联合方法；局部对比度；目标检测；单帧检测；抗噪声能力 中图分类号：TP391.4 文献标志码：A 文章编号：1673−4785(2022)02−0314−11 中文引用格式：赵骞, 韩金辉, 徐茂, 等. 基于局部对比度背景估计的红外小目标检测方法 [J]. 智能系统学报, 2022, 17(2): 314–324. 英文引用格式：ZHAO Qian, HAN Jinhui, XU Mao, et al. Infrared small-target detection utilizing background estimation combined with local contrast[J]. CAAI transactions on intelligent systems, 2022, 17(2): 314–324. Infrared small-target detection utilizing background estimation combined with local contrast ZHAO Qian，HAN Jinhui，XU Mao，CHEN Yuanyuan (College of Physics and Telecommunication, Zhoukou Normal University, Zhoukou 466001, China) Abstract: In order to alleviate the interference of complex backgrounds in infrared small target detection, a new infrared small target detection method is proposed. The new method combines background estimation with local contrast to improve the detection performance of the algorithm. The main work includes the following aspects: First, a doublelayer max-mean background estimation algorithm that is more suitable for small target detection is proposed to get a more accurate background benchmark. Then, a ratio-difference joint local contrast measure is proposed between the raw image and the estimated background to enhance the different sizes of true targets while simultaneously suppressing various types of complex backgrounds. The analysis and comparison in the experiment show its effectiveness and robustness. Keywords: IR small target; max-mean; background estimation; ratio-difference joint; local contrast; target detection; single frame detection; noise-resistant ability 红外精确制导、红外预警、海上搜救等领域 中，被测目标与传感器之间的距离通常很远。由 于光学系统和焦平面阵列性能的限制，图像中目 标通常仅占据几个像素且灰度值较小，容易导致 较低的检测率[1]。此外，由于视野中树木、房屋、 云层、海浪和其他随机因素的存在，原始红外图 像中可能存在各种类型的复杂背景，例如高亮度 背景[2] 、背景边缘[3] 和高亮度孤立点噪声 (pixelsized noises with high brightness，PNHB) 等 [4] ，给目 标检测带来严重干扰，导致较高的虚警率。 在现有的红外小目标检测领域，研究者为实 现高检测率和低虚警率，提出了多种检测方法， 主要包括基于序列的算法和基于单帧的算法。基 于序列的算法倾向于利用多帧之间的运动信息检 测目标，因此即使目标在某些帧中被遮挡，仍可 以取得良好的检测性能。但基于序列的算法通常 有较大的计算量，在某些应用中无法满足实时性 要求。基于单帧的算法仅使用单帧内的信息，因 此常具有较快的检测速度。此外，基于单帧的算 法可作为某些基于序列的算法的基础模块进行使 收稿日期：2021−01−08. 网络出版日期：2021−06−28. 基金项目：国家自然科学基金项目 (61802455，62003381)；河南 省重点研发与推广专项 (科技攻关) 项目 (192102210089， 212102210525). 通信作者：韩金辉. E-mail：hanjinhui@zknu.edu.cn. 第 17 卷第 2 期 智 能 系 统 学 报 Vol.17 No.2 2022 年 3 月 CAAI Transactions on Intelligent Systems Mar. 2022
第2期 赵塞，等：基于局部对比度背景估计的红外小目标检测方法 ·315· 用。本文正是基于单帧的检测算法的进一步的改进。 因为尽管高亮度背景的增强因子比较小，但如果 到目前为止，已有大量基于单帧的检测算法 其原始亮度远大于目标，其最终增强结果仍可能 被提出，例如空域滤波、频域滤波、形态学滤 大于实际目标的增强结果，导致较高的虚警率。 波m、背景估计80和机器学习（包括监督学习 概括来说，目前的局部对比度方法通常具有 和无监督学习类型吗等。但是，复杂背景下的红 两个共同的缺陷。首先，现有算法在计算当前位 外小目标检测仍然是一个具有挑战性的问题。 置的局部对比度时，直接将当前位置的局部相邻 近年来，研究人员发现人类视觉系统(human 区域作为基准背景值，但如果背景过于复杂，则 visual system,HVS)的一些特性，可在红外小目标 该基准值可能不够精确，进而导致计算得到的对 检测中发挥巨大潜力。根据生物学研究发现，区 比度信息失准。其次，大多数现有的局部对比算 分对比度是人类视觉系统最重要作用之一。在 法是单一的差值形式或比值形式，尽管一些研究 红外小目标检测领域中，由于典型目标（例如飞机、 者试图将两者结合使用以获得更好的检测性能， 导弹、卡车、坦克、轮船等)通常具有比其周围环 但相关研究并不充分。例如，ILCM和NLCM都 境更高的温度，因此红外图像中的目标通常比其 是比值型的局部对比度算法，它们利用DoG滤波 直接邻域要稍亮，即目标附近存在一定的局部对 器（差值型算法）作为预处理来首先消除高亮度 比度值。因此，基于局部对比度的检测算法通常 背景，但是，这导致算法的结构变得复杂，任何环 可以获得比传统算法更好的性能。基于局部对比 节出现错误都可能导致检测失败。其他多环节算 度的算法易于实现，并且具有较低的算法复杂度。 法，例如LCM+LoG2)、LCM+支持向量机(support 基于局部对比度的算法中的关键问题之一， vector machine,SVMP和LCM+局部自相似(Ioc- 是如何确定局部对比度的计算公式。研究者们已 al self similar,.LSS)2等，也具有类似的局限性。 提出了许多种局部对比度定义，通常可以将其分 此外，深度神经网络的应用也延伸到了红外 为两类，即基于差值的局部对比度和基于比值的 目标检测领域。朱斌等2使用深度神经网络架 局部对比度。基于差值的局部对比度算法通过 构对红外与可见光双通道图像进行处理，以检测 计算当前位置与其局部相邻区域之间的灰度差， 低空无人机目标：侯晴宇等2刀基于深度学习理 可以消除高亮度背景。此类型算法包括高斯函数 拉普拉斯滤波器(Laplacian of Gaussian,LoG),高 论，提出了一种名为RISTDnet的卷积神经网络； 斯函数差分滤波器(difference of Gaussian,DoG)%, 戴一冕等21将LCM作为模块嵌入到卷积神经网 Gabor函数差分滤波器(difference of Gabor,DoGb) 络中。 和改进Gabor函数差分滤波器(improved differ- 本文在背景估计(background estimation, ence of Gabor,IDoGb)m,中心-四周累积差分度量 BE)的基础上，提出了一种新的最大均值背景估 计算法。该方法在计算当前位置的对比度时，可 (accumulated center-surround difference measure, ACSDM)喝和基于多尺度块的对比度度量(multiscale 以获得更准确的基准背景值。然后，将基于差值 patch-based contrast measure,MPCM)l等。其中 与基于比值的局部对比度相结合，在原始输人图 一些算法更利用了局部的方向信息，以更好地抑 像与估计背景之间提出比差联合局部对比度度 制背景边缘，例如IDoGb、ACSDM和MPCM。但 (ratio-difference joint local contrast measure, 是，如果目标非常暗，则目标与其直接邻域之间 RDLCM),可增强不同大小的真实目标，同时抑制 的灰度差将非常小，可能导致检测率较低。 各种类型的复杂背景。在BE-RDLCM计算得到 基于比值的局部对比度算法将当前位置与其 的显著性图中，真实目标会被凸显出来，然后使 局部相邻区域之间的灰度比作为增强因子，用于 用阈值操作即可提取目标。 对当前位置进行增强。此类型算法包括局部对比 1问题描述 度度量(local contrast measure,LCM)2o、改进的局 部对比度度量(improved local contrast measure,L~ 图1给出了包含真实小目标的红外图像的例 CM)、新型局部对比度度量(noval local contrast 子，用以直观地说明真实目标和各种干扰之间的 measure,.NLCM)2和加权局部差异度量(weighted 差异。图2是图1中所涉及的各种成分的三维局 local difference measure,WLDM)2等。其中的大 部分布，包括真实目标（以TT表示）、普通背景 多数方法都利用方向信息来更好地抑制背景边 (以NB表示)、高亮度背景（以表HB示）、背景边 缘。但比值型算法不能有效地消除高亮度背景， 缘（以EB表示）和PNHB
用。本文正是基于单帧的检测算法的进一步的改进。 到目前为止，已有大量基于单帧的检测算法 被提出，例如空域滤波[5] 、频域滤波[6] 、形态学滤 波 [7] 、背景估计[8-10] 和机器学习 (包括监督学习[11] 和无监督学习类型[12] ) 等。但是，复杂背景下的红 外小目标检测仍然是一个具有挑战性的问题。 近年来，研究人员发现人类视觉系统 (human visual system，HVS) 的一些特性，可在红外小目标 检测中发挥巨大潜力。根据生物学研究发现，区 分对比度是人类视觉系统最重要作用之一[13]。在 红外小目标检测领域中，由于典型目标 (例如飞机、 导弹、卡车、坦克、轮船等) 通常具有比其周围环 境更高的温度，因此红外图像中的目标通常比其 直接邻域要稍亮，即目标附近存在一定的局部对 比度值。因此，基于局部对比度的检测算法通常 可以获得比传统算法更好的性能。基于局部对比 度的算法易于实现，并且具有较低的算法复杂度。 基于局部对比度的算法中的关键问题之一， 是如何确定局部对比度的计算公式。研究者们已 提出了许多种局部对比度定义，通常可以将其分 为两类，即基于差值的局部对比度和基于比值的 局部对比度[14]。基于差值的局部对比度算法通过 计算当前位置与其局部相邻区域之间的灰度差， 可以消除高亮度背景。此类型算法包括高斯函数 拉普拉斯滤波器 (Laplacian of Gaussian，LoG)[15] ，高 斯函数差分滤波器 (difference of Gaussian，DoG)[16] ， Gabor 函数差分滤波器 (difference of Gabor，DoGb) 和改进 Gabor 函数差分滤波器 (improved difference of Gabor，IDoGb)[17] ，中心−四周累积差分度量 (accumulated center-surround difference measure， ACSDM)[18] 和基于多尺度块的对比度度量 (multiscale patch-based contrast measure，MPCM)[19] 等。其中 一些算法更利用了局部的方向信息，以更好地抑 制背景边缘，例如 IDoGb、ACSDM 和 MPCM。但 是，如果目标非常暗，则目标与其直接邻域之间 的灰度差将非常小，可能导致检测率较低。 基于比值的局部对比度算法将当前位置与其 局部相邻区域之间的灰度比作为增强因子，用于 对当前位置进行增强。此类型算法包括局部对比 度度量 (local contrast measure，LCM)[20] 、改进的局 部对比度度量 (improved local contrast measure，ILCM)[4] 、新型局部对比度度量 (noval local contrast measure，NLCM)[21] 和加权局部差异度量 (weighted local difference measure，WLDM)[22] 等。其中的大 多数方法都利用方向信息来更好地抑制背景边 缘。但比值型算法不能有效地消除高亮度背景， 因为尽管高亮度背景的增强因子比较小，但如果 其原始亮度远大于目标，其最终增强结果仍可能 大于实际目标的增强结果，导致较高的虚警率。 概括来说，目前的局部对比度方法通常具有 两个共同的缺陷。首先，现有算法在计算当前位 置的局部对比度时，直接将当前位置的局部相邻 区域作为基准背景值，但如果背景过于复杂，则 该基准值可能不够精确，进而导致计算得到的对 比度信息失准。其次，大多数现有的局部对比算 法是单一的差值形式或比值形式，尽管一些研究 者试图将两者结合使用以获得更好的检测性能， 但相关研究并不充分。例如，ILCM 和 NLCM 都 是比值型的局部对比度算法，它们利用 DoG 滤波 器 (差值型算法) 作为预处理来首先消除高亮度 背景，但是，这导致算法的结构变得复杂，任何环 节出现错误都可能导致检测失败。其他多环节算 法，例如 LCM+LoG[23] 、LCM+支持向量机 (support vector machine，SVM)[24]和 LCM+局部自相似 (local self similar，LSS)[25] 等，也具有类似的局限性。 此外，深度神经网络的应用也延伸到了红外 目标检测领域。朱斌等[26] 使用深度神经网络架 构对红外与可见光双通道图像进行处理，以检测 低空无人机目标；侯晴宇等[27] 基于深度学习理 论，提出了一种名为 RISTDnet 的卷积神经网络； 戴一冕等[28] 将 LCM 作为模块嵌入到卷积神经网 络中。 本文在背景估计 (background estimation， BE) 的基础上，提出了一种新的最大均值背景估 计算法。该方法在计算当前位置的对比度时，可 以获得更准确的基准背景值。然后，将基于差值 与基于比值的局部对比度相结合，在原始输入图 像与估计背景之间提出比差联合局部对比度度 量 (ratio-difference joint local contrast measure， RDLCM)，可增强不同大小的真实目标，同时抑制 各种类型的复杂背景。在 BE-RDLCM 计算得到 的显著性图中，真实目标会被凸显出来，然后使 用阈值操作即可提取目标。 1 问题描述 图 1 给出了包含真实小目标的红外图像的例 子，用以直观地说明真实目标和各种干扰之间的 差异。图 2 是图 1 中所涉及的各种成分的三维局 部分布，包括真实目标 (以 TT 表示)、普通背景 (以 NB 表示)、高亮度背景 (以表 HB 示)、背景边 缘 (以 EB 表示) 和 PNHB。 第 2 期 赵骞，等：基于局部对比度背景估计的红外小目标检测方法 ·315·
·316· 智能系统学报 第17卷 目标位置的突出程度一般很小，有必要对其进行 增强。另外，由于光学系统的点扩散特性，真实 B回 目标通常具有一定的面积（很小，但通常大于1×1）， 且从中心向四周均匀衰减，没有各向异性。 2)普通背景通常是较暗且平坦的，因此在灰 EB 度值和局部对比度方面都不突出。 HB 3)高亮度背景具有较大的灰度值（可能比 TT还大)，但内部的灰度分布较为平坦，因此在局 部对比度方面不明显。 图1包含真实小目标的红外图像 4)背景边缘的两侧灰度值不同，因此在两侧 Fig.1 A sample of real IR image 之间存在局部对比度信息。但是，背景边缘通常 在图2中，可以看到红外小目标和干扰因素 沿特定方向分布，这与TT的方向特性明显不同。 存在如下特点： 5)PNHB在局部对比度和方向特征上具有类 1)真实目标一般会出现在平坦、均匀的背景 似于真实目标的模式。但是，PNHB通常是由随 区域中，并且通常比其直接邻域更亮，这是因为 机因素引起的，并且它仅作为单个像素出现，这 在大多数实际应用中，目标通常会更热。但是， 与真实目标明显不同。 1.0 1.0 1.0 as 阳 15 10 0 15 10 10 10 10 X轴 5 Y轴 X轴 5 X轴 0 Y轴 0 Y轴 (a)NB (b)TT (c)HB 1.0 1.0 0.5 5 10 15 10 10 15 10 X轴 5 5 Y轴 X轴 0 5 0 Y轴 (d)PNHB (e)EB 图2各种成分的三维局部分布 Fig.2 3D distributions of different types of components 2双层均值最大化背景估计 法可以看作一种特殊的空间域算法，它通过对相 邻区域进行合理的计算，来获得当前位置的估计 从第1节的分析可以看出，真实目标与其他干 背景，因此与直接使用相邻区域相比，会更加准 扰之间的最大区别是真实目标在局部具有一定的 对比度，故基于HVS的算法倾向于使用局部对比 确，尤其是在背景复杂的情况下。 度来提取真实目标。局部对比度的本质是当前位 到目前为止，研究者们已经提出了许多种背 置的像素值与其基准值之间的差异，现有算法通 景估计算法，例如最大均值滤波、最大中值滤波⑧ 常直接使用当前位置的相邻区域作为基准值，但是， 二维最小均方差滤波(two dimensional least mean 当背景复杂时，基准值可能不够准确，因此会给 square,TDLMS)-1o等方法。应该注意的是，真实 出不正确的对比度信息，从而导致检测性能较差。 目标在面积、方向性等方面与其他干扰因素不 针对上述问题，本文通过引入背景估计的思 同，因此在红外小目标检测领域进行背景估计 想，提出新的局部对比度计算框架。背景估计算 时，需要注意两个问题，一是应当对目标进行遮
PNHB TT NB EB HB 图 1 包含真实小目标的红外图像 Fig. 1 A sample of real IR image 在图 2 中，可以看到红外小目标和干扰因素 存在如下特点： 1) 真实目标一般会出现在平坦、均匀的背景 区域中，并且通常比其直接邻域更亮，这是因为 在大多数实际应用中，目标通常会更热。但是， 目标位置的突出程度一般很小，有必要对其进行 增强。另外，由于光学系统的点扩散特性[24] ，真实 目标通常具有一定的面积 (很小，但通常大于 1×1)， 且从中心向四周均匀衰减，没有各向异性。 2) 普通背景通常是较暗且平坦的，因此在灰 度值和局部对比度方面都不突出。 3) 高亮度背景具有较大的灰度值 (可能比 TT 还大)，但内部的灰度分布较为平坦，因此在局 部对比度方面不明显。 4) 背景边缘的两侧灰度值不同，因此在两侧 之间存在局部对比度信息。但是，背景边缘通常 沿特定方向分布，这与 TT 的方向特性明显不同。 5)PNHB 在局部对比度和方向特征上具有类 似于真实目标的模式。但是，PNHB 通常是由随 机因素引起的，并且它仅作为单个像素出现，这 与真实目标明显不同。 5 1.0 0.5 0 0 (a) NB (b) TT (c) HB (d) PNHB (e) EB 0 0 0 0 15 10 5 10 X 轴 Y 轴 15 5 1.0 0.5 0 15 10 5 10 Y 轴 X 轴 15 5 1.0 0.5 0 15 10 5 10 Y 轴 X 轴 15 5 1.0 0.5 0 15 10 5 10 Y 轴 X 轴 15 5 1.0 0.5 0 15 10 5 10 X 轴 Y 轴 15 亮度值 亮度值 亮度值 亮度值 亮度值 图 2 各种成分的三维局部分布 Fig. 2 3D distributions of different types of components 2 双层均值最大化背景估计 从第 1 节的分析可以看出，真实目标与其他干 扰之间的最大区别是真实目标在局部具有一定的 对比度，故基于 HVS 的算法倾向于使用局部对比 度来提取真实目标。局部对比度的本质是当前位 置的像素值与其基准值之间的差异，现有算法通 常直接使用当前位置的相邻区域作为基准值，但是， 当背景复杂时，基准值可能不够准确，因此会给 出不正确的对比度信息，从而导致检测性能较差。 针对上述问题，本文通过引入背景估计的思 想，提出新的局部对比度计算框架。背景估计算 法可以看作一种特殊的空间域算法，它通过对相 邻区域进行合理的计算，来获得当前位置的估计 背景，因此与直接使用相邻区域相比，会更加准 确，尤其是在背景复杂的情况下。 到目前为止，研究者们已经提出了许多种背 景估计算法，例如最大均值滤波、最大中值滤波[8] 、 二维最小均方差滤波 (two dimensional least mean square，TDLMS)[9-10] 等方法。应该注意的是，真实 目标在面积、方向性等方面与其他干扰因素不 同，因此在红外小目标检测领域进行背景估计 时，需要注意两个问题，一是应当对目标进行遮 ·316· 智 能 系 统 学 报 第 17 卷
第2期 赵骞，等：基于局部对比度背景估计的红外小目标检测方法 ·317· 盖，以便在真实目标及其估计的背景之间获得明 BTT<ITT (4) 显的差异；二是有必要考虑方向性信息，以便识 别背景边缘。然而，现有背景估计算法通常未能 兼顾这些问题。例如，TDLMS算法在估计过程中 使用了一个双层窗口。内层窗口用于遮盖小目 标，外层窗口用于捕获背景，但是未使用方向信 息，因此无法抑制背景边缘；最大均值和最大中 值滤波算法利用了方向信息，但是没有针对小目 B 标进行遮盖，因此真实目标及其估计背景之间的 差异可能不够明显。 本文提出了一种新的最大均值算法来构造背 图4不同类型的像素时的BE情况 景估计。该方法具有一个双层窗口，如图3所 Fig.4 Cases for different types of pixels when calculating 示。半径为R的内层窗口用于遮盖小目标，因此 BE 其大小不应小于真实目标。半径为R的外层窗 2)如果(2，q)是普通背景NB,由于背景通常是 口用于捕获局部的周围背景，并且划分为8个方 平坦的，因此M(p,q)在所有8个方向上都接近原 向，以利用方向信息来抑制背景边缘。H是 始灰度值I(p,q),因此B(p,q也将接近I(p,q),即 Rn和Ru之间的差。显然，H越大，参与运算的有 BNB≈IB (5) 效像素将越多。但是，如果R。和H太大，则外部 3)如果(p,q)是高亮度背景HB,结论将类似 窗口将太大，可能会引入更多的干扰。 于NB,即 BHB≈THB (6) ◇ 4)如果(p,q)是背景边缘EB并且在较亮的 一侧，则M(p,q)在某些方向上可能小于I(p,q), 口当前位置 但在其他方向上将与I(P,q)接近，因此最终的 口有效像素 B(2,q)和I(p,q)将彼此接近，即 BB≈IB (7) H 如果(p,q)在较暗的一侧，最终的B(p,q)甚 至将会大于Ip,q),即 图3算法所使用的双层窗口结构 BEB TEB (8) Fig.3 Double-layer window structure used in our al- 5)如果(p,q)是PNHB,结论将类似于真实目 gorithm 标的情形： 对于位置(p,q),第i个方向上的有效像素的 BPNHB<IPNHB (9) 均值定义为 从上面的讨论可以看出，在进行最大均值背 M(p,q)=mean(Ii),j=1,2.....H (1) 景估计之后，TT和PNHB的估计值将小于原始灰 式中：户1,2，…，8表示第i个方向L是在第i个方 度值，而NB、HB和EB的估计值将与原始灰度值 向上的第个有效像素的灰度值；H是内层窗口 接近，这将有助于在后续步骤中区分它们。 和外层窗口之间的宽度，如图3所示。 应该指出的是，本文所提出的最大均值算法 然后，像素(P,q)的背景估计被定义为 与原始的最大均值算法1之间存在两个主要区 B(p,q)=max(M(p,q)i=1,2,…,8 (2) 别。首先，在本文算法中使用了双层窗口，其中 式中：max0函数用于获取位置(p,q)的最大均值 内层窗口用于掩盖小目标，从而可以使获得的B” 结果。 和严之间的差异更明显。其次，该算法总共使用 另外，有必要分析当(p,q)是不同类型的像素 了8个方向，而非4个方向，因此该算法可以更好 时的情况，如图4所示。 地利用方向信息。 1)如果(P,q)是真实目标TT,由于真实目标 对于给定的输入图像【，背景估计的计算过程 通常比它的近邻更亮并且从中心向四周逐渐衰 为：1)原始图像I,参数Rm,H;2)构建参数为 减，因此可以很容易地得出： Rm和H的双层窗口，如图2所示；3)按照从上到 M<,i=1,2,…,8 (3) 下，从左到右顺序滑动窗口，遍历整幅图像：4)根 此时B(p,q)将小于p,q即 据式(1)和(2)计算每个像素位置的背景估计值：
盖，以便在真实目标及其估计的背景之间获得明 显的差异；二是有必要考虑方向性信息，以便识 别背景边缘。然而，现有背景估计算法通常未能 兼顾这些问题。例如，TDLMS 算法在估计过程中 使用了一个双层窗口。内层窗口用于遮盖小目 标，外层窗口用于捕获背景，但是未使用方向信 息，因此无法抑制背景边缘；最大均值和最大中 值滤波算法利用了方向信息，但是没有针对小目 标进行遮盖，因此真实目标及其估计背景之间的 差异可能不够明显。 本文提出了一种新的最大均值算法来构造背 景估计。该方法具有一个双层窗口，如图 3 所 示。半径为 Rin 的内层窗口用于遮盖小目标，因此 其大小不应小于真实目标。半径为 Rout 的外层窗 口用于捕获局部的周围背景，并且划分为 8 个方 向，以利用方向信息来抑制背景边缘。 H 是 Rin 和 Rout 之间的差。显然，H 越大，参与运算的有 效像素将越多。但是，如果 Rin 和 H 太大，则外部 窗口将太大，可能会引入更多的干扰。 当前位置 有效像素 Rin H Rout 图 3 算法所使用的双层窗口结构 Fig. 3 Double-layer window structure used in our algorithm 对于位置 (p, q)，第 i 个方向上的有效像素的 均值定义为 M(p,q) = mean(Ii, j), j = 1,2,··· ,H (1) 式中：i=1,2,…,8 表示第 i 个方向；Ii，j 是在第 i 个方 向上的第 j 个有效像素的灰度值；H 是内层窗口 和外层窗口之间的宽度，如图 3 所示。 然后，像素 (p, q) 的背景估计被定义为 B(p,q) = max(Mi(p,q)) i = 1,2,··· ,8 (2) 式中：max() 函数用于获取位置 (p, q) 的最大均值 结果。 另外，有必要分析当 (p, q) 是不同类型的像素 时的情况，如图 4 所示。 1) 如果 (p, q) 是真实目标 TT，由于真实目标 通常比它的近邻更亮并且从中心向四周逐渐衰 减，因此可以很容易地得出： MTT i I EB (8) 5) 如果 (p, q) 是 PNHB，结论将类似于真实目 标的情形： B PNHB < I PNHB (9) 从上面的讨论可以看出，在进行最大均值背 景估计之后，TT 和 PNHB 的估计值将小于原始灰 度值，而 NB、HB 和 EB 的估计值将与原始灰度值 接近，这将有助于在后续步骤中区分它们。 应该指出的是，本文所提出的最大均值算法 与原始的最大均值算法[8] 之间存在两个主要区 别。首先，在本文算法中使用了双层窗口，其中 内层窗口用于掩盖小目标，从而可以使获得的 B TT 和 I TT 之间的差异更明显。其次，该算法总共使用 了 8 个方向，而非 4 个方向，因此该算法可以更好 地利用方向信息。 对于给定的输入图像 I，背景估计的计算过程 为 ： 1) 原始图像 I, 参数 Ri n , H； 2) 构建参数为 Rin 和 H 的双层窗口，如图 2 所示；3) 按照从上到 下，从左到右顺序滑动窗口，遍历整幅图像；4) 根 据式 (1) 和 (2) 计算每个像素位置的背景估计值； 第 2 期 赵骞，等：基于局部对比度背景估计的红外小目标检测方法 ·317·
·318· 智能系统学报 第17卷 5)按顺序保存结果，得到背景估计矩阵B。 比值形式，未能同时结合两者的优势。本文提出 了一种在原始输入图像和估计背景之间的比差联 3比差联合局部对比度度量 合局部对比度测量方法，可以增强不同大小的真 背景估计完成后，在计算当前位置的局部对 实目标，并抑制各种复杂的背景，无需预处理环 比度时，将以当前位置的估计背景为基准。 节，从而使算法结构更加简洁。图5给出了带背 现有的局部对比度算法多采用差值形式或者 景估计的比差联合算法的整体流程图。 背景估计 计算阀值 Th=tk.×o Th 输人：原始红 比差联合算法 输出： 外图像 BE-RDLCM 阀值操作 检测结果 1.0 80.4 0.2F 380 200 X轴100.10020030040% y轴 图5基于背景估计的比差联合局部对比度度量算法流程图 Fig.5 Flowchart of the proposed BE-RDLCM algorithm 首先，考虑到真实目标通常比其背景估计值 当(p,q)是EB时，在较亮一侧可以得到 更亮，并且面积大于1×1，为了增强真实目标，将 EB≈1 (p,q)位置处的增强因子定义为 在较暗一侧则为 V(p,q) Ep,q）=Bp,q EEB1 ∑∑1p+m.g+m 但由于PNHB通常以单个像素出现，只要式 (11)中的K大于1，根据式(13)，它的比值形式局 V(p.q)= (11) K 部对比度值将小于TT的值，即 其中K为参与计算的像素数，计算方法为 RPNHB1 得到的背景之间，定义位置(p,q)处的BE-RDLCM 这意味着真实目标得到了增强。 定义为 当(P,q)是NB或HB时，由于背景通常是平 D(p,q)=R(p.q)-V(p.q)= 坦的.所以会有 V(p.q .-1V(p.q) (14) ENB≈EHB≈1 B(p,g) 其值小于真实目标的增强因子。 对于给定的输入图像L,BE-RDLCM的计算
5) 按顺序保存结果，得到背景估计矩阵 B。 3 比差联合局部对比度度量 背景估计完成后，在计算当前位置的局部对 比度时，将以当前位置的估计背景为基准。 现有的局部对比度算法多采用差值形式或者 比值形式，未能同时结合两者的优势。本文提出 了一种在原始输入图像和估计背景之间的比差联 合局部对比度测量方法，可以增强不同大小的真 实目标，并抑制各种复杂的背景，无需预处理环 节，从而使算法结构更加简洁。图 5 给出了带背 景估计的比差联合算法的整体流程图。 输入: 原始红 外图像 比差联合算法 阈值操作 背景估计 输出: I 检测结果 B BE-RDLCM 计算阈值 Th=μ+kth×σ Th 1.0 0.8 0.6 0.4 0.2 0 300 200 100 0 100 200 300 400 亮度值 X 轴 Y 轴 图 5 基于背景估计的比差联合局部对比度度量算法流程图 Fig. 5 Flowchart of the proposed BE-RDLCM algorithm 首先，考虑到真实目标通常比其背景估计值 更亮，并且面积大于 1×1，为了增强真实目标，将 (p, q) 位置处的增强因子定义为 E(p,q) = V(p,q) B(p,q) (10) 其中 B(p, q) 是根据背景估计方法得到的位置 (p, q) 的背景估计值，V(p, q) 是原始图像中以 (p, q) 为 中心的 K 个像素的平均灰度值，即 V(p,q) = ∑L m=−L ∑L n=−L I(p+m,q+n) K (11) 其中 K 为参与计算的像素数，计算方法为 K = (2L+1)×(2L+1) (12) 然后，将位置 (p, q) 的比值形式局部对比度定 义为 R(p,q) = E(p,q)·V(p,q) = V(p,q) B(p,q) V(p,q) (13) 显然，当 (p, q) 是真实目标 TT 时，由于真实 目标通常比其直接邻域稍亮，因此有 E TT > 1 这意味着真实目标得到了增强。 当 (p, q) 是 NB 或 HB 时，由于背景通常是平 坦的，所以会有 E NB ≈ E HB ≈ 1 其值小于真实目标的增强因子。 当 (p, q) 是 EB 时，在较亮一侧可以得到 E EB ≈ 1 在较暗一侧则为 E EB 1 但由于 PNHB 通常以单个像素出现，只要式 (11) 中的 K 大于 1，根据式 (13)，它的比值形式局 部对比度值将小于 TT 的值，即 R PNHB R TT 这可能导致检测率减低和虚警率上升。 为消除高亮背景，本文将比值形式与差值形 式的局部对比度结合为一体，在原始图像与估计 得到的背景之间，定义位置 (p, q) 处的 BE-RDLCM 定义为 D(p,q) = R(p,q)−V(p,q) = [ V(p,q) B(p,q) −1 ] V(p,q) (14) 对于给定的输入图像 I，BE-RDLCM 的计算 ·318· 智 能 系 统 学 报 第 17 卷
第2期 赵塞，等：基于局部对比度背景估计的红外小目标检测方法 ·319· 过程为：1)输入原始图像I、参数Rm、H、L;2)使 用背景估计算法计算出B矩阵；3)使用大小为 (2L+1)×(2L+1)的窗口遍历原始图像：4)在每个 像素位置根据式(11)和式(12)计算矩阵：5)根 23 据式(14)，在V矩阵与B矩阵之间计算每个像素 1@ 位置的BE-RDLCM值，可以得到矩阵D。 从前文讨论中可知，经过BE-RDLCM计算 (e)序列5 (①岸列6 后，真实目标将最为突出，而其他干扰因素都可 图6实验样本 以得到较好的抑制。因此，在本章中，使用一个 Fig.6 Sample images 简单的阈值操作来对目标进行提取。定义阈值为 表1实验序列特征 Th=μ+khXo Table 1 Characteristics of different sequences 式中：u和σ分别是BE-RDLCM矩阵的均值和标 序列 帧数量 分辨率 目标编号 目标大小 准差；k是一个给定的参数，实验显示通常取2~8 序列1 200 320×240 目标1 7×5 为宜。在BE-RDLCM中，只有大于Th的像素点被 序列2 200 320×256 目标1 3×5 输出为目标像素点，其他像素点都被认为是背景。 序列3 70 256×200 目标1 4x54×10 序列4 90 256×256 目标1 3×5 4实验与对比 目标1 5×6 序列5 200 280×228 使用6个包含小目标的真实红外图像序列 日标2 5×5 (超过800帧)来检验算法的性能。具体内容如 日标1 7×5 下：1)描述这6个图像序列的特点。2)分析讨论 日标2 序列6 5×5 100 256×256 关键参数R、H和L的选择。3)对本文算法实际 目标3 5×5 性能进行了检验，并将本文方法与若干当前主流 日标4 6×6 检测算法进行比较。 4.2 参数设置 算法实验的硬件环境为Intel Core i52.6GHz 对于关键参数的选取和优化进行讨论，例如 处理器、8GB内存的计算机，软件环境为MAT- 用于背景估计的Rm和H,以及用于BE-RDLCM LABR2016b。 计算的K。 4.1序列特征 I)参数Rm和参数H 在实验中使用了6个具有不同背景类型和不同 R决定了图3中内层窗口的面积。由于内层 目标大小的真实IR序列。图6给出了每个序列 窗口用于遮罩真实目标，因此R不应小于目标半径， 的样本。表1给出了不同序列的特点，例如帧数 否则估计的背景与原始值之间的差异将不够明显。 量、图像分辨率、目标编号、每个目标的尺寸大小等。 H是R和Rm之间的差。显然，H越大，参与 从图6和表1可以看出，目标通常很小且暗淡，而 运算的有效像素将越多，这意味着将更好地抑制 背景则非常复杂，它们可能具有高亮度和复杂的边 随机白噪声。但是，如果R和H太大，则窗口面 缘。另外，噪声也是降低图像质量的因素之一。 积将过大，容易引入更多的干扰，特别是如果目 标在复杂背景附近时。 为了确保内层窗口可以全部或大部分遮盖目 标，内层窗口的面积应接近红外小目标的典型最 大值。根据文献[29]，在实际应用中，目标大小通 常为5×5至7×7，因此9×9的内层窗口将足够，即 (a)序列1 (b)序列2 建议将Rm设置为4。此外，为了在噪声抑制和干 扰引入之间寻求平衡，建议使用H为3或4。 2)参数K 式(11)和(12)中的K用于抑制亮度接近或略 大于真实目标的PNHB,因此建议将K设置为大 于1的值，即L应大于0。但是，如果K太大，则真 实目标也会被平滑，尤其是当目标区域较小时。 (c)序列3 (d序列4 为了寻找平衡，建议将K设为9（即L设为1）
过程为：1) 输入原始图像 I、参数 Rin、H、L；2) 使 用背景估计算法计算出 B 矩阵；3) 使用大小为 (2L+1) × (2L+1) 的窗口遍历原始图像；4) 在每个 像素位置根据式 (11) 和式 (12) 计算矩阵 V；5) 根 据式 (14)，在 V 矩阵与 B 矩阵之间计算每个像素 位置的 BE-RDLCM 值，可以得到矩阵 D。 从前文讨论中可知，经过 BE-RDLCM 计算 后，真实目标将最为突出，而其他干扰因素都可 以得到较好的抑制。因此，在本章中，使用一个 简单的阈值操作来对目标进行提取。定义阈值为 Th = µ+kth ×σ 式中：μ 和 σ 分别是 BE-RDLCM 矩阵的均值和标 准差；kth 是一个给定的参数，实验显示通常取 2~8 为宜。在 BE-RDLCM 中，只有大于 Th 的像素点被 输出为目标像素点，其他像素点都被认为是背景。 4 实验与对比 使用 6 个包含小目标的真实红外图像序列 (超过 800 帧) 来检验算法的性能。具体内容如 下：1) 描述这 6 个图像序列的特点。2) 分析讨论 关键参数 Rin、H 和 L 的选择。3) 对本文算法实际 性能进行了检验，并将本文方法与若干当前主流 检测算法进行比较。 算法实验的硬件环境为 Intel Core i5 2.6 GHz 处理器、8 GB 内存的计算机，软件环境为 MATLAB R2016b。 4.1 序列特征 在实验中使用了 6 个具有不同背景类型和不同 目标大小的真实 IR 序列。图 6 给出了每个序列 的样本。表 1 给出了不同序列的特点，例如帧数 量、图像分辨率、目标编号、每个目标的尺寸大小等。 从图 6 和表 1 可以看出，目标通常很小且暗淡，而 背景则非常复杂，它们可能具有高亮度和复杂的边 缘。另外，噪声也是降低图像质量的因素之一。 (a) 序列 1 (b) 序列 2 (c) 序列 3 (d) 序列 4 (e) 序列 5 (f) 序列 6 1 1 2 2 3 4 图 6 实验样本 Fig. 6 Sample images 表 1 实验序列特征 Table 1 Characteristics of different sequences 序列 帧数量 分辨率 目标编号 目标大小 序列1 200 320×240 目标1 7×5 序列2 200 320×256 目标1 3×5 序列3 70 256×200 目标1 4×5~4×10 序列4 90 256×256 目标1 3×5 序列5 200 280×228 目标1 5×6 目标2 5×5 序列6 100 256×256 目标1 7×5 目标2 5×5 目标3 5×5 目标4 6×6 4.2 参数设置 对于关键参数的选取和优化进行讨论，例如 用于背景估计的 Rin 和 H，以及用于 BE-RDLCM 计算的 K。 1) 参数 Rin 和参数 H Rin 决定了图 3 中内层窗口的面积。由于内层 窗口用于遮罩真实目标，因此 Rin 不应小于目标半径， 否则估计的背景与原始值之间的差异将不够明显。 H 是 Rin 和 Rout 之间的差。显然，H 越大，参与 运算的有效像素将越多，这意味着将更好地抑制 随机白噪声。但是，如果 Rin 和 H 太大，则窗口面 积将过大，容易引入更多的干扰，特别是如果目 标在复杂背景附近时。 为了确保内层窗口可以全部或大部分遮盖目 标，内层窗口的面积应接近红外小目标的典型最 大值。根据文献 [29]，在实际应用中，目标大小通 常为 5×5 至 7×7，因此 9×9 的内层窗口将足够，即 建议将 Rin 设置为 4。此外，为了在噪声抑制和干 扰引入之间寻求平衡，建议使用 H 为 3 或 4。 2) 参数 K 式 (11) 和 (12) 中的 K 用于抑制亮度接近或略 大于真实目标的 PNHB，因此建议将 K 设置为大 于 1 的值，即 L 应大于 0。但是，如果 K 太大，则真 实目标也会被平滑，尤其是当目标区域较小时。 为了寻找平衡，建议将 K 设为 9(即 L 设为 1)。 第 2 期 赵骞，等：基于局部对比度背景估计的红外小目标检测方法 ·319·
·320· 智能系统学报 第17卷 4.3检测性能测试 从图7中可以看到，使用本文算法在6个序 为了检验算法的检测性能，图7给出了使用 列的代表帧中均可成功检测出小目标，并且没有 本文算法对6个序列代表帧的检测流程和结果。 出现任何虚警。这证明了本文算法的有效性。 8 200 00 X轴 0100200300400 Y轴 6200 200 00 0100200300400 y轴 20 150100 0 X轴 05010015020020 回 Y轴 200 100 X轴 0s0100150200250 Y轴 10 0.8 回回 6400 200 300 100 200 X轴 0100Y轴 0.6 400 4□ 200 300 00 200 X轴 0 100 Y轴 1回 (a)原始图像 (⑥)背景估计结果 (c)BE-RDLCM结果 (d)阈值操作结果 图7本文算法对6个序列的检测流程与结果 Fig.7 Processing and detection results for the six sequences using the proposed algorithm
4.3 检测性能测试 为了检验算法的检测性能，图 7 给出了使用 本文算法对 6 个序列代表帧的检测流程和结果。 从图 7 中可以看到，使用本文算法在 6 个序 列的代表帧中均可成功检测出小目标，并且没有 出现任何虚警。这证明了本文算法的有效性。 (a) 原始图像 (b) 背景估计结果 (c) BE-RDLCM 结果 (d) 阈值操作结果 100 200 1.0 0.8 0.6 0.4 0.2 0 300 200 100 0 300 X 轴 Y 轴 400 100 200 1.0 0.8 0.6 0.4 0.2 0 300 200 100 0 300 X 轴 Y 轴 400 200 150100 50 X 轴 0 Y 轴 1.0 0.8 0.6 0.4 0.2 0 300 200 100 X 轴 0 50100150200 Y 轴 250 1.0 0.8 0.6 0.4 0.2 0 300 200 100 X 轴 0 100 200 Y 轴 300 1.0 0.8 0.6 0.4 0.2 0 300 200 100 X 轴 0 100 200 Y 轴 300 1.0 0.8 0.6 0.4 0.2 0 1 2 1 2 3 4 亮度值 亮度值 亮度值 亮度值 亮度值 亮度值 50100150200250 图 7 本文算法对 6 个序列的检测流程与结果 Fig. 7 Processing and detection results for the six sequences using the proposed algorithm ·320· 智 能 系 统 学 报 第 17 卷
第2期 赵骞，等：基于局部对比度背景估计的红外小目标检测方法 ·321· 4.4与现有算法的性能比较 ive rate,FPR)与检测率(rue positive rate,TPR)分 为了进一步验证所提算法的优势，实验中 别定义为 选择了6个主流算法进行比较，包括DoGB0、MP FRP= Nialse CM、LCM、NLCM、WLDM和RLCM。 Nuotal 上述算法中的参数值大多是取原作者推荐值。 TRP= Noru Notal 图8给出了算法比较的结果，此处使用了 式中：Noal为像素点的总数；Vralse为虚警的数量； ROC曲线作为衡量指标，其中虚警率(false posit- Ne为真实目标的数量。 1.0 1.0 1.0 0.8 0.8 MPCM 0.8 DoG ÷LCM 一本文算法 0.6 0.6 WLSM 0.4 NLCM 0.4 0.4 WLSM 0.2 。-MPCM 一法 0.2 WLSM 10- 10 2 x10 020.40.60.8 10 0.5 1.0 2.0 FPR FPR FPR (a)序列1 (b)序列2 (c)序列3 1.0 1.0 1.0 0.8 0.8 0.8 DoG ÷RLCM 0.6 0.6 WI SM ·本文算法 D CM 0.4 ILCM 0.4 0.4 本文算法 NLCM 0.2 WLSM 0.2 0.2 ◆MPCM 文算法 105 10-5 0.5 1.0 1.5 2.0 0.5 1.0 1.5 2.0 23 4 3*10 FPR FPR FPR (d序列4 (e)序列5 (①序列6 图8不同算法比较的ROC曲线 Fig.8 ROC curves using different algorithms 从图8可以看出： NLCM的情况与ILCM相似，并且它们的性 DoG的检测性能通常最差，因为它是一种差 能在大多数序列中也相似。 值形式的局部对比度算法，不能有效地增强小目 作为一种新提出的多尺度局部对比度方法， 标。此外，它没有利用方向信息，也无法区分背 RLCM在大多数情况下都比其他算法具有更好的 景边缘。 检测性能，因为它同时利用了比值运算和差值运 MPCM也是一种差值形式的局部对比度算 算。但是RLCM在某些序列上的性能不佳，例如 法，但是它采用多尺度检测，因此通常可以实现 序列5，这是因为RLCM需要较大的计算区域 比DoG更好的检测性能。但是，MPCM无法在一 (27×27),因此在计算过程容易引入更多的干扰， 些序列上有效检测，比如，序列2、序列4、序列 导致算法不能给出正确的对比度信息。 5等。 本文所提方法由于引入了背景估计的思想， WLSM是一种比值形式的局部对比度方法， 能够获得更精准的背景值。同时，比差联合的思 可以有效地增强小目标，因此通常可以获得比 想结合了两种运算的优势，可以在增强目标的同 DoG更好的性能。但是，WLDM在序列1、序列 时抑制复杂背景。另外，算法的窗口大小也更加 2、序列3等序列上的性能不是很好。 灵活，所需计算区域比RLCM更小。因此，本文 LCM是一种两环节形式的比差局部对比度 算法在6个序列中均可取得较好的检测结果，在 方法，因此它通常比单一比值形式或差值形式算 所有对比算法中的检测性能位居前列。 法具有更好的性能。此外，在LCM中利用了方 4.5抗噪声能力测试 向信息来更好地抑制复杂的背景边缘。但是，L 噪声是影响图像质量和算法检测性能的关键 CM仍然无法在一些序列上有效检测，比如序列 因素之一，图9给出了该算法在不同级别的随机 1、序列2等。 噪声下的性能，以ROC曲线作为衡量标准。6个
4.4 与现有算法的性能比较 为了进一步验证所提算法的优势，实验中 选择了 6 个主流算法进行比较，包括 DoG[30] 、MPCM[19] 、ILCM[4] 、NLCM[21] 、WLDM[31] 和 RLCM[14]。 上述算法中的参数值大多是取原作者推荐值。 图 8 给出了算法比较的结果，此处使用了 ROC 曲线作为衡量指标，其中虚警率 (false positive rate，FPR) 与检测率 (rue positive rate，TPR) 分 别定义为 FRP = Nfalse Ntotal TRP = Ntrue Ntotal 式中：Ntotal 为像素点的总数；Nfalse 为虚警的数量； Ntrue 为真实目标的数量。 1.0 0.8 0.6 0.4 0.2 0 1 2 3 4 TPR FPR ×10−5 1.0 0.8 0.6 0.4 0.2 0 0.5 1.0 1.5 2.0 TPR FPR ×10−5 FPR ×10−5 1.0 0.8 0.6 0.4 0.2 0 1 2 3 4 5 TPR FPR ×10−5 FPR ×10−5 1.0 0.8 0.6 0.4 0.2 0 0.5 1.0 1.5 2.0 TPR 1.0 0.8 0.6 0.4 0.2 0 0.2 0.4 0.6 0.8 1.0 TPR FPR ×10−4 DoG ILCM NLCM WLSM MPCM RLCM 本文算法 DoG ILCM NLCM WLSM MPCM RLCM 本文算法 DoG ILCM NLCM WLSM MPCM RLCM 本文算法 DoG ILCM NLCM WLSM MPCM RLCM 本文算法 DoG ILCM NLCM WLSM MPCM RLCM 本文算法 DoG ILCM NLCM WLSM MPCM RLCM 本文算法 (a) 序列 1 (b) 序列 2 (c) 序列 3 (d) 序列 4 (e) 序列 5 (f) 序列 6 1.0 0.8 0.6 0.4 0.2 0 0.5 1.0 1.5 2.0 TPR 图 8 不同算法比较的 ROC 曲线 Fig. 8 ROC curves using different algorithms 从图 8 可以看出： DoG 的检测性能通常最差，因为它是一种差 值形式的局部对比度算法，不能有效地增强小目 标。此外，它没有利用方向信息，也无法区分背 景边缘。 MPCM 也是一种差值形式的局部对比度算 法，但是它采用多尺度检测，因此通常可以实现 比 DoG 更好的检测性能。但是，MPCM 无法在一 些序列上有效检测，比如，序列 2、序列 4、序列 5 等。 WLSM 是一种比值形式的局部对比度方法， 可以有效地增强小目标，因此通常可以获得比 DoG 更好的性能。但是，WLDM 在序列 1、序列 2、序列 3 等序列上的性能不是很好。 ILCM 是一种两环节形式的比差局部对比度 方法，因此它通常比单一比值形式或差值形式算 法具有更好的性能。此外，在 ILCM 中利用了方 向信息来更好地抑制复杂的背景边缘。但是，ILCM 仍然无法在一些序列上有效检测，比如序列 1、序列 2 等。 NLCM 的情况与 ILCM 相似，并且它们的性 能在大多数序列中也相似。 作为一种新提出的多尺度局部对比度方法， RLCM 在大多数情况下都比其他算法具有更好的 检测性能，因为它同时利用了比值运算和差值运 算。但是 RLCM 在某些序列上的性能不佳，例如 序列 5，这是因为 RLCM 需要较大的计算区域 (27×27)，因此在计算过程容易引入更多的干扰， 导致算法不能给出正确的对比度信息。 本文所提方法由于引入了背景估计的思想， 能够获得更精准的背景值。同时，比差联合的思 想结合了两种运算的优势，可以在增强目标的同 时抑制复杂背景。另外，算法的窗口大小也更加 灵活，所需计算区域比 RLCM 更小。因此，本文 算法在 6 个序列中均可取得较好的检测结果，在 所有对比算法中的检测性能位居前列。 4.5 抗噪声能力测试 噪声是影响图像质量和算法检测性能的关键 因素之一，图 9 给出了该算法在不同级别的随机 噪声下的性能，以 ROC 曲线作为衡量标准。6 个 第 2 期 赵骞，等：基于局部对比度背景估计的红外小目标检测方法 ·321·
·322· 智能系统学报 第17卷 序列均被测试，分别添加了方差为1、2、3、4和 后，本文算法性能仅略有下降，这意味着算法对 5的高斯白噪声。从图9可以看出，在添加噪声 噪声具有良好的鲁棒性。 1.0 1.0c 1.0r 0.8 0.8 0.8 VAR 0.6 VAR 0.6 VAR 0.4 0.4 0.4 0.2 VAR 0.2 0.2 VAR VAR=5 VAR=5 VAR=5 10 0.20.40.60.8 1.0 0.5 1.0 1.5 30*10 2 FPR FPR FPR (a)序列1 (b)序列2 (c)序列3 1.0 1.0 1.0 0.8 0.8 08 0.6 0.6 0.4 0.4 0.4 02 0.2 0.2 VAR=S VAR= 10-s ×105 ×10 0.5 1.0 1.5 2.0 0 0.5 1.0 1.5 2.0 FPR FPR FPR (d序列4 (e)序列5 ()序列6 图9多种噪声级别影响下的ROC曲线 Fig.9 ROC curves under different levels of noises 5结束语 参考文献： 本文提出了一种用于红外小目标检测的局 [1]LEUNG H.YOUNG A.Small target detection in clutter 部对比度新方法BE-RDLCM。首先，引入背景估 using recursive nonlinear prediction[J].IEEE transac- 计的思想，以得到更准确的基准背景值，并提出 tions on aerospace and electronic systems,2000,36(2): 了一种采用双层窗口的最大均值背景估计算法。 713-718 然后，在原始输入图像和估计的背景之间提出了 [2] GAO Chengiang,ZHANG Tianqi,LI Qiang.Small in- 种比差联合局部对比度度量算法，在增强真实 frared target detection using sparse ring representation[J]. 目标的同时抑制不同类型的复杂背景。对包含 IEEE aerospace and electronic systems magazine,2012, 不同背景类型和不同目标大小的6个真实红外序 273):21-30. 列进行了实验，证明了该算法的有效性和鲁棒 [3] KIM S.Target attribute-based false alarm rejection in 性。与现有的6种主流检测算法相比，该算法在 small infrared target detection[Cl//Proceedings of SPIE 检测率和虚警率上均能取得较好性能，同时具有 8537,Image and Signal Processing for Remote Sensing 良好的抗噪声能力。本文的贡献可以总结如下： XVIII.Edinburgh,United Kingdom,2012:85370G. 1)提出了一种新的局部对比度计算框架。在该框 [4] HAN Jinhui,MA Yong,ZHOU Bo,et al.A robust in- 架中，引入了背景估计的思想，以当前位置的估 frared small target detection algorithm based on human 计背景为基准值。该基准值用于计算当前位置的 visual system[J].IEEE geoscience and remote sensing let- 局部对比度，从而可以在复杂背景下得到更准确 ters,2014,11(12):2168-2172 的局部对比度信息。2)提出了一种新的最大均值 [5]ZHANG Biyin,ZHANG Tianxu,CAO Zhigiang,et al. 背景估计算法，该算法更适合于小目标检测。这 Fast new small-target detection algorithm based on a 里主要采用双层窗口，内层窗口用于遮盖小目 modified partial differential equation in infrared clutter[J]. 标，外层窗口被分为八个方向以抑制背景边缘。 Optical engineering,2007,46(10):106401. 3)在原始输入图像和估计背景之间提出了比差联 [6]QI Baojun,WU Tao,HE Hangen.Robust detection of 合局部对比度度量。它可以增强不同大小的真实 small infrared objects in maritime scenarios using local 目标并同时抑制各种类型的复杂背景，而无需预 minimum patterns and spatio-temporal context[J].Optic- 处理。 al engineering,2012,51(2):027205
序列均被测试，分别添加了方差为 1、2、3、4 和 5 的高斯白噪声。从图 9 可以看出，在添加噪声 后，本文算法性能仅略有下降，这意味着算法对 噪声具有良好的鲁棒性。 VAR=0 VAR=1 VAR=2 VAR=3 VAR=4 VAR=5 VAR=0 VAR=1 VAR=2 VAR=3 VAR=4 VAR=5 VAR=0 VAR=1 VAR=2 VAR=3 VAR=4 VAR=5 VAR=0 VAR=1 VAR=2 VAR=3 VAR=4 VAR=5 VAR=0 VAR=1 VAR=2 VAR=3 VAR=4 VAR=5 VAR=0 VAR=1 VAR=2 VAR=3 VAR=4 VAR=5 1.0 0.8 0.6 0.4 0.2 0 0.2 0.4 0.6 0.8 1.0 TPR FPR ×10−4 (a) 序列 1 FPR ×10−5 1.0 0.8 0.6 0.4 0.2 0 0.5 1.0 1.5 2.0 TPR (b) 序列 2 1.0 0.8 0.6 0.4 0.2 0 1 2 3 4 TPR FPR ×10−5 (c) 序列 3 FPR ×10−5 (d) 序列 4 1.0 0.8 0.6 0.4 0.2 0 0.5 1.0 1.5 2.0 TPR 1.0 0.8 0.6 0.4 0.2 0 0.5 1.0 1.5 2.0 TPR FPR ×10−5 (e) 序列 5 1.0 0.8 0.6 0.4 0.2 0 1 2 3 4 5 TPR FPR ×10−5 (f) 序列 6 图 9 多种噪声级别影响下的 ROC 曲线 Fig. 9 ROC curves under different levels of noises 5 结束语 本文提出了一种用于红外小目标检测的局 部对比度新方法 BE-RDLCM。首先，引入背景估 计的思想，以得到更准确的基准背景值，并提出 了一种采用双层窗口的最大均值背景估计算法。 然后，在原始输入图像和估计的背景之间提出了 一种比差联合局部对比度度量算法，在增强真实 目标的同时抑制不同类型的复杂背景。对包含 不同背景类型和不同目标大小的 6 个真实红外序 列进行了实验，证明了该算法的有效性和鲁棒 性。与现有的 6 种主流检测算法相比，该算法在 检测率和虚警率上均能取得较好性能，同时具有 良好的抗噪声能力。本文的贡献可以总结如下： 1) 提出了一种新的局部对比度计算框架。在该框 架中，引入了背景估计的思想，以当前位置的估 计背景为基准值。该基准值用于计算当前位置的 局部对比度，从而可以在复杂背景下得到更准确 的局部对比度信息。2) 提出了一种新的最大均值 背景估计算法，该算法更适合于小目标检测。这 里主要采用双层窗口，内层窗口用于遮盖小目 标，外层窗口被分为八个方向以抑制背景边缘。 3) 在原始输入图像和估计背景之间提出了比差联 合局部对比度度量。它可以增强不同大小的真实 目标并同时抑制各种类型的复杂背景，而无需预 处理。 参考文献： LEUNG H, YOUNG A. Small target detection in clutter using recursive nonlinear prediction[J]. IEEE transactions on aerospace and electronic systems, 2000, 36(2): 713–718. [1] GAO Chenqiang, ZHANG Tianqi, LI Qiang. Small infrared target detection using sparse ring representation[J]. IEEE aerospace and electronic systems magazine, 2012, 27(3): 21–30. [2] KIM S. Target attribute-based false alarm rejection in small infrared target detection[C]//Proceedings of SPIE 8537, Image and Signal Processing for Remote Sensing XVIII. Edinburgh, United Kingdom, 2012: 85370G. [3] HAN Jinhui, MA Yong, ZHOU Bo, et al. A robust infrared small target detection algorithm based on human visual system[J]. IEEE geoscience and remote sensing letters, 2014, 11(12): 2168–2172. [4] ZHANG Biyin, ZHANG Tianxu, CAO Zhiqiang, et al. Fast new small-target detection algorithm based on a modified partial differential equation in infrared clutter[J]. Optical engineering, 2007, 46(10): 106401. [5] QI Baojun, WU Tao, HE Hangen. Robust detection of small infrared objects in maritime scenarios using local minimum patterns and spatio-temporal context[J]. Optical engineering, 2012, 51(2): 027205. [6] ·322· 智 能 系 统 学 报 第 17 卷
第2期 赵骞，等：基于局部对比度背景估计的红外小目标检测方法 ·323· [7]BAI Xiangzhi,ZHOU Fugen.Analysis of new top-hat 67:229-236 transformation and the application for infrared dim small [19]WEI Yantao,YOU Xinge,LI Hong.Multiscale patch- target detection[J].Pattern recognition,2010,43(6): based contrast measure for small infrared target detec- 2145-2156. tion[J.Pattern recognition,2016,58:216-226. [8]Deshpande S D,Er M H,Ronda V,et al.Max-mean and [20]CHEN CL P,LI Hong,WEI Yantao,et al.A local con- max-median filters for detection of small targets[C]//Pro- trast method for small infrared target detection[J].IEEE ceedings of SPIE 3809,Signal and Data Processing of transactions on geoscience and remote sensing,2014, Small Targets.Denver,United States,1999:74-83. 521):574581. [9]CAO Yuan,LIU Ruiming,YANG Jie.Small Target de- [21]QIN Yao,LI Biao.Effective infrared small target detec- tection using two-dimensional least mean square tion utilizing a novel local contrast method[J].IEEE (TDLMS)filter based on neighborhood analysis[J].Inter- geoscience and remote sensing letters,2016,13(12): national journal of infrared and millimeter waves,2008. 1890-1894. 292):188-200 [22 ]DENG He,SUN Xianping,LIU Maili,et al.Entropy- [10]DING Hao,ZHAO Huijie.Adaptive method for the de- based window selection for detecting dim and small in- tection of infrared small target[J].Optical engineering frared targets[J].Pattern recognition,2017,61:66-77. 2015,5411:113107 [23]XIA Tian,TANG Yuanyan,et al.Biologically inspired [11]BI Yanguang,BAI Xiangzhi,JIN Ting,et al.Multiple small infrared target detection using local contrast mech- feature analysis for infrared small target detection[J]. anisms[J].International journal of wavelets,2015,13(4): IEEE geoscience and remote sensing letters,2017,14(8): 1550025. 1333-1337. [24]CUI Zheng,YANG Jingli,JIANG Shouda,et al.An in- [12]GUO Jun,WU Yiquan,DAI Yimian.Small target detec- frared small target detection algorithm based on high- tion based on reweighted infrared patch-image model[J. speed local contrast method[J].Infrared physics tech- IET image processing,2018,12(1):70-79. nology,2016,76:474-481. [13]ITTI L,KOCH C,NIEBUR E.A model of saliency- [25] CHEN Yuwen,XIN Yunhong.An efficient infrared based visual attention for rapid scene analysis[J].IEEE small target detection method based on visual contrast transactions on pattern analysis and machine intelli- mechanism[J].IEEE geoscience and remote sensing let- gence,1998,20(11y:1254-1259. ters,2016,13(7):962-966 [14]HAN Jinhui,LIANG Kun,ZHOU Bo,et al.Infrared [26] 马旗，朱斌，程正东，等.基于双通道的快速低空无人 small target detection utilizing the multiscale relative 机检测识别方法U.光学学报，2019,39(12)：1210002. local contrast measure[J].IEEE geoscience and remote MA Qi,ZHU Bin,CHENG Zhengdong,et al.Detection sensing letters,2018,15(4):612-616. and recognition method of fast low-altitude unmanned [15]SHAO Xiaopeng,FAN Hua,LU Guangxu,et al.An im- aerial vehicle based on dual channel[J].Acta optica sin- proved infrared dim and small target detection al- ica,2019,3912):1210002. gorithm based on the contrast mechanism of human [27]HOU Qingyu,WANG Zhipeng,TAN Fanjiao,et al. visual system[J].Infrared physics technology,2012, RISTDnet:robust infrared small target detection net- 55(5):403-408. work[EB/OL].(2021-01-22)[2021-05-26].https:/ieeex. [16]DENG Yaping,WANG Min.Infrared dim and small tar- plore.ieee.org/document/9334387. get detection based on the human visual attention mech- [28]DAI Yimian,WU Yiquan,ZHOU Fei,et al.Attentional anism[M//WANG W.Proceedings of the Second Inter- local contrast networks for infrared small target detec- national Conference on Mechatronics and Automatic tion[EB/OL].(2020-12-25)[2021-05-26].https:/ieeex- Control.Cham:Springer,2015:1153-1161. plore.ieee.org/abstract/document/9314219. [17]HAN Jinhui,MA Yong,HUANG Jun,et al.An infrared 「291 ZHANG Wei,CONG Mingyu,WANG Liping.Al- small target detecting algorithm based on human visual gorithms for optical weak small targets detection and system[J].IEEE geoscience and remote sensing letters, tracking:review[C]//International Conference on Neural 2016,13(3):452-456 Networks and Signal Processing.Nanjing,China,2003: [18]XIE Kai,FU Keren,ZHOU Tao,et al.Small target de- 643-647 tection based on accumulated center-surround differ- [30]WANG Xin,LYU Guofang,XU Lizhong.Infrared dim ence measure[J].Infrared physics&technology,2014, target detection based on visual attention[J].Infrared
BAI Xiangzhi, ZHOU Fugen. Analysis of new top-hat transformation and the application for infrared dim small target detection[J]. Pattern recognition, 2010, 43(6): 2145–2156. [7] Deshpande S D, Er M H, Ronda V, et al. Max-mean and max-median filters for detection of small targets[C]//Proceedings of SPIE 3809, Signal and Data Processing of Small Targets. Denver, United States, 1999: 74−83. [8] CAO Yuan, LIU Ruiming, YANG Jie. Small Target detection using two-dimensional least mean square (TDLMS) filter based on neighborhood analysis[J]. International journal of infrared and millimeter waves, 2008, 29(2): 188–200. [9] DING Hao, ZHAO Huijie. Adaptive method for the detection of infrared small target[J]. Optical engineering, 2015, 54(11): 113107. [10] BI Yanguang, BAI Xiangzhi, JIN Ting, et al. Multiple feature analysis for infrared small target detection[J]. IEEE geoscience and remote sensing letters, 2017, 14(8): 1333–1337. [11] GUO Jun, WU Yiquan, DAI Yimian. Small target detection based on reweighted infrared patch-image model[J]. IET image processing, 2018, 12(1): 70–79. [12] ITTI L, KOCH C, NIEBUR E. A model of saliencybased visual attention for rapid scene analysis[J]. IEEE transactions on pattern analysis and machine intelligence, 1998, 20(11): 1254–1259. [13] HAN Jinhui, LIANG Kun, ZHOU Bo, et al. Infrared small target detection utilizing the multiscale relative local contrast measure[J]. IEEE geoscience and remote sensing letters, 2018, 15(4): 612–616. [14] SHAO Xiaopeng, FAN Hua, LU Guangxu, et al. An improved infrared dim and small target detection algorithm based on the contrast mechanism of human visual system[J]. Infrared physics & technology, 2012, 55(5): 403–408. [15] DENG Yaping, WANG Min. Infrared dim and small target detection based on the human visual attention mechanism[M]//WANG W. Proceedings of the Second International Conference on Mechatronics and Automatic Control. Cham: Springer, 2015: 1153−1161. [16] HAN Jinhui, MA Yong, HUANG Jun, et al. An infrared small target detecting algorithm based on human visual system[J]. IEEE geoscience and remote sensing letters, 2016, 13(3): 452–456. [17] XIE Kai, FU Keren, ZHOU Tao, et al. Small target detection based on accumulated center-surround difference measure[J]. Infrared physics & technology, 2014, [18] 67: 229–236. WEI Yantao, YOU Xinge, LI Hong. Multiscale patchbased contrast measure for small infrared target detection[J]. Pattern recognition, 2016, 58: 216–226. [19] CHEN C L P, LI Hong, WEI Yantao, et al. A local contrast method for small infrared target detection[J]. IEEE transactions on geoscience and remote sensing, 2014, 52(1): 574–581. [20] QIN Yao, LI Biao. Effective infrared small target detection utilizing a novel local contrast method[J]. IEEE geoscience and remote sensing letters, 2016, 13(12): 1890–1894. [21] DENG He, SUN Xianping, LIU Maili, et al. Entropybased window selection for detecting dim and small infrared targets[J]. Pattern recognition, 2017, 61: 66–77. [22] XIA Tian, TANG Yuanyan, et al. Biologically inspired small infrared target detection using local contrast mechanisms[J]. International journal of wavelets, 2015, 13(4): 1550025. [23] CUI Zheng, YANG Jingli, JIANG Shouda, et al. An infrared small target detection algorithm based on highspeed local contrast method[J]. Infrared physics & technology, 2016, 76: 474–481. [24] CHEN Yuwen, XIN Yunhong. An efficient infrared small target detection method based on visual contrast mechanism[J]. IEEE geoscience and remote sensing letters, 2016, 13(7): 962–966. [25] 马旗, 朱斌, 程正东, 等. 基于双通道的快速低空无人 机检测识别方法 [J]. 光学学报, 2019, 39(12): 1210002. MA Qi, ZHU Bin, CHENG Zhengdong, et al. Detection and recognition method of fast low-altitude unmanned aerial vehicle based on dual channel[J]. Acta optica sinica, 2019, 39(12): 1210002. [26] HOU Qingyu, WANG Zhipeng, TAN Fanjiao, et al. RISTDnet: robust infrared small target detection network[EB/OL]. (2021-01-22) [2021-05-26]. https://ieeexplore.ieee.org/document/9334387. [27] DAI Yimian, WU Yiquan, ZHOU Fei, et al. Attentional local contrast networks for infrared small target detection[EB/OL]. (2020-12-25) [2021-05-26]. https://ieeexplore.ieee.org/abstract/document/9314219. [28] ZHANG Wei, CONG Mingyu, WANG Liping. Algorithms for optical weak small targets detection and tracking: review[C]//International Conference on Neural Networks and Signal Processing. Nanjing, China, 2003: 643−647. [29] WANG Xin, LYU Guofang, XU Lizhong. Infrared dim target detection based on visual attention[J]. Infrared [30] 第 2 期 赵骞，等：基于局部对比度背景估计的红外小目标检测方法 ·323·
