工程科学学报，第38卷，第6期：876885,2016年6月 Chinese Journal of Engineering,Vol.38,No.6:876-885,June 2016 DOI:10.13374/j.issn2095-9389.2016.06.019:http://journals.ustb.edu.cn 流形正则化多核模型的模糊红外目标提取 杨 焘，付冬梅四 北京科技大学自动化学院，北京100083 ☒通信作者，E-mail:fdm2003@163.com 摘要针对模糊边缘的红外目标提取问题，提出一种基于流形正则化多核半监督分类的提取方法.首先应用最大类间方 差法计算初始分割阈值，获得确定化的目标和背景区域以及待确定化的模糊边缘区域：然后建立各区域内像素点邻域空间 集，并通过多核函数特征映射获得邻域空间中灰度均值和方差信息特征值，通过流形正则获得邻域空间中位置信息特征值： 在特征值基础上，建立半监督分类模型对模糊边缘区域像素点邻域空间集进行类别划分：最后计算最佳分割阈值.对比实验 结果表明，该方法提取模糊边缘红外目标效果好且运算效率高· 关键词模糊边缘：目标提取：核函数：流形正则化 分类号TP391 Extraction of blurred infrared targets based on a manifold regularized multiple-kernel model YANG Tao,FU Dong-mei School of Automation and Electrical Engineering,University of Science and Technology Beijing,Beijing 100083,China Corresponding author,E-mail:fdm2003@163.com ABSTRACT Specific to the problem of infrared target extraction with blurred edges,this article introduces an extraction method based on a manifold regularized multiple kernel semi-supervised classification model.Firstly,the maximum variance of inter-elass (OTSU)method is used to compute the initial segmentation threshold,and the certain target and background areas and the uncertain blurred edge area are determined.Then,local space sets of pixels are constructed in each area,the multiple-kernel functions are used to map the grayscale mean and variance in local space,and the location information feature in local space is obtained by manifold regu- larization (MR).On the basis of features,a semi-supervised classification model is established to classify the local space sets of pixels in the blurred edge area.Finally,the optimal segmentation threshold is computed.Experiments with comparisons show that this meth- od is efficient and less in time-consuming. KEY WORDS blurred edge;target extraction:kernel functions;manifold regularization 红外图像是以图像形式表达的红外探测设备测量 条件时其温度场变化随着时间增加而愈加缓慢，使得 物体表面温度分布信息的成像技术，使人眼不能直接 边缘区域更为模糊，这种情况在红外热痕迹图像中更 看到的表面温度分布，转化为可以看到的热图像，能够 加明显.红外热痕迹图像中的目标边缘带有很强的模 作为工业生产的重要测温和诊断手段以及军事中夜视 糊性，以红外热像仪(AVI0H2600)拍摄的手部红外图 设备等重要技术.由于红外图像可观察到目标物体与 像为例，在环境温度为27.2℃的条件下，背景物体为 周围环境温度场分布，从而图像往往是模糊的，尤其是 木板，手部在木板上平放，拍摄手部离开木板后的热痕 图像中目标与周围环境接触的边缘区域，无其他外在 迹图像如图1所示.从图中可知，随着时间增加，目标 收稿日期：201505-28 基金项目：国家自然科学基金资助项目(61272358)
工程科学学报，第 38 卷，第 6 期: 876--885，2016 年 6 月 Chinese Journal of Engineering，Vol． 38，No． 6: 876--885，June 2016 DOI: 10． 13374 /j． issn2095--9389． 2016． 06． 019; http: / /journals． ustb． edu． cn 流形正则化多核模型的模糊红外目标提取 杨 焘，付冬梅 北京科技大学自动化学院，北京 100083 通信作者，E-mail: fdm2003@ 163． com 摘 要 针对模糊边缘的红外目标提取问题，提出一种基于流形正则化多核半监督分类的提取方法． 首先应用最大类间方 差法计算初始分割阈值，获得确定化的目标和背景区域以及待确定化的模糊边缘区域; 然后建立各区域内像素点邻域空间 集，并通过多核函数特征映射获得邻域空间中灰度均值和方差信息特征值，通过流形正则获得邻域空间中位置信息特征值; 在特征值基础上，建立半监督分类模型对模糊边缘区域像素点邻域空间集进行类别划分; 最后计算最佳分割阈值． 对比实验 结果表明，该方法提取模糊边缘红外目标效果好且运算效率高． 关键词 模糊边缘; 目标提取; 核函数; 流形正则化 分类号 TP391 Extraction of blurred infrared targets based on a manifold regularized multiple-kernel model YANG Tao，FU Dong-mei School of Automation and Electrical Engineering，University of Science and Technology Beijing，Beijing 100083，China Corresponding author，E-mail: fdm2003@ 163． com ABSTＲACT Specific to the problem of infrared target extraction with blurred edges，this article introduces an extraction method based on a manifold regularized multiple kernel semi-supervised classification model． Firstly，the maximum variance of inter-class ( OTSU) method is used to compute the initial segmentation threshold，and the certain target and background areas and the uncertain blurred edge area are determined． Then，local space sets of pixels are constructed in each area，the multiple-kernel functions are used to map the grayscale mean and variance in local space，and the location information feature in local space is obtained by manifold regularization ( MＲ) ． On the basis of features，a semi-supervised classification model is established to classify the local space sets of pixels in the blurred edge area． Finally，the optimal segmentation threshold is computed． Experiments with comparisons show that this method is efficient and less in time-consuming． KEY WOＲDS blurred edge; target extraction; kernel functions; manifold regularization 收稿日期: 2015--05--28 基金项目: 国家自然科学基金资助项目( 61272358) 红外图像是以图像形式表达的红外探测设备测量 物体表面温度分布信息的成像技术，使人眼不能直接 看到的表面温度分布，转化为可以看到的热图像，能够 作为工业生产的重要测温和诊断手段以及军事中夜视 设备等重要技术． 由于红外图像可观察到目标物体与 周围环境温度场分布，从而图像往往是模糊的，尤其是 图像中目标与周围环境接触的边缘区域，无其他外在 条件时其温度场变化随着时间增加而愈加缓慢，使得 边缘区域更为模糊，这种情况在红外热痕迹图像中更 加明显． 红外热痕迹图像中的目标边缘带有很强的模 糊性，以红外热像仪( AVIO-H2600) 拍摄的手部红外图 像为例，在环境温度为 27. 2 ℃ 的条件下，背景物体为 木板，手部在木板上平放，拍摄手部离开木板后的热痕 迹图像如图 1 所示． 从图中可知，随着时间增加，目标
杨焘等：流形正则化多核模型的模糊红外目标提取 877 的边缘区域的模糊性增强 的模糊边缘.与一般的实际红外图像不同，一般的红 本文的研究对象就是图1(b)和图1(c),这类具 外图像中目标是热源，且图像获取的是热源在被拍摄 有独特特点的红外热痕迹图像.由于图像中的目标是 时间点处的温度分布信息：而图1(b)和图1(c)中目 热源经过一定时间热交换后，所接触背景物体表面的 标是热痕迹，且经过一定时间，温度分布已向周围区域 热痕迹区域，在温度分布扩散作用下，此区域出现很强 变化. 图1模糊边缘的手部红外热痕迹图像.(a)手部离开木板1s:(b)离开木板605：(c)离开木板120s Fig.I Infrared hand images with blurred edges.(a)1s after hand leaving:(b)60s after hand leaving:(c)120s after hand leaving 研究如图1(b)和图1(c)的红外热痕迹图像的目 模糊边缘红外目标提取方法.本文分析边缘模糊的 标提取问题，目的是最大程度提取出原热源目标的轮 特征特点，充分利用灰度的统计信息.所提出的方法 廓，反映出图像所包含的已离开背景物体表面的原热 首先应用灰度直方图的最大类间方差来计算初始分 源目标信息，由于这类热痕迹的模糊程度强，提取其真 割阈值，此阈值表征全局的灰度统计信息：在此基础 实轮廓是具有挑战性的，也比一般红外目标的提取具 上，可获得离初始分割阈值较近的不确定的边缘模 有针对性：而且，目前红外检测技术，在发生过重要事 糊区域，也可获得离初始分割阈值较远的确定的背 件现场的侦查遗留痕迹方面，发挥积极作用，多数重要 景和目标区域：在各区域中建立像素点邻域空间集， 遗留痕迹通常就属于红外热痕迹：通过这类热痕迹的 每个邻域空间包含邻域灰度及其统计信息和位置信 分析可以了解原热源目标的状态。因此，研究这类红 息；通过核函数对各邻域空间的灰度及其统计信息 外热痕迹目标提取问题，就具有实用性和实际意义. 特征映射获取特征值，同时考虑到灰度及其统计信 现有的图像目标提取的方法主要有以下几种： 息存在差异，不同参数的核函数特征映射更加能够 (1)基于阈值的分割方法.如最大类间方差法四，该算 充分表征此差异，因此本文应用多核函数获取其特 法是通过灰度直方图体现灰度差异性，实现方便，使用 征值：再通过流形正则获取各邻域空间的位置信息 广泛，但对于图1(b)和图1(c)而言，目标的模糊边缘 的特征值：通过上述特征值信息建立半监督分类模 中灰度差异较小，导致难以得到准确的分割结果四 型，利用模型对不确定的边缘模糊区域中各邻域空 (2)基于边缘模板的方法.即常见的微分算子回如 间进行分类，使其确定化，即归为目标或者背景区 Prewitt模板O,该类模板法边缘定位准确，运算速度 域：综合分析目标与背景区域和确定化后的模糊边 快，然而对于模糊边缘，其连续性和封闭性难以保证 缘区域的灰度值分布，计算最佳分割阈值，达到模糊 (3)基于区域的图像分割方法.该类方法是将图像按 边缘红外目标提取目的. 照相似性准则分成不同的区域，其代表是分水岭法可， 一方面，多核函数特征映射是多核学习的基础，是 但分水岭法对噪声通常较为敏感，而一般来说图像越 应用多个不同参数的核函数线性组合的特征映射方 模糊，信噪比越低，因此对图1(b)和图1()而言也不 式，研究表明多核学习更为灵活和稳定四.通过多核 适用.(4)基于能量泛函的图像分割方法.此类方法 函数映射来表征红外图像不同区域的像素点邻域空间 的代表是Snake模型，该模型通过连续曲线来表达 中灰度及其统计信息.另一方面，流形正则是基于流 目标边缘，应用广泛且效果较好，但是在模糊边缘的提 形学习的，能够表达数据的邻域结构信息.通过流 取中会出现失真问题.(5)智能图像分割方法.如基 形正则获取像素点邻域空间中的位置信息特征值，并 于人工免疫的图像模板法-o和其他自适应模板方 以流形正则方法来增强所建立的半监督分类模型的划 法如，该类方法是基于人工免疫算法的图像分割技 分能力及其连续性.笔者前期对流形正则化多核模型 术，使图像分割的研究向人工智能化方向发展：基于启 已有一定研究基础，能够更好地应用于模糊边缘的 发式学习或者群优化策略，一般对初始条件敏感且时 红外目标对象上.因此，截取图1(b)某部分得到如 间复杂度较高 图2(b)的模糊红外图像，对比无流形正则的多核分类 针对红外图像中边缘模糊的目标提取问题，本 和有流形正则的多核分类模型对模糊边缘红外目标提 文提出一种基于流形正则化多核半监督分类模型的 取的效果，可得出邻域空间中位置信息的重要性
杨 焘等: 流形正则化多核模型的模糊红外目标提取 的边缘区域的模糊性增强． 本文的研究对象就是图 1( b) 和图 1( c) ，这类具 有独特特点的红外热痕迹图像． 由于图像中的目标是 热源经过一定时间热交换后，所接触背景物体表面的 热痕迹区域，在温度分布扩散作用下，此区域出现很强 的模糊边缘． 与一般的实际红外图像不同，一般的红 外图像中目标是热源，且图像获取的是热源在被拍摄 时间点处的温度分布信息; 而图 1( b) 和图 1( c) 中目 标是热痕迹，且经过一定时间，温度分布已向周围区域 变化． 图 1 模糊边缘的手部红外热痕迹图像． ( a) 手部离开木板 1 s; ( b) 离开木板 60 s; ( c) 离开木板 120 s Fig． 1 Infrared hand images with blurred edges． ( a) 1 s after hand leaving; ( b) 60 s after hand leaving; ( c) 120 s after hand leaving 研究如图 1( b) 和图 1( c) 的红外热痕迹图像的目 标提取问题，目的是最大程度提取出原热源目标的轮 廓，反映出图像所包含的已离开背景物体表面的原热 源目标信息，由于这类热痕迹的模糊程度强，提取其真 实轮廓是具有挑战性的，也比一般红外目标的提取具 有针对性; 而且，目前红外检测技术，在发生过重要事 件现场的侦查遗留痕迹方面，发挥积极作用，多数重要 遗留痕迹通常就属于红外热痕迹; 通过这类热痕迹的 分析可以了解原热源目标的状态． 因此，研究这类红 外热痕迹目标提取问题，就具有实用性和实际意义． 现有的图像目标提 取 的 方 法 主 要 有 以 下 几 种: ( 1) 基于阈值的分割方法． 如最大类间方差法［1］，该算 法是通过灰度直方图体现灰度差异性，实现方便，使用 广泛，但对于图 1( b) 和图 1( c) 而言，目标的模糊边缘 中灰度差异较小，导致难以得到准确的分割结果［2］． ( 2) 基于边缘模板的方法． 即常见的微分算子［3］ 如 Prewitt 模板［4］，该类模板法边缘定位准确，运算速度 快，然而对于模糊边缘，其连续性和封闭性难以保证． ( 3) 基于区域的图像分割方法． 该类方法是将图像按 照相似性准则分成不同的区域，其代表是分水岭法［5］， 但分水岭法对噪声通常较为敏感，而一般来说图像越 模糊，信噪比越低，因此对图 1( b) 和图 1( c) 而言也不 适用． ( 4) 基于能量泛函的图像分割方法． 此类方法 的代表是 Snake 模型［6］，该模型通过连续曲线来表达 目标边缘，应用广泛且效果较好，但是在模糊边缘的提 取中会出现失真问题． ( 5) 智能图像分割方法． 如基 于人工免疫的图像模板法［7--10］和其他自适应模板方 法［11］，该类方法是基于人工免疫算法的图像分割技 术，使图像分割的研究向人工智能化方向发展; 基于启 发式学习或者群优化策略，一般对初始条件敏感且时 间复杂度较高． 针对红外图像中边缘模糊的目标 提 取 问 题，本 文提出一种基于流形正则化多核半监督分类模型的 模糊边缘红外目标提取方法． 本文分析边缘模糊的 特征特点，充分利用灰度的统计信息． 所提出的方法 首先应用灰度直方图的最大类间方差来计算初始分 割阈值，此阈值表征全局的灰度统计信息; 在此基础 上，可获得离初始分割阈值较近的不确定的边缘模 糊区域，也可获得离初始分割阈值较远的确定的背 景和目标区域; 在各区域中建立像素点邻域空间集， 每个邻域空间包含邻域灰度及其统计信息和位置信 息; 通过核函数对各邻域空间的灰度及其统计信息 特征映射获取特征值，同时考虑到灰度及其统计信 息存在差异，不同参数的核函数特征映射更加能够 充分表征此差异，因此本文应用多核函数获取其特 征值; 再通过流形正则获取各邻域空间的位置信息 的特征值; 通过上述特征值信息建立半监督分类模 型，利用模型对不确定的边缘模糊区域中各邻域空 间进行分 类，使 其 确 定 化，即 归 为 目 标 或 者 背 景 区 域; 综合分析目标与背景区域和确定化后的模糊边 缘区域的灰度值分布，计算最佳分割阈值，达到模糊 边缘红外目标提取目的． 一方面，多核函数特征映射是多核学习的基础，是 应用多个不同参数的核函数线性组合的特征映射方 式，研究表明多核学习更为灵活和稳定［12］． 通过多核 函数映射来表征红外图像不同区域的像素点邻域空间 中灰度及其统计信息． 另一方面，流形正则是基于流 形学习的，能够表达数据的邻域结构信息［13］． 通过流 形正则获取像素点邻域空间中的位置信息特征值，并 以流形正则方法来增强所建立的半监督分类模型的划 分能力及其连续性． 笔者前期对流形正则化多核模型 已有一定研究基础［14］，能够更好地应用于模糊边缘的 红外目标对象上． 因此，截取图 1 ( b) 某部分得到如 图 2( b) 的模糊红外图像，对比无流形正则的多核分类 和有流形正则的多核分类模型对模糊边缘红外目标提 取的效果，可得出邻域空间中位置信息的重要性． · 778 ·
·878· 工程科学学报，第38卷，第6期 图2多核分类模型在有流形正则和无流形正则时提取效果区别.(a)原图：(b)截取部分：(c)有流形正则：()无流形正则 Fig.2 Difference of multiple classifiers with and without manifold regularization:(a)original image:(b)truncated image:(e)with manifold regu- larization:(d)without manifold regularization 1邻域空间集及特征值获取 中，表示像素点i和j的近邻空间中[a2,ai]和[d2, d]的欧式距离，在其他像素点与j的近邻空间中下标 1.1邻域空间集及其元素 12和13的元素的前k个最小欧式距离范围之内：否则 设分辨率为m×n的红外图像以灰度值矩阵I表 :和之间不连接. 示的，且总像素点有N个.设任一像素点表示为P,’ 在图G中，为进一步刻画像素点之间的位置关 其中下标x和y为位置坐标，x从1取到m,y从1取到 系，需要给每条边赋予权值，来表示近邻的程度，本文 n.对P,而言，其灰度值为I(P).设定像素点P的 采用二值化方法求取权值.设：和巴之间的权值为 3×3邻域是其邻域空间，用A(P,)表示：设A(P,)中 g,则 有13个元素，并以[a1,a2,,a]表示，其各个元素由 1,和有边连接， 图3说明. ,=0其他. (1) [a1=1p-lyi） 当遍历所有参与建立图G的邻域空间集后，可得 Ip.-lwi） 1(p) 1ply+i） a2=1pt） 到权值矩阵W,此时定义对角矩阵B,其对角值为b:= ag=Iplw-i） Σ则有 L=B-W. 1p-i） 1p) 1ptiy） (2) a0= 9 式中，L称为拉普拉斯图，可反映出像素点之间位置关 系的特征，于是通过L便获得位置信息的特征值 ∑(a-ao)2 I(p) 1py-i） 1py-i） 假设半监督分类模型表示为∫，∫(p,)是模型对像 a1= 9 素点P:的邻域空间的类别划分，则流形正则可用下式 ap =x,aB =y 表示： 图3邻域空间元素含义图示 Fig.3 Illustration of elements in local space g=min ∑o,p)-f)2=min FLE 2 由图可知，a1~a,为灰度值信息，ao和a,是灰度 (3) 统计信息，a2和a是位置信息.对若干像素点均建立 其中F=T(p,),f(p,),,f(p)]T.上式为模型f提 其邻域空间并构成集合，则为邻域空间集，设为2，有 供像素点邻域空间的位置信息特征量 {A1,A2,}∈2，其中A:表示像素点i的邻域空间. 1.3多核分类模型 为进一步讨论，设定如下记法：若像素点表示为， 首先，假设M个核函数为K,K2,…,K].在应 则A:是其邻域空间，且[ai,a,…,ai]表示空间中各 用中，均使用高斯核函数，如下式所示： 元素. 1.2流形正则的计算 K.G)-ep( (4) 流形正则的计算是获得像素点邻域空间中的位置 式中M个核函数具有M个参数o,o2…,0u],r和 信息特征量的过程.首先需要根据像素点邻域空间位 x均表示像素点邻域空间中前11个元素构成的向量. 置信息，建立无向图G(V,E),其中V表示图中顶点集 合，E表示图中边集合.以像素点i为例，其对应一个 多核可表达为K=三山，K,K.中元素为，=K（任， 顶点，∈V,通过判定像素点邻域空间的近邻关系来决 x),而K（·,·）表示核函数.dm为核矩阵的组合系 定两个顶点之间是否有边相连.令©，表示连接顶点： 和巴的边，则eg∈E,此时A:存在于A的k近邻集合 数并约定满足条件∑dn=1,dn≥0.实际应用中，本
工程科学学报，第 38 卷，第 6 期 图 2 多核分类模型在有流形正则和无流形正则时提取效果区别． ( a) 原图; ( b) 截取部分; ( c) 有流形正则; ( d) 无流形正则 Fig． 2 Difference of multiple classifiers with and without manifold regularization: ( a) original image; ( b) truncated image; ( c) with manifold regularization; ( d) without manifold regularization 1 邻域空间集及特征值获取 1. 1 邻域空间集及其元素 设分辨率为 m × n 的红外图像以灰度值矩阵 I 表 示的，且总像素点有 N 个． 设任一像素点表示为 px，y， 其中下标 x 和 y 为位置坐标，x 从 1 取到 m，y 从 1 取到 n． 对 px，y而言，其灰度值为 I( px，y ) ． 设定像素点 px，y的 3 × 3 邻域是其邻域空间，用 A( px，y ) 表示; 设 A( px，y ) 中 有 13 个元素，并以［a1，a2，…，a13］表示，其各个元素由 图 3 说明． I( px － 1，y + 1 ) I( px，y + 1 ) I( px + 1，y + 1 ) I( px － 1，y ) I( px，y ) I( px + 1，y ) I( px － 1，y － 1 ) I( px，y － 1 ) I( px + 1，y － 1 ) → a1 = I( px－1，y+1 ) a2 = I( px，y+1 ) a9 = I( px+1，y－1 ) a10 = ∑ 9 i =1 ai 9 a11 = ∑ 9 i =1 ( ai － a10 ) 2 9 a12 = x，a13 = y 图 3 邻域空间元素含义图示 Fig． 3 Illustration of elements in local space 由图可知，a1 ～ a9 为灰度值信息，a10和 a11是灰度 统计信息，a12和 a13是位置信息． 对若干像素点均建立 其邻域空间并构成集合，则为邻域空间集，设为 Ω，有 { A1，A2，…} ∈Ω，其中 Ai 表示像素点 i 的邻域空间． 为进一步讨论，设定如下记法: 若像素点表示为 i， 则 Ai 是其邻域空间，且［ai 1，ai 2，…，ai 13］表示空间中各 元素． 1. 2 流形正则的计算 流形正则的计算是获得像素点邻域空间中的位置 信息特征量的过程． 首先需要根据像素点邻域空间位 置信息，建立无向图 G( V，E) ，其中 V 表示图中顶点集 合，E 表示图中边集合． 以像素点 i 为例，其对应一个 顶点 vi∈V，通过判定像素点邻域空间的近邻关系来决 定两个顶点之间是否有边相连． 令 eij表示连接顶点 vi 和 vj 的边，则 eij∈E，此时 Ai 存在于 Aj 的 k 近邻集合 中，表示像素点 i 和 j 的近邻空间中［ai 12，ai 13］和［aj 12， aj 13］的欧式距离，在其他像素点与 j 的近邻空间中下标 12 和13 的元素的前 k 个最小欧式距离范围之内; 否则 vi 和 vj 之间不连接． 在图 G 中，为进一步刻画像素点之间的位置关 系，需要给每条边赋予权值，来表示近邻的程度，本文 采用二值化方法求取权值． 设 vi 和 vj 之间的权值为 wij，则 wij = 1 vi和 vj有边连接， {0 其他． ( 1) 当遍历所有参与建立图 G 的邻域空间集后，可得 到权值矩阵 W，此时定义对角矩阵 B，其对角值为 bii = ∑ j wij，则有 L = B － W． ( 2) 式中，L 称为拉普拉斯图，可反映出像素点之间位置关 系的特征，于是通过 L 便获得位置信息的特征值． 假设半监督分类模型表示为 f，f( p1 ) 是模型对像 素点 p1 的邻域空间的类别划分，则流形正则可用下式 表示: g = min 1 2 ∑ n i，j wij( f( pi ) － f( pj ) ) 2 = min FLFT ． ( 3) 其中 F =［f( p1 ) ，f( p2 ) ，…，f( pn) ］T ． 上式为模型 f 提 供像素点邻域空间的位置信息特征量． 1. 3 多核分类模型 首先，假设 M 个核函数为［K1，K2，…，KM］． 在应 用中，均使用高斯核函数，如下式所示: Ki ( x，x') ( = exp － ‖x － x'‖2 2 σ2 ) i ． ( 4) 式中 M 个核函数具有 M 个参数［σ1，σ2，…，σM］，x 和 x'均表示像素点邻域空间中前 11 个元素构成的向量． 多核可表达为 K = ∑ M m = 1 dm Km，Km 中元素为 kij = Km ( xi， xj ) ，而 Km ( ·，·) 表示核函数． dm 为核矩阵的组合系 数并约定满足条件 ∑ M m = 1 dm = 1，dm≥0． 实际应用中，本 · 878 ·
杨焘等：流形正则化多核模型的模糊红外目标提取 879· 文将x分为两类向量：(1)[a1,a2,…,ao],(2）[a]. 式中矩阵K的第i行第j列的元素是K(x:,x).为了 不同类向量以不同参数的核函数进行特征映射.于 求解式(10)，需要先将核矩阵的组合系数d视为固定 是，像素点邻域空间的灰度及其统计信息的核函数映 值，即假设有一组[d,d,,dw]满足约束条件，则可 射特征值，即以多核矩阵K的形式所获得. 以对其他的约束采用拉格朗日乘子方法.设拉格朗日 在获取特征值之后，为了建立半监督多核分类模 函数为男，有 型，需要从特征值中学习得到模型∫(f∈.动，水是核 函数映射后的特征空间。约定是损失函数，基于 g-分Ka+2aKa+C∑i-召i- Bach提出的多核理论，给出如下的多核分类模型： 卿Σc0, 会a{宫+小-1小w vd (5) 其中，（和B是拉格朗日乘子.上式应对变量(，b,) la.∑d.=l,d.≥0，m 求极小，利用梯度法，如下所示： 式中C是较大的常数，If。‖2/d。是一个正则项，目的 ra罗 aa =y Ka +y KLKa -KJ'YB =0, 是约束函数∫=∑∫的复杂度，以避免过学习出现， i a6=Bx=0, (12) 每一个∫是核函数K映射的特征空间中的元素.根 据表示定理可知a,式(5)解的形式为 85 86 =C-:-B=0. )=ak)=aK() 其中：Y是对角阵，其对角元素为y:J是×（4)的 (6) 矩阵，其组成为J=D0],I是单位阵.将式(12)等 式中，a∈R" 式结果代入式(11)中，同时，再重新将核矩阵的组合 1.4流形正则化多核半监督分类模型 系数d加入到约束条件中，并根据拉格朗日对偶理论， 利用式(3)作为正则化因子引入到模型式(5)中， 可得到 可得到如下的流形正则化多核半监督分类模型 长近+乡FLF+C 形=m2 Pmg(a,A》=R-B'YJKQFYB. 2 2=(yI+yLK), s.t. y[∑(r)+b≥1-，≥0，i, ={B=0.0≤B≤G,i}, ∑d.=1,d.≥0. (7) 9={g4。=ld.≥0m} 其中y和y,是正则化常数.同式(6)，利用表示定 (13) 理，有如下解的形式： 上述的问题具有两个决策量，一个是B,另一个是d f=盒&= Sa:∑d.Km（t. 本文选择迭代法进行求解，即先固定d优化B,再固定 已优化的B计算当前最优的d,循环迭代，直到满足最 (8) 终的优化条件。为描述具体优化过程，先给定初始组 并且根据希尔伯特空间理论叨，式(8)的解还应满足 合系数d的每一项为相同值，即d。=1/M:以t为上标 再生核性质，即 形式标记变量的当前迭代步数：再设定两个优化问题 fx)=∑d.K(） (9) 如下 将式(8)和式(9)代入式(7)得到 问题A:在组合系数d的条件下，应用式(13)的 吧，aa+aa+c宫 目标函数mg(d,B)和条件集合日，获得B的最优解 B,并更新B的取值，即B:=B: 问题B:在B的条件下，应用式(13)的目标函数 t[宫)≥1-≥0.i mis(d,B)和条件集合获得d的最优解d',并更 K= 新d的取值，即d:=d 显然，问题B的求解结果会影响问题A的条件， 4=ld≥0 因此重新计算问题A的结果，并迭代下去. 问题A是经典的带等式约束的二次规划问题，多 (10) 种优化工具s-回可成熟实现，本文选择Mosek软件的
杨 焘等: 流形正则化多核模型的模糊红外目标提取 文将 x 分为两类向量: ( 1) ［a1，a2，…，a10］，( 2) ［a11］． 不同类向量以不同参数的核函数进行特征映射． 于 是，像素点邻域空间的灰度及其统计信息的核函数映 射特征值，即以多核矩阵 K 的形式所获得． 在获取特征值之后，为了建立半监督多核分类模 型，需要从特征值中学习得到模型 f( f∈H) ，H 是核 函数映射后的特征空间． 约 定 s 是 损 失 函 数，基 于 Bach 提出的多核理论［15］，给出如下的多核分类模型: min { fm} ，s 1 2 ∑m ‖fm‖2 Hm dm + C∑ l i = 1 s( xi，yi，f) ， s． t． ∑m dm = 1，dm ≥ 0， { m． ( 5) 式中 C 是较大的常数，‖fm‖2 / dm 是一个正则项，目的 是约束函数 f = ∑ M m = 1 fm 的复杂度，以避免过学习出现， 每一个 fm 是核函数 Km 映射的特征空间中的元素． 根 据表示定理可知［16］，式( 5) 解的形式为 f( ·) = ∑ n i = 1 αiK( ·，xi ) = ∑ n i = 1 αi ∑ M m = 1 dm Km ( ·，xi ) ． ( 6) 式中，α∈Ｒn ． 1. 4 流形正则化多核半监督分类模型 利用式( 3) 作为正则化因子引入到模型式( 5) 中， 可得到如下的流形正则化多核半监督分类模型． M = min fm，b，d，ξ γA 2 ∑ M m = 1 ‖fm‖2 dm + γI 2 FT LF + C∑ l i = 1 ξi， s． t． yi [ ∑m fm ( xi ) ] + b ≥ 1 － ξi，ξi ≥ 0，i， ∑ M m = 1 dm = 1，dm ≥ 0 ． ( 7) 其中 γA 和 γI 是正则化常数． 同式( 6) ，利用表示定 理，有如下解的形式: f * ( x) = ∑ n i = 1 αiK( xi，x) = ∑ n i = 1 αi ∑ M m = 1 dm Km ( xi，x) ． ( 8) 并且根据希尔伯特空间理论［17］，式( 8) 的解还应满足 再生核性质，即 f( x) =〈f，∑m dm Km (·，x) 〉． ( 9) 将式( 8) 和式( 9) 代入式( 7) 得到 min α，b，d，ξ γA 2 αT Kα + γI 2 αT KLKα + C∑ l i = 1 ξi， s． t． yi [ ∑ l+u j = 1 αj K( xi，xj ) + b ] ≥ 1 － ξi，ξi ≥ 0，i， K = ∑ M m = 1 dm Km， ∑ M m = 1 dm = 1，dm ≥ 0 ． ( 10) 式中矩阵 K 的第 i 行第 j 列的元素是 K( xi，xj) ． 为了 求解式( 10) ，需要先将核矩阵的组合系数 d 视为固定 值，即假设有一组［d1，d2，…，dM］满足约束条件，则可 以对其他的约束采用拉格朗日乘子方法． 设拉格朗日 函数为 L，有 L = γA 2 αT Kα + γI 2 αT KLKα + C ∑ l i = 1 ξi － ∑ l i = 1 ζiξi － ∑ l i = 1 βi { yi [ ∑ l+u j = 1 αj K( xi，xj ) + ] b － 1 + ξi } ． ( 11) 其中，ζ 和 β 是拉格朗日乘子． 上式应对变量( α，b，ξ) 求极小，利用梯度法，如下所示: L α = γA Kα + γIKLKα － KJT Yβ = 0， L b = ∑ l i = 1 βiyi = 0， L ξi = C － ζi － βi = 0 ． ( 12) 其中: Y 是对角阵，其对角元素为 yi ; J 是 l × ( l + u) 的 矩阵，其组成为 J =［I 0］，I 是单位阵． 将式( 12) 等 式结果代入式( 11) 中，同时，再重新将核矩阵的组合 系数 d 加入到约束条件中，并根据拉格朗日对偶理论， 可得到 min d∈D max β∈Θ g( d，β) = ∑ l i = 1 βi － 1 2 βT YJKQJT Yβ， Q = ( γA I + γILK) －1 ， Θ = { β ∑ l i = 1 βiyi = 0，0 ≤ βi ≤ C，i } ， D = d { ∑ M m = 1 dm = 1，dm ≥ 0， } m ． ( 13) 上述的问题具有两个决策量，一个是 β，另一个是 d． 本文选择迭代法进行求解，即先固定 d 优化 β，再固定 已优化的 β 计算当前最优的 d，循环迭代，直到满足最 终的优化条件． 为描述具体优化过程，先给定初始组 合系数 d 的每一项为相同值，即 dm = 1 /M; 以 t 为上标 形式标记变量的当前迭代步数; 再设定两个优化问题 如下． 问题 A: 在组合系数 dt 的条件下，应用式( 13) 的 目标函数max β∈Θ g( d，β) 和条件集合 Θ，获得 β 的最优解 β* t ，并更新 β 的取值，即 βt ∶ = β* t ; 问题 B: 在 βt 的条件下，应用式( 13) 的目标函数 min d∈D g( d，β) 和条件集合 D，获得 d 的最优解 d* t ，并更 新 d 的取值，即 dt ∶ = d* t ． 显然，问题 B 的求解结果会影响问题 A 的条件， 因此重新计算问题 A 的结果，并迭代下去． 问题 A 是经典的带等式约束的二次规划问题，多 种优化工具［18--19］可成熟实现，本文选择 Mosek 软件的 · 978 ·
·880· 工程科学学报，第38卷，第6期 msklpopt函数.问题B可应用既约梯度法求解，即对 任意，其一阶梯度表达如下 K=∑dK计算需要0(11Mn).式(13)中矩阵Q的 Vsz--i(B)Yj(K.Q-nKQLx.Ofwg. 计算需要O(2n).上述优化过程中，问题A的二次规 划方法计算B需要O(n3),问题B的梯度计算需要 (14) O(Mn),d的更新计算需要O(M).因此，本文方法的 假设d中最大元素为d,则对任意d,其既约梯度 整体时间复杂度可以表示为O(n+n2+Mn+n3+Mn3+ 如下： M).式中已忽略常数项，其中低次项可进一步忽略 g={。oV8m+0 (15) 2红外图像模糊目标提取 m=花. 之所以考虑既约梯度，是因为d的更新除了需要考虑 2.1目标、背景与模糊边缘区域提取 负一阶梯度，还需要考虑条件d∈.设d的更新方向 以图1(b)和图1(c)为对象，由于本文方法在于 为p,则p为 分类确定标号，因此首先设定类别.设红外图像中背 Tgr≤0， 景区域为D,其标号是负标号(-1)：模糊边缘区域为 D,其标号是正标号（+1)：目标区域为D,,其标号有 p': -d'-Vg gE>0, (16) 待半监督分类模型来确定(0).采用最大方差阈值法 =- ∑pm 获取三个区域，其基本原理是：把图像的灰度直方图在 方差达到最大处时的灰度作为初始分割阈值日，再取 确定更新方向后，d的更新取值问题便解决了.对于 0,=6-5。和02=0+，其中。和51是人工设定参 既约梯度方法，停机条件设定为‖p-p‖2≤&.上 数，设定原则是保证小于日，灰度的是背景，而大于日2 述主要流程，如图4所示. 的灰度是目标，从而将图像分割为三个区域，分别为 求解优化问题 D1∈D,0]、D2∈[9,02]和D3∈[B2,255]. 式(13) 以归一化的图1(b)为例，初始分割阙值0= 初始化组合 0.4157,取。=专=0.1，则0，=0.3157和02=0.5157， 系数d 问题A 图1(b)的三个区域是D∈[0,0.3157]、D2∈ 二次规划方法 获得 D.3157,0.5157]和D3∈D.5157,1],如图5所示. 立 B 既约梯度方法 问题B 获得 d 图5初始分割阀值获取确定的目标（白）、背景（黑）和模糊边缘 是否达到停机 条件 区域 Fig.5 Target (white),background (black)and blurred edge areas obtained by using the initial segmentation threshold 求解结束 图4优化问题（式(13）)的求解过程流程图 2.2半监督分类特征获取及方法流程 Fig.4 Flow chart of the solving process of the optimization problem 分析图5.从D,和D中分别取r个像素点构造 (Equation(13)） 其邻域空间集，记为2，此时2中共有2r个邻域空间 假设从图像中获取的学习训练的像素点总数为 元素；从D,中取s个像素点构造其邻域空间集，记为 n,多核总数为M:任意像素点的邻域空间中，前11个 2,此时2中有s个邻域空间元素.设某两个邻域空 元素中作为特征向量，由多核函数进行特征映射：后2 间为A,和A,其特征值获取如图6所示 个元素是位置信息，用于计算流形正则项.首先，计算 参数设定为： 流形正则项中，数据样本之间的距离计算需要时间复 (1)前15个高斯核函数的参数为σ∈0.01， 杂度为0(2n),拉普拉斯矩阵L的计算需要0(n2). 0.03,0.05,0.1,0.3,0.5,1,1.5,2,3,5,10,12, 计算任意核函数矩阵K需要0(11n),多核组合15,20]：
工程科学学报，第 38 卷，第 6 期 msklpopt 函数． 问题 B 可应用既约梯度法求解，即对 任意 dt m，其一阶梯度表达如下: Δ gdt m = － 1 2 ( βt ) T YJ( Km Q － γIKQLKm Q) JT Yβ． ( 14) 假设 dt 中最大元素为 dt v，则对任意 dt m，其既约梯度 如下: Ｒ Δ gdt m = Δ gdt m － Δ gdt v m≠v， {0 m = v． ( 15) 之所以考虑既约梯度，是因为 dt 的更新除了需要考虑 负一阶梯度，还需要考虑条件 d∈D． 设 dt 的更新方向 为 pt ，则 pt 为 pt ∶ pt m = － Ｒ Δ gdt－1 m Ｒ Δ gdt－1 m ≤ 0， － dt －1 m Ｒ Δ gdt－1 m Ｒ Δ gdt－1 m { ＞ 0， pt v = － ∑m≠v pt m { ． ( 16) 确定更新方向后，d 的更新取值问题便解决了． 对于 既约梯度方法，停机条件设定为‖pt － pt － 1‖2 ≤ε． 上 述主要流程，如图 4 所示． 图 4 优化问题( 式( 13) ) 的求解过程流程图 Fig． 4 Flow chart of the solving process of the optimization problem ( Equation ( 13) ) 假设从图像中获取的学习训练的像素点总数为 n，多核总数为 M; 任意像素点的邻域空间中，前 11 个 元素中作为特征向量，由多核函数进行特征映射; 后 2 个元素是位置信息，用于计算流形正则项． 首先，计算 流形正则项中，数据样本之间的距离计算需要时间复 杂度为 O( 2n) ，拉普拉斯矩阵 L 的计算需要 O( n2 ) ． 计算任 意 核 函 数 矩 阵 Km 需要 O ( 11n) ，多 核 组 合 K = ∑ M m = 1 dm Km 计算需要 O( 11Mn) ． 式( 13) 中矩阵 Q 的 计算需要 O( 2n3 ) ． 上述优化过程中，问题 A 的二次规 划方法计算 β 需要 O( n3 ) ，问题 B 的梯度计算需要 O( Mn3 ) ，d 的更新计算需要 O( M) ． 因此，本文方法的 整体时间复杂度可以表示为 O( n + n2 + Mn + n3 + Mn3 + M) ． 式中已忽略常数项，其中低次项可进一步忽略． 2 红外图像模糊目标提取 2. 1 目标、背景与模糊边缘区域提取 以图 1( b) 和图 1( c) 为对象，由于本文方法在于 分类确定标号，因此首先设定类别． 设红外图像中背 景区域为 D1，其标号是负标号( － 1) ; 模糊边缘区域为 D2，其标号是正标号( + 1) ; 目标区域为 D3，其标号有 待半监督分类模型来确定( 0) ． 采用最大方差阈值法 获取三个区域，其基本原理是: 把图像的灰度直方图在 方差达到最大处时的灰度作为初始分割阈值 θ，再取 θ1 = θ － ξ0 和 θ2 = θ + ξ1，其中 ξ0 和 ξ1 是人工设定参 数，设定原则是保证小于 θ1 灰度的是背景，而大于 θ2 的灰度是目标，从而将图像分割为三个区域，分别为 D1∈［0，θ1］、D2∈［θ1，θ2］和 D3∈［θ2，255］． 以归一 化 的 图 1 ( b) 为 例，初 始 分 割 阈 值 θ = 0. 4157，取 ξ0 = ξ1 = 0. 1，则 θ1 = 0. 3157 和 θ2 = 0. 5157， 图 1 ( b ) 的 三 个 区 域 是 D1 ∈［0，0. 3157 ］、D2 ∈ ［0. 3157，0. 5157］和 D3∈［0. 5157，1］，如图 5 所示． 图5 初始分割阈值获取确定的目标( 白) 、背景( 黑) 和模糊边缘 区域 Fig． 5 Target ( white) ，background ( black) and blurred edge areas obtained by using the initial segmentation threshold 2. 2 半监督分类特征获取及方法流程 分析图 5． 从 D1 和 D3 中分别取 r 个像素点构造 其邻域空间集，记为 ΩS，此时 ΩS 中共有2r 个邻域空间 元素; 从 D2 中取 s 个像素点构造其邻域空间集，记为 ΩU，此时 ΩU 中有 s 个邻域空间元素． 设某两个邻域空 间为 Ap 和 Aq，其特征值获取如图 6 所示． 参数设定为: ( 1) 前 15 个 高 斯 核 函 数 的 参 数 为 σ∈［0. 01， 0. 03，0. 05，0. 1，0. 3，0. 5，1，1. 5，2，3，5，10，12， 15，20］; · 088 ·
杨焘等：流形正则化多核模型的模糊红外目标提取 881 读取图像 中 初始分割國值 获得确定的月标 背景和待确定 的模糊边缘 K=∑d人lojmd人.rWL-B-w 获取邻城空间集 2和2 图6特征值获取示例 Fig.6 Acquisition of features 多核特征映射获得 流形正则获得 邻域灰度及其 位置信息特征值 (2)第16个高斯核函数的参数σ为a,a的平 统计信息特征值 均距离： 构造半监督 (3)拉普拉斯矩阵L计算中，k近邻个数k=7. 分类模型f, 综合邻域空间集2.和，获取建立半监督分类 对2，进行类别 模型需要的全体特征值，求解式(10)并根据式(8)可 获取当前背景和目标 获得半监督分类模型∫在此基础上，令对当前2 灰度值范围来提取 红外图像月标 进行确定标号的决策处理，即确定中s个邻域空间 的标号为正或负。因此完成一次建模决策后，可以确 是否存在模糊 定的目标和背景的样本点总共有(2+s)个，同时可以 区域 分别计算当前确定的目标和背景区域中灰度的最大最 小值，目标的记为T=[Tm,T],背景的记为B= 最住分制國值 B,Bw],其中T表示当前建模次数.利用T和 确定红外图像 B,对红外图像进行划分.此时，若仍然存在不确定标 目标 号的模糊边缘区域，则对剩余模糊边缘区域重新建立 图7提取模糊边缘红外目标的流程 邻域空间集2，以及半监督分类模型，作确定标号的 Fig.7 Flow chart of extracting the infrared target with blurred edge 决策处理，此时建模次数：=？+1：过程迭代进行直 到红外图像中不存在模糊边缘区域为止.最终最佳分 。=5:=0.1:(3)模型中正则化参数y和y,分别为 割阈值6设定为 10-2和10-4. 「Tor B if Ti Bvin' 同时，为了数值性的评价目标提取的准确程度，本 0= (17) 文选择假目标提取比率(RFP)Dm、Jaccard相似性指数 (Ts+Bn）/2ifTa≠Ba ()u、Dice相似性指数(D)四和绝对误差率(R,)圆 利用最佳分割阈值日达到图像目标和背景的分割 为评价准则 效果，其流程如图7所示 首先设定：GT表示基准图像的手部目标区域，P 3仿真结果 是其像素点个数，作为比较参考标准：ER表示提取结 果中所有被决策为手部目标区域，Pm是其像素点个 应用基于流形正则化多核半监督分类的模糊边缘 数；TP表示被正确分类为手部目标区域，P是其像素 红外目标提取方法，并选择基于阙值的Osu法0，基 点个数：FP表示将背景错误提取为手部目标区域，Pm 于边缘检测模板法的prewitt算子O,基于区域分割的 是其像素点个数.四个评价指标的含义如下. 分水岭法同，基于能量泛函的Snake模型和基于智 (1)假目标提取比率(FPR)表示非真实手部目标 能方法的免疫聚类模板法圆、免疫球面模板法网和免 的提取比率，即 疫网络模板法作对比：根据文献7-9]和文献10] (18) 可知，多数常用的图像目标提取方法处理此类模糊性 FPR=- Pm×100% PTP PFp 很强的红外热痕迹难以获得理想结果.对比方法中前 FPR越接近O表示提取的目标准确性高. 四种典型方法可以表达多数提取方法的情况，后三种 (2)Jaccard相似性指数(J)和Dice相似性指数 方法是目前研究红外热痕迹提取的新工作.算法中参 (D)均表示提取结果和参考标准中的目标重合度，其 数设定是：(1)r=5,s=100:(2)初始分割阈值参数 中J定义为：提取结果中目标与参考标准中目标的交
杨 焘等: 流形正则化多核模型的模糊红外目标提取 图 6 特征值获取示例 Fig． 6 Acquisition of features ( 2) 第 16 个高斯核函数的参数 σ 为 ap 11，aq 11的平 均距离; ( 3) 拉普拉斯矩阵 L 计算中，k 近邻个数 k = 7． 综合邻域空间集 ΩS 和 ΩU，获取建立半监督分类 模型需要的全体特征值，求解式( 10) 并根据式( 8) 可 获得半监督分类模型 f． 在此基础上，令 f 对当前 ΩU 进行确定标号的决策处理，即确定 ΩU 中 s 个邻域空间 的标号为正或负． 因此完成一次建模决策后，可以确 定的目标和背景的样本点总共有( 2r + s) 个，同时可以 分别计算当前确定的目标和背景区域中灰度的最大最 小值，目标的记为 Tτ =［Tτ Min，Tτ Max］，背景的记为 Bτ = ［Bτ Min，Bτ Max］，其中 τ 表示当前建模次数． 利用 Tτ 和 Bτ ，对红外图像进行划分． 此时，若仍然存在不确定标 号的模糊边缘区域，则对剩余模糊边缘区域重新建立 邻域空间集 ΩU，以及半监督分类模型，作确定标号的 决策处理，此时建模次数 τ∶ = τ + 1; 过程迭代进行直 到红外图像中不存在模糊边缘区域为止． 最终最佳分 割阈值 θ 设定为 θ = Tτ Max or Bτ Min if Tτ Max = Bτ Min， ( Tτ Max + Bτ Min ) /2 if Tτ Max≠Bτ { Min ． ( 17) 利用最佳分割阈值 θ 达到图像目标和背景的分割 效果，其流程如图 7 所示． 3 仿真结果 应用基于流形正则化多核半监督分类的模糊边缘 红外目标提取方法，并选择基于阈值的 Otsu 法［1］，基 于边缘检测模板法的 prewitt 算子［4］，基于区域分割的 分水岭法［5］，基于能量泛函的 Snake 模型［6］和基于智 能方法的免疫聚类模板法［8］、免疫球面模板法［9］和免 疫网络模板法［10］作对比; 根据文献［7--9］和文献［10］ 可知，多数常用的图像目标提取方法处理此类模糊性 很强的红外热痕迹难以获得理想结果． 对比方法中前 四种典型方法可以表达多数提取方法的情况，后三种 方法是目前研究红外热痕迹提取的新工作． 算法中参 数设定是: ( 1) r = 5，s = 100; ( 2) 初始分割阈值参数 图 7 提取模糊边缘红外目标的流程 Fig． 7 Flow chart of extracting the infrared target with blurred edge ξ0 = ξ1 = 0. 1; ( 3) 模型中正则化参数 γA 和 γI 分别为 10 － 2和 10 － 4 ． 同时，为了数值性的评价目标提取的准确程度，本 文选择假目标提取比率( ＲFP) ［20］、Jaccard 相似性指数 ( J) ［21］、Dice 相似性指数( D) ［22］和绝对误差率( Ｒe ) ［23］ 为评价准则． 首先设定: GT 表示基准图像的手部目标区域，pGT 是其像素点个数，作为比较参考标准; EＲ 表示提取结 果中所有被决策为手部目标区域，pEＲ 是其像素点个 数; TP 表示被正确分类为手部目标区域，pTP是其像素 点个数; FP 表示将背景错误提取为手部目标区域，pFP 是其像素点个数． 四个评价指标的含义如下． ( 1) 假目标提取比率( FPＲ) 表示非真实手部目标 的提取比率，即 FPＲ = pFP pTP + pFP × 100% ． ( 18) FPＲ 越接近 0 表示提取的目标准确性高． ( 2) Jaccard 相似性指数( J) 和 Dice 相似性指数 ( D) 均表示提取结果和参考标准中的目标重合度，其 中 J 定义为: 提取结果中目标与参考标准中目标的交 · 188 ·
·882· 工程科学学报，第38卷，第6期 集与并集之商，即 比值，即 1-10 (19) R=片×10%. (21) D定义为 为计算四个评价指标需要确定基准图像.因为红 D=2 IGTOERI 外图像中手部目标提取的结果越接近手部停留在木板 IGTIUIERI (20) 上时的手部形状，就越准确，于是选择手部离开木板1s J和D越接近1表示提取的目标效果理想. 时的红外图像为标准，如图8(a)所示.利用最大类间 (3)绝对误差率(R)定义为提取结果与参考标 方差法获得目标提取结果，如图8(b)所示，作为基准 准不相同的像素点数(n)与图像全部像素点数(N)的 图像.图9和图10是方法对比实验结果 图8手部离开木板1s时的图像(a)和基准图像(b) Fig.8 Image of Is after hand leaving (a)and ground truth image (b) 图9手部离开木板60s时的提取结果.(a)原红外图像：(b)prewitt算子：(c)分水龄法：(d)Otsu法：(e）Snake模型：(f)免疫聚类模板 法：(g)免疫网络模板法：()免疫球面模板法：(i)本文算法 Fig.9 Extraction results of the mages of 60s after hand leaving:(a)original infrared image:(b)prewitt operator:(c)watershed method:(d)Ot- su method;(e)Snake model:(f)immune template clustering method;(g)immune network template method;(h)superstring galaxy template algo- rithm:(i)the proposed method
工程科学学报，第 38 卷，第 6 期 集与并集之商，即 J = | GT∩EＲ | | GT∪EＲ | ． ( 19) D 定义为 D = 2 | GT∩EＲ | | GT | ∪| EＲ | ． ( 20) J 和 D 越接近 1 表示提取的目标效果理想． ( 3) 绝对误差率( Ｒe ) 定义为提取结果与参考标 准不相同的像素点数( n) 与图像全部像素点数( N) 的 比值，即 Ｒe = n N × 100% ． ( 21) 为计算四个评价指标需要确定基准图像． 因为红 外图像中手部目标提取的结果越接近手部停留在木板 上时的手部形状，就越准确，于是选择手部离开木板1 s 时的红外图像为标准，如图 8( a) 所示． 利用最大类间 方差法获得目标提取结果，如图 8( b) 所示，作为基准 图像． 图 9 和图 10 是方法对比实验结果． 图 8 手部离开木板 1 s 时的图像( a) 和基准图像( b) Fig． 8 Image of 1 s after hand leaving ( a) and ground truth image ( b) 图 9 手部离开木板 60 s 时的提取结果． ( a) 原红外图像; ( b) prewitt 算子; ( c) 分水岭法; ( d) Otsu 法; ( e) Snake 模型; ( f) 免疫聚类模板 法; ( g) 免疫网络模板法; ( h) 免疫球面模板法; ( i) 本文算法 Fig． 9 Extraction results of the mages of 60 s after hand leaving: ( a) original infrared image; ( b) prewitt operator; ( c) watershed method; ( d) Otsu method; ( e) Snake model; ( f) immune template clustering method; ( g) immune network template method; ( h) superstring galaxy template algorithm; ( i) the proposed method · 288 ·
杨焘等：流形正则化多核模型的模糊红外目标提取 883 图10手部离开木板l20s时的提取结果.(a)原红外图像：(b)prewitt算子：(c)分水龄法：(d)Otsu法：(e)Snake模型：()免疫聚类模板 法：(g)免疫网络模板法：(h)免疫球面模板法：()本文算法 Fig.10 Extraction results of the images of 120s after hand leaving:(a)original infrared image:(b)prewitt operator:(c)watershed method:(d) Otsu method:(e)Snake model:(f)immune template clustering method;(g)immune network template method:(h)superstring galaxy template algorithm:(i)the proposed method 从四个数值评价指标分析，结果如表1和表2 标提取比例，单一方面考虑FPR的低百分比只能说明 所示. 算法所提取的目标属于真实目标，不能说明提取目标 表1红外目标提取算法的定量分析结果(60s) 的完整性. Table 1 Quantitative results of infrared target extraction methods (60s) 表2红外目标提取算法的定量分析结果(120s) 提取算法 FPR/% R/% Table 2 Quantitative results of infrared target extraction methods Prewitt算子 得不到连续封闭的目标区域 (120s) 分水岭法 6.7 0.81 0.89 6.1 提取算法 FPR/% D R./% 0Lsu法 8.0 0.89 0.94 3.4 Prewitt算子 得不到连续封闭的目标区域 Snake模型 67.2 0.16 0.27 55.5 分水岭法 5.6 0.69 0.82 9.7 免疫聚类模板 7.5 0.84 0.91 5.1 Otsu法 7.4 0.78 0.87 6.9 免疫网络模板 8.2 0.89 0.94 3.3 Snake模型 67.6 0.16 0.27 55.8 免疫球面模板 9.2 0.87 0.93 4.0 免疫聚类模板 5.6 0.82 0.89 5.6 本文算法 6.3 0.90 0.95 3.1 免疫网络模板 10.8 0.82 0.89 5.9 免疫球面模板 7.6 0.82 0.89 5.8 从图9和图10以及表1和表2得出，本文算法在 本文算法 9.0 0.84 0.91 5.3 提取模糊边缘红外目标上是有效的，且整体优于其他 对比方法.表1中本文算法的数值情况都是最优的， 针对三种最新的基于人工免疫的模板方法，分析 表2中分水岭法、Osu法、免疫聚类模板法和免疫球面 如下：免疫网络模板法以人工免疫为机制，设计了一个 模板法的FPR虽然低于本文算法，但是FPR表示假目 三层网络；以图像像素灰度的统计信息和小波信息为
杨 焘等: 流形正则化多核模型的模糊红外目标提取 图 10 手部离开木板 120 s 时的提取结果． ( a) 原红外图像; ( b) prewitt 算子; ( c) 分水岭法; ( d) Otsu 法; ( e) Snake 模型; ( f) 免疫聚类模板 法; ( g) 免疫网络模板法; ( h) 免疫球面模板法; ( i) 本文算法 Fig． 10 Extraction results of the images of 120 s after hand leaving: ( a) original infrared image; ( b) prewitt operator; ( c) watershed method; ( d) Otsu method; ( e) Snake model; ( f) immune template clustering method; ( g) immune network template method; ( h) superstring galaxy template algorithm; ( i) the proposed method 从四个数值评价指标分析，结果 如 表 1 和 表 2 所示． 表 1 红外目标提取算法的定量分析结果( 60 s) Table 1 Quantitative results of infrared target extraction methods ( 60 s) 提取算法 FPＲ /% J D Ｒe /% Prewitt 算子 得不到连续封闭的目标区域 分水岭法 6. 7 0. 81 0. 89 6. 1 Otsu 法 8. 0 0. 89 0. 94 3. 4 Snake 模型 67. 2 0. 16 0. 27 55. 5 免疫聚类模板 7. 5 0. 84 0. 91 5. 1 免疫网络模板 8. 2 0. 89 0. 94 3. 3 免疫球面模板 9. 2 0. 87 0. 93 4. 0 本文算法 6. 3 0. 90 0. 95 3. 1 从图 9 和图 10 以及表 1 和表 2 得出，本文算法在 提取模糊边缘红外目标上是有效的，且整体优于其他 对比方法． 表 1 中本文算法的数值情况都是最优的， 表 2 中分水岭法、Otsu 法、免疫聚类模板法和免疫球面 模板法的 FPＲ 虽然低于本文算法，但是 FPＲ 表示假目 标提取比例，单一方面考虑 FPＲ 的低百分比只能说明 算法所提取的目标属于真实目标，不能说明提取目标 的完整性． 表 2 红外目标提取算法的定量分析结果( 120 s) Table 2 Quantitative results of infrared target extraction methods ( 120 s) 提取算法 FPＲ /% J D Ｒe /% Prewitt 算子 得不到连续封闭的目标区域 分水岭法 5. 6 0. 69 0. 82 9. 7 Otsu 法 7. 4 0. 78 0. 87 6. 9 Snake 模型 67. 6 0. 16 0. 27 55. 8 免疫聚类模板 5. 6 0. 82 0. 89 5. 6 免疫网络模板 10. 8 0. 82 0. 89 5. 9 免疫球面模板 7. 6 0. 82 0. 89 5. 8 本文算法 9. 0 0. 84 0. 91 5. 3 针对三种最新的基于人工免疫的模板方法，分析 如下: 免疫网络模板法以人工免疫为机制，设计了一个 三层网络; 以图像像素灰度的统计信息和小波信息为 · 388 ·
·884· 工程科学学报，第38卷，第6期 特征，训练得到具有分类决策能力的网络，其不足在于 在稳定性和时间效率方面，与上述三种基于人工 训练网络所采用的超平面方法的超平面个数、初始平 免疫的模板方法比较，本文算法较优.因为在模糊边 面位置选择重要不易确定且训练时间较长.免疫聚类 缘红外热痕迹的提取问题上，充分应用图像像素邻域 模板法借鉴人工免疫机理，将图像像素灰度表达成抗 中的灰度及其统计特征和邻域位置特征，学习得到可 原分子结构模式：从抗体识别抗原角度出发，经适应 对模糊区域的像素进行分类的模型：尤其是，学习该模 度、交叉、变异等免疫聚类计算，得到最优抗体以识别 型仅需要少量像素的特征，便能够达到较为理想的效 像素所属类别，达到从模糊区域获取目标边界的目的， 果，且算法对这些被选择的少量像素的位置和数量较 其不足在于免疫聚类先要提取特征，其过程需要迭代 为鲁棒 大量种群个体，算法时间复杂度大.免疫球面模板法 为了比较时间效率的不同，以准确性较好的Osu 特征化图像像素邻域统计信息并将特征映射到假定的 法和上述分析的免疫聚类模板法、免疫网络模板法和 球面上，在球面上选择多个子区域对特征进行分类决 免疫球面模板法为对比.在仿真结果中，将本文的算 策；该方法适用于红外模糊区域中的边界划分，其不足 法在学习和决策阶段的时间归一化为单位时间1，其 在于球面上子区域的位置和个数选择影响各子区域中 他方法按照相同的比率作归一化处理，仿真结果如 分类准确程度，也影响学习效率 表3所示 表3时间效率对比 Table 3 Comparisons of time efficiency 归一化的时间单位 本文算法 Otsu法 免疫聚类模板 免疫网络模板 免疫球面模板 60s红外目标提取 1 0.8 361.3 334.3 276.2 120s红外目标提取 0.6 0.8 51.2 32.1 31.5 从表3可以得出：本文算法在时间效率上优于基 是能够表征模糊边缘红外目标有效特征量：通过多核 于人工免疫的模板方法：在120s的实验中，也优于0- 函数对邻域空间的灰度及其统计信息的特征映射，流 su方法.此外，当以120s红外图像为对象时，本文算 形正则对邻域空间的位置信息特征提取 法与三种基于人工免疫的模板方法的时间花销均减 (3)在获取的特征基础上，建立半监督分类模型 小，其原因在于这四类算法在提取目标时采用迭代的 来决策像素的类别，以类别划分的方式达到模糊边缘 方式，对于120s的红外图像而言，其边缘模糊区域灰 区域确定的目的.仿真对比结果表明，本文算法能够 度变化比60s的红外图像要慢得多，这也是其模糊性 提取相对完整和准确的红外目标，且算法时间效率高， 更强的原因所在，因此灰度变化平缓使得灰度值分布 较为平均，迭代的求解方式易于得出结果，其迭代步数 参考文献 就会明显下降 仿真结果表明：基于流形正则化多核半监督分类 [Otsu N.A threshold selection method from gray-evel histograms 模型的模糊边缘红外目标提取效果优于其他方法，可 IEEE Trans Syst Man Cybern,1979,9(1)62 以克服模糊边缘的影响并给出相对完整和准确的目 2]Chen O,Zhao L,Lu J,et al.Modified two dimensional Otsu im- 标：所应用的半监督分类模型是基于多核函数和流形 age segmentation algorithm and fast realization.IET /mage Process,2012,6(4):426 正则的，多核函数和流形正则分别对红外图像不同区 B] Belongie S,Malik J,Puzicha J.Shape matching and object recog- 域邻域空间集中的不同元素获取特征，可有针对性地 nition using shape contexts.IEEE Trans Pattern Anal Mach Intell, 处理不同特征，并获得像素点之间邻域结构信息，最终 2002,24(4):509 获取模糊边缘红外目标提取的最佳分割阈值。在算法 4] Yang L,Zhao D,Wu X,et al.An improved Prewitt algorithm for 时间效率方面本文算法优于提取效果比较好的基于人 edge detection based on noised image /The 4th International 工免疫的新型模板方法 Congress on Image and Signal Processing,shanghai,2011:1197 5] Meyer F,Bencher S.Morphology segmentation.J Visual Commun 4结论 Image Represent,1990,1(1):21 (1)红外图像中边缘模糊的目标提取是此类特殊 [6]Xu C,Prince J L Snakes,shapes,and gradient vector flow IEEE Trans Image Process,1998,7(3)359 图像处理中的难点.依据构造红外图像不同区域的邻 [7]Fu D M,Yu X,Tong H J,et al.An ensemble template algorithm 域空间集来分析，提出基于流形正则化多核半监督分 for extracting targets from blurred infrared images.Optik,2014, 类的边缘模糊红外目标提取方法 125(3):954 (2)灰度及其统计信息特征，以及位置信息特征 [8]Fu D M,Yu X,Tong H J,et al.Extracting target from blurred
工程科学学报，第 38 卷，第 6 期 特征，训练得到具有分类决策能力的网络，其不足在于 训练网络所采用的超平面方法的超平面个数、初始平 面位置选择重要不易确定且训练时间较长． 免疫聚类 模板法借鉴人工免疫机理，将图像像素灰度表达成抗 原分子结构模式; 从抗体识别抗原角度出发，经适应 度、交叉、变异等免疫聚类计算，得到最优抗体以识别 像素所属类别，达到从模糊区域获取目标边界的目的， 其不足在于免疫聚类先要提取特征，其过程需要迭代 大量种群个体，算法时间复杂度大． 免疫球面模板法 特征化图像像素邻域统计信息并将特征映射到假定的 球面上，在球面上选择多个子区域对特征进行分类决 策; 该方法适用于红外模糊区域中的边界划分，其不足 在于球面上子区域的位置和个数选择影响各子区域中 分类准确程度，也影响学习效率． 在稳定性和时间效率方面，与上述三种基于人工 免疫的模板方法比较，本文算法较优． 因为在模糊边 缘红外热痕迹的提取问题上，充分应用图像像素邻域 中的灰度及其统计特征和邻域位置特征，学习得到可 对模糊区域的像素进行分类的模型; 尤其是，学习该模 型仅需要少量像素的特征，便能够达到较为理想的效 果，且算法对这些被选择的少量像素的位置和数量较 为鲁棒． 为了比较时间效率的不同，以准确性较好的 Otsu 法和上述分析的免疫聚类模板法、免疫网络模板法和 免疫球面模板法为对比． 在仿真结果中，将本文的算 法在学习和决策阶段的时间归一化为单位时间 1，其 他方法按照相同的比率作归一化处理，仿真结果如 表 3 所示． 表 3 时间效率对比 Table 3 Comparisons of time efficiency 归一化的时间单位 本文算法 Otsu 法 免疫聚类模板 免疫网络模板 免疫球面模板 60 s 红外目标提取 1 0. 8 361. 3 334. 3 276. 2 120 s 红外目标提取 0. 6 0. 8 51. 2 32. 1 31. 5 从表 3 可以得出: 本文算法在时间效率上优于基 于人工免疫的模板方法; 在 120 s 的实验中，也优于 Otsu 方法． 此外，当以 120 s 红外图像为对象时，本文算 法与三种基于人工免疫的模板方法的时间花销均减 小，其原因在于这四类算法在提取目标时采用迭代的 方式，对于 120 s 的红外图像而言，其边缘模糊区域灰 度变化比 60 s 的红外图像要慢得多，这也是其模糊性 更强的原因所在，因此灰度变化平缓使得灰度值分布 较为平均，迭代的求解方式易于得出结果，其迭代步数 就会明显下降． 仿真结果表明: 基于流形正则化多核半监督分类 模型的模糊边缘红外目标提取效果优于其他方法，可 以克服模糊边缘的影响并给出相对完整和准确的目 标; 所应用的半监督分类模型是基于多核函数和流形 正则的，多核函数和流形正则分别对红外图像不同区 域邻域空间集中的不同元素获取特征，可有针对性地 处理不同特征，并获得像素点之间邻域结构信息，最终 获取模糊边缘红外目标提取的最佳分割阈值． 在算法 时间效率方面本文算法优于提取效果比较好的基于人 工免疫的新型模板方法． 4 结论 ( 1) 红外图像中边缘模糊的目标提取是此类特殊 图像处理中的难点． 依据构造红外图像不同区域的邻 域空间集来分析，提出基于流形正则化多核半监督分 类的边缘模糊红外目标提取方法． ( 2) 灰度及其统计信息特征，以及位置信息特征 是能够表征模糊边缘红外目标有效特征量; 通过多核 函数对邻域空间的灰度及其统计信息的特征映射，流 形正则对邻域空间的位置信息特征提取． ( 3) 在获取的特征基础上，建立半监督分类模型 来决策像素的类别，以类别划分的方式达到模糊边缘 区域确定的目的． 仿真对比结果表明，本文算法能够 提取相对完整和准确的红外目标，且算法时间效率高． 参 考 文 献 ［1］ Otsu N． A threshold selection method from gray-level histograms． IEEE Trans Syst Man Cybern，1979，9( 1) : 62 ［2］ Chen Q，Zhao L，Lu J，et al． Modified two dimensional Otsu image segmentation algorithm and fast realization． IET Image Process，2012，6( 4) : 426 ［3］ Belongie S，Malik J，Puzicha J． Shape matching and object recognition using shape contexts． IEEE Trans Pattern Anal Mach Intell， 2002，24( 4) : 509 ［4］ Yang L，Zhao D，Wu X，et al． An improved Prewitt algorithm for edge detection based on noised image / / The 4th International Congress on Image and Signal Processing，shanghai，2011: 1197 ［5］ Meyer F，Bencher S． Morphology segmentation． J Visual Commun Image Ｒepresent，1990，1( 1) : 21 ［6］ Xu C，Prince J L． Snakes，shapes，and gradient vector flow． IEEE Trans Image Process，1998，7( 3) : 359 ［7］ Fu D M，Yu X，Tong H J，et al． An ensemble template algorithm for extracting targets from blurred infrared images． Optik，2014， 125( 3) : 954 ［8］ Fu D M，Yu X，Tong H J，et al． Extracting target from blurred · 488 ·
杨焘等：流形正则化多核模型的模糊红外目标提取 ·885· midwave infrared image based on immune template clustering. senter theorem.Proc Annu Conf Comput Learn Theory,2000,42 Spectrose Spectral Anal,2014,34(3):673 (3):416 (付冬梅，于晓，童何俊，等.基于免疫聚类模板的模糊中波红 [17]Scholkopf B,Smola A J.Learning with kernels:support vector 外图像目标提取.光谱学与光谱分析，2014,34(3)：673) machines,regularization,optimization,and beyond.J Am Stat Yu X.Fu D M.Target Extraction from Blurred Trace Infrared Im- As0c,2011,98(3):781 ages with a Superstring Galaxy Template Algorithm.Infrared Phys [18]Grant M C,Boyd S P.Graph implementations for nonsmooth Technol,2014,64(3):9 convex programs/Recent Adrances in Learning and Control. [10]Fu D M.Yu X,Tong H J.Target extraction of blurred infrared Springer London,2008:95 image with an immune network template algorithm.Opt Laser [19]Andersen B E D,Andersen K D.The MOSEK Optimization Tools Technol,2014,56(1):102 Manual,2007 [11]Han W Y,Lee J C.Palm vein recognition using adaptive Gabor 20]Jadin M S,Taib S.Infrared image enhancement and segmenta- filter.Expert Syst Appl,2012,39(18):13225 tion for extracting the thermal anomalies in electrical equipment. [12]Gonen M,Alpaydin E.Multiple kemel learning algorithms. Electron Electr Eng,2012,4:107 Mach Learn Res,2011,12:2211 21]Cardenes R,Bach M,Chi Y,et al.Multimodal evaluation for [13]Belkin M,Niyogi P,Sindhwani V.Manifold regularization:a medical image segmentation Lecture Notes in Computer Sci- geometric framework for learning from labeled and unlabeled ex- ence,4673LNCS,2007:229 amples.J Mach Learn Res,2006,7:2399 [22]Babalola K O,Patenaude B,Aljabar P.An evaluation of four [14]Yang T,Fu D M.Semi-supervised classification with Laplacian automatic methods of segmenting the subcortical structures in the multiple kernel leamning.Neurocomputing,2014,140:19 brain.Neuroimage,2009,47(4):1435 [15]Rakotomamonjy A,Bach F,Canu S,et al.SimpleMKI/Mach [23]Tao W B.Jin H,Liu L M.Object segmentation using ant colony Learn Res,2008,9:2491 optimization algorithm and fuzzy entropy.Pattern Recognit Lett [16]Scholkopf B,Herbrich R,Smola A J,et al.A generalized repre- 2007,28(7):788
杨 焘等: 流形正则化多核模型的模糊红外目标提取 midwave infrared image based on immune template clustering． Spectrosc Spectral Anal，2014，34( 3) : 673 ( 付冬梅，于晓，童何俊，等． 基于免疫聚类模板的模糊中波红 外图像目标提取． 光谱学与光谱分析，2014，34( 3) : 673) ［9］ Yu X，Fu D M． Target Extraction from Blurred Trace Infrared Images with a Superstring Galaxy Template Algorithm． Infrared Phys Technol，2014，64( 3) : 9 ［10］ Fu D M，Yu X，Tong H J． Target extraction of blurred infrared image with an immune network template algorithm． Opt Laser Technol，2014，56( 1) : 102 ［11］ Han W Y，Lee J C． Palm vein recognition using adaptive Gabor filter． Expert Syst Appl，2012，39( 18) : 13225 ［12］ Gnen M，Alpaydn E． Multiple kernel learning algorithms． J Mach Learn Ｒes，2011，12: 2211 ［13］ Belkin M，Niyogi P，Sindhwani V． Manifold regularization: a geometric framework for learning from labeled and unlabeled examples． J Mach Learn Ｒes，2006，7: 2399 ［14］ Yang T，Fu D M． Semi-supervised classification with Laplacian multiple kernel learning． Neurocomputing，2014，140: 19 ［15］ Ｒakotomamonjy A，Bach F，Canu S，et al． SimpleMKL． J Mach Learn Ｒes，2008，9: 2491 ［16］ Schlkopf B，Herbrich Ｒ，Smola A J，et al． A generalized representer theorem． Proc Annu Conf Comput Learn Theory，2000，42 ( 3) : 416 ［17］ Schlkopf B，Smola A J． Learning with kernels: support vector machines，regularization，optimization，and beyond． J Am Stat Assoc，2011，98( 3) : 781 ［18］ Grant M C，Boyd S P． Graph implementations for nonsmooth convex programs / / Ｒecent Advances in Learning and Control． Springer London，2008: 95 ［19］ Andersen B E D，Andersen K D． The MOSEK Optimization Tools Manual，2007 ［20］ Jadin M S，Taib S． Infrared image enhancement and segmentation for extracting the thermal anomalies in electrical equipment． Electron Electr Eng，2012，4: 107 ［21］ Cardenes Ｒ，Bach M，Chi Y，et al． Multimodal evaluation for medical image segmentation / / Lecture Notes in Computer Science，4673 LNCS，2007: 229 ［22］ Babalola K O，Patenaude B，Aljabar P． An evaluation of four automatic methods of segmenting the subcortical structures in the brain． Neuroimage，2009，47( 4) : 1435 ［23］ Tao W B，Jin H，Liu L M． Object segmentation using ant colony optimization algorithm and fuzzy entropy． Pattern Ｒecognit Lett， 2007，28( 7) : 788 · 588 ·