第14卷第5期 智能系统学报 Vol.14 No.5 2019年9月 CAAI Transactions on Intelligent Systems Sep.2019 D0:10.11992/tis.201805045 网络出版地址:http:/kns.cnki.net/kcms/detail/23.1538.TP.20181226.1713.003html 基于改进的稀疏表示和PCNN的图像融合算法研究 王建,吴锡生 (江南大学物联网工程学院,江苏无锡214122) 摘要:为提高图像融合的清晰度,本文提出一种基于改进的稀疏表示和脉冲耦合神经网络(pulse coupled neur- al network,PCNN)的图像融合。利用非下采样剪切波变换(nom-subsampled shearlet transform,NSST)对源图像进 行分解变换,得到相应的低频子带和高频子带具有不同的信息。对于低频子带,采用改进的稀疏表示进行融 合,利用K奇异值分解(K-singular value decomposition,K-SVD)算法,并对源图像进行自适应学习的多个子字典 构造成联合词典。对于高频子带,则改进PCNN融合系数的选择方法,利用改进的空间频率作为神经元反馈输 入来激励PCNN模型,并根据点火输出的总幅度最大的融合规则选择高频系数。最后,将融合后的低频子带和 高频子带系数进行NSST逆变换,重构出融合图像。实验结果表明:该算法很好地保留了图像的边缘信息,并 且得到的图像在相关的客观评价标准上也取得了良好的效果,表明了本算法的有效性。 关键词:图像处理:图像融合;非下采样剪切波变换:稀硫表示:自适应学习字典:联合字典:脉冲耦合神经网 络:改进的空间频率 中图分类号:TP391.2文献标志码:A文章编号:1673-4785(2019)05-0922-07 中文引用格式:王建,吴锡生.基于改进的稀疏表示和PCNN的图像融合算法研究J.智能系统学报,2019,14(5):922-928. 英文引用格式:WANG Jian,WU Xisheng.Image fusion based on the improved sparse representation and PCNN[J].CAAI transac tions on intelligent systems,2019,14(5):922-928. Image fusion based on the improved sparse representation and PCNN WANG Jian,WU Xisheng (School of Internet of Things Engineering,Jiangnan University,Wuxi 214122,China) Abstract:To improve the clarity of image fusion,in this paper,we propose an image-fusion algorithm based on im- proved sparse representation and a pulse-coupled neural network(PCNN).First,using a non-subsampled shearlet trans- form(NSST),source images are decomposed into low-frequency and high-frequency sub-band coefficients,which con- tain different information.Then,we use the K-singular value decomposition algorithm to fuse the improved sparse rep- resentation with low-frequency sub-band coefficients and construct a joint dictionary from the adaptive learning mul- tiple sub-dictionaries in the source images.The high-frequency sub-band coefficients are fused with the improved PCNN.To stimulate the PCNN model,we use the modified spatial frequency as neuron feedback input.The high-fre- quency coefficients are selected according to the fusion rule for the maximum amplitude of fire output.Finally,we re- construct the fused image with the NSST inverse transform of the fused low-frequency and high-frequency sub-band coefficients.The experimental results show that the proposed algorithm preserves the edge information of the source im- ages very well;additionally,the fused image achieves good results on the evaluation criteria,thus verifying the effect- iveness of the proposed algorithm. Keywords:image processing;image fusion;NSST;sparse representation;adaptive learning dictionary,joint dictionary; PCNN:improved spatial frequency 收稿日期:2018-05-29.网络出版日期:2018-12-28. 图像融合技术是将两幅或者多幅图像中感兴 基金项目:国家自然科学基金项目(61672265). 通信作者:吴锡生.E-mail:wxs@jiangnan.edu.cn 趣的信息提取出来,得到一幅信息更加丰富适合
DOI: 10.11992/tis.201805045 网络出版地址: http://kns.cnki.net/kcms/detail/23.1538.TP.20181226.1713.003.html 基于改进的稀疏表示和 PCNN 的图像融合算法研究 王建,吴锡生 (江南大学 物联网工程学院,江苏 无锡 214122) 摘 要:为提高图像融合的清晰度,本文提出一种基于改进的稀疏表示和脉冲耦合神经网络 (pulse coupled neural network,PCNN) 的图像融合。利用非下采样剪切波变换 (non-subsampled shearlet transform,NSST) 对源图像进 行分解变换,得到相应的低频子带和高频子带具有不同的信息。对于低频子带,采用改进的稀疏表示进行融 合,利用 K 奇异值分解 (K-singular value decomposition,K-SVD) 算法,并对源图像进行自适应学习的多个子字典 构造成联合词典。对于高频子带,则改进 PCNN 融合系数的选择方法,利用改进的空间频率作为神经元反馈输 入来激励 PCNN 模型,并根据点火输出的总幅度最大的融合规则选择高频系数。最后,将融合后的低频子带和 高频子带系数进行 NSST 逆变换,重构出融合图像。实验结果表明:该算法很好地保留了图像的边缘信息,并 且得到的图像在相关的客观评价标准上也取得了良好的效果,表明了本算法的有效性。 关键词:图像处理;图像融合;非下采样剪切波变换;稀疏表示;自适应学习字典;联合字典;脉冲耦合神经网 络;改进的空间频率 中图分类号:TP391.2 文献标志码:A 文章编号:1673−4785(2019)05−0922−07 中文引用格式:王建, 吴锡生. 基于改进的稀疏表示和 PCNN 的图像融合算法研究 [J]. 智能系统学报, 2019, 14(5): 922–928. 英文引用格式:WANG Jian, WU Xisheng. Image fusion based on the improved sparse representation and PCNN[J]. CAAI transactions on intelligent systems, 2019, 14(5): 922–928. Image fusion based on the improved sparse representation and PCNN WANG Jian,WU Xisheng (School of Internet of Things Engineering, Jiangnan University, Wuxi 214122, China) Abstract: To improve the clarity of image fusion, in this paper, we propose an image-fusion algorithm based on improved sparse representation and a pulse-coupled neural network (PCNN). First, using a non-subsampled shearlet transform (NSST), source images are decomposed into low-frequency and high-frequency sub-band coefficients, which contain different information. Then, we use the K-singular value decomposition algorithm to fuse the improved sparse representation with low-frequency sub-band coefficients and construct a joint dictionary from the adaptive learning multiple sub-dictionaries in the source images. The high-frequency sub-band coefficients are fused with the improved PCNN. To stimulate the PCNN model, we use the modified spatial frequency as neuron feedback input. The high-frequency coefficients are selected according to the fusion rule for the maximum amplitude of fire output. Finally, we reconstruct the fused image with the NSST inverse transform of the fused low-frequency and high-frequency sub-band coefficients. The experimental results show that the proposed algorithm preserves the edge information of the source images very well; additionally, the fused image achieves good results on the evaluation criteria, thus verifying the effectiveness of the proposed algorithm. Keywords: image processing; image fusion; NSST; sparse representation; adaptive learning dictionary; joint dictionary; PCNN; improved spatial frequency 图像融合技术是将两幅或者多幅图像中感兴 趣的信息提取出来,得到一幅信息更加丰富适合 收稿日期:2018−05−29. 网络出版日期:2018−12−28. 基金项目:国家自然科学基金项目 (61672265). 通信作者:吴锡生. E-mail:wxs@jiangnan.edu.cn. 第 14 卷第 5 期 智 能 系 统 学 报 Vol.14 No.5 2019 年 9 月 CAAI Transactions on Intelligent Systems Sep. 2019
第5期 王建,等:基于改进的稀疏表示和PCNN的图像融合算法研究 ·923· 于人眼视觉感官和更利于计算机处理的图像处理 很多稀疏表示的图像融合方法都是基于多尺度变 技术。传统相机的光学镜头经常遭受有限景深的 换的o。PCNN具有耦合特性以及脉冲同步特 问题,难以在不使用专用光学器件和传感器的情 性,在图像融合中可以有效利用局部信息。但 况下获得所拍摄场景的全聚焦图像。对于人类视 PCNN参数较多且难以确定,因此现有的一些融 觉感知和计算机处理而言,多聚焦图像更为可 合算法都采用了PCNN的自适应参数模型21。 取,对于同一场景,多聚焦图像的融合可以将两 近年来,基于多尺度变换和PCNN结合的图像融 幅以上的图像选取各自聚焦区域融合到一幅图像 合算法相继被提出。文献[15]提出了将非下采样 中,从而获得比各自源图像更多的信息。目前, 轮廓波NSCT)与PCNN相结合的图像融合算法; 多聚焦图像融合在军事监视、医学成像、遥感图 文献[16]提出了基于非下采样剪切波(NSST)和 像和机器视觉等领域具有广泛应用。 PCNN相结合的医学图像融合算法;文献[17]提 图像融合方法主要分为空间域融合和频率域 出了一种稀疏表示和PCNN相结合的红外与可见 融合四两类。空间域融合方法直接对源图像像素 光图像融合算法。这些算法可以取得较好的融合 进行融合,未进行任何的分解运算,融合的效果 效果,但在边缘处会有虚影产生。在上述理论的 不理想,无法清晰地提取源图像的边缘轮廓信 基础上,本文提出了一种基于改进的稀疏表示和 息。由于多尺度变换的多尺度分解过程适合于人 脉冲耦合神经网络的图像融合算法。首先,将待 类视觉分析,并且易于计算机处理,目前,多数图 融合的源图像进行NSST分解,分别得到低频和 像融合技术都是基于频率域的多尺度变换方法。 高频子带系数。对低频子带由稀疏表示方式进行 其主要有离散小波变换(discrete wavelet transform- 融合,即利用K奇异值分解(K-SVD)算法从源图 ation,.DWT)、脊波(ridgelet)变换、曲线波 像中得到学习字典,然后将两个源图像得到的子 (curvelet)变换、轮廓波(contourlet)变换、非下 字典结合生成联合字典,再采用正交匹配追踪 采样轮廓波变换(nonsubsampled contourlet trans- (orthogonal matching pursuit,,OMP)算法得到稀疏 form,NSCT)和剪切波(shearlet)变换m以及非下 系数,完成低频子带的融合。对于高频子带,本 采样剪切波变换NSST)等。NSCT运算十分耗 文则采用PCNN算法进行融合,将高频子带改进 时,且在图像方向分解上受到限制,因此无法达 的空间频率(modified spatial frequency,MSF)作为 到对图像的实时处理。而剪切波变换以小波理论 PCNN的激励,以总的点火幅度取最大值为高频 为基础,运算简单,并且对于图像分解方向没有 子带的融合规则。实验结果表明,本文所提出的 要求。在此基础上的NSST不仅具有剪切波变换 算法在视觉效果和客观评价上都取得了较好的效果。 的多尺度、多方向特性,而且具有各向异性和平 移不变性,极大地消除了伪吉布斯现象,因此 1基本原理 NSST逐渐较多地运用在图像处理领域。 稀疏表示是近年来提出的一种在信号处理中 1.1图像的NSST变换 的新的研究模型⑧?,其在信号和图像处理的各个 剪切波变换是由Easley等在传统仿射系统的 领域都有着广泛的应用,包括盲源分离、图像去 基础上,将几何与多尺度变换结合起来而提出的 噪、图像融合、人脸识别等领域。稀疏表示能够 合成小波理论,当维数n为2时,具有合成膨胀的 以稀疏的方式来表示图像信息,给图像处理带来 仿射系统为 了极大的便利。 MAB()=(x)=ldet(A(B'A'x-k:j.IER:kER2) 脉冲神经网络(pulse coupled neural networks, (1) PCNN)是Eckhorn于20世纪90年代提出的一种 式中:山∈L(R);基函数中u(x)的集合是通过对 基于猫的视觉原理构建的简化神经网络模型,其 单个局部特性良好窗函数进行旋转、剪切以及平 信号形式和处理机制更符合人类视觉神经系统的 移变换形成的:A为剪切矩阵,控制图像的多方向 生理学基础,在图像融合、图像分割、图像识别以 分解;B为异性膨胀矩阵,控制图像多尺度分解; 及边缘检测等领域起着重要作用。1999年Brous-. 1为剪切参数;j为尺度参数;k为平移参数。 sard等在图像融合中利用PCNN提高融合图像的 A和B。的取值分别为 准确度,证明了PCNN在图像融合中具有很好的 40 应用价值。 A=02】 稀疏表示的融合方法通常会导致融合图像比 NSST由非下采样金字塔分解(non-subsample 较光滑,不利于对源图像边缘信息的保留,目前 pyramid,NSP)和剪切滤波器组成,图像经过k级
于人眼视觉感官和更利于计算机处理的图像处理 技术。传统相机的光学镜头经常遭受有限景深的 问题,难以在不使用专用光学器件和传感器的情 况下获得所拍摄场景的全聚焦图像。对于人类视 觉感知和计算机处理而言,多聚焦图像更为可 取,对于同一场景,多聚焦图像的融合可以将两 幅以上的图像选取各自聚焦区域融合到一幅图像 中,从而获得比各自源图像更多的信息。目前, 多聚焦图像融合在军事监视、医学成像、遥感图 像和机器视觉等领域具有广泛应用[1]。 图像融合方法主要分为空间域融合和频率域 融合[2] 两类。空间域融合方法直接对源图像像素 进行融合,未进行任何的分解运算,融合的效果 不理想,无法清晰地提取源图像的边缘轮廓信 息。由于多尺度变换的多尺度分解过程适合于人 类视觉分析,并且易于计算机处理,目前,多数图 像融合技术都是基于频率域的多尺度变换方法。 其主要有离散小波变换 (discrete wavelet transformation,DWT)[ 3 ] 、脊波 (ridgelet) 变换[ 4 ] 、曲线波 (curvelet) 变换[5] 、轮廓波 (contourlet) 变换[6] 、非下 采样轮廓波变换 (nonsubsampled contourlet transform,NSCT) 和剪切波 (shearlet) 变换[7] 以及非下 采样剪切波变换 (NSST) 等。NSCT 运算十分耗 时,且在图像方向分解上受到限制,因此无法达 到对图像的实时处理。而剪切波变换以小波理论 为基础,运算简单,并且对于图像分解方向没有 要求。在此基础上的 NSST 不仅具有剪切波变换 的多尺度、多方向特性,而且具有各向异性和平 移不变性,极大地消除了伪吉布斯现象,因此 NSST 逐渐较多地运用在图像处理领域。 稀疏表示是近年来提出的一种在信号处理中 的新的研究模型[8] ,其在信号和图像处理的各个 领域都有着广泛的应用,包括盲源分离、图像去 噪、图像融合、人脸识别等领域。稀疏表示能够 以稀疏的方式来表示图像信息,给图像处理带来 了极大的便利。 脉冲神经网络 (pulse coupled neural networks, PCNN) 是 Eckhorn 于 20 世纪 90 年代提出的一种 基于猫的视觉原理构建的简化神经网络模型,其 信号形式和处理机制更符合人类视觉神经系统的 生理学基础,在图像融合、图像分割、图像识别以 及边缘检测等领域起着重要作用。1999 年 Broussard 等在图像融合中利用 PCNN 提高融合图像的 准确度,证明了 PCNN 在图像融合中具有很好的 应用价值[9]。 稀疏表示的融合方法通常会导致融合图像比 较光滑,不利于对源图像边缘信息的保留,目前 很多稀疏表示的图像融合方法都是基于多尺度变 换的[10-11]。PCNN 具有耦合特性以及脉冲同步特 性,在图像融合中可以有效利用局部信息。但 PCNN 参数较多且难以确定,因此现有的一些融 合算法都采用了 PCNN 的自适应参数模型[12-14]。 近年来,基于多尺度变换和 PCNN 结合的图像融 合算法相继被提出。文献 [15] 提出了将非下采样 轮廓波 (NSCT) 与 PCNN 相结合的图像融合算法; 文献 [16] 提出了基于非下采样剪切波 (NSST) 和 PCNN 相结合的医学图像融合算法;文献 [17] 提 出了一种稀疏表示和 PCNN 相结合的红外与可见 光图像融合算法。这些算法可以取得较好的融合 效果,但在边缘处会有虚影产生。在上述理论的 基础上,本文提出了一种基于改进的稀疏表示和 脉冲耦合神经网络的图像融合算法。首先,将待 融合的源图像进行 NSST 分解,分别得到低频和 高频子带系数。对低频子带由稀疏表示方式进行 融合,即利用 K 奇异值分解 (K-SVD) 算法从源图 像中得到学习字典,然后将两个源图像得到的子 字典结合生成联合字典,再采用正交匹配追踪 (orthogonal matching pursuit,OMP) 算法得到稀疏 系数,完成低频子带的融合。对于高频子带,本 文则采用 PCNN 算法进行融合,将高频子带改进 的空间频率 (modified spatial frequency,MSF) 作为 PCNN 的激励,以总的点火幅度取最大值为高频 子带的融合规则。实验结果表明,本文所提出的 算法在视觉效果和客观评价上都取得了较好的效果。 1 基本原理 1.1 图像的 NSST 变换 剪切波变换是由 Easley 等在传统仿射系统的 基础上,将几何与多尺度变换结合起来而提出的 合成小波理论,当维数 n 为 2 时,具有合成膨胀的 仿射系统为 MAB (ψ)= {ψj,l,k (x)=|det(A)| j 2 ψ ( B lA j x−k ) : j,l ∈ R;k ∈ R 2 } (1) ψ ∈ L 2 ( R 2 ) 式中: ;基函数 ψj,l,k (x) 的集合是通过对 单个局部特性良好窗函数进行旋转、剪切以及平 移变换形成的;A 为剪切矩阵,控制图像的多方向 分解;B 为异性膨胀矩阵,控制图像多尺度分解; l 为剪切参数; j 为尺度参数; k 为平移参数。 A0 和 B0 的取值分别为 A0 = [ 4 0 0 2 ] , B0 = [ 1 1 0 1 ] NSST 由非下采样金字塔分解 (non-subsample pyramid,NSP) 和剪切滤波器组成,图像经过 k 级 第 5 期 王建,等:基于改进的稀疏表示和 PCNN 的图像融合算法研究 ·923·
·924· 智能系统学报 第14卷 NSP分解之后,会分解成由k个高频子带和1个 低频子带组成的子图像。分解后的k+1个子带与 源图像大小相同,但是尺度不同。3级NSST分解 过程如图1所示。 低频子带 回 图2PCNN单个神经元简化模型 Fig.2 Simple model of single neuron in PCNN NSP 回洪回 为了提高PCNN的效率,本文采用简化的 N=2 源图像 回平 高频子带 PCNN模型: NSP 高频子带 (Fu(n)=li SF L()=exp(-a2)L/(n-1)+V:>WaY/(n-1) 高频子带 Uii(n)=Fii(n)(1+BLii(n)) (3) 图13级NSST分解过程示意 0;(n)=exp(-ao)0j(n-1)VoYi;(n-1) Fig.1 Diagram of three-level NSST decomposition process 1.2稀疏表示 m-{&程网 向量信号x可以表示为x=[x1…x],当 式中:I,为外部输入激励;F,为反馈输入;Lg为链 x中大部分元素值都为零时,则表示x具有稀疏 接输入项;W和为神经元与其他神经元的连接权 性。稀疏表示是用较少的基本信号的线性组合来 值;k、I为神经元与周围连接的范围;au、a为衰 表示原始信号的大部分或者全部信息。k个原始 减时间常数;B为神经元连接强度;'为连接输入 信号的线性组合可以表示为 放大系数;'。为阈值放大系数;Y为神经元脉冲 输出。 X=a0j) (2) 2改进的融合算法 式中:a为完备字典;中为信号x基于a字典下的 稀疏系数。在稀疏模型中,过完备字典起着关键 本文选用NSST对已配准的源图像A和B进 作用。获得过完备字典的主要方法有两种:)基 行4级分解,得到1个低频子带和4个高频子 于DCT、小波和曲线波等分析方法的分析字典; 带。针对分解后得到的低频子带和高频子带的特 2)学习字典,对大量的数据样本进行训练得到具 点,分别采用改进的稀疏表示和PCNN进行融 有针对性的过完备字典。通常情况下,分析字典 合。最后对融合后的低频子带和高频子带进行 一般比较简单,但是表达形式单一,适应性不够, NSST逆变换,从而获得融合图像。本文的融合 而学习字典的适应性强,可以适应不同的数据图 算法原理如图3所示。 像。常用的字典学习求解方法有最优方向法 源图像A 源图像B (method of optimal directions,MOD)、FOCUSS字典 NSSTI NSST 学习算法、广义PCA(generalized PCA)算法以及 低频系数 高频系数 低频系数 高频系数 K-SVD算法等。稀疏表示问题的求解等同于优 化问题,常用的稀疏系数基本算法有匹配追踪 (MP)、正交匹配追踪(OMP)和基追踪(BP)等。本 稀疏表示 PCNN 文采用K-SVD1I算法来构建学习字典,用OMP 算法来求解稀疏系数,以得到更好的收敛性。 NSST逆变换 1.3PCNN模型 融合图像 PCNN由多个神经元构成,每个神经元由 3个部分组成,分别是连接域、调制域和脉冲产生 图3基于改进的稀疏表示和PCNN融合流程图 Fig.3 Flowchart of fusion based on the improved sparse 器。PCNN神经元对应着源图像中的每个像素, presentation and PCNN 每个神经元的点火输出有点火和不点火2种状 2.1低频子带的融合规则 态。PCNN简化模型如图2所示。 低频子带通常包含图像的大部分信息,反映
NSP 分解之后,会分解成由 k 个高频子带和 1 个 低频子带组成的子图像。分解后的 k+1 个子带与 源图像大小相同,但是尺度不同。3 级 NSST 分解 过程如图 1 所示。 SF SF NSP NSP N=1 N=2 NSP N=3 源图像 高频子带 高频子带 高频子带 低频子带 图 1 3 级 NSST 分解过程示意 Fig. 1 Diagram of three-level NSST decomposition process 1.2 稀疏表示 向量信号 x 可以表示为 x=[ x1 x2 ··· xn ],当 x 中大部分元素值都为零时,则表示 x 具有稀疏 性。稀疏表示是用较少的基本信号的线性组合来 表示原始信号的大部分或者全部信息。k 个原始 信号的线性组合可以表示为 X = ∑k i=1 a(i)ϕ(j) (2) 式中:α 为完备字典;ϕ 为信号 x 基于 α 字典下的 稀疏系数。在稀疏模型中,过完备字典起着关键 作用。获得过完备字典的主要方法有两种:1) 基 于 DCT、小波和曲线波等分析方法的分析字典; 2) 学习字典,对大量的数据样本进行训练得到具 有针对性的过完备字典。通常情况下,分析字典 一般比较简单,但是表达形式单一,适应性不够, 而学习字典的适应性强,可以适应不同的数据图 像。常用的字典学习求解方法有最优方向法 (method of optimal directions,MOD)、FOCUSS 字典 学习算法、广义 PCA(generalized PCA) 算法以及 K-SVD 算法等。稀疏表示问题的求解等同于优 化问题,常用的稀疏系数基本算法有匹配追踪 (MP)、正交匹配追踪 (OMP) 和基追踪 (BP) 等。本 文采用 K-SVD[18] 算法来构建学习字典,用 OMP 算法来求解稀疏系数,以得到更好的收敛性。 1.3 PCNN 模型 PCNN 由多个神经元构成,每个神经元由 3 个部分组成,分别是连接域、调制域和脉冲产生 器。PCNN 神经元对应着源图像中的每个像素, 每个神经元的点火输出有点火和不点火 2 种状 态。PCNN 简化模型如图 2 所示。 YK Fij Uij θij βij Wijkl VL αL αθ Vθ Yij 1 + + × × 图 2 PCNN 单个神经元简化模型 Fig. 2 Simple model of single neuron in PCNN 为了提高 PCNN 的效率,本文采用简化的 PCNN 模型: Fi j(n) =Ii j Li j(n) = exp(−αL)Li j(n−1)+VL ∑ kl Wi jklYi j(n−1) Ui j(n) =Fi j(n) ( 1+βLi j(n) ) θi j(n) = exp(−αθ) θi j(n−1)VθYi j(n−1) Yi j(n) = { 1, Ui j(n) >θi j(n) 0, 其他 (3) 式中:Iij 为外部输入激励;Fij 为反馈输入;Lij 为链 接输入项;Wijkl 为神经元与其他神经元的连接权 值;k、l 为神经元与周围连接的范围;αL、αθ 为衰 减时间常数;β 为神经元连接强度;VL 为连接输入 放大系数;Vθ 为阈值放大系数;Yij 为神经元脉冲 输出。 2 改进的融合算法 本文选用 NSST 对已配准的源图像 A 和 B 进 行 4 级分解,得到 1 个低频子带和 4 个高频子 带。针对分解后得到的低频子带和高频子带的特 点,分别采用改进的稀疏表示和 PCNN 进行融 合。最后对融合后的低频子带和高频子带进行 NSST 逆变换,从而获得融合图像。本文的融合 算法原理如图 3 所示。 源图像 A 源图像 B 低频系数 高频系数 高频系数 低频系数 稀疏表示 PCNN NSST 逆变换 融合图像 NSST NSST 图 3 基于改进的稀疏表示和 PCNN 融合流程图 Fig. 3 Flowchart of fusion based on the improved sparse presentation and PCNN 2.1 低频子带的融合规则 低频子带通常包含图像的大部分信息,反映 ·924· 智 能 系 统 学 报 第 14 卷
第5期 王建,等:基于改进的稀疏表示和PCNN的图像融合算法研究 ·925· 了图像的整体面貌,对于低频子带的处理,本文 M=(aa,)°×(aclo) (4) 对稀硫表示加以改进,得到新的融合规则。假定 M=(aal,)°×(aalo) (5) 两个源图像低频子带大小为xN,,一般来说,自 式中:01=0o=0;a、a表示aA、ag的第i个列向 然图像包含复杂和非稳定信息,而局部块形式相 量。加权多范数测量方法综合反映了图像的重要 对简单且结构一致。因此,采用滑动窗口技术在 信息,本文采用最大加权多范数作为融合规则来 获取局部特征方面能取得更好的性能。具体处理 选择融合系数: 过程:首先,利用一个大小为n×n,以步长为1的 滑动窗口,对低频子带LA和L进行窗口滑动,将 ar= aA, M>M ag,其他 低频子带分成若干个子图像块;将每个子块转换 则融合结果V为 成一个列向量,所有的列向量构成L和LB的样 Vi=Daig 本训练矩阵VA和V,样本矩阵大小为JxL(=n×n, 融合平均矩阵取值为 L=(M-n+l)x(N-n+l);其次,对样本训练矩阵Va、 V的列向量分别求平均,得到平均矩阵7A和 -(化 7;然后再对样本矩阵进行去平均得到去平均后 样本训练矩阵的融合结果为 的矩阵7和V: VE=Vi+VE VA=VA-VA 最后,将样本的融合矩阵转换为数据子块,再 VB=VB-VB 对数据子块进行重构即可得到低频子带的融合系数。 本文提出的新算法是:先采用K-SVD算法分 2.2高频子带的融合规则 别对去平均的样本矩阵Va和V。进行迭代运算, 高频子带通常对应着图像的边缘信息和纹理 细节,直接关系到图像的清晰程度和视觉效果。 得到过完备字典DA和DB,再将子字典DA和 对于高频子带的融合,本文提出一种改进的空间 DB联合构建一个新的联合字典D: D=[DA DE] 频率(MsF)作为神经元的反馈输入。对于窗口大 然后利用OMP算法求出样本矩阵7a和 小为(2M什1)×(2N+1)的图像块,Msr定义公式为 的稀疏系数aA、ag,本文利用l范数和2范数的 Ms=V√R2+CF2+De2 (6) 组合来作为选取稀疏系数的规则: 式中: Re= 2M+1)(2N+1) ∑X行+mj+0-X+m+-r (7 1 CF= V2M+1)(2N+1) 立立K+j+-X+r (8) D(2M)(2N) [X(i+m,j+n)-X(i+m-1,j+n-1)]P+ N 1 (2M0(2W) [X(i+m-1,j+n)-X(i+m.j+n-1)P2 (9) 式中:X(i,)为源图像对应位置像素;R为行频 代运算内,选择输出总幅度值最大的系数作为融 率;CF为列频率;DF为对角线频率。 合系数,有 在经典的PCNN模型中,通常以相同迭代次 I M.>M2i (12) 数内的点火次数作为融合规则,点火输出值只有 1F2,其他 1和0两种状态,则其不能准确地反映点火幅度 式中4.2.y分别为源图像A、B高频子带系数。 的差异。本文加以改进,以神经元输出总幅度值 最后,将融合后的低频子带和高频子带进行 作为高频子带的融合规则,其定义为 NSST逆变换,得到最终的融合图像。 1 Xm)=1+exp0,m)-Um] (10) 3实验结果与分析 M(m)=M(n-1)+Xm) (11) 为了验证本文融合算法的融合效果,采用的 式中M(n)为神经元输出的总幅度值。在n次迭 仿真环境为:Intel i5,1.8GHz双核处理器,500GB
VA VB VeA VeB 了图像的整体面貌,对于低频子带的处理,本文 对稀疏表示加以改进,得到新的融合规则。假定 两个源图像低频子带大小为 M×N,,一般来说,自 然图像包含复杂和非稳定信息,而局部块形式相 对简单且结构一致。因此,采用滑动窗口技术在 获取局部特征方面能取得更好的性能。具体处理 过程:首先,利用一个大小为 n×n,以步长为 1 的 滑动窗口,对低频子带 LA 和 LB 进行窗口滑动,将 低频子带分成若干个子图像块;将每个子块转换 成一个列向量,所有的列向量构成 LA 和 LB 的样 本训练矩阵 VA 和 VB,样本矩阵大小为 J×L(J=n×n, L=(M−n+1)×(N−n+1));其次,对样本训练矩阵 VA、 VB 的列向量分别求平均,得到平均矩阵 和 ;然后再对样本矩阵进行去平均得到去平均后 的矩阵 和 : VeA = VA −VA VeB = VB −VB VeA VeB 本文提出的新算法是:先采用 K-SVD 算法分 别对去平均的样本矩阵 和 进行迭代运算, 得到过完备字典 DA 和 DB ,再将子字典 DA 和 DB 联合构建一个新的联合字典 D: D = [DA DB] VeA VeB l1 l2 然后利用 OMP 算法求出样本矩阵 和 的稀疏系数 αA、αB,本文利用 范数和 范数的 组合来作为选取稀疏系数的规则: Mi A = ( a i A 1 )ωt × ( a i A 0 )ωO (4) Mi B = ( a i B 1 )ωt × ( a i B 0 )ωO (5) a i A a i 式中:ω1=ω0=0; 、 B表示 αA、αB 的第 i 个列向 量。加权多范数测量方法综合反映了图像的重要 信息,本文采用最大加权多范数作为融合规则来 选择融合系数: α i F= { α i A , Mi A > Mi B α i B , 其他 V i 则融合结果 F为 V i F = Dai F 融合平均矩阵取值为 VF= { VA, MA > MB VB, 其他 样本训练矩阵的融合结果为 VF = V i F +VF 最后,将样本的融合矩阵转换为数据子块,再 对数据子块进行重构即可得到低频子带的融合系数。 2.2 高频子带的融合规则 高频子带通常对应着图像的边缘信息和纹理 细节,直接关系到图像的清晰程度和视觉效果。 对于高频子带的融合,本文提出一种改进的空间 频率 (MSF) 作为神经元的反馈输入。对于窗口大 小为 (2M+1)×(2N+1) 的图像块,MSF 定义公式为 MSF = √ RF 2 +CF 2 + DF 2 (6) 式中: RF = vt 1 (2M+1) (2N+1) ∑M m=−M ∑N n=−N [X (i+m, j+n)− X (i+m, j+n−1)] 2 (7) CF = vt 1 (2M +1) (2N +1) ∑M m=−M ∑N n=−N [X (i+m, j+n)− X (i+m, j+n)] 2 (8) DF= vt 1 (2M) (2N) ∑M m=−M+1 ∑N n=−N+1 [X (i+m, j+n)− X (i+m−1, j+n−1)] 2+ vt 1 (2M) (2N) ∑M−1 m=−M ∑N−1 n=−N [X (i+m−1, j+n)− X (i+m, j+n−1)] 2 (9) 式中:X(i,j) 为源图像对应位置像素;RF 为行频 率;CF 为列频率;DF 为对角线频率。 在经典的 PCNN 模型中,通常以相同迭代次 数内的点火次数作为融合规则,点火输出值只有 1 和 0 两种状态,则其不能准确地反映点火幅度 的差异。本文加以改进,以神经元输出总幅度值 作为高频子带的融合规则,其定义为 Xi j(n) = 1 1+exp[θi j(n)−Ui j(n)] (10) Mi j(n) = Mi j(n−1)+ Xi j(n) (11) 式中 Mij(n) 为神经元输出的总幅度值。在 n 次迭 代运算内,选择输出总幅度值最大的系数作为融 合系数,有 IF,i j= { I1,i j, M1,i j>M2,i j I2,i j, 其他 (12) 式中 I1,ij、I2,ij 分别为源图像 A、B 高频子带系数。 最后,将融合后的低频子带和高频子带进行 NSST 逆变换,得到最终的融合图像。 3 实验结果与分析 为了验证本文融合算法的融合效果,采用的 仿真环境为:Intel i5,1.8 GHz 双核处理器,500 GB 第 5 期 王建,等:基于改进的稀疏表示和 PCNN 的图像融合算法研究 ·925·
·926· 智能系统学报 第14卷 硬盘,4GB内存,windows10系统,MATLAB2015a 结果分别与基于NSCT-PCNN、文献[IO]、文献[II] 仿真平台。采用了两组图像进行实验,实验图像 算法中的Clock图像融合结果进行比较。本文采 如图4所示,分别为512×512的Pepsi图像和 用互信息量(M⑩、边缘信息传递因子(Q5、空间 256×256的CIock图像。Pepsi图像融合结果分别 频率(S)、平均梯度(AG)I作为融合效果的客观 与基于NSCT-PCNN、文献[1]、文献[I2]算法中 评价指标。各融合算法的融合结果如图5、图6 的Pepsi图像融合结果进行比较;Clock图像融合 所示,客观评价如表1、表2所示。 (a)Pepsil (b)Pepsi2 (c)Clock1 (d)Clock2 图4实验源图像 Fig.4 Source images (a)NSCT-PCNN (b)文献[11]算法 (c)文献12]算法 (d)本文算法 图5各种算法Pepsi图像融合结果 Fig.5 Pepsi image fusion of each algorithm (a)NSCT-PCNN (b)文献[10]算法 (c)文献[11]算法 (d本文算法 图6各种算法Clock图像融合结果 Fig.6 Clock image fusion of each algorithm 表1各算法Pepsi图像融合的评价指标值 表2各算法Clock图像融合的评价指标值 Table 1 Evaluation index of Pepsi image fusion for each Table 2 Evaluation index of clock image fusion for each al- algorithm gorithm 评价 NSCT- 文献[11] 文献[12] 本文 评价 NSCT- 文献[10] 文献[11刂 本文 指标 PCNN 算法 算法 算法 指标 PCNN 算法 算法 算法 MI 6.2112 7.4735 5.1640 7.4618 MI 6.3562 6.5628 5.4922 6.8362 Olkg 0.7403 0.7017 0.7851 0.7889 Otk 0.7183 0.7309 0.7106 0.7792 SF 15.8039 16.9547 17.0428 17.4783 SF 16.7639 16.9320 17.4862 17.8725 AG 4.0977 4.1791 4.0183 4.2582 AG 4.4912 5.4641 3.4654 5.6527
硬盘,4 GB 内存,windows10 系统,MATLAB2015a 仿真平台。采用了两组图像进行实验,实验图像 如图 4 所示,分别为 512×512 的 Pepsi 图像和 256×256 的 Clock 图像。Pepsi 图像融合结果分别 与基于 NSCT-PCNN、文献 [11]、文献 [12] 算法中 的 Pepsi 图像融合结果进行比较;Clock 图像融合 结果分别与基于 NSCT-PCNN、文献 [10]、文献 [11] 算法中的 Clock 图像融合结果进行比较。本文采 用互信息量 (MI)、边缘信息传递因子 (Q AB/F )、空间 频率 (SF)、平均梯度 (AG)[19] 作为融合效果的客观 评价指标。各融合算法的融合结果如图 5、图 6 所示,客观评价如表 1、表 2 所示。 (a) Pepsi1 (b) Pepsi2 (c) Clock1 (d) Clock2 图 4 实验源图像 Fig. 4 Source images (a) NSCT-PCNN (b) 文献[11]算法 (c) 文献[12]算法 (d) 本文算法 图 5 各种算法 Pepsi 图像融合结果 Fig. 5 Pepsi image fusion of each algorithm (a) NSCT-PCNN (b) 文献[10]算法 (c) 文献[11]算法 (d) 本文算法 图 6 各种算法 Clock 图像融合结果 Fig. 6 Clock image fusion of each algorithm 表 1 各算法 Pepsi 图像融合的评价指标值 Table 1 Evaluation index of Pepsi image fusion for each algorithm 评价 指标 NSCTPCNN 文献[11] 算法 文献[12] 算法 本文 算法 MI 6.211 2 7.473 5 5.164 0 7.461 8 Q AB/F 0.740 3 0.701 7 0.785 1 0.788 9 SF 15.803 9 16.954 7 17.042 8 17.478 3 AG 4.097 7 4.179 1 4.018 3 4.258 2 表 2 各算法 Clock 图像融合的评价指标值 Table 2 Evaluation index of clock image fusion for each algorithm 评价 指标 NSCTPCNN 文献[10] 算法 文献[11] 算法 本文 算法 MI 6.356 2 6.562 8 5.492 2 6.836 2 Q AB/F 0.718 3 0.730 9 0.710 6 0.779 2 SF 16.763 9 16.932 0 17.486 2 17.872 5 AG 4.491 2 5.464 1 3.465 4 5.652 7 ·926· 智 能 系 统 学 报 第 14 卷
第5期 王建,等:基于改进的稀疏表示和PCNN的图像融合算法研究 ·927· 从图5和图6各算法的融合结果中可以看 出,本文算法的融合效果要好于其他3种算法,且 在边缘和细节纹理等方面都处理得较好,处理后 的整体清晰度也高于其他3种算法。 本文提出的算法在医学图像融合方面也具有 很好的融合效果,图7分别为CT图像和MRI图 像。在实验中,本文所提出的算法融合效果分别与 文献[I5]中NSCT-PCNN算法、文献[I6中NSST- (a)CT图像 (b)MRI图像 PCNN算法以及文献2O]中MNLMF-SF算法的融 图7CT图像和MRI图像 合效果进行比较,融合结果如图8和表3所示。 Fig.7 CT and MRI images (a)NSCT-PCNN (b)NSST-PCNN (e)MNLMF-SF (d本文算法 图8各种算法CT和MRI图像融合结果 Fig.8 CT and MRI image fusions of different algorithms 表3各算法CT和MRI图像融合的评价指标值 法,表明了本文算法的有效性和优势。 Table 3 Evaluation index of CT and MRI image fusions for each algorithm 4结束语 评价 NSCT- NSST- MNLMF- 本文 本文提出了一种基于改进的稀疏表示和脉冲 指标 PCNN PCNN SF 算法 耦合神经网络的融合算法。与相关算法比较,本 MI 2.0315 2.1532 2.0735 2.2483 文算法在融合源图像信息时,既克服了稀疏表示 Q4你 0.4253 0.4029 0.4343 0.4286 算法造成的平滑问题,又保留了更多的图像边 SF 6.9278 7.0592 7.1041 7.1617 缘、纹理细节等信息,使融合图像更加清晰,可以 AG 15.3016 15.4822 15.807916.0251 获得更理想的效果,实验结果也验证了本文算法 的有效性。 从图8中各算法的CT和MRI图像的融合结 果可以看出:NSCT-PCNN算法的融合结果边缘 参考文献: 会有虚影;NSST-PCNN算法和MNLMF-SF算法 [1]王卫卫,水鹏朗,宋国乡.小波域多聚焦图像融合算法 的融合图像MRI细节部分有细微的缺失;本文算 [U.系统工程与电子技术,2004,26(5)少:668-671. 法既保留了原图像的边缘清晰度,又保留了更多 WANG Weiwei,SHUI Penglang,SONG Guoxiang.Multi- 的细节信息。 focus image fusion in wavelet domain[J].Systems engin- 从客观来说,ML、OBF、SF和AG等指标都是 eering and electronics,2004,26(5):668-671. 对融合图像融合效果的客观评价,MⅫ是融合图像 [2]LI Shutao,KANG Xudong,FANG Leyuan,et al.Pixel- 从源图像中获得的信息量;Qr、SF都与边缘信 level image fusion:A survey of the state of the art[J].In- 息有关,AG反映图像清晰度,这4个指标值越大 formation fusion,2017,33:100-112 则表明融合效果越好。从表1和表2中可以看 [3]ROCKINGER O,FECHNER T.Pixel-level image fusion: 出,本文算法处理后的各项指标都相当不错,除 the case of image sequences[C]//Proceedings of SPIE Pepsi图像的MI指标比文献[I1]算法稍有不足, 3374,Signal Processing,Sensor Fusion,and Target Recog- 位列第2外,其他所有指标都位列第1,在医学图 nition VII.Orlando,USA,1998:378-388. 像融合上本文算法除边缘信息传递因子指标略低 [4]EHLERS M.Multisensor image fusion techniques in re- 于MNLMF-SF算法外,其他指标都优于对比算 mote sensing[J].ISPRS journal of photogrammetry and re-
从图 5 和图 6 各算法的融合结果中可以看 出,本文算法的融合效果要好于其他 3 种算法,且 在边缘和细节纹理等方面都处理得较好,处理后 的整体清晰度也高于其他 3 种算法。 本文提出的算法在医学图像融合方面也具有 很好的融合效果,图 7 分别为 CT 图像和 MRI 图 像。在实验中,本文所提出的算法融合效果分别与 文献 [15] 中 NSCT-PCNN 算法、文献 [16] 中 NSSTPCNN 算法以及文献 [20] 中 MNLMF-SF 算法的融 合效果进行比较,融合结果如图 8 和表 3 所示。 (a) CT 图像 (b) MRI 图像 图 7 CT 图像和 MRI 图像 Fig. 7 CT and MRI images (a) NSCT-PCNN (b) NSST-PCNN (c) MNLMF-SF (d) 本文算法 图 8 各种算法 CT 和 MRI 图像融合结果 Fig. 8 CT and MRI image fusions of different algorithms 表 3 各算法 CT 和 MRI 图像融合的评价指标值 Table 3 Evaluation index of CT and MRI image fusions for each algorithm 评价 指标 NSCTPCNN NSSTPCNN MNLMFSF 本文 算法 MI 2.031 5 2.153 2 2.073 5 2.248 3 Q AB/F 0.425 3 0.402 9 0.434 3 0.428 6 SF 6.927 8 7.059 2 7.104 1 7.161 7 AG 15.301 6 15.482 2 15.807 9 16.025 1 从图 8 中各算法的 CT 和 MRI 图像的融合结 果可以看出:NSCT-PCNN 算法的融合结果边缘 会有虚影;NSST-PCNN 算法和 MNLMF-SF 算法 的融合图像 MRI 细节部分有细微的缺失;本文算 法既保留了原图像的边缘清晰度,又保留了更多 的细节信息。 从客观来说,MI、Q AB/F 、SF 和 AG 等指标都是 对融合图像融合效果的客观评价,MI 是融合图像 从源图像中获得的信息量;Q AB/F 、SF 都与边缘信 息有关,AG 反映图像清晰度,这 4 个指标值越大 则表明融合效果越好。从表 1 和表 2 中可以看 出,本文算法处理后的各项指标都相当不错,除 Pepsi 图像的 MI 指标比文献 [11] 算法稍有不足, 位列第 2 外,其他所有指标都位列第 1,在医学图 像融合上本文算法除边缘信息传递因子指标略低 于 MNLMF-SF 算法外,其他指标都优于对比算 法,表明了本文算法的有效性和优势。 4 结束语 本文提出了一种基于改进的稀疏表示和脉冲 耦合神经网络的融合算法。与相关算法比较,本 文算法在融合源图像信息时,既克服了稀疏表示 算法造成的平滑问题,又保留了更多的图像边 缘、纹理细节等信息,使融合图像更加清晰,可以 获得更理想的效果,实验结果也验证了本文算法 的有效性。 参考文献: 王卫卫, 水鹏朗, 宋国乡. 小波域多聚焦图像融合算法 [J]. 系统工程与电子技术, 2004, 26(5): 668–671. WANG Weiwei, SHUI Penglang, SONG Guoxiang. Multifocus image fusion in wavelet domain[J]. Systems engineering and electronics, 2004, 26(5): 668–671. [1] LI Shutao, KANG Xudong, FANG Leyuan, et al. Pixellevel image fusion: A survey of the state of the art[J]. Information fusion, 2017, 33: 100–112. [2] ROCKINGER O, FECHNER T. Pixel-level image fusion: the case of image sequences[C]//Proceedings of SPIE 3374, Signal Processing, Sensor Fusion, and Target Recognition VII. Orlando, USA, 1998: 378–388. [3] EHLERS M. Multisensor image fusion techniques in remote sensing[J]. ISPRS journal of photogrammetry and re- [4] 第 5 期 王建,等:基于改进的稀疏表示和 PCNN 的图像融合算法研究 ·927·
·928· 智能系统学报 第14卷 mote sensing,1991,46(1):19-30 ZHANG Baohua,LV Xiaoqi.Multi-focus image fusion [s]赵景朝,曲仕茹.基于Curvelet变换与自适应PCNN的 algorithm based on compound PCNN in NSCT 红外与可见光图像融合[).西北工业大学学报,2011, domain[J].Journal of chinese computer systems,2014. 29(6):849-853. 35(2)393-396 ZHAO Jingchao,QU Shiru.A better algorithm for fusion [15]DING Shifei,ZHAO Xingyu,XU Hui,et al.NSCT- of infrared and visible image based on Curvelet transform PCNN image fusion based on image gradient motivation[J].IET computer vision,2018,12(4): and adaptive pulse coupled neural networks(PCNN)[J]. 377-383. Journal of Northwestern Polytechnical University,2011, [16]田娟秀,刘国才.基于NSST变换和PCNN的医学图像 29(6):849-853. 融合方法[J].中国医学物理学杂志,2018,35(8): [6]张雄美,李俊山,易昭湘,等.非抽样轮廓波变换域图像 914920. 融合方法研究.电光与控制,2008.15(7):16-19. TIAN Juanxiu,LIU Guocai.Medical image fusion meth- ZHANG Xiongmei,LI Junshan,YI Zhaoxiang,et al.Im- od based on non-subsampled shearlet transform and pulse age fusion based on nonsubsampled contourlet[J].Elec- coupled neural network[J].Chinese journal of medical tronics optics and control,2008,15(7):16-19. physics,,2018,35(8:914-920. [7]EASLEY G R,LABATE D,LIM W Q.Optimally sparse [17刀夏景明,陈轶鸣,陈轶才,等.基于稀疏表示和NSCT- PCNN的红外与可见光图像融合[,电光与控制, image representations using shearlets[C]//Proceedings of 2018.25(6:1-6. 2006 Fortieth Asilomar Conference on Signals,Systems XIA Jingming,CHEN Yiming,CHEN Yicai,et al.Fu- and Computers.Pacific Grove,USA,2006:974-978. sion of infrared and visible images based on sparse repres- [8]YANG Bin,LI Shutao.Multifocus image fusion and res- entation and NSCT-PCNN[J].Electronics optics and con- toration with sparse representation[J].IEEE transactions on trol,201825(6):1-6. instrumentation and measurement,2010,59(4):884-892. [18]ZHANG Qiang,LI Baoxin.Discriminative K-SVD for [9]BROUSSARD R P,Rogers S K,Oxley M E,et al. dictionary learning in face recognition[C]//Proceedings of Physiologically motivated image fusion for object detec- 2010 IEEE Computer Society Conference on Computer tion using a pulse coupled neural network[J].IEEE Trans- Vision and Pattern Recognition.San Francisco,USA. 2010:2691-2698 actions on neural networks,1999,10(3):554-563 [10]赵春晖,郭蕴霆.一种快速的基于稀疏表示和非下采样 [19]HONG Richang.Objective image fusion performance 轮廓波变换的图像融合算法[.电子与信息学报, measure[J].Military technical courier,2000,56(2): 2016,38(7):1773-1780. 181-193. ZHAO Chunhui,GUO Yunting.Fast image fusion al- [20]王峰,程咏梅.基于MNLMF和SF方向滤波的图像融 gorithm based on sparse representation and non-sub- 合算法[).控制与决策,2017,32(12):2183-2189, sampled contourlet transform[J].Journal of electronics WANG Feng,CHENG Yongmei.Image fusion method and information technology,2016,38(7):1773-1780. based on multi-scale non-local mean filter and shear dir- [11]XIANG Fengtao,JIAN Zhang,LIANG Pan,et al.Robust ection filter[J].Control and decision,2017,32(12): image fusion with block sparse representation and online 2183-2189 dictionary learning[J].IET image processing,2018,12(3): 作者简介: 345-353. 王建.男,1992年生,硕士研究 [I2]谢秋莹,易本顺,柯祖福,等.基于SML和PCNN的 生,主要研究方向为图像融合。 NSCT域多聚焦图像融合[U.计算机科学,2017,44(6): 266-269.282. XIE Qiuying,YI Benshun,KE Zufu,et al.Multi-focus image fusion based on SML and PCNN in NSCT domain[J].Computer science,2017,44(6):266-269,282 [13]王红梅,付浩.脉冲耦合神经网络自适应图像融合算法 研究.计算机工程与应用,2017,53(7):177-180. 吴锡生,男,1959年生.教授,博 WANG Hongmei,FU Hao.Adaptive image fusion al- 士,主要研究方向为图像处理和模式 gorithm based on pulse coupled neural networks[J].Com- 识别。曾获江苏省科技进步三等奖 puter engineering and applications,2017,53(7):177-180 2次,中国纺织协会和无锡市科技进 [14]张宝华,吕晓琪一种复合型PCNN的NSCT域多聚焦 步奖3次,软件著作权授权1项,发明 图像融合方法).小型微型计算机系统,2014,35(2): 专利授权3项。发表学术论文40余篇。 393-396
mote sensing, 1991, 46(1): 19–30. 赵景朝, 曲仕茹. 基于 Curvelet 变换与自适应 PCNN 的 红外与可见光图像融合 [J]. 西北工业大学学报, 2011, 29(6): 849–853. ZHAO Jingchao, QU Shiru. A better algorithm for fusion of infrared and visible image based on Curvelet transform and adaptive pulse coupled neural networks (PCNN)[J]. Journal of Northwestern Polytechnical University, 2011, 29(6): 849–853. [5] 张雄美, 李俊山, 易昭湘, 等. 非抽样轮廓波变换域图像 融合方法研究 [J]. 电光与控制, 2008, 15(7): 16–19. ZHANG Xiongmei, LI Junshan, YI Zhaoxiang, et al. Image fusion based on nonsubsampled contourlet[J]. Electronics optics and control, 2008, 15(7): 16–19. [6] EASLEY G R, LABATE D, LIM W Q. Optimally sparse image representations using shearlets[C]//Proceedings of 2006 Fortieth Asilomar Conference on Signals, Systems and Computers. Pacific Grove, USA, 2006: 974–978. [7] YANG Bin, LI Shutao. Multifocus image fusion and restoration with sparse representation[J]. IEEE transactions on instrumentation and measurement, 2010, 59(4): 884–892. [8] BROUSSARD R P, Rogers S K, Oxley M E, et al. Physiologically motivated image fusion for object detection using a pulse coupled neural network[J]. IEEE Transactions on neural networks, 1999, 10(3): 554–563. [9] 赵春晖, 郭蕴霆. 一种快速的基于稀疏表示和非下采样 轮廓波变换的图像融合算法 [J]. 电子与信息学报, 2016, 38(7): 1773–1780. ZHAO Chunhui, GUO Yunting. Fast image fusion algorithm based on sparse representation and non-subsampled contourlet transform[J]. Journal of electronics and information technology, 2016, 38(7): 1773–1780. [10] XIANG Fengtao, JIAN Zhang, LIANG Pan, et al. Robust image fusion with block sparse representation and online dictionary learning[J]. IET image processing, 2018, 12(3): 345–353. [11] 谢秋莹, 易本顺, 柯祖福, 等. 基于 SML 和 PCNN 的 NSCT 域多聚焦图像融合 [J]. 计算机科学, 2017, 44(6): 266–269, 282. XIE Qiuying, YI Benshun, KE Zufu, et al. Multi-focus image fusion based on SML and PCNN in NSCT domain[J]. Computer science, 2017, 44(6): 266–269, 282. [12] 王红梅, 付浩. 脉冲耦合神经网络自适应图像融合算法 研究 [J]. 计算机工程与应用, 2017, 53(7): 177–180. WANG Hongmei, FU Hao. Adaptive image fusion algorithm based on pulse coupled neural networks[J]. Computer engineering and applications, 2017, 53(7): 177–180. [13] 张宝华, 吕晓琪. 一种复合型 PCNN 的 NSCT 域多聚焦 图像融合方法 [J]. 小型微型计算机系统, 2014, 35(2): 393–396. [14] ZHANG Baohua, LV Xiaoqi. Multi-focus image fusion algorithm based on compound PCNN in NSCT domain[J]. Journal of chinese computer systems, 2014, 35(2): 393–396. DING Shifei, ZHAO Xingyu, XU Hui, et al. NSCTPCNN image fusion based on image gradient motivation[J]. IET computer vision, 2018, 12(4): 377–383. [15] 田娟秀, 刘国才. 基于 NSST 变换和 PCNN 的医学图像 融合方法 [J]. 中国医学物理学杂志, 2018, 35(8): 914–920. TIAN Juanxiu, LIU Guocai. Medical image fusion method based on non-subsampled shearlet transform and pulse coupled neural network[J]. Chinese journal of medical physics, 2018, 35(8): 914–920. [16] 夏景明, 陈轶鸣, 陈轶才, 等. 基于稀疏表示和 NSCTPCNN 的红外与可见光图像融合 [J]. 电光与控制, 2018, 25(6): 1–6. XIA Jingming, CHEN Yiming, CHEN Yicai, et al. Fusion of infrared and visible images based on sparse representation and NSCT-PCNN[J]. Electronics optics and control, 2018, 25(6): 1–6. [17] ZHANG Qiang, LI Baoxin. Discriminative K-SVD for dictionary learning in face recognition[C]//Proceedings of 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Francisco, USA, 2010: 2691–2698. [18] HONG Richang. Objective image fusion performance measure[J]. Military technical courier, 2000, 56(2): 181–193. [19] 王峰, 程咏梅. 基于 MNLMF 和 SF 方向滤波的图像融 合算法 [J]. 控制与决策, 2017, 32(12): 2183–2189. WANG Feng, CHENG Yongmei. Image fusion method based on multi-scale non-local mean filter and shear direction filter[J]. Control and decision, 2017, 32(12): 2183–2189. [20] 作者简介: 王建,男,1992 年生,硕士研究 生,主要研究方向为图像融合。 吴锡生,男,1959 年生,教授,博 士,主要研究方向为图像处理和模式 识别。曾获江苏省科技进步三等奖 2 次,中国纺织协会和无锡市科技进 步奖 3 次,软件著作权授权 1 项,发明 专利授权 3 项。发表学术论文 40 余篇。 ·928· 智 能 系 统 学 报 第 14 卷