机器学习：基于IHS和小波变换的可见光与红外图像融合

第7卷第6期 智能系统学报 Vol.7 No.6 2012年12月 CAAI Transactions on Intelligent Systems Dec.2012 D0I:10.3969/i.issn.16734785.201205053 网络出版t地址：htp://www.cnki.net/kcma/detail/23.1538.TP.20121116.1701.007.html 基于HS和小波变换的可见光与红外图像融合 李洋，焦淑红，孙新童 (哈尔滨工程大学信息与通信工程学院，黑龙江哈尔滨150001) 摘要：针对红外与可见光图像所表现的目标特征不同，提出了一种基于HS和小波变换的图像融合方法.首先对 可见光图像进行HS变换得到亮度I、色度H、饱和度S3个分量，再对红外图像进行灰度变换；然后对亮度分量和已 变换红外图像进行小波分解，对低频分量和高频分量分别采用不同的融合规则：最后进行HS逆变换得到融合图 像.实验结果表明，该方法在红外与可见光图像融合处理中取得了很好的融合效果，优于传统的HS变换法和小波 变换方法.该方法保留了可见光图像高的空间分辨率和丰富的纹理细节信息，同时融合了在可见光图像中看不到而 在红外图像里可以观察到的热目标. 关键词：图像融合；小波变换；IHS变换；灰度变换；融合规则 中图分类号：TP391文献标志码：A文章编号：16734785(2012)060554-06 Fusion of visual and infrared images based on IHS and wavelet transforms LI Yang,JIAO Shuhong,SUN Xintong (College of Information and Communication Engineering,Harbin Engineering University,Harbin 150001,China) Abstract:The infrared and visual images show different features for the same object,and considering these features this paper proposes an image fusion method based on IHS and wavelet transform.Firstly,the visual image is trans- formed by the IHS transform,and intensity(1),hue(H),saturation(S)components are obtained,and the infrared image is transformed by gray transform.Secondly,the intensity component and transformed infrared image are de- composed respectively by wavelet transform,different fusion rules are applied to coefficients of low frequency and high frequency.Finally,we could obtain the final fused image by IHS inverse transform.The experimental data shows the image fusion method is effective for the fusion of infrared and visual images and the fused image outper- forms the traditional IHS transform method and the traditional IHS combining wavelet transform method.The pro- posed method can keep a high spatial resolution and rich texture detail information of visual image,and at the same time fuse the heat target that cannot be seen in the visible image while can be observed in the infrared image. Keywords:image fusion;wavelet transform;IHS transform;gray transform;fusion rule 图像融合就是将不同传感器在同一时间（或者外辐射特性，不易受环境影响，但缺乏对目标场景纹 不同时间)获得同一目标的2幅或者多幅影像通过理细节的表现，不利于人眼的判读.而可见光图像能 一种特定算法合成为一幅新图像的技术山.随着科 较好地显示对比度、形状、彩色和纹理细节，但它却 技的发展，图像融合在自动目标识别、遥感、医学图 受光照条件和环境条件的约束.因此可以利用红外 像处理、计算机视觉等领域有着广泛的应用。 图像获取场景中的非自然（冷或热）目标，而利用可 红外图像与可见光图像融合是图像融合领域的 见光图像获取场景的背景细节信息，这使得红外图 重要组成部分，红外图像主要反映目标和场景的红 像与可见光图像的融合可以很好地提高对目标的探 测和识别能力，在军事作战、电子产品检测、资源探 收稿日期：2012-0530.网络出版日期：2012-11-16 测等众多领域中都有广泛的实用价值2]， 基金项目：国家自然科学基金资助项目(61201238). 通信作者：李洋.E-mail:liyangl230@yahoo..cm. 图像融合可分为3级，即像素级融合、特征级融

第6期 李洋，等：基于HS和小波变换的可见光与红外图像融合 ·555· 合和决策级融合[35].目前的融合方法大多为像素 R 1 -1/2 1/2 级融合，常用方法包括IHS变换、PCA、金字塔变换、 -1/2 -1/2 小波变换、Contourlet变换等融合方法[61l]其中PCA -Bo L1 2 0 法是一种选取最优像素权值的方法，但无法突出光 式中：R、Go、B代表RGB空间的3种色彩 谱特性，不适用于相关性弱的图像融合；金字塔变换 传统HS变换融合原理：在已配准可见光图像 法是多分辨率分析方法，有较好的融合效果，但是该 与红外图像下，对可见光图像进行HS正变换，提取 类方法计算量大，并且融合结果为灰度图像，无法保 1分量，然后用红外图像替换掉可见光图像的I分 持可见光图像的光谱特性；Contourlet变换是小波 量，保持可见光图像的H分量和S分量不变，然后 变换的一种扩展，是一种多分辨率、多方向的分析方 进行HS逆变换，最后便得出融合的新图像， 法，能较好地保持图像的光谱特性， 1.2小波变换融合方法 HS变换因其计算简单，并能极大地提高图像 通常使用的是二维的Mallat小波算法「4]，它是 空间分辨率，而被广泛应用，但会出现光谱扭曲现 一种常用的离散小波变换的快速实现算法，它将图 象2.而小波变换将图像分解为水平、垂直及对角 像分解为水平、垂直及对角方向的高频信息和相应 方向的高频分量和相应分辨率下的低频分量，在进 分辨率下的低频分量.由于小波基的正交性，所以图 行融合时，对高频分量和低频分量使用不同的融合 像小波分解过程中不产生冗余数据5.这样，就可 规则，这样它就能较好地保持原始图像的光谱信息， 以方便地分析信号在不同频带上的频域特性.根据 但会出现分块效应，计算速度比HS变换相对慢一 算法，图像的第j次小波分解后生成3个高频分量 些.因此将HS和小波变换结合的图像融合方法既 分别为水平方向D、垂直方向D、对角方向D%和 可以保留光谱信息，又可以保持空间信息.目前此方 法普遍应用于遥感影像融合. 一个低频分量C,了表示小波分解尺度，H表示低通 针对可见光图像和红外图像的特点，本文提出 滤波器，G表示高通滤波器.分解公式为： 一种基于HS和小波变换的图像融合方法，该方法 C=HHC, 不仅能较好地保持图像光谱信息和提高空间细节信 DH=G H.C- 息，而且还可以获得红外图像中的热目标信息.实验 D:=HGCj-, 结果证明，该方法优于传统的HS变换法和小波变 D=GGC-1 换等方法，取得了很好的融合效果 式中：下标m和n分别表示图像的行与列，重构公 式如下： 1基于IHS和小波变换的图像融合方法 C=C+G D"+G D+GG DP. 1.1HS变换融合方法 式中：H*、G分别为H、G的共轭转置矩阵. 常用的色彩空间有RGB色彩空间和IHS色彩 基于小波变换的图像融合基本步骤为：首先对 空间[B],RGB色彩空间常用于计算机彩色显示器的 已配准的源图像A、B分别进行N层小波分解，得到 显示系统中，RGB中R代表红色，G代表绿色，B代 3N个高频子带图和一个低频子带图；接下来分别对 表蓝色，3种色彩叠加形成其他的色彩.而IHS色彩 每一层、每一方向的相应子带图进行融合处理，产生 空间包含亮度I、色度H与饱和度S三要素，这三要 融合后的各子带图；最后对融合后的子带图进行小 素相关性很低，这就使HS空间中的3个分量可以 波重构得到融合图像F.图1为基于小波变换的图 单独地被处理.而且这种模型面向视觉感知，更适合 像融合原理图 基于人的视觉对彩色感知特性进行处理分析，所以 图像A 在图像融合中被广泛使用.传统HS变换公式如下： 小波 变换 图像F 1)IHS正变换公式： 小波 融合 1/3 1/3 1/3 图像B 尺度分解 处理 小波 逆变换 -√2/6 -√2/6 -22/6 融合后 酸合后 变换 的多尺度 图像 图像 -U2- L1/-1/2 0 S=√0+，H=tanl(2/,). 图1基于小波变换的图像融合原理 2)IHS逆变换公式： Fig.1 Image fusion principles for wavelet transforms

.556 智能系统学报 第7卷 1.3基于HS和小波变换的图像融合方法 进行二次小波分解，得到各自高频和低频子图， 由于红外成像器件本身存在的缺陷和环境因素 4)对小波分解后的低频近似分量采用基于窗 的影响，造成了成像效果不理想，主要表现为红外图 口能量的低频子带图融合准则.小波系数的低频分 像中噪声较大、对比度较低、视觉效果不好、分辨图 量，包含了图像信息的主要轮廓信息，它相当于在一 像细节能力比较差等缺点，这些都将影响后续与可 定尺度下对原始信号的近似.而低频能量是图像强 见光图像的配准效果以及融合质量「16].所以，本文 度的一种有效测度，在某种程度上反应图像基本信 方法先对红外图像进行增强处理，改善红外图像的 息，因此可以用局部能量作为低频系数重要性的度 视觉效果，在这里采用的增强方法是灰度变换方法 量.本文采用基于窗口能量的低频子带图融合方法， 它能够使图像的动态范围加大，增大图像对比度，使 其思想是：用低频子带图的窗口能量表征系数的重要 目标更加清晰明显，更方便融合 性，根据窗口能量的大小决定融合源图像子带系数 在图像融合中，融合规则非常重要.一般情况 源图像A、B的低频子带图在位置(i,)处的窗 下，图像所含信息不是一个像素所能表现的，而是由 口局部能量E(i,)定义为 局部区域中多个像素共同表征和体现的.在人类视 E蹬(i)=习 w(i+', (i+j)≤留 觉感知对象中，对单个像素的灰度值并不能很好地 j+j')[C(i+i'+')]2,m=A,B. 感知，而是对图像特定区域内像素比较敏感地感知. 式中：C(i,)表示图像第L层(i,)位置上的低频 另外，图像中某一局部区域各像素之间往往具有较 分量；w(i,)是权系数，一般可取简单平均。 强的相关性1s1.综上可知，基于像素的融合规则 比较2幅图像对应的窗口能量，得出新的低频 有片面性，所以融合效果往往不够理想.然而基于区 分量： 域窗口的融合规则相比于基于像素的融合规则更复 杂，花费时间更长，但可以获得更好的融合效果.为 cun-G:c04C 得到更好的融合效果，本文低频和高频融合规则都 式中：Ci(i,j)为融合后的低频分量灰度值；a、b为 采用基于窗口的融合规则. 权值，应满足较大的权值分配给窗口能量较大的图 本文提出了一种基于HS和小波变换的图像融 像，并且a+b=1. 合算法，该算法步骤如下： 5)小波系数分解后的高频分量包含图像的显 1)对红外图像和可见光图像进行严格配准。 著细节特征，如边缘、纹理、细节等信息.因此对高频 2)对可见光图像进行HS变换，得到I、H、S分 部分处理的主要目的是尽可能增强融合图像的细节 量，对红外图像进行灰度变换， 信息.而图像局部区域的标准差能够反映各像素灰 灰度变换采用的是三段线性变换法，表示为 度对应于区域灰度均值的离散情况，标准差越大，则 61, f<f; 灰度级分别越分散，从而可以更好地反映图像的纹 理、边缘等信息.因此本文采用了基于窗口标准差取 8= 2-gU-f)+g,f≤f≤： 大法的融合规则.此融合方法的思想是，选定M×N f<f g2, 的窗口，计算窗口内像素点灰度值标准差，比较2幅 式中：∫和g分别是灰度变换前和变换后的灰度值， 图像高频分量对应窗口的标准差，取标准差较大的 [f,f方]为实际图像的灰度范围，[g1,g2]为灰度变 高频分量作为新的高频分量.高频分量窗口标准差 换后图像的灰度范围.图2为灰度变换对比图像， 的定义为 (DLx(i,》-Dx)2 STD M×W 式中：M、N分别为窗口内所包含的行、列数；Dx(i, )表示图像第L层、K方向(i,)位置上的高频细 节；K=h,v,d分别代表水平、垂直和对角线方向. (a)原图像 (b)变换后图像 Dx为窗口内的像素灰度均值 图2灰度变换对比图像 得出标准差后按照下式确定新的高频分量！ Fig.2 The comparison images of gray-scale transformation [DLK(ij)=Di.K(ij),STD2 STDB; 3)对可见光图像的I分量和已增强的红外图像 Di(ij)=DEk(i,j),STD<STDa

第6期 李洋，等：基于HS和小波变换的可见光与红外图像融合 ·557· 6)对新分块图像进行小波重建，得到新强度分 图3()、(g)视觉效果较好、清晰度高、边缘清晰、光 量图像I.w,然后再进行HS逆变换得到融合图像F. 谱失真较小，但是红外图像中的重要信息却表现不 2融合实验及评价 够明显，只能观察到一个目标人物.利用本文算法融 合的图像3(h)视觉效果最好，图像整体亮度高、色 图3(a)、(b)给出了一组同一场景的彩色可见 彩鲜明并且图像边缘清晰，既保留了可见光图像中 光图像和红外图像.图3(a)亮度较高、可视性好、细 背景信息（树、房子、烟雾等）又保留了红外图像中 节信息丰富，但是由于有烟雾的存在，观察不到烟雾 的重要信息，2个目标人物与发热源均清晰可见.综 后面的目标人物和发热源.图3(b)中2个目标人 上比较本文算法优于上述其他算法，获得了很好的 物、发热源和房屋都清晰可见，但是周围其他景物很 融合效果. 模糊，细节信息缺失严重，只能看到大概轮廓， 本文还采用均值、信息熵、标准差和平均梯度等 OCTEC 客观评价标准将文中提出的方法与其他的方法进行 了对比，以下为评价标准的计算公式 1)均值(average value).它指的是像素的灰度 平均值，对人眼反应为平均亮度，其定义为 1 3r(w》, (a)可见光图像 )红外图像 E=MxN名台 式中：图像大小是M×N,F(i,)表示的是在点(i, 是0T0 》的灰度值： 2)标准差(standarn deviation).它反映了图像相 对于平均灰度值的离散情况.标准差越大，图像的灰 度级分布越分散，说明融合效果越好. M-N-可 (e)传统IHS变损 ()小波变换 ∑∑[F(i,)-F]2 STD POCTEC M×N 式中：F(i,)、F分别表示在点(i,)的灰度值和平 均灰度。 3)信息熵(information entropy).它是图像信息 量的度量，其定义为 L-1 (e)采H文献12的算法 (0采州文献141的算法 H=-∑Plog2P DOCTEC 式中：P:为灰度i的分布概率，L为灰度级总数，熵 值越大说明图像信息量越大 4)平均梯度(mean grade).它反映了图像中的 微小细节反差与纹理变化特征以及图像的清晰度， 其定义为 (g)采用文献17的算法 h)本文提的融合算法 1 △fi,)2+△fi,) 图3不同图像融合方法的实验结果 g=MxN点台V 2 Fig.3 The results of different image fusion methods 式中：△fi,j)、△f(i,j)分别为像素(i,j》在x、y 为了验证本方法的有效性，还采用了其他5种 方向上的一阶差分值， 图像融合算法进行对比实验，如图3(c)~(h) 从表1中可看出，本文所提出的方法在灰度均 图3(c)能够观察到红外目标，但是光谱失真并且细 值、信息嫡、平均梯度上优于其他算法，其中灰度均 节信息缺失严重；图3(d)整体偏暗，虽然光谱效果 值和平均梯度优势明显，这表明对比其他算法，利用 较好，但却丢失了红外图像中重要的信息，只能观察 本文的算法，融合后的图像亮度更高，微小细节及纹 到一个目标人物，而且红外目标不清晰；图3()与 理反映更好，图像的清晰度更高，融合图像携带的信 图3(c)效果接近，但是细节信息保留较好； 息更丰富

·558 智能系统学报 第7卷 表1图像融合试验结果 537-539. Table 1 Results of image fusion [6]CARPER W J,LILLESAND T M,KIEFER R F.The use 图像 灰度均值 标准偏差 信息熵 平均梯度 of intensity-hue-saturation transformations for merging SPOT panchromatic and multispectral image dataJ].Photogram- 图3(c) 111.844 27.259 6.548 1.825 metric Engineering Remote Sensing,1990,56(4):459- 图3(d) 114.255 30.743 6.382 2.625 467. 图3(e) 112.029 28.286 6.624 4.480 [7]Jr CHAVEZ P S,SIDES S C,ANDERSON J A.Compari- 图3(f)114.128 32.673 6.623 4.327 son of three difference methods to merge multiresolution and multipectral data:landsat TM and SPOT panchromatic[J]. 图3(g) 114.075 31.840 6.587 3.389 Photogrammetric Engineering Remote Sensing,1991,57 图3(h) 159.560 35.017 6.857 5.456 (3):295-303. [8]BURT P J,ADELSON E H.The Laplacian pyramid as a 3结束语 compact image code[J].IEEE Trans Commun,1983,31 (4):532-540. 针对可见光与红外图像融合，本文提出了一种 [9]LAINE I K A,TAYLOR F.Image fusion using steerable 基于HS变换和小波变换的方法.首先对红外图像 dyadic wavelet transform[C]//Proc of the IEEE Int'l Conf 进行适当的灰度变换，并对可见光进行HS变换，然 on Image Processing.Washington DC,USA,1995:232- 后对可见光图像中Ⅰ亮度分量和红外图像进行小波 235. 分解得到低频和高频分量，对于低频和高频分量分 [10]DO M N,VETTERLI M.The contourlet transform:an ef- 别采用基于窗口能量的加权平均法和基于窗口区域 ficient directional multi-resolution image representation 标准差取大法.实验仿真结果表明，本文方法不仅能 [J].IEEE Transactions on Image Processing,2005,14 够大大增强融合图像的亮度与清晰度，并且能够保 (12):2091-2106. 留可见光图像中的光谱信息与红外图像中的重要信 [11]吴怀群，黄宵宁，王建，等.一种基于熵值的自动阈值 息，是一种有效的图像融合方法. 图像分割方法[J].应用科技，2011,38(8)：14. WU Huaiqun,HUANG Xiaoning,WANG Jian,et al.A 参考文献： method of image segmentation for automatically calculating threshold based on entropy[J].Applied Science and Tech- [1]POHL C,Van GENDEREN J L.Multisensor image fusion nology,2011,38(8):14. in remote sensing:concepts,methods and applications[]. [12]TU T,SU S,SHYN H,et al.A new look at IHS-like im- International Joumnal of Remote Sensing,1998,9(5): age fusion methods [J].Information Fusion,2001 (2): 823-854. 177-186. [2]葛小青.红外与可见光图像融合的研究[D].重庆：重 [13]张晓煜，李向.基于HS变换与小波变换的图像融合 庆大学，2010：1-3. [J].计算机与现代化，2007(8)：4853. GE Xiaoging.Research on fusion of infrared and visible im- ZHANG Xiaoyu,LI Xiang.Image fusion based on IHS and ages[D].Chongqing:Chongqing University,2010:1-3. wavelet transforms[J].Computer and Modernization,2007 [3]蒋晓瑜.基于小波变换和伪彩色方法的多重图像融合算 (8):48-53. 法研究[D].北京：北京理工大学，1997：15. [14]MALLAT S.A theory for multiresolution signal decomposi- JIANG Xiaoyu.Multiple image fusion algorithm based on tion:the wavelet representation[J].IEEE Transactions on wavelet transform and pseudo-color method [D].Beijing: Pattern Analysis and Machine Intellience,1989,11(7): Beijing Institute of Technology,1997:1-5. 674-693. [4]胡江华，柏连发，张保民.像素级多传感器图像融合技术 [15]唐国良，普杰信，黄心汉.一种基于HS和小波变换的 [J].南京理工大学学报，1996,20(5)：453456. 彩色图像融合算法[J].计算机应用研究，2006(10)： HU Jianghua,BAI Lianfa,ZHANG Baomin.Pixel level 174-175. multisensor image fusion technique[J].Journal of Nanjing TANG Guoliang,PU Jiexin,HUANG Xinhan.Color image University of Science and Technology,1996,20(5):453- fusion algorithm based on IHS and wavelet transformation 456. [J].Application Research of Computers,2006(10): [5]张加友，王江安.红外图像融合[J].光电子·激光， 174-175. 2000,11(5):337-539. [16]郭佳.红外与可见光图像融合技术的研究[D].西安： ZHANG Jiayou,WANG Jiang'an.Infrared image fusion 西安工业大学，2009：7-16. [J].Journal of Optoelectronics.Laser,2000,11(5): GUO Jia.Research on fusion technology of infrared and

第6期 李洋，等：基于HS和小波变换的可见光与红外图像融合 ·559 visible image[D].Xi'an:Xi'an Technological University 焦淑红，女，1966年生，教授，博士 2009:7-16. 生导师，博士，中国图像图形学会会员， [17]孙即祥.图像处理[M].北京：科学出版社，2009：2527. 黑龙江省生物医学工程学会会员.主要 [18]曲昆鹏，郑丽颖.基于目标、背景比例的灰度图像自动 研究方向为图像处理与机器视觉、精确 阈值选取法[J].应用科技，2011,37(2)：52-54. 制导与定位.获省部级科技进步二等奖 QU Kunpeng,ZHENG Liying.Automatic thresholding of 2项、三等奖3项.发表学术论文多篇， gray-scale image based on the proportion of object and 其中被SCI检索1篇，EI检索40余篇，ISTP检索1篇.出版 background[J].Applied Science and Technology,2010, 教材2部，其中《多媒体信息系统》被列为国家“十一五”规 37(2):52-54. 划教材. 作者简介： 李祥，女，1987年生，硕士研究生 孙新章，男，1987年生，硕士研究 主要研究方向为图像融合. 生，主要研究方向为光电检测和图像融 合 第7届国际图象图形学学术会议 The 7th International Conference on Image and Graphics The 7th International Conference on Image and Graphics (ICIG 2013),hosted by Shandong University of Science and Technology (SDUST),will be held from July 26-28,2013,in Qingdao,Shandong,China.ICIG,organized by China So- ciety of Image and Graphics,is one of the most comprehensive biennial conferences,which focuses on advances in various aspects of Image and Graphics.The goal of this conference is to bring together both domestic and interational researchers from academia and industry,as well as practitioners,to share ideas,problems,and solutions related to the multifaceted aspects mentioned above.This conference will feature world-class plenary speakers,exhibits,and high quality peer re- viewed oral and poster presentations.All accepted papers will appear in conference proceedings published by the IEEE Computer Society Press(USA).Accepted papers at ICIG2013 are indexed by EI and ISTP.For more information,visit the conference website or email the secretariat at ICIG2013@126.com. Topics:The conference seeks novel and original contributions in all aspect of image and graphics,pattern recognition, computer vision,virtual reality,etc,including but not limited to the following topics: 1.Image Processing/Analysis/Understanding:capturing,coding,Bioimaging,transmission,storage,enhancement, restoration,reconstruction,segmentation,representation,description,measurement,texture,motion,matching,fusion, scene understanding,3-D modeling,etc. 2.Pattern Recognition and Machine Learning:Patter recognition,Feature Extraction,Biometrics,Grouping and Seg- mentation,applications in text,speech,image,video,etc. 3.Computer Vision:Vision,3-D modeling,stereo,activity and object recognition,Tracking and surveillance,Structure from Motion,Shape Representation and Matching,etc. 4.Computer Graphics and Visualization:models and generation,algorithm,system,Scientific Computation visualiza- tion,Simulation,application,etc. 5.Virtual Reality:models,augmented reality,mixed reality,media immersion,Human-computer interaction,3D inter- action for VR,Virtual Instruments,3D Entertainment,Applications of AR/MR/VR,etc. 6.Game and Animation:story-telling,game engine,3D game,mobile game,animation,virtual human. 7.Other Areas:Public Security Systems,Intelligent Transportation,Environmental Monitoring,Health Care,remote sensing,etc. Paper Templates.Please download the paper template from here:The 7th Intemational Conference on Image and Graph- ics (ICIG 2013) Paper Publications.All the papers accepted for presentation at the conference will be included in the Proceedings of ICIG2013,published by the IEEE Computer Society Press (USA),and will be indexed by EI and ISTP. Important Deadlines:Paper Submission Deadline:April 5,2013 Notification of Acceptance:May 15,2013 Camera-Ready Copy Due:June 15,2013