第8卷第4期 智能系统学报 Vol.8 No.4 2013年8月 CAAI Transactions on Intelligent Systems Aug.2013 D0I:10.3969/i.issn.1673-4785.201304038 网络出版地址:http:/www.cnki.net/kcms/detail/23.1538.TP.20130603.1601.001.html 一种SAR图像稳健特征点提取方法 许可乐,唐涛,蒋咏梅 (国防科技大学电子科学与工程学院,湖南长沙410073) 摘要:针对合成孔径香达(SAR)图像自动配准问题,提出了一种新的SAR图像特征点提取方法.先对SAR图像灰 度值进行对数变换处理,将乘性噪声转化为加性噪声,然后利用Gbor滤波器取代高斯滤波器建立尺度空间,使SAR 图像在低尺度仍较好地保留细节,增加了提取特征点数目,并设置了对比度双门限,有效地抑制了伪特征点,从而提 高SAR图像配准的精度和速度.实验结果表明,SAR图像稳健特征点提取方法是有效的. 关键词:SAR;图像配准;特征提取:SIFT:Gabor滤波器 中图分类号:TP751.1文献标志码:A文章编号:1673-4785(2013)04-0287-05 中文引用格式:许可乐,唐涛,蒋咏梅.一种新的SAR图像稳健特征点提取方法[J].智能系统学报,2013,8(4):287-291. 英文引用格式:XUKele,TANGTao,JIANG Yongmei.A stable feature point extraction approach for SAR image registration[J] CAAI Transactions on Intelligent Systems,2013,8(4):287-291. A stable feature point extraction approach for SAR image registration XU Kele,TANG Tao,JIANG Yongmei School of Electronic Science and Engineering,National University of Defense Technology,Changsha 410073,China) Abstract:For the automatic registration of a synthetic aperture radar(SAR)image,we propose a feature point ex- traction approach.First,by examining the logarithmic transform for the grey level of the SAR image,it was discov- ered that the multiplicative noise can be transformed into the additional noise.Then the scale space of the image was constructed by substituting multi-scale Gabor filter for Gaussian filter,which reveals the SAR image still has details better in a low scale,and increases the number of extracted feature points.Further,the double thresholds for con- trast ratio are set up to discard the false feature point effectively,thereby increasing the precision and speed of SAR image registration.The results of the experiments demonstrate the applicability of approach to find feature points for stable SAR image registration. Keywords:SAR;image registration;feature extraction;SIFT;Gabor filter 图像配准是指依据一些相似性度量,决定图像 合成孔径雷达(synthetic aperture radar,SAR) 间的变换参数,使从不同传感器、不同视角、不同时 图像配准与光学图像的配准既有相通之处,又有自 间获取的同一场景的2幅或多幅图像变换到同一坐 身的一些特点.整体而言,相对于光学图像,SAR图 标系,并在像素层上得到最佳匹配的过程.近年来, 像中同名特征点的自动提取更加困难.首先,由于 利用稳定的特征描述子匹配成为图像配准领域研究 SAR图像的信噪比远低于光学图像,导致SAR图像 的热点和难点之一,特别是Lowe利用尺度不变特征 中的特征点自动提取存在困难,特别是其固有的斑 转换(scale-invariant feature transform,SlFT)方法提 点噪声严重影响特征点的提取性能,冗余、错误的伪 取的图像特征被成功应用于光学图像配准领域,并 特征点的存在也严重影响了后续特征点的匹配工 得到广泛认可山 作,一旦特征点失配,形成错误的同名点,则图像配 准基本失效[2].另外,由于待配准的SAR图像往往 收稿日期:2013-04-15.网络出版日期:2013-06-03 通信作者:许可乐.E-mail:xukelele@l63.com, 比较大,如果直接应用SIFT方法提取SAR图像的
第 8 卷第 4 期 智 能 系 统 学 报 Vol.8 №.4 2013 年 8 月 CAAI Transactions on Intelligent Systems Aug. 2013 DOI:10.3969 / j.issn.1673⁃4785.201304038 网络出版地址:http: / / www.cnki.net / kcms/ detail / 23.1538.TP.20130603.1601.001.html 一种 SAR 图像稳健特征点提取方法 许可乐,唐涛,蒋咏梅 (国防科技大学 电子科学与工程学院,湖南 长沙 410073) 摘 要:针对合成孔径雷达(SAR)图像自动配准问题,提出了一种新的 SAR 图像特征点提取方法.先对 SAR 图像灰 度值进行对数变换处理,将乘性噪声转化为加性噪声,然后利用 Gabor 滤波器取代高斯滤波器建立尺度空间,使 SAR 图像在低尺度仍较好地保留细节,增加了提取特征点数目,并设置了对比度双门限,有效地抑制了伪特征点,从而提 高 SAR 图像配准的精度和速度.实验结果表明,SAR 图像稳健特征点提取方法是有效的. 关键词:SAR;图像配准;特征提取;SIFT;Gabor 滤波器 中图分类号: TP751.1 文献标志码:A 文章编号:1673⁃4785(2013)04⁃0287⁃05 中文引用格式:许可乐,唐涛,蒋咏梅.一种新的 SAR 图像稳健特征点提取方法[J]. 智能系统学报, 2013, 8(4): 287⁃291. 英文引用格式:XU Kele, TANG Tao, JIANG Yongmei. A stable feature point extraction approach for SAR image registration[J]. CAAI Transactions on Intelligent Systems, 2013, 8(4): 287⁃291. A stable feature point extraction approach for SAR image registration XU Kele, TANG Tao, JIANG Yongmei (School of Electronic Science and Engineering, National University of Defense Technology, Changsha 410073, China) Abstract:For the automatic registration of a synthetic aperture radar(SAR) image, we propose a feature point ex⁃ traction approach. First, by examining the logarithmic transform for the grey level of the SAR image, it was discov⁃ ered that the multiplicative noise can be transformed into the additional noise. Then the scale space of the image was constructed by substituting multi⁃scale Gabor filter for Gaussian filter, which reveals the SAR image still has details better in a low scale, and increases the number of extracted feature points. Further, the double thresholds for con⁃ trast ratio are set up to discard the false feature point effectively, thereby increasing the precision and speed of SAR image registration. The results of the experiments demonstrate the applicability of approach to find feature points for stable SAR image registration. Keywords:SAR; image registration; feature extraction; SIFT; Gabor filter 收稿日期:2013⁃04⁃15. 网络出版日期:2013⁃06⁃03. 通信作者:许可乐. E⁃mail:xukelele@ 163.com. 图像配准是指依据一些相似性度量,决定图像 间的变换参数,使从不同传感器、不同视角、不同时 间获取的同一场景的 2 幅或多幅图像变换到同一坐 标系,并在像素层上得到最佳匹配的过程.近年来, 利用稳定的特征描述子匹配成为图像配准领域研究 的热点和难点之一,特别是 Lowe 利用尺度不变特征 转换(scale⁃invariant feature transform, SIFT)方法提 取的图像特征被成功应用于光学图像配准领域,并 得到广泛认可[1] . 合成孔径雷达( synthetic aperture radar, SAR) 图像配准与光学图像的配准既有相通之处,又有自 身的一些特点.整体而言,相对于光学图像,SAR 图 像中同名特征点的自动提取更加困难.首先,由于 SAR 图像的信噪比远低于光学图像,导致 SAR 图像 中的特征点自动提取存在困难,特别是其固有的斑 点噪声严重影响特征点的提取性能,冗余、错误的伪 特征点的存在也严重影响了后续特征点的匹配工 作,一旦特征点失配,形成错误的同名点,则图像配 准基本失效[2⁃3] .另外,由于待配准的 SAR 图像往往 比较大,如果直接应用 SIFT 方法提取 SAR 图像的
·288- 智能系统学报 第8卷 特征进行图像配准,精度和时效性往往都较差 sensus,RANSAC)算法进行特征匹配,该算法的特征点 以往SAR图像对SIFT算法的改进方法都存在 提取数目较SFT-OCT有所增加9 以下2个问题:1)跳过SFT差分尺度空间的第1阶 2 Gabor-SIFT特征点提取算法 尺度,提取特征点数目较少:2)存在相当数量的误 匹配.针对上述2个问题,本文基于多尺度Gabor滤 2.1 多尺度Gabor滤波器组 波器组及对比度双门限特征点精化(Gabor-SIFT)方 SIFT算子是在Gaussian滤波基础上创建 法,提出了一种新的SAR图像特征点提取方法,实 Gaussian差分尺度空间.但是目前此类方法所选用 验结果的分析与比较验证了算法的有效性 的高斯微分核函数主要针对的是Blob模型的特征 点,无法对图像频域信息进行方向选择,经常会遗失 SIFT简介 部分频域内的方向信息,导致其适应性降低.Gabor SFT包含3个主要步骤:特征提取、特征描述 滤波器成为描述视觉信号接收场响应模型的一个强 和特征匹配.首先在高斯差分尺度空间中进行极值 有力的工具,具有时域和频域的联合最佳分辨率,并 检测,以初步确定关键点位置和所在尺度在每个候 且较好地模拟了人类视觉系统的视觉感受特性[o 选特征,点所在位置,通过泰勒展开确定关键点的精 空间域Gabor函数可以写成: 确位置和尺度.剔除低对比度的关键点和不稳定的 g(x,y)= 边缘响应点(因为DoG算子会产生较强的边缘响 exp(2fx,).(1) 应),以增强匹配稳定性和提高抗噪声能力.利用关 22 键点邻域像素的梯度方向分布特性为每个关键点指 由于目标图像对不同尺度、不同角度的Gabor响 定方向参数,使算子具备旋转不变性,并利用联合邻 应不同,因此,如果目标特征在原始尺度具有一定的 域信息生成SFT特征向量.最后采用关键点特征向 可区分性,对图像进行多尺度分析,可以有效提高目 量的欧式距离作为2幅图像中关键点的相似性判定 标的识别率增加多个尺度的信息可以丰富目标特 度量 征,但是持续增大尺度,会使不同目标的差异变小,而 为了将SFT算子更好地应用于SAR图像特征 且太多的尺度也会给计算增加负担在本文后续实验 提取,很多学者提出了改进方法Ke)在假设提取的 中,尺度层数选为0=3,且x坐标变化尺度、y坐标变 图像特征服从Gaussian分布的情况下,利用核主成 化尺度选取相同.Gabor函数对整个频谱的选择特性 分分析(principal component analysis,.PCA)的方法 与DoG算子一样,但进行了方向划分.实验结果将会 对SIFT特征降维构建了PCA-SIFT描述子,实现了 表明,多尺度Gabor滤波器组相对Gaussian滤波器具 特征的快速匹配.Li)对ST特征的尺度和方向进 有更好的细节保持特性,将多尺度Gabor滤波器取代 行限制,提出一种新的描述子SR-SFT,实现了遥感 传统Gaussian滤波器会增加特征点提取数目。 图像的稳健配准,然而其算法复杂度较高.Delponte 2.2评估准则 将SIFT方法和奇异值分解方法(singular value de- 由于不同SAR系统的成像视角、范围及时间都 composition,SVD)结合,把图像的谱信息融入到匹 有变化,因此它们获取的同一一地区的图像内容会有差 配过程中,利用SFT特征描述子的欧式距离构建相 异,很难基于这些图像来定量评估特征点检测与匹配 似矩阵,此方法比直接利用点坐标之间的欧式距离 算法的性能.通常的做法是对某一原始图像进行仿射 匹配更稳健,但对于视觉和尺度差别较大的图像,结 等几何变换以及照度变换来获得多幅测试图像本文 果不是很理想[6-).Schwind8)提出SFT-Octive算法 比较特征点的重复率,在找到原始图像α与测试图像 scale invariant feature transform-octive,SIFT-OCT), b间的匹配,点对集合R的重复率就表示正确匹配的 该算法在特征点的提取时跳过尺度空间第一阶尺 点对个数N。与特征点提取个数的比值,其中提取特 度,以保证提取特征点的精确度和降低特征点提取 征,点的数目为待配准2幅图像中特征点的数目中较 的时间复杂度,其余过程与SFT相同.但该算法特 小的一个,下文实验结果中表意相同0] 征点提取个数较少 R Y= (2) 为了克服SFT-OCT算法特征,点提取数目较少的 min({(x..))())D)' 问题,Wang提出BFSIFT算法,该算法通过双边滤波器 式中:1·为集合的样本数 (bilateral filter)建立各向异性的尺度空间,然后基于双 2.3对数变换 组配合策略和随机抽样一致算法(random sample con- 乘法模型是建模和分析SAR图像的常用模型
特征进行图像配准,精度和时效性往往都较差. 以往 SAR 图像对 SIFT 算法的改进方法都存在 以下 2 个问题:1)跳过 SIFT 差分尺度空间的第 1 阶 尺度,提取特征点数目较少;2) 存在相当数量的误 匹配.针对上述 2 个问题,本文基于多尺度 Gabor 滤 波器组及对比度双门限特征点精化(Gabor⁃SIFT)方 法,提出了一种新的 SAR 图像特征点提取方法,实 验结果的分析与比较验证了算法的有效性. 1 SIFT 简介 SIFT 包含 3 个主要步骤:特征提取、特征描述 和特征匹配.首先在高斯差分尺度空间中进行极值 检测,以初步确定关键点位置和所在尺度.在每个候 选特征点所在位置,通过泰勒展开确定关键点的精 确位置和尺度.剔除低对比度的关键点和不稳定的 边缘响应点(因为 DoG 算子会产生较强的边缘响 应),以增强匹配稳定性和提高抗噪声能力.利用关 键点邻域像素的梯度方向分布特性为每个关键点指 定方向参数,使算子具备旋转不变性,并利用联合邻 域信息生成 SIFT 特征向量.最后采用关键点特征向 量的欧式距离作为 2 幅图像中关键点的相似性判定 度量. 为了将 SIFT 算子更好地应用于 SAR 图像特征 提取,很多学者提出了改进方法.Ke [4]在假设提取的 图像特征服从 Gaussian 分布的情况下,利用核主成 分分析( principal component analysis, PCA) 的方法 对 SIFT 特征降维构建了 PCA⁃SIFT 描述子,实现了 特征的快速匹配.Li [5] 对 SIFT 特征的尺度和方向进 行限制,提出一种新的描述子 SR⁃SIFT,实现了遥感 图像的稳健配准,然而其算法复杂度较高.Delponte 将 SIFT 方法和奇异值分解方法( singular value de⁃ composition, SVD)结合,把图像的谱信息融入到匹 配过程中,利用 SIFT 特征描述子的欧式距离构建相 似矩阵,此方法比直接利用点坐标之间的欧式距离 匹配更稳健,但对于视觉和尺度差别较大的图像,结 果不是很理想[6⁃7] . Schwind [8] 提出 SIFT⁃Octive 算法 (scale invariant feature transform⁃octive, SIFT⁃OCT), 该算法在特征点的提取时跳过尺度空间第一阶尺 度,以保证提取特征点的精确度和降低特征点提取 的时间复杂度,其余过程与 SIFT 相同.但该算法特 征点提取个数较少. 为了克服 SIFT⁃OCT 算法特征点提取数目较少的 问题,Wang 提出 BFSIFT 算法,该算法通过双边滤波器 (bilateral filter)建立各向异性的尺度空间,然后基于双 组配合策略和随机抽样一致算法(random sample con⁃ sensus, RANSAC)算法进行特征匹配,该算法的特征点 提取数目较 SIFT⁃OCT 有所增加[9] . 2 Gabor⁃SIFT 特征点提取算法 2.1 多尺度 Gabor 滤波器组 SIFT 算 子 是 在 Gaussian 滤 波 基 础 上 创 建 Gaussian 差分尺度空间.但是目前此类方法所选用 的高斯微分核函数主要针对的是 Blob 模型的特征 点,无法对图像频域信息进行方向选择,经常会遗失 部分频域内的方向信息,导致其适应性降低.Gabor 滤波器成为描述视觉信号接收场响应模型的一个强 有力的工具,具有时域和频域的联合最佳分辨率,并 且较好地模拟了人类视觉系统的视觉感受特性[10] . 空间域 Gabor 函数可以写成: g(x,y) = 1 πσxσy exp - x 2 r 2σ 2 x + y 2 r 2σ 2 y æ è ç ö ø ÷ æ è ç ö ø ÷ exp j2πf 0 xr ( ) .(1) 由于目标图像对不同尺度、不同角度的 Gabor 响 应不同,因此,如果目标特征在原始尺度具有一定的 可区分性,对图像进行多尺度分析,可以有效提高目 标的识别率.增加多个尺度的信息可以丰富目标特 征,但是持续增大尺度,会使不同目标的差异变小,而 且太多的尺度也会给计算增加负担.在本文后续实验 中,尺度层数选为 O= 3,且 x 坐标变化尺度、y 坐标变 化尺度选取相同.Gabor 函数对整个频谱的选择特性 与 DoG 算子一样,但进行了方向划分.实验结果将会 表明,多尺度 Gabor 滤波器组相对 Gaussian 滤波器具 有更好的细节保持特性,将多尺度 Gabor 滤波器取代 传统 Gaussian 滤波器会增加特征点提取数目. 2.2 评估准则 由于不同 SAR 系统的成像视角、范围及时间都 有变化,因此它们获取的同一地区的图像内容会有差 异,很难基于这些图像来定量评估特征点检测与匹配 算法的性能.通常的做法是对某一原始图像进行仿射 等几何变换以及照度变换来获得多幅测试图像.本文 比较特征点的重复率,在找到原始图像 a 与测试图像 b 间的匹配点对集合 R 的重复率就表示正确匹配的 点对个数 NR 与特征点提取个数的比值,其中提取特 征点的数目为待配准 2 幅图像中特征点的数目中较 小的一个,下文实验结果中表意相同[10] . γ = R min xa ,ya { ( ) } xb,yb ( { ( ) } ) . (2) 式中: |·|为集合的样本数. 2.3 对数变换 乘法模型是建模和分析 SAR 图像的常用模型. ·288· 智 能 系 统 学 报 第 8 卷
第4期 许可乐,等:一种SAR图像稳健特征点提取方法 ·289. 乘积模型认为,在一定的条件下,雷达回波是斑点噪 接用基于Gabor滤波器建立的尺度空间提取候选的 声和后向散射这2个随机过程共同作用的结果 特征点依然存在着一定数量的伪特征点.为了得到 SAR图像被建模为2个独立随机变量R和u的乘 稳定的特征点,仅删除Gabor差分尺度空间中响应 积,R为建模区域的后向散射,u为建模图像的斑 值低的点和删除边缘效应是不够的.针对SAR图 点,则: 像,本文采用抑制伪特征点的方法 Z=R·u (3) 删除低对比度的特征点的同时剔除对比度过高 两边同时取自然对数,则式(3)变为 的特征点,这样可以很好地抑制伪特征点.针对SAR In(Z)=In(R)+In(u). (4) 图像对比度上限的选择,选取了不同场景(如森林、 为了验证SAR图像灰度值作对数变换对特征 海洋、草地等)下,不同波段的SAR图像进行了配准 点数目以及正确匹配点的影响,本文分别选取多幅 实验.实验结果表明,在对比度上限取4.2时,重复率 不同波段、不同分辨率和不同极化方式的SAR图像 取值相对较大,本文在实验中对比度上限选为4.26 进行特征点提取数目和正确匹配点对数目的比较. 表3为不同波段、不同分辨率、不同极化方式下重复 为了使实验结果具有更好的对比说明性,以大小为 率变化情况 750×515,不同波段、不同分辨率和不同极化方式的 表3不同波段、不同分辨率、不同极化方式下重复率变化 特征点提取进行实验,表1、2为实验对比果 Table 3 Repeatability in different bands,different resolu- 表1灰度值对数变换前后特征点提取数目 tions,and different polarization modes Table 1 Number of the feature points extracted before and 门限 after the logarithmic transformation 比较方式 45 10203040 不同极 比较方式 不同波段不同分率辨 不同波段 0.770.94 0.88 0.640.46 0.42 化方式 不同分辨率 0.750.960.820.670.560.52 2幅图像取对数提 8417 2859 10691 取特征点数目 不同极化方式0.730.950.820.770.660.62 2幅图像不取对数 2.5 Gabor-SIFT算法流程 6472 2198 7852 提取特征点数目 为了更加清晰地阐述本文算法,给出本文算法 表2灰度值对数变换前后正确匹配点对数目 流程图,如图1. Table 2 Number of the correct-matched feature points ex- tracted before and after the logarithmic transfor- 输人SAR图像a 输人SAR图像b mation 不同极 图像灰度进行对数变换 图像灰度进行对数变换 比较方式 不同波段不同分率辨 化方式 取对数正确匹配 基于Gabori滤波器组 基于Gabori滤波器组 2045 549 549 点对数目 建立多尺度差分空间 建立多尺度差分空间 不取对数正确匹 1720 530 342 配点对数目 尺度空间极值检测 尺度空间极值检测 实验结果表明,在对SAR图像进行SIFT特征 基于双门限进行 基于双门限进行 提取之前进行对数变换能够有效地提高特征点提取 关键点的精确定位 关键点的精确定位 数目和正确匹配点对的数目.分析其原因为:SAR图 像的噪声模型为乘性噪声模型,对图像取对数变换 描述子构造 描述子构造 能够在数学意义上将乘性噪声转化成加性噪声, SFT算子中通过拟和三维二次函数以精确确定关 特征向量 特征向量 键点的位置和尺度,同时剔除低对比度的关键点和 不稳定的边缘响应点的步骤都提高了算子对加性噪 基于RANSAC进行特征匹配 声的抗干扰能力.以下实验都是基于对SAR图像进 行对数变换的基础上进行的。 特征点匹配点对 2.4基于对比度双门限的候选特征点优化 图1 Gabor-SFT算法流程 由于SAR图像中存在严重的斑点噪声现象,直 Fig.1 Flow chart of Gabor-SIFT
乘积模型认为,在一定的条件下,雷达回波是斑点噪 声和后向散射这 2 个随机过程共同作用的结果. SAR 图像被建模为 2 个独立随机变量 R 和 u 的乘 积,R 为建模区域的后向散射,u 为建模图像的斑 点,则: Z = R·u. (3) 两边同时取自然对数,则式(3)变为 ln(Z) = ln(R) + ln(u). (4) 为了验证 SAR 图像灰度值作对数变换对特征 点数目以及正确匹配点的影响,本文分别选取多幅 不同波段、不同分辨率和不同极化方式的 SAR 图像 进行特征点提取数目和正确匹配点对数目的比较. 为了使实验结果具有更好的对比说明性,以大小为 750×515,不同波段、不同分辨率和不同极化方式的 特征点提取进行实验,表 1、2 为实验对比果. 表 1 灰度值对数变换前后特征点提取数目 Table 1 Number of the feature points extracted before and after the logarithmic transformation 比较方式 不同波段 不同分率辨 不同极 化方式 2 幅图像取对数提 取特征点数目 8 417 2 859 10 691 2 幅图像不取对数 提取特征点数目 6 472 2 198 7 852 表 2 灰度值对数变换前后正确匹配点对数目 Table 2 Number of the correct⁃matched feature points ex⁃ tracted before and after the logarithmic transfor⁃ mation 比较方式 不同波段 不同分率辨 不同极 化方式 取对数正确匹配 点对数目 2 045 549 549 不取对数正确匹 配点对数目 1 720 530 342 实验结果表明,在对 SAR 图像进行 SIFT 特征 提取之前进行对数变换能够有效地提高特征点提取 数目和正确匹配点对的数目.分析其原因为:SAR 图 像的噪声模型为乘性噪声模型,对图像取对数变换 能够在数学意义上将乘性噪声转化成加性噪声, SIFT 算子中通过拟和三维二次函数以精确确定关 键点的位置和尺度,同时剔除低对比度的关键点和 不稳定的边缘响应点的步骤都提高了算子对加性噪 声的抗干扰能力.以下实验都是基于对 SAR 图像进 行对数变换的基础上进行的. 2.4 基于对比度双门限的候选特征点优化 由于 SAR 图像中存在严重的斑点噪声现象,直 接用基于 Gabor 滤波器建立的尺度空间提取候选的 特征点依然存在着一定数量的伪特征点.为了得到 稳定的特征点,仅删除 Gabor 差分尺度空间中响应 值低的点和删除边缘效应是不够的. 针对 SAR 图 像,本文采用抑制伪特征点的方法. 删除低对比度的特征点的同时剔除对比度过高 的特征点,这样可以很好地抑制伪特征点.针对 SAR 图像对比度上限的选择,选取了不同场景(如森林、 海洋、草地等)下,不同波段的 SAR 图像进行了配准 实验.实验结果表明,在对比度上限取4.2时,重复率 取值相对较大,本文在实验中对比度上限选为 4.26. 表 3 为不同波段、不同分辨率、不同极化方式下重复 率变化情况. 表 3 不同波段、不同分辨率、不同极化方式下重复率变化 Table 3 Repeatability in different bands, different resolu⁃ tions, and different polarization modes 比较方式 门限 4 5 10 20 30 40 不同波段 0.77 0.94 0.88 0.64 0.46 0.42 不同分辨率 0.75 0.96 0.82 0.67 0.56 0.52 不同极化方式 0.73 0.95 0.82 0.77 0.66 0.62 2.5 Gabor⁃SIFT 算法流程 为了更加清晰地阐述本文算法,给出本文算法 流程图,如图 1. 图 1 Gabor⁃SIFT 算法流程 Fig. 1 Flow chart of Gabor⁃SIFT 第 4 期 许可乐,等:一种 SAR 图像稳健特征点提取方法 ·289·
·290. 智能系统学报 第8卷 3实验结果及分析 点提取与匹配结果图像,分辨率为1m×1m.结果表 明,本文所述方法在不同分辨率下,无论在特征点提 实验利用不同波段、不同分辨率及不同极化方 取数目上,还是在正确匹配点对数目上较BFSIFT 式下的实测数据,对本文所提Gabor-SIFT算法进行 算法均有较大提高.与不同波段下相同,本文所述方 性能的评估. 法在时效性上略差此外,在图像大小相差不大的情 3.1不同波段特征点提取与匹配结果 况下,不同分辨率下,不同波段、不同极化方式特征 图2中2幅不同波段的SAR图像用于本算法 点数目明显减少.表5为不同分辨率下正确匹配点 特征点提取的测试,图2(a)为X波段,图2(b)为C 对数目与特征点数目提取结果及特征提取时间, 波段.X波段的图像大小为750×515,C波段图像大 小为600×412,表4为本文所述算法(Gabor-SIFT)与 文献[9]所述方法及直接用Gabor滤波器进行滤波、 再进行SFT特征提取的特征点检测数目及匹配时 间的比较: (a)BFSIFT特征点提取与匹配结果 (a)BFSIFT特征点提取与匹配结果 (b)本文所述方法特征点提取与匹配结果 图3不同分辨率下特征点提取与匹配结果 Fig.3 Results of the feature points extraction and match in different resolutions 表5不同分辨率正确匹配点对数目与特征点数目提取结 (b)Gabor-SlFT特征点提取与匹配结果 果及特征提取时间对比 图2不同波段下特征点提取与匹配结果 Table 5 Number of correct-match points,result of feature Fig.2 Results of the feature points extraction and points extraction and the time consumed in differ. match in different bands ent resolutions 表4,不同波段正确匹配点对数目与特征点数目提取结果 参数 BFSIFT 本文方法 正确匹配点对数目/特征 Table 4 Number of correct-match points and result of fea- 42/1508 98/5312 ture points extraction in different band 点数目 特征提取时间/s 9.615 12.674 正确匹配点对数目/提取特征点数目 方法 第0阶第1阶第2阶第3阶总计 3.3不同极化方式特征点提取与匹配结果 图4(a)的极化方式为HH,为BFSIFT特征点提 71/ 97/ BFSIFT 22/324 4/56 1253 1633 取与匹配结果,图4(b)的极化方式为HV,为本文所 Gabor- 106/ 209/ 述方法特征点提取与匹配结果结果表明不同极化 73/32025/88 5/19 SIFT 4706 5115 方式下,本文所述方法较BSFT除在时间复杂度 从表4分析可知,无论是特征点提取的数目还 外的各项指标均有所提高,尤其是正确匹配对数目, 是正确匹配对数目,本文所述方法比直接应用多度 如表6. Gabor滤波器与SIFT算子直接方法,或是BFSIFT算 表6不同极化方式正确匹配点对数目与特征点数目提取 法都有较大幅度的提高.但由于BFSIFT跳过尺度空 结果及特征提取时间对比 间第1阶尺度进行,所以本文所述算法在时间复杂 Table 6 Number of correct-match points,result of feature 度比BFSIFT略高.在一般情况下,尺度空间中往往 points extraction and the time consumed in differ. ent polarization modes 在第1阶尺度包含信息最多,为了保证提取足够多 的特征点数目,本文建议不宜跳过第1阶尺度 参数 BFSIFT 本文方法 3.2不同分辨率特征点提取与匹配结果 正确匹配点对数/特征点 133/4691 549/10568 图3(a)为BFSIFT特征点提取与匹配结果图 数目 像,分辨率为3m×3m;图3(b)为Gabor-SIFT特征 特征提取时间/s 10.265 19.654
3 实验结果及分析 实验利用不同波段、不同分辨率及不同极化方 式下的实测数据,对本文所提 Gabor⁃SIFT 算法进行 性能的评估. 3.1 不同波段特征点提取与匹配结果 图 2 中 2 幅不同波段的 SAR 图像用于本算法 特征点提取的测试,图 2(a)为 X 波段,图 2(b)为 C 波段.X 波段的图像大小为 750×515,C 波段图像大 小为600×412,表 4 为本文所述算法(Gabor⁃SIFT)与 文献[9]所述方法及直接用 Gabor 滤波器进行滤波、 再进行 SIFT 特征提取的特征点检测数目及匹配时 间的比较. (a)BFSIFT 特征点提取与匹配结果 (b)Gabor⁃SIFT 特征点提取与匹配结果 图 2 不同波段下特征点提取与匹配结果 Fig. 2 Results of the feature points extraction and match in different bands 表 4 不同波段正确匹配点对数目与特征点数目提取结果 Table 4 Number of correct⁃match points and result of fea⁃ ture points extraction in different band 方法 正确匹配点对数目/ 提取特征点数目 第 0 阶 第 1 阶 第 2 阶 第 3 阶 总计 BFSIFT — 71 / 1 253 22 / 324 4 / 56 97 / 1 633 Gabor⁃ SIFT 106 / 4 706 73 / 320 25 / 88 5 / 19 209 / 5 115 从表 4 分析可知,无论是特征点提取的数目还 是正确匹配对数目,本文所述方法比直接应用多度 Gabor 滤波器与 SIFT 算子直接方法,或是 BFSIFT 算 法都有较大幅度的提高.但由于 BFSIFT 跳过尺度空 间第 1 阶尺度进行,所以本文所述算法在时间复杂 度比 BFSIFT 略高.在一般情况下,尺度空间中往往 在第 1 阶尺度包含信息最多,为了保证提取足够多 的特征点数目,本文建议不宜跳过第 1 阶尺度. 3.2 不同分辨率特征点提取与匹配结果 图 3(a) 为 BFSIFT 特征点提取与匹配结果图 像,分辨率为3 m×3 m; 图 3(b)为 Gabor⁃SIFT 特征 点提取与匹配结果图像,分辨率为 1 m×1 m.结果表 明,本文所述方法在不同分辨率下,无论在特征点提 取数目上,还是在正确匹配点对数目上较 BFSIFT 算法均有较大提高.与不同波段下相同,本文所述方 法在时效性上略差.此外,在图像大小相差不大的情 况下,不同分辨率下,不同波段、不同极化方式特征 点数目明显减少.表 5 为不同分辨率下正确匹配点 对数目与特征点数目提取结果及特征提取时间. (a)BFSIFT 特征点提取与匹配结果 (b)本文所述方法特征点提取与匹配结果 图 3 不同分辨率下特征点提取与匹配结果 Fig. 3 Results of the feature points extraction and match in different resolutions 表 5 不同分辨率正确匹配点对数目与特征点数目提取结 果及特征提取时间对比 Table 5 Number of correct⁃match points, result of feature points extraction and the time consumed in differ⁃ ent resolutions 参数 BFSIFT 本文方法 正确匹配点对数目/ 特征 点数目 42 / 1 508 98 / 5 312 特征提取时间/ s 9.615 12.674 3.3 不同极化方式特征点提取与匹配结果 图 4(a)的极化方式为 HH,为 BFSIFT 特征点提 取与匹配结果,图 4(b)的极化方式为 HV,为本文所 述方法特征点提取与匹配结果.结果表明不同极化 方式下,本文所述方法较 BFSIFT 除在时间复杂度 外的各项指标均有所提高,尤其是正确匹配对数目, 如表 6. 表 6 不同极化方式正确匹配点对数目与特征点数目提取 结果及特征提取时间对比 Table 6 Number of correct⁃match points, result of feature points extraction and the time consumed in differ⁃ ent polarization modes 参数 BFSIFT 本文方法 正确匹配点对数/ 特征点 数目 133 / 4 691 549 / 10 568 特征提取时间/ s 10.265 19.654 ·290· 智 能 系 统 学 报 第 8 卷
第4期 许可乐,等:一种SAR图像稳健特征点提取方法 ·291· direct least square ellipse fitting[].IEEE Transactions on Geoscience and Remote Sensing,2012,50(9):1-8. [3]SURI S,REINARTZ P.Mutual-information-based registra- tion of TerraSAR-X and Ikonos imagery in urban areas[J. IEEE Transactions on Geoscience and Remote Sensing, (a)BFSIFT特征点提取与匹配结果 2010,48(2):939-949. [4]KE Y,SUKTHANKAR R.PCA-SIFT:a more distinetive representation for local image descriptors[C]//Proceedings of Conference on Computer Vision and Pattern Recognition Washington DC,USA,2004:1980-1987. [5]LI Q L,WANG G Y,LIU J G,et al.Robust scale-invariant (b)本文所述方法特征点提取与匹配结果 feature matching for remote sensing image registration[J]. 图4不同极化方式下特征点提取与匹配结果 IEEE Geoscience and Remote Sensing Letters,2009,6 Fig.4 Results of the feature points extraction and (2):287-291. match in different polarization modes [6]PALENICHKA R M,ZAREMBA M B.Automatic extraction of control points for the registration of optical satellite and 在SAR图像几何畸变较大的情况下,相当数量 LiDAR images[J].IEEE Transactions on Geoscience and 的正确匹配对数目对配准结果有直接影响,因此在 Remote Sensing,2010,48(7):2864-2879. [7]LU G,YAN Y,KOU Y,et al.Image registration based on 不同极化方式下本文算法优于BFSIFT算法. criteria of feature point pair mutual information[].IET Im- 4结论 age Process,2011,5(6):560-566. [8]SCHWIND P,SURI S,REINARTZ P,et al.Applicability 为了改进SFT算子应用到SAR图像中的特征 of the SIFT operator for geometrical SAR image registration 点提取数目较少和存在一定数量的误匹配点对的问 [J].International Journal of Remote Sensing,2010,31 题,本文相对BFSIFT算法,在提取特征点数量性、 (8):1959-1980. 准确性上均有较大提高.理论分析及实验证明可以 [9]WANG Shanhu,YOU Hongjian,FU Kun.BFSIFT:a novel 得出以下结论: method to find feature matches for SAR image registration I)多尺度Gabor滤波器相比Gaussian滤波器更 [J].IEEE Geoscience and Remote Sensing Letters,2012, 9(4):649-653. 好地保持SAR图像细节,从而会令尺度空间的特征 [l0]雷琳,王壮,粟毅.基于多尺度Gabor滤波器组的不变 点提取数目显著增加. 特征点提取新方法[J].电子学报,2009,37(10): 2)对SAR图像灰度值进行对数变换,能够有效 2314-2319. 地增加特征点提取数目和正确匹配,点个数. LEI Lin,WANG Zhuang,SU Yi.A new invariant feature 3)在图像大小相差不大的情况下,不同分辨 detector based on multi-scale Gabor filter bank[J].Acta 率、不同波段、不同极化方式下特征点数目明显减 Electronica Sinica,2009,37(10):2314-2319. 少.此外,选取的都是不同条件下大场景的SAR图 [11]LIU Li,FIEGUTH P.Texture classification from random 像进行特征点提取与匹配,仍没有很好解决在小场 features[J].IEEE Transactions on Pattern Analysis and 景的SAR图像(例如MASTAR数据库图像切片)进 Machine Intelligence,2011,10(5):1109-1120. [12]DUAN C.MENG X,TU C,et al.How to make local im- 行特征,点提取与匹配问题,这也有待进一步深入研 age features more eficient and distinctive[J].IET Comput- 究 er Vision,2008,2(3):98-102. 参考文献: 作者简介: 许可乐,男,1990年生,硕士研究 [1]LOWE D G.Distinctive image features from scale-invariant 生,主要研究方向为图像处理 keypoints[J].International Journal of Computer Vision, 2004.60(2):91-110. [2]XIONG B,CHEN J M,KUANG G,et al.Estimation of the repeat-pass ALOS PALSAR interferometric baseline through
(a)BFSIFT 特征点提取与匹配结果 (b)本文所述方法特征点提取与匹配结果 图 4 不同极化方式下特征点提取与匹配结果 Fig. 4 Results of the feature points extraction and match in different polarization modes 在 SAR 图像几何畸变较大的情况下,相当数量 的正确匹配对数目对配准结果有直接影响,因此在 不同极化方式下本文算法优于 BFSIFT 算法. 4 结 论 为了改进 SIFT 算子应用到 SAR 图像中的特征 点提取数目较少和存在一定数量的误匹配点对的问 题,本文相对 BFSIFT 算法,在提取特征点数量性、 准确性上均有较大提高.理论分析及实验证明可以 得出以下结论: 1)多尺度 Gabor 滤波器相比 Gaussian 滤波器更 好地保持 SAR 图像细节,从而会令尺度空间的特征 点提取数目显著增加. 2)对 SAR 图像灰度值进行对数变换,能够有效 地增加特征点提取数目和正确匹配点个数. 3)在图像大小相差不大的情况下,不同分辨 率、不同波段、不同极化方式下特征点数目明显减 少.此外,选取的都是不同条件下大场景的 SAR 图 像进行特征点提取与匹配,仍没有很好解决在小场 景的 SAR 图像(例如 MASTAR 数据库图像切片)进 行特征点提取与匹配问题,这也有待进一步深入研 究. 参考文献: [1]LOWE D G. Distinctive image features from scale⁃invariant keypoints [ J ]. International Journal of Computer Vision, 2004, 60(2): 91⁃110. [2]XIONG B, CHEN J M, KUANG G, et al. Estimation of the repeat⁃pass ALOS PALSAR interferometric baseline through direct least square ellipse fitting[ J]. IEEE Transactions on Geoscience and Remote Sensing, 2012, 50(9): 1⁃8. [3] SURI S, REINARTZ P. Mutual⁃information⁃based registra⁃ tion of TerraSAR⁃X and Ikonos imagery in urban areas[ J]. IEEE Transactions on Geoscience and Remote Sensing, 2010, 48(2): 939⁃949. [4] KE Y, SUKTHANKAR R. PCA⁃SIFT: a more distinctive representation for local image descriptors[C] / / Proceedings of Conference on Computer Vision and Pattern Recognition. Washington DC, USA, 2004: 1980⁃1987. [5]LI Q L, WANG G Y, LIU J G, et al. Robust scale⁃invariant feature matching for remote sensing image registration[ J]. IEEE Geoscience and Remote Sensing Letters, 2009, 6 (2): 287⁃291. [6]PALENICHKA R M, ZAREMBA M B. Automatic extraction of control points for the registration of optical satellite and LiDAR images [ J]. IEEE Transactions on Geoscience and Remote Sensing, 2010, 48(7): 2864⁃2879. [7]LU G, YAN Y, KOU Y, et al. Image registration based on criteria of feature point pair mutual information[J]. IET Im⁃ age Process, 2011, 5(6): 560⁃566. [8]SCHWIND P, SURI S, REINARTZ P, et al. Applicability of the SIFT operator for geometrical SAR image registration [J]. International Journal of Remote Sensing, 2010, 31 (8): 1959⁃1980. [9]WANG Shanhu, YOU Hongjian, FU Kun. BFSIFT: a novel method to find feature matches for SAR image registration [J]. IEEE Geoscience and Remote Sensing Letters, 2012, 9(4): 649⁃653. [10]雷琳, 王壮, 粟毅. 基于多尺度 Gabor 滤波器组的不变 特征点提取新方法 [ J]. 电子学报, 2009, 37 ( 10): 2314⁃2319. LEI Lin, WANG Zhuang, SU Yi. A new invariant feature detector based on multi⁃scale Gabor filter bank[ J]. Acta Electronica Sinica, 2009, 37(10): 2314⁃2319. [11] LIU Li, FIEGUTH P. Texture classification from random features[ J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 10(5): 1109⁃1120. [12]DUAN C, MENG X, TU C,et a1. How to make local im⁃ age features more eficient and distinctive[J]. IET Comput⁃ er Vision, 2008, 2(3): 98⁃102. 作者简介: 许可乐,男,1990 年生,硕士研究 生,主要研究方向为图像处理 . 第 4 期 许可乐,等:一种 SAR 图像稳健特征点提取方法 ·291·