第11卷第1期 智能系统学报 Vol.11 No.1 2016年2月 CAAI Transactions on Intelligent Systems Feb.2016 D0I:10.11992/is.201507024 网络出版地址:htp:/www.cmki.net/kcms/detail/23.1538.TP.20151229.0837.002.html 基于方向滤波器组的造影图像血管增强方法 王文颖,尹清波,鲁明羽 (大连海事大学信息科学技术学院,辽宁大连116026) 摘要:为了便于医生观察冠脉造影图像,更准确地分析患者生病情况,根据冠脉造影图像中血管存在方向性的特 点,提出了一种基于方向指数加权的无抽样方向滤波器组的图像合成方法。该方法首先通过使用无抽样方向滤波 器组对血管图像进行方向分解,然后对方向图像分别进行基于Hessian矩阵的图像增强,最后将增强后的各方向图 像结合生成增强图像。与传统的直接加和方向合成方法相比,改进的重构方法能够更充分地利用血管方向性的特 点,增强主方向权重。实验结果表明,与传统的血管增强方法相比,该方法能够得到更为完整的血管树,取得了更好 的增强效果。 关键词:冠脉造影:增强图像:血管增强:方向滤波器组:方向梯度:Hessian矩阵 中图分类号:TP391.41文献标志码:A文章编号:1673-4785(2016)01-0111-06 中文引用格式:王文颖,尹清波,鲁明羽.基于方向滤波器组的造影图像血管增强方法[J].智能系统学报,2016,11(1):111-116. 英文引用格式:WANG Wenying,YIN Qingbo,LU Mingyu..Enhancement method for angiogram blood vessel images based on di- rectional filter banks[J].CAAI Transactions on Intelligent Systems,2016,11(1):111-116. Enhancement method for angiogram blood vessel images based on directional filter banks WANG Wenying,YIN Qingbo,LU Mingyu (Information Science and Technology,Dalian Maritime University,Dalian 116026,China) Abstract:To facilitate the examination of coronary angiogram images and to more accurately analyze patient illnes- ses with respect to the directivity characteristics of blood vessels in these images,this study proposes a novel image synthesis method for filters with no sampling direction based on directional exponent weighting.The proposed ap- proach incorporates the presentation of line-like directional features in an image extracted by filters with no sampling direction.To achieve coronary angiogram image enhancement,we first use no-sampling-direction filters to decom- pose the angiogram image into several directions,then we employ the Hessain matrix method for each directional image to enhance the image.Finally,all enhanced directional images are combined to generate the enhanced image. Compared with the traditional synthesis achieved by simply summing directional images,the proposed new synthesis method that is based on the weight of every direction makes better use of the directional feature of blood vessels and enhances the weight of the main direction.Experimental results show that a more complete blood vessel tree can be acquired and a better enhancement effect can be achieved by the proposed method when compared with convention- al blood vessel enhancement method. Keywords:coronary angiography;enhanced images;vessel enhancement;directional filter bank;directional gradi- ent;Hessian matrix 冠心病是供应心脏的血管冠状动脉发生硬化狭 冠状动脉造影是诊断冠心病的一个“金标准”,诊断 窄疾病的简称,以冠状动脉粥样硬化性狭窄多见。 地位非常高。如果血管轮廓光滑,没有狭窄缺损的 表现,那就没有冠心病:如果见到狭窄表现,那就是 收稿日期:2015-07-23.网络出版日期:2015-12-29. 冠心病。实际上获得的造影图像经常是不理想的, 基金项目:国家自然科学基金资助项目(61272369,61175053,61300082, 61370070):中央高校基本科研业务费项目专项资金资助项目 影响了医生对病人病情的诊断,因此对冠脉造影图 (3132014325,3132013335):中央高校基本科研业务费青年 骨干基金资助项目(3132014093,3132014091). 像进行有效的增强对辅助医生诊断有着很重要的作 通信作者:鲁明羽.E-mail:umingyu(@dlmu.cd.cn
第 11 卷第 1 期 智 能 系 统 学 报 Vol.11 №.1 2016 年 2 月 CAAI Transactions on Intelligent Systems Feb. 2016 DOI:10.11992 / tis.201507024 网络出版地址:http: / / www.cnki.net / kcms/ detail / 23.1538.TP.20151229.0837.002.html 基于方向滤波器组的造影图像血管增强方法 王文颖,尹清波,鲁明羽 (大连海事大学 信息科学技术学院,辽宁 大连 116026) 摘 要:为了便于医生观察冠脉造影图像,更准确地分析患者生病情况,根据冠脉造影图像中血管存在方向性的特 点,提出了一种基于方向指数加权的无抽样方向滤波器组的图像合成方法。 该方法首先通过使用无抽样方向滤波 器组对血管图像进行方向分解,然后对方向图像分别进行基于 Hessian 矩阵的图像增强,最后将增强后的各方向图 像结合生成增强图像。 与传统的直接加和方向合成方法相比,改进的重构方法能够更充分地利用血管方向性的特 点,增强主方向权重。 实验结果表明,与传统的血管增强方法相比,该方法能够得到更为完整的血管树,取得了更好 的增强效果。 关键词:冠脉造影;增强图像;血管增强;方向滤波器组;方向梯度; Hessian 矩阵 中图分类号:TP391.41 文献标志码:A 文章编号:1673⁃4785(2016)01⁃0111⁃06 中文引用格式:王文颖,尹清波,鲁明羽.基于方向滤波器组的造影图像血管增强方法[J]. 智能系统学报, 2016, 11(1): 111⁃116. 英文引用格式:WANG Wenying, YIN Qingbo, LU Mingyu. Enhancement method for angiogram blood vessel images based on di⁃ rectional filter banks[J]. CAAI Transactions on Intelligent Systems, 2016, 11(1): 111⁃116. Enhancement method for angiogram blood vessel images based on directional filter banks WANG Wenying, YIN Qingbo, LU Mingyu (Information Science and Technology, Dalian Maritime University, Dalian 116026, China) Abstract:To facilitate the examination of coronary angiogram images and to more accurately analyze patient illnes⁃ ses with respect to the directivity characteristics of blood vessels in these images, this study proposes a novel image synthesis method for filters with no sampling direction based on directional exponent weighting. The proposed ap⁃ proach incorporates the presentation of line⁃like directional features in an image extracted by filters with no sampling direction. To achieve coronary angiogram image enhancement, we first use no⁃sampling⁃direction filters to decom⁃ pose the angiogram image into several directions, then we employ the Hessain matrix method for each directional image to enhance the image. Finally, all enhanced directional images are combined to generate the enhanced image. Compared with the traditional synthesis achieved by simply summing directional images, the proposed new synthesis method that is based on the weight of every direction makes better use of the directional feature of blood vessels and enhances the weight of the main direction. Experimental results show that a more complete blood vessel tree can be acquired and a better enhancement effect can be achieved by the proposed method when compared with convention⁃ al blood vessel enhancement method. Keywords:coronary angiography; enhanced images; vessel enhancement; directional filter bank; directional gradi⁃ ent; Hessian matrix 收稿日期:2015⁃07⁃23. 网络出版日期:2015⁃12⁃29. 基金项目:国家自然科学基金资助项目(61272369, 61175053, 61300082, 61370070);中央高校基本科研业务费项目专项资金资助项目 (3132014325, 3132013335);中央高校基本科研业务费青年 骨干基金资助项目(3132014093, 3132014091). 通信作者:鲁明羽. E⁃mail: lumingyu@ dlmu.edu.cn. 冠心病是供应心脏的血管冠状动脉发生硬化狭 窄疾病的简称,以冠状动脉粥样硬化性狭窄多见。 冠状动脉造影是诊断冠心病的一个“金标准”,诊断 地位非常高。 如果血管轮廓光滑,没有狭窄缺损的 表现,那就没有冠心病;如果见到狭窄表现,那就是 冠心病。 实际上获得的造影图像经常是不理想的, 影响了医生对病人病情的诊断,因此对冠脉造影图 像进行有效的增强对辅助医生诊断有着很重要的作
·112· 智能系统学报 第11卷 用。近年来,不少学者致力于研究血管增强的算法, 用将抽样和重采样部分转移到滤波器的左侧的方法 也取得了相当多的研究成果和方法。其中一种被广 来建一个无抽样方向滤波器组(decimation-free di- 泛应用的是基于Hessian矩阵的血管增强方法,如 rectional filter banks,DDFBs),它最后得到的不是方 Frangi的方法-3,Sato的方法a、Lorenz的方法[s) 向波带,而是方向图像,达到了消除插值的目的。 Krissian的方法[6-]等。这种方法可被检测到的血管 8方向的DFBs需要3层结构。第1层的结构 的宽度可以在一个很大的范围内,但是它存在着对 需要一组菱形通带滤波器组H。(ω1,ω2), 医学诊断来说极其致命的缺点一分支处的不连 H,(ω1,w2),一个调节器和不可分的梅花型2×2下 续。Perona和Milik将各向异性扩散方程引入血管 增强领域[),将其代替高斯平滑滤波器。这种方法 采样矩陈:Q-门e,[】 式中: 能够很好地增强血管结构,但是在求解偏微分方程 w=(01,02)T是一组二维傅里叶频率变量。在这一 时运算量非常大。针对冠脉造影图像中血管存在连 层中,首先使用调节器通过π改变输入图像的频 续性、方向性和尺度渐变的特点,很多学者将方向滤 谱,在经过调节器处理之后,组成的频率成份发生了 波器组应用到血管增强中。本文结合无抽样方向滤 变化。然后使用菱形滤波器,对两种频率区域进行 波器组和Hessian矩阵对血管图像进行增强,提出 滤波。每个滤波器后都伴随着一个梅花形下采样矩 了一种新的方向图像合成方法,将增强结果与其他 阵。该矩阵不仅对图像进行下采样,而且能够将图 的血管增强方法进行对比验证。 像旋转45°。DFBs第2层所需要的结构和第1层相 同。第1层输出的波带作为这一层的输入。第2层 1图像分解 产生的波带的光谱几何结构有一个平行四边形的几 本文算法涉及到的一个很重要的步骤就是对造 何结构。方向滤波器组的第3层结构与第1层、第 影图像进行方向分解。方向分解属于多尺度几何分 2层相比,增加了重采样矩阵和后采样矩阵。重采 析,能够充分利用数据本身所特有的几何特性。对 样矩阵R被用于将平行四边形波带变为菱形波带。 图像进行方向分解需要使用方向滤波器组(direc- 后采样矩阵将所有的非对角的采样矩阵转变为菱形 tional filter banks,DFBs),DFB最初被Bamberger和 的。得到的每个波带图像比原始图像要小,因此所 Smith[o提出,文献说明了DFB可以将输入图像的 有波带的像素之和与原始图像的像素个数是相 光谱区分解成n=2(k=1,2,…)个楔形频率子带 同的。 每个子带与空间域的一个特定方向的线性特性相对 无抽样方向滤波器组(DDFB)是在方向滤波器 应。起初DFB多被用于图像压缩),后来被用于 组的基础上进行改进的。8方向DDFB的第1层结 图像增强[21),在文献[14]中,DFB被用于指纹识 构只需要2个滤波器H(ω1,ω2),H(ω1,02) 别。方向滤波器组可以将一个图像分解为最大幅度 它包含沙漏形状的滤波通带,这个滤波通带是通过 抽样的波带,每个波带对应一个单独的角度,并且可 将DFB第1层的调节器移动到滤波器左边得到的。 以通过一个双合成滤波器完美地重构图像。方向滤 因此DDFB与DFB第1层所使用的滤波器之间的 波器的输出被称为波带。文献[10]表明,使用方向 关系可表示为 滤波器组分解图像得到的输出波带在空间域上的显 H00(w1,u2)=Ho(w1+T,w2) (1) 示是扭曲的,它们由于混淆而视觉失真了。 H,(w1,w2)=Ho(01,w2+T) (2) 方向滤波器组有着一定的缺点,即次波带的大 式中:H(w1,w2)是DFB第1层中使用的菱形滤波 小比原始图像要小。波带大小上的缩小是由于抽 器。通过使用H(ω1,w2)和H:(w1,w2)对输入图像 样。当方向滤波器组被用于图像分解时,抽样的操 进行滤波,不需要进行降采样,因此输入图像经第一 作造成了2个问题:一是随着方向分辨率的增加,空 阶段处理之后输出与输入图像大小相同。 间分辨率会降低:另外一个是该方法涉及到一个额 DDFB第2层所需要的滤波器是Ho 外的插值过程,这个额外的插值过程不仅影响整个 (Q(w1,02))和H,(Q(o1,w2)),其中T代表转 系统的效率,而且会产生错误的噪声,它对医学图像 置,Q与DFB第1层中的梅花形下采样矩阵相同。 来说是尤其有害的。由于这些噪声的存在,一些血 DDFB第2层的滤波器与DFB中滤波器的关系可表 管可能被破坏,一些血管可能被错误地连接到其他 示为 血管。因此,一个可能的研究方向是修改方向滤波 Ho(Q'(w1,w2))=H(Q(w1+T,w2))(3) 器组的结构,使分解过程中没有抽样操作。本文采 H,(Q(w1,ω2))=H(Q(ω1,w2+T))(4)
用。 近年来,不少学者致力于研究血管增强的算法, 也取得了相当多的研究成果和方法。 其中一种被广 泛应用的是基于 Hessian 矩阵的血管增强方法,如 Frangi 的方法[1⁃3] 、Sato 的方法[4] 、Lorenz 的方法[5] 、 Krissian 的方法[6⁃8]等。 这种方法可被检测到的血管 的宽度可以在一个很大的范围内,但是它存在着对 医学诊断来说极其致命的缺点———分支处的不连 续。 Perona 和 Milik 将各向异性扩散方程引入血管 增强领域[9] ,将其代替高斯平滑滤波器。 这种方法 能够很好地增强血管结构,但是在求解偏微分方程 时运算量非常大。 针对冠脉造影图像中血管存在连 续性、方向性和尺度渐变的特点,很多学者将方向滤 波器组应用到血管增强中。 本文结合无抽样方向滤 波器组和 Hessian 矩阵对血管图像进行增强,提出 了一种新的方向图像合成方法,将增强结果与其他 的血管增强方法进行对比验证。 1 图像分解 本文算法涉及到的一个很重要的步骤就是对造 影图像进行方向分解。 方向分解属于多尺度几何分 析,能够充分利用数据本身所特有的几何特性。 对 图像进行方向分解需要使用方向滤波器组( direc⁃ tional filter banks, DFBs),DFB 最初被 Bamberger 和 Smith [10]提出,文献说明了 DFB 可以将输入图像的 光谱区分解成 n = 2 k (k = 1,2,…)个楔形频率子带, 每个子带与空间域的一个特定方向的线性特性相对 应。 起初 DFB 多被用于图像压缩[11] ,后来被用于 图像增强[12⁃13] ,在文献[14]中,DFB 被用于指纹识 别。 方向滤波器组可以将一个图像分解为最大幅度 抽样的波带,每个波带对应一个单独的角度,并且可 以通过一个双合成滤波器完美地重构图像。 方向滤 波器的输出被称为波带。 文献[10]表明,使用方向 滤波器组分解图像得到的输出波带在空间域上的显 示是扭曲的,它们由于混淆而视觉失真了。 方向滤波器组有着一定的缺点,即次波带的大 小比原始图像要小。 波带大小上的缩小是由于抽 样。 当方向滤波器组被用于图像分解时,抽样的操 作造成了 2 个问题:一是随着方向分辨率的增加,空 间分辨率会降低;另外一个是该方法涉及到一个额 外的插值过程,这个额外的插值过程不仅影响整个 系统的效率,而且会产生错误的噪声,它对医学图像 来说是尤其有害的。 由于这些噪声的存在,一些血 管可能被破坏,一些血管可能被错误地连接到其他 血管。 因此,一个可能的研究方向是修改方向滤波 器组的结构,使分解过程中没有抽样操作。 本文采 用将抽样和重采样部分转移到滤波器的左侧的方法 来建一个无抽样方向滤波器组( decimation⁃free di⁃ rectional filter banks, DDFBs),它最后得到的不是方 向波带,而是方向图像,达到了消除插值的目的。 8 方向的 DFBs 需要 3 层结构。 第 1 层的结构 需 要 一 组 菱 形 通 带 滤 波 器 组 H0 ω1 ,ω2 ( ) , H1 ω1 ,ω2 ( ) ,一个调节器和不可分的梅花型2 × 2 下 采样矩阵:Q0 = 1 - 1 1 1 é ë ê ê ù û ú ú ,Q1 = 1 1 - 1 1 é ë ê ê ù û ú ú 式中: w - = w1 ,w2 ( ) T 是一组二维傅里叶频率变量。 在这一 层中,首先使用调节器通过 π 改变输入图像的频 谱,在经过调节器处理之后,组成的频率成份发生了 变化。 然后使用菱形滤波器,对两种频率区域进行 滤波。 每个滤波器后都伴随着一个梅花形下采样矩 阵。 该矩阵不仅对图像进行下采样,而且能够将图 像旋转 45°。 DFBs 第 2 层所需要的结构和第 1 层相 同。 第 1 层输出的波带作为这一层的输入。 第 2 层 产生的波带的光谱几何结构有一个平行四边形的几 何结构。 方向滤波器组的第 3 层结构与第 1 层、第 2 层相比,增加了重采样矩阵和后采样矩阵。 重采 样矩阵 Ri被用于将平行四边形波带变为菱形波带。 后采样矩阵将所有的非对角的采样矩阵转变为菱形 的。 得到的每个波带图像比原始图像要小,因此所 有波带的像素之和与原始图像的像素个数是相 同的。 无抽样方向滤波器组(DDFB)是在方向滤波器 组的基础上进行改进的。 8 方向 DDFB 的第 1 层结 构只需要 2 个滤波器 H00 ω1 ,ω2 ( ) , H11 ω1 ,ω2 ( ) 。 它包含沙漏形状的滤波通带,这个滤波通带是通过 将 DFB 第 1 层的调节器移动到滤波器左边得到的。 因此 DDFB 与 DFB 第 1 层所使用的滤波器之间的 关系可表示为 H00 ω1 ,ω2 ( ) = H0 ω1 + π,ω2 ( ) (1) H11 ω1 ,ω2 ( ) = H0 ω1 ,ω2 ( + π) (2) 式中:H0 ω1 ,ω2 ( ) 是 DFB 第 1 层中使用的菱形滤波 器。 通过使用H00 ω1 ,ω2 ( ) 和H11 ω1 ,ω2 ( ) 对输入图像 进行滤波,不需要进行降采样,因此输入图像经第一 阶段处理之后输出与输入图像大小相同。 DDFB 第 2 层 所 需 要 的 滤 波 器 是 H00 Q T ω1 ,ω2 ( ( ) ) 和H11 Q T ω1 ,ω2 ( ( ) ) , 其中 T 代表转 置,Q 与 DFB 第 1 层中的梅花形下采样矩阵相同。 DDFB 第 2 层的滤波器与 DFB 中滤波器的关系可表 示为 H00 Q T ω1 ,ω2 ( ( ) ) = H0 Q T ω1 + π,ω2 ( ( ) ) (3) H11 Q T ω1 ,ω2 ( ( ) ) = H0 Q T ω1 ,ω2 ( ( + π) ) (4) ·112· 智 能 系 统 学 报 第 11 卷
第1期 王文颖,等:基于方向滤波器组的造影图像血管增强方法 ·113. 从DDFB第1层中得到的方向图像通过这两个 为了在计算特征值时减少噪声的影响,在建模 滤波器进一步处理,所得到的图像在这一层不需要 时让血管方向与x轴方向一致。实现这个思想的一 进一步处理。 个可行的方法是旋转方向图像,然而图像旋转需要 DDFB第3层所需要的滤波器是H。(ω1,ω2)和 插值,这样很有可能产生噪声,对医学图像的处理是 H(w1,02),其中i=1,2,3,4。这一层一共需要8 很有害的,因此通过旋转坐标系实现。 个不同的滤波器。DDFB第三层的滤波器与DFB中 假设方向图像1:(i=1,2,…,n)对应方向从 滤波器的关系可表示为 6.n到9.(逆时针方向旋转)。则相关联的坐标 Ho(w1,o2)=H(RQ'Q'(w1+T,2))(5) 系0。将被旋转到0y,旋转的角度为 H(w1,w2)=H(RQ'Q'(w1,w2+T))(6) 9.= i.minm 式中:R和Q分别与DFB中的重采样和下采样矩 2 阵相同。 方向图像I,的海森矩阵在新坐标系中的定 义为 2 图像增强 a21 1,1 将原图像进行方向分解后,需要对方向图像的 h 1 dx'2 ax'ay' (12) 血管建立血管模型。假定在二维X射线造影图像 a21 a21 中,血管在黑色的背景上是明亮的,并且亮度从中间 ax'ay' 2 到边界是逐渐降低的。那么由于血管的横截面灰度 其中,新的海森矩阵特征值通过H'对角线的值 分布类似高斯曲线,因此可以表示为 来确定,分别为 (x,y)=, 2 e2 (7) y2-(+o2) 2m00 h1=0,h2 (a后+2)2(x'y)(13) 式中:C为结构性测度,σ。为尺度。 实际上,一般来说血管轴并非与x轴完全一致, 上述模型的Hessian矩阵可表达如下: 8210 因此h≈0。在血管中,y|<√G+c,因此h2是 a21.7 dr? axdy 负的。所以,当h2<0且 客1时,血管像素点得 H= (8) h 821a210 以确定。 dxdy 它的特征值和特征向量分别如下: 3 图像合成 y2- 入1=0,入2= 在传统的基于方向滤波器组的图像处理中,合 (9 成时采用的是将各方向图像直接相加的方式进行合 1=(1,0),2=(0,1) (10) 成,从而得到最后的图像处理结果。设每一个方向 为了获得不同大小的血管,需要计算不同尺度 图像为 σ下的梯度和Hessian矩阵。通过与高斯卷积来计 Φ(p),i=1,2,…,n 算导数: 传统的重构得到最后图像的方法如下: 1='G,。*11,='G.。*1(11) F(p)=0.(p) (14) 式中:1,、I,分别为图像I(x,y)在x轴和y轴方向的 n=1 空间导数,G,.和G。是标准差为σ的高斯模型的 这种合成方式没有考虑到图像的各向异性。因 空间导数。参数y由Lindeberg1s16提出,用于标准 此在对增强的图像进行合成时,根据不同方向图像 化。在血管增强中,y通常为1。 上信息的强弱进行加权。 对血管中的像素点(y2<σ),负的特征值对应 一种常用的图像加权方法是高斯加权。高斯加 的特征向量与血管方向正交。另一个特征值的绝对 权中一个点邻域内某像素的权值为该像素与中心像 值更小,其对应的特征向量与血管轴的方向相同。 素灰度差的高斯函数,可以根据不同方向邻域点的 在这种情况下,当血管方向1与x轴方向相同时, 权值确定方向图像的权值。 Hessian的特征值与它对角线上的值相同。利用这 针对冠脉造影图像中血管存在方向性的特点, 个特征来计算Hessian矩阵的特征值,得到了与原 提出一种方向加权的方法,增加主方向图像像素点 始方法相比对噪声更加不敏感的计算方法。 的权重,从而能够更准确地捕捉到血管的信息,减少
从 DDFB 第 1 层中得到的方向图像通过这两个 滤波器进一步处理,所得到的图像在这一层不需要 进一步处理。 DDFB 第 3 层所需要的滤波器是H i 00 ω1 ,ω2 ( ) 和 H i 11 ω1 ,ω2 ( ) ,其中 i = 1,2,3,4。 这一层一共需要 8 个不同的滤波器。 DDFB 第三层的滤波器与 DFB 中 滤波器的关系可表示为 H i 00 ω1 ,ω2 ( ) = H0 R T i Q TQ T ω1 + π,ω2 ( ( ) ) (5) H i 11 ω1 ,ω2 ( ) = H0 R T i Q TQ T ω1 ,ω2 ( ( + π) ) (6) 式中:R T i 和 Q 分别与 DFB 中的重采样和下采样矩 阵相同。 2 图像增强 将原图像进行方向分解后,需要对方向图像的 血管建立血管模型。 假定在二维 X 射线造影图像 中,血管在黑色的背景上是明亮的,并且亮度从中间 到边界是逐渐降低的。 那么由于血管的横截面灰度 分布类似高斯曲线,因此可以表示为 I0 (x,y) = c 2πσ 2 0 e - y 2 2σ 2 0 (7) 式中:C 为结构性测度,σ0 为尺度。 上述模型的 Hessian 矩阵可表达如下: H = ∂ 2 I0 ∂x 2 ∂ 2 I0 ∂x∂y ∂ 2 I0 ∂x∂y ∂ 2 I0 ∂y 2 é ë ê ê ê ê ê ù û ú ú ú ú ú (8) 它的特征值和特征向量分别如下: λ1 = 0,λ2 = y 2 - σ 2 0 σ 4 0 I0 (9) v1 = (1,0) ,v2 = (0,1) (10) 为了获得不同大小的血管,需要计算不同尺度 σ 下的梯度和 Hessian 矩阵。 通过与高斯卷积来计 算导数: Ix = σ γGx,σ∗I Iy = σ γGy,σ∗I (11) 式中:Ix、Iy 分别为图像 I(x,y) 在 x 轴和 y 轴方向的 空间导数,Gx,σ和 Gy,σ是标准差为 σ 的高斯模型的 空间导数。 参数 γ 由 Lindeberg [15⁃16]提出,用于标准 化。 在血管增强中,γ 通常为 1。 对血管中的像素点( y 2 <σ 2 0 ),负的特征值对应 的特征向量与血管方向正交。 另一个特征值的绝对 值更小,其对应的特征向量与血管轴的方向相同。 在这种情况下,当血管方向 v1 与 x 轴方向相同时, Hessian 的特征值与它对角线上的值相同。 利用这 个特征来计算 Hessian 矩阵的特征值,得到了与原 始方法相比对噪声更加不敏感的计算方法。 为了在计算特征值时减少噪声的影响,在建模 时让血管方向与 x 轴方向一致。 实现这个思想的一 个可行的方法是旋转方向图像,然而图像旋转需要 插值,这样很有可能产生噪声,对医学图像的处理是 很有害的,因此通过旋转坐标系实现。 假设 方 向 图 像 Ii (i = 1,2,…,n) 对 应 方 向 从 θi,min到 θi,max(逆时针方向旋转)。 则相关联的坐标 系 Oxy 将 被 旋 转 到 Ox′y′, 旋 转 的 角 度 为 θi = θi,min +θi,max 2 。 方向图像 Ii 的海森矩阵在新坐标系中的定 义为 H′ ≡ h11 h12 h21 h22 é ë ê ê ù û ú ú = ∂ 2 Ii ∂x′ 2 ∂ 2 Ii ∂x′∂y′ ∂ 2 Ii ∂x′∂y′ ∂ 2 Ii ∂y′ 2 é ë ê ê ê ê ê ù û ú ú ú ú ú (12) 其中,新的海森矩阵特征值通过 H′对角线的值 来确定,分别为 h11 = 0,h22 = y′ 2 - σ 2 0 + σ 2 ( ) σ 2 0 + σ 2 ( ) 2 I0 (x′,y′) (13) 实际上,一般来说血管轴并非与 x 轴完全一致, 因此 h11≈0。 在血管中, y′ < σ 2 0 +σ 2 ,因此 h22是 负的。 所以,当 h22<0 且 h11 h22 ≪1 时,血管像素点得 以确定。 3 图像合成 在传统的基于方向滤波器组的图像处理中,合 成时采用的是将各方向图像直接相加的方式进行合 成,从而得到最后的图像处理结果。 设每一个方向 图像为 Φi (p) ,i = 1,2,…,n 传统的重构得到最后图像的方法如下: F(p) = 1 n ∑ n i = 1 Φi (p) (14) 这种合成方式没有考虑到图像的各向异性。 因 此在对增强的图像进行合成时,根据不同方向图像 上信息的强弱进行加权。 一种常用的图像加权方法是高斯加权。 高斯加 权中一个点邻域内某像素的权值为该像素与中心像 素灰度差的高斯函数,可以根据不同方向邻域点的 权值确定方向图像的权值。 针对冠脉造影图像中血管存在方向性的特点, 提出一种方向加权的方法,增加主方向图像像素点 的权重,从而能够更准确地捕捉到血管的信息,减少 第 1 期 王文颖,等:基于方向滤波器组的造影图像血管增强方法 ·113·
·114· 智能系统学报 第11卷 干扰像素点在加权平均计算时的权值。 G2=fi-1,j-2)-2fi,)+fi+1,j+2) 加权合成时,需要确定主方向,根据图像计算梯 G3=fi,j+1)-2fi,)+fi,j-1) 度,根据不同方向梯度的大小来采用不同的方向权 G4=fi-1,j+2)-2fi,)+fi+1,j-2) 值进行加权。如图1所示,对于8方向分解,计算每 G5=fi+1,j-1)-2fi,j)+fi-1,j+1) 个方向的中心梯度来确定各自的权值。由于每个方 G6=f(i+2,j-1)-2fi,)+fi-2,j+1) 向图像确定的方向是一个范围,采用每个方向中心 G,=fi+1,)-2fi,)+fi-1,) 的梯度来确定该方向的权值。由于方向分解的方向 Gs=fi-2,j-1)-2f(i,》+fi+2,j+1) 并非平均的角度,因此要确定这些梯度所需要的邻 (17) 得到各个方向的梯度之后,确定各方向图像的 域是非常大的,而邻域取过大不利于确定该点附近 权值,对每个像素点进行加权合成,最后得到增强的 各方向的信息,因此最终取各方向两边缘的均值来 图像: 确定该方向的权值。为了计算8方向的方向梯度, IGI+IG 以每个像素点为中心选取5×5的邻域。 F)= 2 由于图像在计算机中以数字图像的形式进行存 Φ(p) (18) 储,即图像是离散的数字信号,因此对数字图像的梯 三16 度使用差分来代替连续信号中的微分。对于图像 4 f(i,),在点(i,)处沿x方向和y方向的一阶差分 实验结果及分析 可以表示为 利用大连医科大学第二附属医院提供的冠脉造 △fi,)=f(i+1,)-fi,j) 影图像,使用本文中所描述的方法,对冠脉造影图像 (15) △f(i,)=fi,j+1)-fi,) 进行血管增强,得到的结果如图2所示。 02 6 (a)原图 图1方向分解示意图 Fig.1 Direction decomposition diagram 同理,利用差分方程对x和y方向上的二阶偏 导数进行近似为 =j+1》-2i》+fi-1》 0x2 (16) =fij+1)-2fi,)+fij-1) 水平垂直以及45°倍数方向仍然用3×3邻域的 像素点插值计算。 (b)本文方法 设中心像素点为f(i,j),按上述方法可以计算 图2血管增强结果 得到8个方向的梯度如下: Fig.2 Vascular enhancement result G1=fi-1,j-1)-2fi,)+fi+1,j+1)
干扰像素点在加权平均计算时的权值。 加权合成时,需要确定主方向,根据图像计算梯 度,根据不同方向梯度的大小来采用不同的方向权 值进行加权。 如图 1 所示,对于 8 方向分解,计算每 个方向的中心梯度来确定各自的权值。 由于每个方 向图像确定的方向是一个范围,采用每个方向中心 的梯度来确定该方向的权值。 由于方向分解的方向 并非平均的角度,因此要确定这些梯度所需要的邻 域是非常大的,而邻域取过大不利于确定该点附近 各方向的信息,因此最终取各方向两边缘的均值来 确定该方向的权值。 为了计算 8 方向的方向梯度, 以每个像素点为中心选取 5×5 的邻域。 由于图像在计算机中以数字图像的形式进行存 储,即图像是离散的数字信号,因此对数字图像的梯 度使用差分来代替连续信号中的微分。 对于图像 f(i,j),在点(i,j)处沿 x 方向和 y 方向的一阶差分 可以表示为 Δx f(i,j) = f(i + 1,j) - f(i,j) Δy f(i,j) = f(i,j + 1) - f(i,j) (15) 图 1 方向分解示意图 Fig.1 Direction decomposition diagram 同理,利用差分方程对 x 和 y 方向上的二阶偏 导数进行近似为 ∂ 2 f ∂x 2 = f(i + 1,j) - 2f(i,j) + f(i - 1,j) ∂ 2 f ∂y 2 = f(i,j + 1) - 2f(i,j) + f(i,j - 1) (16) 水平垂直以及 45°倍数方向仍然用 3×3 邻域的 像素点插值计算。 设中心像素点为 f( i,j),按上述方法可以计算 得到 8 个方向的梯度如下: G1 = f(i - 1,j - 1) - 2f(i,j) + f(i + 1,j + 1) G2 = f(i - 1,j - 2) - 2f(i,j) + f(i + 1,j + 2) G3 = f(i,j + 1) - 2f(i,j) + f(i,j - 1) G4 = f(i - 1,j + 2) - 2f(i,j) + f(i + 1,j - 2) G5 = f(i + 1,j - 1) - 2f(i,j) + f(i - 1,j + 1) G6 = f(i + 2,j - 1) - 2f(i,j) + f(i - 2,j + 1) G7 = f(i + 1,j) - 2f(i,j) + f(i - 1,j) G8 = f(i - 2,j - 1) - 2f(i,j) + f(i + 2,j + 1) (17) 得到各个方向的梯度之后,确定各方向图像的 权值,对每个像素点进行加权合成,最后得到增强的 图像: F(p) = ∑ n i = 1 Gi + Gi+1 2 ∑ n i = 1 Gi Φi (p) (18) 4 实验结果及分析 利用大连医科大学第二附属医院提供的冠脉造 影图像,使用本文中所描述的方法,对冠脉造影图像 进行血管增强,得到的结果如图 2 所示。 (a)原图 (b)本文方法 图 2 血管增强结果 Fig.2 Vascular enhancement result ·114· 智 能 系 统 学 报 第 11 卷
第1期 王文颖,等:基于方向滤波器组的造影图像血管增强方法 .115. 将本文算法的血管提取结果与现有的基于 Hessian矩阵的血管增强算法结果作比较。 5结束语 图3给出了传统的基于Hessian矩阵的血管图 本文从血管图像的特点出发,结合无抽样方向 像增强)]和本文提出的基于无抽样方向滤波器组 的图像增强算法的实验结果对比。可以明显地看 滤波器组和Hessian增强对血管进行增强,提出 出,基于Hessian矩阵的图像增强方法得到的结果 种基于方向梯度的方向图像加权合成方法,并且应 在血管连接处有明显的断开,且不能显示小血管:而 用于冠脉造影图像。本文方法的优点是能够较好地 本文算法得到的结果相对较好,增强效果明显,细节 提取分支和交叉处的血管,能够获得不同的方向图 部分清晰,可以正确地显示小而薄的血管,有效地避 像,因此可以得到不同的区别于原始图像的Hessian 免了结抑制,从而能够得到连续的血管树。 特征值。方向图像的数量越大,结果就越准确,但是 时间代价也会更高。如何在保证结果准确的基础上 降低时间代价是进一步研究的方向。 参考文献: [1]FRANGI A F,NIESSEN W J,VINCKEN K L,et al.Multi- scale vessel enhancement filtering M ]//WELLS W M, COLCHESTER A,DELP S L.Medical Image Computing and Computer-Assisted Interventation-MICCAI'98.Berlin Heidelberg:Springer,1998:130-137. [2]FRANGI A F,NIESSEN W J,HOOGEVEEN R M,et al. Model-based quantitation of 3-D magnetic resonance angio- graphic images[].IEEE transactions on medical imaging, (a)原图 1999,18(10):946-956. [3]FRANGI A F,NIESSEN W J,NEDERKOORN P J,et al. Quantitative analysis of vascular morphology from 3D MR angiograms:In vitro and in vivo results[].Magnetic reso- nance in medicine,2001,45(2):311-322. [4]SATO Y,NAKAJIMA S,SHIRAGA N,et al.Three-dimen- sional multi-scale line filter for segmentation and visualiza- tion of curvilinear structures in medical images[].Medical image analysis,1998,2(2):143-168. [5]LORENZ C,CARLSEN I C,Buzug T M,et al.A multi- scale line filter with automatic scale selection based on the Hessian matrix for medical image segmentation[M]//TER (b)DDFB HAAR ROMENY B,FLORACK L,KOENDERINK J,et al.Scale-Space Theory in Computer Vision.Berlin Heidel- berg:Springer,2006,1252:152-163. [6]KRISSIAN K.Flux-based anisotropic diffusion applied to enhancement of 3D angiograms[J].IEEE transactions on medical imaging,.2002,21(11):1440-1442. [7]KRISSIAN K,MALANDAIN G,AYACHE N.Directional anisotropic diffusion applied to segmentation of vessels in 3D images[M]//TER HAAR ROMENY B,FLORACK L, KOENDERINK J,et al.Scale-Space Theory in Computer Vision.Berlin Heidelberg:Springer,1997,1252:345-348. [8]KRISSIAN K,MALANDAIN G,AYACHE N,et al.Model- based detection of tubular structures in 3D images[].Com- puter vision and image understanding,2000,80(2):130- (c)Hessian 图3不同算法的结果 171. Fig.3 The results of different algorithms [9]PERONA P,MALIK J.Scale-space and edge detection u-
将本文算法的血管提取结果与现有的基于 Hessian 矩阵的血管增强算法结果作比较。 图 3 给出了传统的基于 Hessian 矩阵的血管图 像增强[1]和本文提出的基于无抽样方向滤波器组 的图像增强算法的实验结果对比。 可以明显地看 出,基于 Hessian 矩阵的图像增强方法得到的结果 在血管连接处有明显的断开,且不能显示小血管;而 本文算法得到的结果相对较好,增强效果明显,细节 部分清晰,可以正确地显示小而薄的血管,有效地避 免了结抑制,从而能够得到连续的血管树。 (a)原图 (b)DDFB (c)Hessian 图 3 不同算法的结果 Fig.3 The results of different algorithms 5 结束语 本文从血管图像的特点出发,结合无抽样方向 滤波器组和 Hessian 增强对血管进行增强,提出一 种基于方向梯度的方向图像加权合成方法,并且应 用于冠脉造影图像。 本文方法的优点是能够较好地 提取分支和交叉处的血管,能够获得不同的方向图 像,因此可以得到不同的区别于原始图像的 Hessian 特征值。 方向图像的数量越大,结果就越准确,但是 时间代价也会更高。 如何在保证结果准确的基础上 降低时间代价是进一步研究的方向。 参考文献: [1]FRANGI A F, NIESSEN W J, VINCKEN K L, et al. Multi⁃ scale vessel enhancement filtering [ M] / / WELLS W M, COLCHESTER A, DELP S L. Medical Image Computing and Computer⁃Assisted Interventation—MICCAI’ 98. Berlin Heidelberg: Springer, 1998: 130⁃137. [2]FRANGI A F, NIESSEN W J, HOOGEVEEN R M, et al. Model⁃based quantitation of 3⁃D magnetic resonance angio⁃ graphic images[J]. IEEE transactions on medical imaging, 1999, 18(10): 946⁃956. [3]FRANGI A F, NIESSEN W J, NEDERKOORN P J, et al. Quantitative analysis of vascular morphology from 3D MR angiograms: In vitro and in vivo results[J]. Magnetic reso⁃ nance in medicine, 2001, 45(2): 311⁃322. [4]SATO Y, NAKAJIMA S, SHIRAGA N, et al. Three⁃dimen⁃ sional multi⁃scale line filter for segmentation and visualiza⁃ tion of curvilinear structures in medical images[J]. Medical image analysis, 1998, 2(2): 143⁃168. [5]LORENZ C, CARLSEN I C, Buzug T M, et al. A multi⁃ scale line filter with automatic scale selection based on the Hessian matrix for medical image segmentation[ M] / / TER HAAR ROMENY B, FLORACK L, KOENDERINK J, et al. Scale-Space Theory in Computer Vision. Berlin Heidel⁃ berg: Springer, 2006, 1252: 152⁃163. [6] KRISSIAN K. Flux⁃based anisotropic diffusion applied to enhancement of 3D angiograms [ J]. IEEE transactions on medical imaging, 2002, 21(11): 1440⁃1442. [7] KRISSIAN K, MALANDAIN G, AYACHE N. Directional anisotropic diffusion applied to segmentation of vessels in 3D images[ M] / / TER HAAR ROMENY B, FLORACK L, KOENDERINK J, et al. Scale⁃Space Theory in Computer Vision. Berlin Heidelberg: Springer, 1997, 1252: 345⁃348. [8]KRISSIAN K, MALANDAIN G, AYACHE N, et al. Model⁃ based detection of tubular structures in 3D images[J]. Com⁃ puter vision and image understanding, 2000, 80(2): 130⁃ 171. [9]PERONA P, MALIK J. Scale⁃space and edge detection u⁃ 第 1 期 王文颖,等:基于方向滤波器组的造影图像血管增强方法 ·115·
·116· 智能系统学报 第11卷 sing anisotropic diffusion[J].IEEE transactions on pattern [16]LINDEBERG T.Edge detection and ridge detection with analysis and machine intelligence,1990,12(7):629-639. automatic scale selection[C]//Proceedings of IEEE Com- [10]BAMBERGER R H,SMITH M J T.A filter bank for the puter Society Conference on Computer Vision and Pattern directional decomposition of images:theory and design[J] Recognition.San Francisco,CA,1996:465-470. IEEE transactions on signal processing,1992,40(4): 作者简介: 882-893. 王文颖.女,1990年生,硕士研究 [11]BAMBERGER R H.New subband decompositions and cod- 生,主要研究方向为图像处理。 ers for image and video compression[C//Proceedings of IEEE International Conference on Acoustics,Speech,and Signal Processing.San Francisco,CA,1992:217-220. [12]PARK S,SMITH M J T,LEE J J.Fingerprint enhance- ment based on the directional filter bank[C]//Proceedings 尹清波,男,1975年生,副教授,博 of International Conference on Image Processing.Vancou- ver,BC,2000,3:793-796. 士,主要研究方向为信号与图像处理, 已发表论文40余篇,其中SCI检索9 [13]BAMBERGER R H.New results on two and three dimen- sional directional filter banks [C]//Proceedings of the 篇、EI检索20余篇,出版专著1部,获 国家发明专利授权5项。 Twenty-Seventh Asilomar Conference on Signals,Systems and Computers.Pacific Grove,CA,1993,2:1286-1290. [14]PARK C H,LEE JJ,SMITH M J T,et al.Directional fil- 鲁明羽,男,1963年生,教授,博士, ter bank-based fingerprint feature extraction and matching 主要研究方向为机器学习、数据挖掘、 [J].IEEE transactions on circuits and systems for video technology,2004,14(1):74-85. 数据库与决策支持系统等。发表学术 论文120余篇,其中被SCI、EI检索80 [15]FLORACK L M J.TER HAAR ROMENY B M,KOEN- DERINK J J,et al.Scale and the differential structure of 余篇,参与编写、翻译教材和专著6部。 images[J].Image and vision computing,1992,10(6): 376-388. 第八届亚洲机器学习会议 The 8th Asian Conference on Machine Learning (ACML 2016) November 16-18,2016,The University of Waikato,Hamilton,New Zealand The 8th Asian Conference on Machine Learning (ACML 2016)will be held in Hamilton,New Zealand,on Novem- ber 16-18,2016.The conference aims to provide a leading international forum for researchers in machine learning and re- lated fields to share their new ideas,progresses and achievements.Submissions from regions other than the Asia-Pacific are also highly encouraged. The conference calls for high-quality,original research papers in the theory and practice of machine learning.The conference also solicits proposals focusing on frontier research,new ideas and paradigms in machine learning. This year we are running two publication tracks:Authors may submit either to the conference track,for which the proceedings will be published as a volume of Journal of Machine Learning Research (JMLR):Workshop and Conference Proceedings series,or to the journal track for which accepted papers will appear in a special issue of the Springer journal Machine Learning. Important Dates Journal Submission Deadlines:May,2 2016 Early Submission Deadline:May 9,2016 Early Notification Date:June 20,2016 Final Submission Deadline:August,15 2016 Final Notification Date:September,26 2016 Deadlines are 23:59 Pacific Standard Time (PST) Website:http://www.acml-conf.org/2016/
sing anisotropic diffusion[ J]. IEEE transactions on pattern analysis and machine intelligence, 1990, 12(7): 629⁃639. [10]BAMBERGER R H, SMITH M J T. A filter bank for the directional decomposition of images: theory and design[J]. IEEE transactions on signal processing, 1992, 40 ( 4): 882⁃893. [11]BAMBERGER R H. New subband decompositions and cod⁃ ers for image and video compression[C] / / Proceedings of IEEE International Conference on Acoustics, Speech, and Signal Processing. San Francisco, CA, 1992: 217⁃220. [12] PARK S, SMITH M J T, LEE J J. Fingerprint enhance⁃ ment based on the directional filter bank[C] / / Proceedings of International Conference on Image Processing. Vancou⁃ ver, BC, 2000, 3: 793⁃796. [13]BAMBERGER R H. New results on two and three dimen⁃ sional directional filter banks [ C] / / Proceedings of the Twenty-Seventh Asilomar Conference on Signals, Systems and Computers. Pacific Grove, CA, 1993, 2: 1286⁃1290. [ 14]PARK C H, LEE J J, SMITH M J T, et al. Directional fil⁃ ter bank⁃based fingerprint feature extraction and matching [J]. IEEE transactions on circuits and systems for video technology, 2004, 14(1): 74⁃85. [15] FLORACK L M J, TER HAAR ROMENY B M, KOEN⁃ DERINK J J, et al. Scale and the differential structure of images[J]. Image and vision computing, 1992, 10( 6): 376⁃388. [16] LINDEBERG T. Edge detection and ridge detection with automatic scale selection[C] / / Proceedings of IEEE Com⁃ puter Society Conference on Computer Vision and Pattern Recognition. San Francisco, CA, 1996: 465⁃470. 作者简介: 王文颖,女,1990 年生,硕士研究 生,主要研究方向为图像处理。 尹清波,男,1975 年生,副教授,博 士,主要研究方向为信号与图像处理, 已发表论文 40 余篇,其中 SCI 检索 9 篇、EI 检索 20 余篇,出版专著 1 部,获 国家发明专利授权 5 项。 鲁明羽,男,1963 年生,教授,博士, 主要研究方向为机器学习、数据挖掘、 数据库与决策支持系统等。 发表学术 论文 120 余篇,其中被 SCI、EI 检索 80 余篇,参与编写、翻译教材和专著 6 部。 第八届亚洲机器学习会议 The 8th Asian Conference on Machine Learning (ACML 2016) November 16-18, 2016, The University of Waikato, Hamilton, New Zealand The 8th Asian Conference on Machine Learning (ACML 2016) will be held in Hamilton, New Zealand, on Novem⁃ ber 16-18, 2016. The conference aims to provide a leading international forum for researchers in machine learning and re⁃ lated fields to share their new ideas, progresses and achievements. Submissions from regions other than the Asia⁃Pacific are also highly encouraged. The conference calls for high⁃quality, original research papers in the theory and practice of machine learning. The conference also solicits proposals focusing on frontier research, new ideas and paradigms in machine learning. This year we are running two publication tracks: Authors may submit either to the conference track, for which the proceedings will be published as a volume of Journal of Machine Learning Research (JMLR): Workshop and Conference Proceedings series, or to the journal track for which accepted papers will appear in a special issue of the Springer journal Machine Learning. Important Dates Journal Submission Deadlines: May, 2 2016 Early Submission Deadline: May 9, 2016 Early Notification Date: June 20, 2016 Final Submission Deadline: August, 15 2016 Final Notification Date: September, 26 2016 Deadlines are 23:59 Pacific Standard Time (PST) Website:http: / / www.acml⁃conf.org / 2016 / ·116· 智 能 系 统 学 报 第 11 卷