第7卷第2期 智能系统学报 Vol.76.2 2012年4月 CAAI Transactions on Intelligent Systems Apr.2012 D0I:10.3969/i.issn.16734785.201111018 网络出版t地址：htp://www.cnki.net/kcma/detail/23.1538.TP.20120309.1544.004.html 一种基于曲波变换的图像去块算法 邵真天，袁杰 (南京大学电子科学与工程学院，江苏南京210093)》 摘要：图像块效应是由于进行图像压缩编码时采用离散余弦变换(discrete cosine transform,DCT)并对其系数进行 量化处理而引起的，该过程丢失了一些频率成分，并引起了子块边界不连续的跳变.针对这一问题，提出了一种基于 曲波变换的图像去块算法，该算法首先对退化图像进行曲波变换，再对所获取的各层曲波系数进行处理以备复原图 像通过寻找各层中与原始图像块效应相对应的系数，对不同的层采用不同的方法，并计算图像重建时所要使用的 新系数矩阵.实验表明，该算法比传统在客观和主观评估中都被普遍运用的空间域和小波去块方法，得到了更佳的 图像复原效果，且保留了更多的细节. 关键词：去块算法；曲波变换；图像复原；多尺度分析；图像处理 中图分类号：TP18文献标志码：A文章编号：16734785(2012)020102-06 An image de-blocking algorithm based on curvelet transformation SHAO Zhentian,YUAN Jie (School of Electronic Science and Engineering,Nanjing University,Nanjing 210093,China) Abstract:The image block effect is caused by quantification processing of coefficients when using discrete cosine transformation(DCT)to compress coding of images.DCT dumps some frequencies,leading to discontinuous leaps of sub-block boundaries.An image de-blocking algorithm based on curvelet transformation was proposed.This algo- rithm first carried out curvelet transformation of degraded images,then processed the obtained curvelet coefficients separately layer by layer,so as to recover the images.The coefficients corresponding to the block effect of the origi- nal image could be found for every layer,proving that different methods apply to different layers.Then new coeffi- cient matrixes were calculated,using the images which were reconstructed.Experiments show that the algorithm re- tains more details and generates better recovery results than the traditional spatial domain and wavelet de-blocking methods which are used commonly for both subjective and objective evaluations. Keywords:de-blocking algorithm;curvelet transform;image recovery;multiscale analysis;image processing 基于块的离散余弦变换当前已经被大多数的国小波变换的产生和发展，出现了基于小波的图像去 际图像和视频压缩标准采用.它将图像分割为8×8 块算法.正如文献[4-5]所提出的，尽管该法简单快 的像素块，并通过离散余弦变换（discrete cosine 速，所恢复的图像区域也较为平滑，但其对图像细节 transform,DCT)将每一块从空间域转到频率域.但 的处理仍然欠佳.而且，小波变换并不能很好适应具 由于其只对各像素块单独进行编码和量化，并没有 有各向异性的奇异点，即所谓二维空间中的“线奇 考虑相邻块中像素点的相关性.所以，当编码率较低 异性”或者更高维的信号，如图像的边缘曲线。 时，粗糙的量化将使DCT系数陷入不同的量化间 为克服小波变换只能处理奇异性点的局限， 隔，从而导致了图像边缘的块效应. Candes等提出了曲波变换的概念6)，后来提出了第 目前国内外大多数图像去块算法都采用空间域 2代曲波变换「).此后Candes等又提出了快速离散 滤波13的方法，容易丢失图像中的某些细节.随着 曲波变换(FDCT)算法[8].从脊波变换9)(Ridgelet 变换)发展而来的曲波变换，是一种新颖有效的多 收稿日期：2011-11-22.网络出版日期：20120309 基金项目：江苏省自然科学基金资助项目(BK2010386), 尺度几何分析方法，它使用了很多不同尺度的局部 通信作者：邵真天.E-mail:zhentianshao@mail.com. 直线来近似图像的边缘曲线，并具有较好的逼近效
第2期 邵真天，等：一种基于曲波变换的图像去块算法 ·103· 果0.曲波变换综合了脊波变换能有效表示“直 曲波系数进行重建，所获得的图像见图2中(a)~ 线”的奇异性和小波变换对图像中的奇异点具有很 ()所示， 好表现力的优势四，使用具有方向性的参数，同时 获取对平滑区域及边缘的稀疏表示.故曲波变换在 处理图像边缘区域时能获得更好的效果，同时有效 地保留了图像的细节， 曲波变换被广泛运用在图像增强「2-3]、图像融 合1415)及图像去噪1617]领域，并取得了很好的效果. (a)Coarse层（第1层(b)Detail层（第2层）(c)Detail层（第3层） 但很少有基于曲波变换的算法被运用到图像去块中， 所以，本文提出了一种基于曲波变换的图像去块算 法.该算法通过对曲波变换所获取的曲波系数进行处 理，在有效去除图像块效应的同时，尽可能地保证原 图的细节信息完好无损.通过实验比较了本文所提出 (d)Detailf层（第4层）(e)Detailf层（第5层）(ine层（第6层） 的去块算法、常用的空间域去块和小波去块方法，结 图2重建各层曲波系数 果表明，本文的方法获得了更好的复原图像 Fig.2 Reconstruct curvelet coefficients at each layer 1去除块效应算法 从图中可以看到，第1层为Coarse尺度层，主 要由图像的低频系数组成，体现了图像的概貌，但却 1.1曲波系数分析 丢失了图像的细节，从而导致重构的图像较为模糊。 假设图像大小为N×N,则曲波变换后图像的 中间4层均为Detail尺度层，主要由中高频系数组 尺度层数为N-3.通常，通过曲波变换所获得的 成，且随层数的增加，频率由低到高变化，所包含的 尺度层随频率由低到高可分为Coarse层、Detail层 图像边缘信息也将更加精细.此外，每层被分割为4 及Fine层. 个大方向，每个大方向又被分为多个小方向.这些层 以一幅512×512大小的Barbara图像为例，如 包含了各方向上的边缘信息，具有多方向的特性.最 图1所示.可计算其曲波变换后的尺度层数为6，所 外层为Fine层，主要由图像的高频系数组成，包含 获得的曲波系数结构记录于表1.表中C{U}、{}、 (k,2)为曲波系数，其中j和1分别代表尺度和方 了图像细节和边缘的详细信息 图3通过直方图更直观地展示了不同层中曲波系 向，(k1,k2)代表在尺度为j及方向为1时的坐标. 数的最大、最小、能量、平均值以及方差之间的差异 4×10 5x10 456 -10123456 (a)最人值随尺度层变化 ()最小值随尺度层变化 10 2010 6*10 图1原始512×512大小Barbara图像 Fig.1 Original 512 x512 Barbara image 0 2 5 表1曲波系数的结构 23456 23456 23456 Table 1 The structure of curvelet coefficient (c能量随尺度层 (d)均值随尺度层（ε）方差随尺度房 层次 尺度系数 方向数量 变化 变化 变化 Coarse Cl1 1 图3直方图统计数据 Detail C{2 32(4×8) Fig.3 Histograms of statistical data Detail C{3 32(4×8) Detail C14 64(4×16) 图3中，Coarse层具有曲波系数中最大的能量、 Detail C15 64(4×16) 最宽的值分布范围以及最大的方差：而ine层包含 Fine C6 1 最少的能量、最窄的值分布范围，并且它的方差几乎 对Barbara图像经由曲波变换后所获得的各层 为0：同时可以看到，随着层数的增加，能量呈几何
·104· 智能系统学报 第7卷 级数递减： 为M×W,并假设曲波系数由cmn表示，其中m=1, 1.2基于曲波变换的去块算法 2,…,M,n=1,2,…,N.从而方差σ子以及整个系数 图像块效应是由于采用DCT压缩编码对图像 矩阵的均值r分别为 子块进行孤立的分块处理而产生的.从理论上来说， DCT变换是一种误差可控的编码方式.但在对每一 ∑(c-)2, 块进行独立编码时，为提高图像的压缩率，选择丢弃 (1) M N 一些小能量的频率成分，且忽略了块与块之间的相 MT= 关性，故而成为产生块效应的一个主要原因.若编码 对任意的8×8子块B={b,,i,j=1,2,…, 率较低，量化步长将会受到编码比特数的限制而变 8,其方差σ和均值g为 得更长.这意味着，2个原本平滑的像素值可能会陷 入2个不同的量化间隔，从而在重构图像的边缘时 1。∑∑(b-), 「o=8x8名H 形成不连续的跳变，产生错误的块边界.所以，压缩 (2) 率越高，块效应越严重. 1∑∑b 88 uB=8×8h 以退化的Barbara图像为例.将存在块效应的 用式(3)的特征函数反映该块的平滑程度： 图像转换到曲波域，并分析所获得的曲波系数.分别 G= fl,oB≤Threshold; 使用各层的曲波系数对图像进行重构，其结果如 (3) 10,g Threshold. 图4所示 式中：G=1表示该块为平滑块，G=0表示该块为纹 理块，本文选取阈值Threshold=0.5or,若2个相邻 块均为平滑块，则产生一个转换块，其由左侧块的右 4列及右侧块的左4列组成. 对于任一纹理块，构造一个自适应滤波模板S。: a)Coarse层1层) (h)Detail层(2层 (c)Detaill层(3层) b S= c bs (4) 式中：c为当前被滤波的像素点；b(i=1,2,…,8)形成 以c为中心的滤波模板.对模板中的任意点x,其曲波 (d)Detail层(4层) (e)Detail层(5层 (0F'ine层(6层) 系数由八x)表示，而滤波后的曲波系数由(x)表示 从而c点的滤波结果可由式(5)计算. 图4重构退化图像各层曲波系数 f(c)=w[f(b1)+f(ba)]/2+ Fig.4 Reconstruct curvelet coefficient at each layer of degraded image o2[fb2)+fb,)]/2+w3[fb3)+fb6)]/2+ 由于图像块效应主要存在于图像的高频成分之 w4[fb4)+fbs)]/2+(1-01-02-03-04fc). 中，比较图4与图2的各层系数可知，块效应对曲波 (5) 系数的影响主要存在于最外层(Fine层)及次外层 式(5)中的权重因子01、02、03、04可由式(6) (最外Detail层).所以，只需对这2层的系数进行处 及式(7)计算得到. 理就可对图像整体的块效应很好地消除.这2层所 01=(1+k[fb)-fb8)]2)-/4, 包含的能量很少，且值分布范围也较窄，因而对这些 02=(1+[fb2)-fb,)]2)-/4, (6) 系数的处理不会对整个图像的能量产生多少影响， w3=(1+[fb）-fbs)]2)/4, 并可保证重构图像大体与原图保持一致， 04=(1+k[fb4)-fb3)]2)-/4 由于Fine层图像的大小与原图相同，所以Fine 层的曲波系数与重构图像一一对应，从而可在所有 k (7) 2o子+σ2 的曲波系数中找到与平滑块、纹理块相对应的系数. 正如块的无偏方差代表着该块的能量一样，它也能 式中：di=(e)-u)2+含，)-u)A为模 代表该块的平整度，并帮助区分平滑块和纹理块. 假设图像的大小为M×N,则Fine层的大小也 板中所有系数的方差山L=)c)+店6，)为模
第2期 邵真天，等：一种基于曲波变换的图像去块算法 ·105 板中所有系数的均值，σ？为所有曲波系数的方差。 应，并不会对整个图像产生决定性的影响；所以，本 参数k取决于局部和整体的统计特性的比值， 文采用了一个简单的滤波器.但若滤波模板太大，将 用于衡量非线性程度.且k越大，滤波器的非线性程 不能获得一个清晰的重构图像，而模板太小会在重 度越高；当k=0时，滤波器退化为一个线性均值滤 构图像中产生伪Gbbs效应.故本文采用一个5×5 波器.即使局部方差σ在变化，滤波器也能自适应 模板来对第5层系数矩阵进行滤波， 地调整其非线性程度.文献[1]指出，当取k= Γ1/161/16 1/161/16 1/16 0.001,k2=0.5时，其具有一定的鲁棒性. 1/16 1/81/81/81/16 为了确保模板的平整度，本文计算了与c对称 S=3 1/16 1/8 1 1/81/16 的系数对的平均值及其权重和权重因子01、02、w3、 1/161/8 1/8 1/81/16 04取决于对称系数对的差方，且差方越大，c为一个 1/161/16 1/161/161/16 跳跃点（与重构图像的块边缘相一致）的可能越大， 2 则应分配更少权重给相应的均值，从而有利于保留 实验 图像细节. 图5比较了空间域法2]、小波变换法51以及本 由于Detail层的曲波系数包含不同的尺度和方 文所提出的去块效应方法的去块效果.其中原始退 向，所以并不能简单使用与Fine层相同的方法.然 化图像大小为512×512，采用PEG压缩，退化质量 而，存在于重构的最外Detail层（第5层）中的块效 为25，见图5(a)所示. a)Barbarai退化图像 ,空间域法 (c)小波算法 (d木文USFFT算法 (e)水文Wrap算法 ①图(a中局部放大图像(g图凸b中局部放大图像h)图(c)中局部放大图像心图d中局部放大图像)图(e)中局部放大图像 k)车牌退化图像 )空问域法 m)小波算法 ()本文USI算法 (o)本文Wap算法 )图k)中局部放大图像图)中局部放大图像(：)图m中局部放大图像s图a中尚部放大图像①)图o中局部放大图像 图5退化Barbara图像及车牌图像的复原效果 Fig.5 Recovery of degraded Barbara images and degraded license plate images
.106 智能系统学报 第7卷 从图5的(b)和(c)中可以看出，基于空间域的 3.0m 。空间域 重构算法相当于对图像的平滑区域和细节区域进行 ￠小波域 2.8 O木文算法USFFT 平滑滤波；小波算法在平滑区域行为很好，但对重构 。木文算法Wrap 的细节部分处理得并不客观. 2.6 本文采用文献[18]中所提出的UST和Wra即 2种曲波变换的实现算法对退化的Barbara图像进行重 构，其实现的具体细节在文献[18]中有详细介绍.从图 5可以看到，本文所提出的算法对平滑区域和细节区域 20 5 都有很好的重构效果，见图5(d)和(e)所示，其局部图 退化质量 b)高频成分 像在图5(i)和G)中进行了放大观察. 另一个实验是对监控视频中车牌的处理，其退 图6 Barbara图使用各复原算法的PSNR及高频成分所 化图像见图5(k)所示.各复原算法的结果见图5 占比例 Fig.6 PSNR and proportion of high frequency compo- (1)~(o)所示，其局部放大图像见图5(q)~(t)所 nent of different recovery algorithms of Barbara 示.本文使用峰值信噪比(PSNR)对重构图像进行 image 客观评估，并记录各算法所消耗的时间，如表2所示 (Intel CPU T2300Hz,1GB Memory).由于曲波变换 34 比小波变换更为复杂，所需消耗的时间也就更多.表 32 2同时表明，在降低块效应方面，Wrap算法比US F℉T算法稍差些，而且存在一定程度的伪Gibbs效 ap/a 30 应，但其所消耗的时间较少，且消耗的时间与图像大 NSd 小成比例 口空间城 ◇小波域 分别运用空间域2]、小波变换5]以及本文所提 O本文算法UST 出的方法对不同退化质量的图像进行重建.图6和 D水义箕法Wrap 20 25 30 图7分别描绘了上述两实验所获得的PSNR及高频 退化质量 成分所占的比例， (a)PSNR 2. 表2各图像复原算法的PSNR及消耗时间 Table 2 PSNR and time consumption of recovery algorithms 三2.0 Barbara 牌照 算法 恒1 7空间域 PSNR/dB 时间/s PSNR/dB时间/s 。小波域 空间域2128.74179.1079 27.09566.1534 O本文算法USFFT 口本文算法Wrap 小波域5]29.19910.6177 28.92920.3471 20 25 30 退化质量 USFFT 30.699633.504629.471623.1671 B)高频成分 Wrap 30.439311.859428.67457.8008 图7 车牌图使用各复原算法的PSNR及高频成分所占 比例 32 Fig.7 PSNR and proportion of high frequency compo- 31 nent of different recovery algorithms of license 30 plate image 3结束语 28 ⅴ空间域 ◇小波域 本文将快速离散曲波变换(FDCT)算法运用于 O本文算法UST 图像去块中，该算法先将存在块效应的空间域图像 o木文算法Wrap 21 转换到曲波域，并获取不同层经由FDCT后的曲波 20 25 30 退化质量 系数，再寻找各层中与退化图像块效应相关联的系 (a)PSNR 数.由于图像块效应最主要受Fine层和最外Detail
第2期 邵真天，等：一种基于曲波变换的图像去块算法 ·107· 层的影响，故只需对这2层分别进行处理.ine层的 [10]DONOHO D L,DUNCAN M R.Digital curvelet trans- 系数矩阵被分为与平滑区域和纹理区域分别相关的 form:strategy,implementation,experiments[R].Califor- 2部分，并分别对其使用对应的自适应滤波模板.同 nia,America:Stanford University,2000. [11]CANDES E J,DONOHO D L.Ridgelets:the key to high- 时，对各尺度和方向上的Detail层系数采用另外的 er-dimensional intermittency J].Philosophical Transac- 滤波模板进行处理.最终根据这些处理过的系数重 tions of the Royal Society of London Series A,1999,357: 构原始退化图像.实验证明，与传统的算法相比，本 2495-2509. 文的算法能够更好地保留图像的细节.从主观上来 [12]陈学堂，张元，杨坤平，等.基于第二代曲波变换算法的检 说，本文的算法获得了一个更好的复原效果；而从客 测图像增强[J].传感器与微系统，2008,27(12)：8-10. 观上说，本文算法也获得了更高的PSNR,保留了图 CHEN Xuetang,ZHANG Yuan,YANG Kunping,et al. Testing-image enhancement based on II curvelet algorithm 像更高的频率成分.而且，该算法对不同尺寸的图像 [J].Transducer and Microsystem Technologies,2008,27 也具有更好的适用性，可被运用在诸如刑事调查中 (12):8-10. 复原退化图像等场合， [13 ]LI Y,NING H J,ZHANG Y N,et al.Nonlinear curvelet diffusion for noisy image enhancement[C]//Intemational 参考文献： Conference on Image Processing.Brussels,Belguim 2011：2257-2560. [1]LUO Y,KWARD R.Removing the blocking artifacts of block-based DCT compressed images[J].IEEE Trans on [14]武治国，王延杰。一种基于边缘的曲波变换图像融合方 法[J].光学技术，2009,35(5)：682690 Image and Processing,2003,12(7):838-842. WU Zhiguo,WANG Yanjie.Image fusion algorithm using [2]张学全，顾晓东，孙辉先.基于自适应空域滤波的图像去 curvelet transform based on the edge detection[J].Optical 块效应算法[J].计算机工程，2009,35(4)：218-220. Technique,2009,35(5):682690. ZHANG Xuequan,GU Xiaodong,SUN Huixian.De-block [15]HU X L,LU H M,ZHANG L F,et al.A new type of algorithm for compressed image based on adaptive space do- multi-focus image fusion method based on curvelet trans- main filtering[J].Computer Engineering,2009,35(4): 218-220 forms[C]//Proceedings of the 2010 Inter national Confer- ence on Electrical and Control Engineering.Wuhan,Chi- [3]李欣，陈帅.一种有效的空城去块效应算法[J].信息技 na,2010:172-175. 术，2011,8：86-93. LI Xin,CHEN Shuai.A new adaptive de-blocking algorithm [16]DUNCAN D Y P,DO M N.Directional multiscale model- ing of images using the contourlet transform[J].IEEE on spatial domain[J].Information Technology,2011,8: Transactions on Image Processing,2006,15(6):1610- 86-93. 1620. [4]LIEWA W C,YAN H.Blocking artifacts reduction in JPEG [17]JIANG T,ZHAO X,DING WW,et al.Improved image compressed images using overcomplete wavelet represented denoising method based on curvelet transform[C]//2010 [C]//International Symposium on Intelligent Multimedia. IEEE International Conference on Information and Automa- Hong Kong,China,2001:129-132. tion.Harbin,China,2010:1086-1090. [5]石敏，易清明，刘金梅.一种有效的块DCT编码图像去 [18]CANDES E J,DEMANET L,DONOHO D,et al.Cur- 块效应算法[J].计算机应用，2007,27(6)：1460- 1462. eLab2.1.2[EB/0L].[200808-15].htp://www.cur SHI Min,YI Qingming,LIU Jinmei.Effective de-blocking velet.org/. 作者简介： algorithm for block-DCT images [J].Computer Applica- 邵真天，男，1989年生，硕士研究生 ions,2007,27(6):1460-1462. [6]CANDES E J,DONOHO D L.Curvelets-a surprisingly ef- 主要研究方向为图像处理与模式识别。 fective nonadaptive representation for objects with edges [C]//Curves and Surfaces.Nashville,USA,2000:105- 120. [7]CANDES E J,GUO F.New multiscale transforms minimum total variation synthesis:application to edge-preserving im- age reconstruction[J].Signal Processsing:Special Issue on 袁杰，男，1975年生，博士，副教授， Image and Video Coding beyond Standards,2002,82: EEE资深会员，曾3次赴日本、1次赴 1519-1543. 香港、3次赴欧洲以访问学者身份进行 [8]CANDES E J,DEMANET L,DONOHO D,et al.Fast dis 学术合作与交流，主要研究方向为图像 crete curvelet transforms[J].Multiscale Modeling and Sim- 与视频处理.拥有省级科技以上成果鉴 ulation,2006,5(3):861899. 定4项，申请发明专利近30项，授权专 [9]CANDES E J.Harmonic analysis of neural networks J]. 利10项.发表学术论文30余篇，多篇被SCI、EI检索. Applied and Computational Harmonic Analysis,1999,6 (2):197218