工程科学学报，第40卷，第8期：996-1004,2018年8月 Chinese Journal of Engineering,Vol.40,No.8:996-1004,August 2018 DOI:10.13374/j.issn2095-9389.2018.08.014;http://journals.ustb.edu.cn 联合多种边缘检测算子的无参考质量评价算法 沈丽丽区，杭宁 天津大学电气自动化与信息工程学院，天津300072 ☒通信作者，E-mail:sll@u.cu.cn 摘要提出了一种联合多种边缘检测算子的无参考质量评价算法，同时考虑一阶和二阶边缘算子，避免了单一算子的局限 性.该方法首先将彩色图像转换为灰度图像，然后计算灰度图像的梯度，相对梯度以及LOG特征.本文所使用的特征分为两 部分，一部分提取相对梯度方向的标准差，另一部分利用条件嫡来量化不同特征之间的相似性和相互关系，并且考虑到人眼 特性进行多尺度计算，最后使用自适应增强(AdaBoost)神经网络进行训练和预测.在公共数据库LIVE和TD2OO8上进行实 验，结果表明新方法对失真图像的预测评分与主观评分有较高的一致性，能很好地反映图像质量的视觉感知效果，仅使用10 维特征，性能优于现有的主流无参考质量评价算法 关键词无参考图像质量评价：梯度：LOG特征：条件嫡：AdaBoost神经网络 分类号TN911.73 No-reference image quality assessment using joint multiple edge detection SHEN Li-i,HANG Ning School of Electrical and Information Engineering,Tianjin University,Tianjin 300072,China Corresponding author,E-mail:sll@tju.edu.cn ABSTRACT Before digital images become available to consumers,they usually undergo several stages of processing,which include acquisition,compression,transmission,and presentation.Unfortunately,each stage introduces certain types of distortion,such as white noise,Gaussian blur,and compression distortion,which may degrade the perceptual quality of the final image.Therefore,it is important to design an effective and robust image quality assessment method to automatically evaluate distortions in image quality.Im- age quality assessment is widely used in image compression,image deblur,image enhancement,and other image processing domains. In general,no-reference image quality assessment methods have profound practical significance and broad application value;hence,it remains the main focus of many researchers.At present,many image quality assessment methods extract features and predict image quality using single edge detection operations such as gradient or local binary pattern.However,it is difficult for a single edge detection operation to represent the whole perceptual quality of distorted images,and hence,their predictions may not be satisfactory.To elimi- nate the limitations of single edge detection operation,this paper proposes a new no-reference image quality assessment method based on a multiple edge detection operation.The paper considers first-order and second-order derivative information and utilize their similari- ty to predict image quality.The proposed method first converted color images to grayscale images,and calculated the gradient magni- tude GM),relative gradient magnitude RM),relative gradient orientation (RO),and Laplacian of Gaussian LOG)of the grayscale images.The feature vectors extracted from the maps were divided into two parts,where one part was the standard deviation of RO,and the second part utilized conditional entropy to quantify the similarity and relationship of GM,RM,and LOG.The images were naturally multiscale,and distortions affected the image structures across scales.Hence,all features at two scales were extracted:the o- riginal image scale and at a reduced resolution low-pass filtered and down sampled by a factor of 2).Lastly,an AdaBoost back-propa- gation network was used to train and establish a regression model to predict the image quality.The experiment of the proposed method 收稿日期：2017-08-22 基金项目：国家自然科学基金资助项目(61520106002,61471262)
工程科学学报,第 40 卷,第 8 期:996鄄鄄1004,2018 年 8 月 Chinese Journal of Engineering, Vol. 40, No. 8: 996鄄鄄1004, August 2018 DOI: 10. 13374 / j. issn2095鄄鄄9389. 2018. 08. 014; http: / / journals. ustb. edu. cn 联合多种边缘检测算子的无参考质量评价算法 沈丽丽苣 , 杭 宁 天津大学电气自动化与信息工程学院, 天津 300072 苣 通信作者, E鄄mail:sll@ tju. edu. cn 摘 要 提出了一种联合多种边缘检测算子的无参考质量评价算法,同时考虑一阶和二阶边缘算子,避免了单一算子的局限 性. 该方法首先将彩色图像转换为灰度图像,然后计算灰度图像的梯度,相对梯度以及 LOG 特征. 本文所使用的特征分为两 部分,一部分提取相对梯度方向的标准差,另一部分利用条件熵来量化不同特征之间的相似性和相互关系,并且考虑到人眼 特性进行多尺度计算,最后使用自适应增强(AdaBoost)神经网络进行训练和预测. 在公共数据库 LIVE 和 TID2008 上进行实 验,结果表明新方法对失真图像的预测评分与主观评分有较高的一致性,能很好地反映图像质量的视觉感知效果,仅使用 10 维特征,性能优于现有的主流无参考质量评价算法. 关键词 无参考图像质量评价; 梯度; LOG 特征; 条件熵; AdaBoost 神经网络 分类号 TN911郾 73 收稿日期: 2017鄄鄄08鄄鄄22 基金项目: 国家自然科学基金资助项目( 61520106002, 61471262) No鄄reference image quality assessment using joint multiple edge detection SHEN Li鄄li 苣 , HANG Ning School of Electrical and Information Engineering, Tianjin University, Tianjin 300072, China 苣 Corresponding author, E鄄mail: sll@ tju. edu. cn ABSTRACT Before digital images become available to consumers, they usually undergo several stages of processing, which include acquisition, compression, transmission, and presentation. Unfortunately, each stage introduces certain types of distortion, such as white noise, Gaussian blur, and compression distortion, which may degrade the perceptual quality of the final image. Therefore, it is important to design an effective and robust image quality assessment method to automatically evaluate distortions in image quality. Im鄄 age quality assessment is widely used in image compression, image deblur, image enhancement, and other image processing domains. In general, no鄄reference image quality assessment methods have profound practical significance and broad application value; hence, it remains the main focus of many researchers. At present, many image quality assessment methods extract features and predict image quality using single edge detection operations such as gradient or local binary pattern. However, it is difficult for a single edge detection operation to represent the whole perceptual quality of distorted images, and hence, their predictions may not be satisfactory. To elimi鄄 nate the limitations of single edge detection operation, this paper proposes a new no鄄reference image quality assessment method based on a multiple edge detection operation. The paper considers first鄄order and second鄄order derivative information and utilize their similari鄄 ty to predict image quality. The proposed method first converted color images to grayscale images, and calculated the gradient magni鄄 tude (GM), relative gradient magnitude ( RM), relative gradient orientation ( RO), and Laplacian of Gaussian ( LOG) of the grayscale images. The feature vectors extracted from the maps were divided into two parts, where one part was the standard deviation of RO, and the second part utilized conditional entropy to quantify the similarity and relationship of GM, RM, and LOG. The images were naturally multiscale, and distortions affected the image structures across scales. Hence, all features at two scales were extracted: the o鄄 riginal image scale and at a reduced resolution (low鄄pass filtered and down sampled by a factor of 2). Lastly, an AdaBoost back鄄propa鄄 gation network was used to train and establish a regression model to predict the image quality. The experiment of the proposed method
沈丽丽等：联合多种边缘检测算子的无参考质量评价算法 .997· was performed on two public databases,LIVE and TID2008,and the results show that the score predicted by this new method has a good correlation with the subjective quality score.Moreover,this method can reflect perceptual quality properly using only ten-dimen- sional feature vectors,and the performance of correlation coefficient can exceed some state-of-the-art no-reference image quality assess- ment algorithms. KEY WORDS no-reference image quality assessment;gradient;Laplacian of Gaussian;conditional entropy;AdaBoost network 随着数字成像技术和互联网的飞速发展，图像 图像的整体影响，而很少考虑局部的结构性损失，并 在人们日常生活中使用的越来越频繁).然而图像 且这类方法只适用于自然图像的质量评价，对于非 在采集、压缩、传输、储存等过程中总会不可避免的 自然图像的预测结果并不理想 产生失真，导致最终得到图像存在一定的降质，不能 人类视觉系统对图像的边缘结构比较敏 满足人们的需要.设计一个有效的图像质量评价方 感[9-0]，因此有许多评价算法利用边缘和结构信息 法(image quality assessment,.IQA)在图像压缩f2)】、图 来进行质量预测.如Marziliano等I-2]使用Sobel 像去模糊3)]、图像增强[]等方面都有重要的作用. 算子检测竖直方向的边缘，通过搜索灰度值的局部 图像质量评价方法可以分为主观评价和客观评价两 极值点得到边缘宽度，将所有边缘像素的平均边缘 类.前者是由若干观察者对图片的质量进行评分， 宽度作为图像模糊程度的估计.Li山等]认为原始 然后通过统计方法得到平均分值，称为平均主观得 的梯度算法不能很好的反映图像的局部结构性信 分(mean opinion score,MOS)或平均主观得分差异 息，他们将每个像素点的梯度值与其邻域梯度均值 (different mean opinion score,DMOS).后者使用一 进行比较，提出了一种改进的相对梯度特征，并将相 系列的算法代替人类视觉系统对图像质量进行预 对梯度的方差作为特征预测图像质量.Zhang 测.一般来说，主观评价的方法更加可靠，但这种方 等4)，i等[和Yue等6分别利用局部二值模式 法费时费力，稳定性较差，因此客观的质量评价方法 (local binary pattern,LBP)的改进方法提取特征来 成为研究重点.根据是否需要原始参考图像，客观 构建预测模型.目前，基于边缘信息的算法已经取 评价方法可以分为三类：全参考质量评价算法(l 得了很好的效果，这些方法大多使用单一的边缘检 reference,FR)、半参考质量评价算法(reduced refer- 测算法，具有一定的针对性，但很难反映出图像全部 ence,RR)以及无参考质量评价算法(no reference, 的纹理细节. NR).由于实际应用中往往无法获得原始参考图 本文提出了一种联合多种边缘检测算子的无参 像，所以研究无参考图像质量评价算法更加具有现 考质量评价算法，利用失真条件下一阶边缘信息和 实意义.目前主流的无参考质量评价算法分为两大 二阶边缘信息之间的相似性进行质量预测.该方法 类：基于自然场景统计(natural scene statistics,NSS) 首先提取图像的梯度，相对梯度以及L0G特征，然 的方法和基于边缘和结构性信息的方法. 后计算梯度和LOG之间的条件熵以及相对梯度和 自然图像具有相似的统计特性，而失真会造成 LOG之间的条件嫡，最后使用自适应增强(Ada- 这种统计特性的改变[)，通过计算失真图像和参考 Boost)1]神经网络进行回归预测.在LIVE7]数据 图像统计特性的差异可以进行图像质量的预测. 库和TD2008[1]数据库上进行实验，结果表明本文 Saad等提出了BLIINDS-IⅡ6算法，先使用离散余弦 提出的算法与主观DMOS值有着很高的一致性，并 变换(discrete cosine transform,DCT)将失真图像变 且性能优于主流的无参考质量评价算法. 换到频域，然后再使用广义高斯分布拟合DCT系数 1梯度特征与LOG特征 的直方图，将拟合的参数进行训练.Anush和Bovik 提出DIIVINE)算法，先将失真图像进行一种基于 1.1梯度与相对梯度 小波的多方向可控金字塔分解，然后使用广义高斯 梯度能够很好的反映出图像中微小的细节反差 分布拟合分解得到的子带系数直方图，将拟合参数 和纹理结构，所以广泛用于图像质量评价算法中，梯 作为特征进行训练.Mittal等提出了空域上的质量 度的幅值GM和方向G0可以由公式(1)~(2)计 评价算法BRISQUE8),该方法使用灰度图像的归 算.其中图像水平方向的一阶导数为1=I⑧h,竖 一化亮度系数来拟合广义高斯分布，具有极低的计 直方向的一阶导数为I=I⑧h,I代表原始图像，⑧ 算复杂性.一般来说，基于自然场景统计(NSS)的 代表卷积运算，而h,和h,分别是水平方向和垂直 方法有一定的局限性，这类方法大都只关注失真对 方向的滤波模板
沈丽丽等: 联合多种边缘检测算子的无参考质量评价算法 was performed on two public databases, LIVE and TID2008, and the results show that the score predicted by this new method has a good correlation with the subjective quality score. Moreover, this method can reflect perceptual quality properly using only ten鄄dimen鄄 sional feature vectors, and the performance of correlation coefficient can exceed some state鄄of鄄the鄄art no鄄reference image quality assess鄄 ment algorithms. KEY WORDS no鄄reference image quality assessment; gradient; Laplacian of Gaussian; conditional entropy; AdaBoost network 随着数字成像技术和互联网的飞速发展,图像 在人们日常生活中使用的越来越频繁[1] . 然而图像 在采集、压缩、传输、储存等过程中总会不可避免的 产生失真,导致最终得到图像存在一定的降质,不能 满足人们的需要. 设计一个有效的图像质量评价方 法(image quality assessment, IQA)在图像压缩[2] 、图 像去模糊[3] 、图像增强[4] 等方面都有重要的作用. 图像质量评价方法可以分为主观评价和客观评价两 类. 前者是由若干观察者对图片的质量进行评分, 然后通过统计方法得到平均分值, 称为平均主观得 分 (mean opinion score,MOS)或平均主观得分差异 (different mean opinion score,DMOS). 后者使用一 系列的算法代替人类视觉系统对图像质量进行预 测. 一般来说,主观评价的方法更加可靠,但这种方 法费时费力,稳定性较差,因此客观的质量评价方法 成为研究重点. 根据是否需要原始参考图像,客观 评价方法可以分为三类:全参考质量评价算法( full reference, FR)、半参考质量评价算法(reduced refer鄄 ence, RR)以及无参考质量评价算法( no reference, NR). 由于实际应用中往往无法获得原始参考图 像,所以研究无参考图像质量评价算法更加具有现 实意义. 目前主流的无参考质量评价算法分为两大 类:基于自然场景统计(natural scene statistics, NSS) 的方法和基于边缘和结构性信息的方法. 自然图像具有相似的统计特性,而失真会造成 这种统计特性的改变[5] ,通过计算失真图像和参考 图像统计特性的差异可以进行图像质量的预测. Saad 等提出了 BLIINDS鄄II [6] 算法,先使用离散余弦 变换(discrete cosine transform, DCT)将失真图像变 换到频域,然后再使用广义高斯分布拟合 DCT 系数 的直方图,将拟合的参数进行训练. Anush 和 Bovik 提出 DIIVINE [7]算法,先将失真图像进行一种基于 小波的多方向可控金字塔分解,然后使用广义高斯 分布拟合分解得到的子带系数直方图,将拟合参数 作为特征进行训练. Mittal 等提出了空域上的质量 评价算法 BRISQUE [8] , 该方法使用灰度图像的归 一化亮度系数来拟合广义高斯分布,具有极低的计 算复杂性. 一般来说,基于自然场景统计(NSS) 的 方法有一定的局限性,这类方法大都只关注失真对 图像的整体影响,而很少考虑局部的结构性损失,并 且这类方法只适用于自然图像的质量评价,对于非 自然图像的预测结果并不理想. 人类 视 觉 系 统 对 图 像 的 边 缘 结 构 比 较 敏 感[9鄄鄄10] ,因此有许多评价算法利用边缘和结构信息 来进行质量预测. 如 Marziliano 等[11鄄鄄12] 使用 Sobel 算子检测竖直方向的边缘,通过搜索灰度值的局部 极值点得到边缘宽度,将所有边缘像素的平均边缘 宽度作为图像模糊程度的估计. Liu 等[13] 认为原始 的梯度算法不能很好的反映图像的局部结构性信 息,他们将每个像素点的梯度值与其邻域梯度均值 进行比较,提出了一种改进的相对梯度特征,并将相 对梯 度 的 方 差 作 为 特 征 预 测 图 像 质 量. Zhang 等[14] ,Li 等[15]和 Yue 等[16] 分别利用局部二值模式 (local binary pattern, LBP)的改进方法提取特征来 构建预测模型. 目前,基于边缘信息的算法已经取 得了很好的效果,这些方法大多使用单一的边缘检 测算法,具有一定的针对性,但很难反映出图像全部 的纹理细节. 本文提出了一种联合多种边缘检测算子的无参 考质量评价算法,利用失真条件下一阶边缘信息和 二阶边缘信息之间的相似性进行质量预测. 该方法 首先提取图像的梯度,相对梯度以及 LOG 特征,然 后计算梯度和 LOG 之间的条件熵以及相对梯度和 LOG 之间的条件熵,最后使用自适应增强 ( Ada鄄 Boost) [13]神经网络进行回归预测. 在 LIVE [17] 数据 库和 TID2008 [18]数据库上进行实验,结果表明本文 提出的算法与主观 DMOS 值有着很高的一致性,并 且性能优于主流的无参考质量评价算法. 1 梯度特征与 LOG 特征 1郾 1 梯度与相对梯度 梯度能够很好的反映出图像中微小的细节反差 和纹理结构,所以广泛用于图像质量评价算法中,梯 度的幅值 GM 和方向 GO 可以由公式(1) ~ (2) 计 算. 其中图像水平方向的一阶导数为 Ix = I茚hx,竖 直方向的一阶导数为 Iy = I茚hy,I 代表原始图像,茚 代表卷积运算,而 hx 和 hy 分别是水平方向和垂直 方向的滤波模板. ·997·
.998· 工程科学学报，第40卷，第8期 GM=√+了 (1) 类的失真，高阶的LOG特征会比GM特征受到更严 重的影响，在图像质量很差的情况下甚至呈现均值 GO=arctan (2) 分布，而GM受噪声的影响有限. 人类的视皮质神经元高度敏感于图像的局部边 本文分别选取高斯模糊和白噪声失真进行讨 缘和结构性信息，图像的特征主要取决于它的局部 论.图1展示的是LIVE数据库的一张参考图像 细节[u-2].in等3]认为公式(1)和(2)提出的梯 “stream.bmp”以及原始图像经过高斯模糊和白噪声 度特征只是从全局上对图像的边缘进行描述，梯度 失真之后的GM和LOG概率分布.从图1中可以看 尤其是梯度方向应该更加突出邻域特点.该文章针 出，对于高斯模糊失真，随着图像质量的下降，GM 对这一点进行改进，为了突出邻域的结构特点，提出 和LOG的分布逐渐集中到低幅值区域，并且分布形 了相对梯度算法，并且证明了对于不同类型和不同 式越来越相似.对于白噪声失真，随着图像质量的 程度的失真，失真图像相对梯度方向的概率分布具 下降，L0G特征受到的影响很大，在失真严重的情 有一定的规律性，能够作为衡量图像质量的特征，相 况下呈现近似均值，而GM受噪声的影响不太明显. 对梯度幅度RM和相对梯度方向RO可以由公式 基于上述观察，本文尝试使用GM和LOG的相似程 (3)~(4)计算得到： 度来反映图像的质量 RM=√（亿.-IAE)+(g,-IAE)了 1.4条件熵特征 (3) 香农信息论认为，两张图像的条件嫡可以认为 RO=GO-arctan (I AVE (4) 是在已知一张图片的前提下，另一张图片的不确 x_AVE 其中，IAwE和IAwE分别由I和I经过3×3均值滤 定度，在某种程度上也可以认为是两张图片的相 波得到.本文提取R0的标准差作为第一维特征. 似程度，且嫡值越大，不确定度越高，两张图片相 1.2L0G特征 似度越低.在本文中，使用条件嫡来衡量两种边缘 LOG特征是一种十分常见的边缘检测算子，它 特征的相似性.条件熵可以利用联合嫡和链式法 反映的是图像的二阶边缘信息，具有旋转不变性和 则得出： 位移不变性等优点.一个典型的LOG特征由公式 H(X,Y)=- 艺pm（x,y)log po(,)(7) (5)~(6)给出： x=0y=0 255 L=I☒hoc (5) H(X)=- ∑px(x)log px(x) (8) x=0 huc =2 2 x8(x.ylo)+ 8(x,y1o)= H(YIX)=H(X,Y)-H(X) (9) 1x2+y2-2σ2 其中，Px(x)是随机变量X的概率密度，P(x,y)是 (6) 2To2 22 两个随机变量X和Y的联合概率密度，H(X,Y)是X 其中，L是计算得到的10G特征，g(x,1σ)=2m0 1 和Y的联合嫡.图2中展示的是将LIVE数据库中 所有失真图像的H(GMIL)值与其对应的DMOS值 做出的散点图. -)y)是二维高斯函数，hoc是相应的二 exp ( 由图2可以看出，对于白噪声失真，随着图像的 阶的滤波模板，σ是高斯函数的参数，本文中σ的 质量变差，其GM和LOG特征的条件嫡值变大，而 值设置为0.5. 对于其他四种导致边缘模糊的失真则相反，随着图 1.3失真条件下GM与LOG的特性 像的质量变差，GM和LOG特征的相似度变高，熵值 一阶边缘可以得到图像中物体表面的斜率信 变小.可以证明，GM和LOG的相似度确实可以在 息，二阶边缘可以获取图像的曲率等几何特征高阶 一定程度上反映图像的质量. 的边缘信息能够获取更精细的图像结构特征]. 同时也可以注意到，对于白噪声和高斯模糊失 对于模糊类失真（包括PEG,JPEG2000,高斯模糊 真，散点图呈现出较好的线性分布，而对于其他三种 等)，其造成的边缘展宽效应会造成边缘和结构信 失真类型，分布较为发散，这可能是因为GM不能很好 息的大量丢失，GM和LOG从两个不同的层面来表 的反映一些局部细节，本文通过引入相对梯度RM来 述边缘特征，随着图像质量的下降，可捕捉的边缘信 解决这个问题，为了研究GM和RM之间的关系，同样 息越来越少，LOG特征无法获取更精细的边缘结 提取LVE数据库中所有失真图片的H(RMIL)特征， 构，会与GM呈现越来越相似的分布.而对于噪声 并将H(GMIL)和H(RMIL)的差值与DMOS值画
工程科学学报,第 40 卷,第 8 期 GM = I 2 x + I 2 y (1) GO = arctan ( Iy I ) x (2) 人类的视皮质神经元高度敏感于图像的局部边 缘和结构性信息,图像的特征主要取决于它的局部 细节[11鄄鄄12] . Liu 等[13]认为公式(1)和(2)提出的梯 度特征只是从全局上对图像的边缘进行描述,梯度 尤其是梯度方向应该更加突出邻域特点. 该文章针 对这一点进行改进,为了突出邻域的结构特点,提出 了相对梯度算法,并且证明了对于不同类型和不同 程度的失真,失真图像相对梯度方向的概率分布具 有一定的规律性,能够作为衡量图像质量的特征,相 对梯度幅度 RM 和相对梯度方向 RO 可以由公式 (3) ~ (4)计算得到: RM = (Ix - Ix_AVE ) 2 + (Iy - Iy_AVE ) 2 (3) RO = GO - arctan ( Iy_AVE Ix ) _AVE (4) 其中,Ix_AVE和 Iy_AVE分别由 Ix 和 Iy 经过 3 伊 3 均值滤 波得到. 本文提取 RO 的标准差作为第一维特征. 1郾 2 LOG 特征 LOG 特征是一种十分常见的边缘检测算子,它 反映的是图像的二阶边缘信息,具有旋转不变性和 位移不变性等优点. 一个典型的 LOG 特征由公式 (5) ~ (6)给出: L = I茚hLOG (5) hLOG = 鄣 2 鄣x 2 g(x,y | 滓) + 鄣 2 鄣y 2 g(x,y | 滓) = 1 2仔滓 2 x 2 + y 2 - 2滓 2 滓 4 exp ( - x 2 + y 2 2滓 2 ) (6) 其中,L 是计算得到的 LOG 特征,g(x,y | 滓) = 1 2仔滓 2 exp ( - x 2 + y 2 2滓 2 ) 是二维高斯函数,hLOG是相应的二 阶的滤波模板,滓 是高斯函数的参数,本文中 滓 的 值设置为 0郾 5. 1郾 3 失真条件下 GM 与 LOG 的特性 一阶边缘可以得到图像中物体表面的斜率信 息,二阶边缘可以获取图像的曲率等几何特征,高阶 的边缘信息能够获取更精细的图像结构特征[19] . 对于模糊类失真(包括 JPEG,JPEG2000,高斯模糊 等),其造成的边缘展宽效应会造成边缘和结构信 息的大量丢失,GM 和 LOG 从两个不同的层面来表 述边缘特征,随着图像质量的下降,可捕捉的边缘信 息越来越少,LOG 特征无法获取更精细的边缘结 构,会与 GM 呈现越来越相似的分布. 而对于噪声 类的失真,高阶的 LOG 特征会比 GM 特征受到更严 重的影响,在图像质量很差的情况下甚至呈现均值 分布,而 GM 受噪声的影响有限. 本文分别选取高斯模糊和白噪声失真进行讨 论. 图 1 展示的是 LIVE 数据库的一张参考图像 “stream. bmp冶以及原始图像经过高斯模糊和白噪声 失真之后的 GM 和 LOG 概率分布. 从图 1 中可以看 出,对于高斯模糊失真,随着图像质量的下降,GM 和 LOG 的分布逐渐集中到低幅值区域,并且分布形 式越来越相似. 对于白噪声失真,随着图像质量的 下降,LOG 特征受到的影响很大,在失真严重的情 况下呈现近似均值,而 GM 受噪声的影响不太明显. 基于上述观察,本文尝试使用 GM 和 LOG 的相似程 度来反映图像的质量. 1郾 4 条件熵特征 香农信息论认为,两张图像的条件熵可以认为 是在已知一张图片的前提下,另一张图片的不确 定度,在某种程度上也可以认为是两张图片的相 似程度,且熵值越大,不确定度越高,两张图片相 似度越低. 在本文中,使用条件熵来衡量两种边缘 特征的相似性. 条件熵可以利用联合熵和链式法 则得出: H(X,Y) = - 移 255 x = 0移 255 y = 0 pXY (x,y)log pXY (x,y) (7) H(X) = - 移 255 x = 0 pX (x)log pX (x) (8) H(Y | X) = H(X,Y) - H(X) (9) 其中,pX (x)是随机变量 X 的概率密度,pXY ( x,y)是 两个随机变量 X 和 Y 的联合概率密度,H(X,Y)是 X 和 Y 的联合熵. 图 2 中展示的是将 LIVE 数据库中 所有失真图像的 H(GM | L)值与其对应的 DMOS 值 做出的散点图. 由图 2 可以看出,对于白噪声失真,随着图像的 质量变差,其 GM 和 LOG 特征的条件熵值变大,而 对于其他四种导致边缘模糊的失真则相反,随着图 像的质量变差,GM 和 LOG 特征的相似度变高,熵值 变小. 可以证明,GM 和 LOG 的相似度确实可以在 一定程度上反映图像的质量. 同时也可以注意到,对于白噪声和高斯模糊失 真,散点图呈现出较好的线性分布,而对于其他三种 失真类型,分布较为发散,这可能是因为 GM 不能很好 的反映一些局部细节,本文通过引入相对梯度 RM 来 解决这个问题,为了研究 GM 和 RM 之间的关系,同样 提取 LIVE 数据库中所有失真图片的 H(RM| L)特征, 并将 H(GM | L)和 H(RM | L)的差值与 DMOS 值画 ·998·
沈丽丽等：联合多种边缘检测算子的无参考质量评价算法 999· 0.08 0.16 (b) 0.07 一失直图像GM 0.14 一失真图像GM 一失真图像IOG 一失真图像ILOG 0.06 --参考图像GM 0.12 一-参考图像GM 一一参考图像LOG 0.05 0.10 --参考图像L0G 釜0a 0.03 0.06 0.02 0.04 0.01 0.02 15 20 25 10 15 20 25 30 框度 幅度 045 0.07 0.40 失真图像GM c 失真图像GM d 一失其图像I0C 0.06 一失真图像L0G 0.35 -一参考图像GM 0.30 -一参考图像I0G 0.05 一一参考图像GM 一-参考图像LOG 0.15 0.02 0.10 0.05 0.01 10 15 20 25 20 40 60 80 100 幅度 幅度 0.07 0.07 失真图像GM 0.06 失真图像IOC 0.06 一失真图像GM 失真图像IOG 00 一一参考图像GM 0.05 一一参考图像GM 一一参考图像L0G 一一参考图像L0G 0.04 0.03 0.02 0.02 0.01 0.01 20 40 60 80 100 20 40 60 80 100 幅度 幅度 图1LVE数据库一张原始图像及其失真图像的GM和LOG幅值概率分布，其中(a~c)为高斯模糊失真，(d~f)为白噪声失真.失真程度 依次增加，DM0S值分别为(a)20.38;(b)46.67:(c)72.87:(d)22.15:(e)39.11:()47.45 Fig.1 Probability distribution of GM and LOG for reference and distorted image in LIVE,(a-e)are Gaussian blur,(d-f)are white noise.The de- gree of distortion respective increases and the DMOS of every map is:(a)20.38;(b)46.67;(c)72.87;(d)22.15;(e)39.11;(f)47.45 出散点图，结果显示在图3中 本文的特征提取分为两部分：一部分提取RO 如图3所示，对于JPEG类型的失真，在DMOS 的标准差，另一部分提取GM、RM和LOG之间相互 值小于50时，散点图能呈现出线性关系，而在 的条件熵作为特征，即H(GMIL)、H(LIGM)、 DMOS大于50时，H(GMIL)和H(RMIL)的差值急 H(GMIL)-H(RMIL)和H(LIGM)-H(LIRM),两 速下降，最后趋近于0.造成这样的原因是：JPEG失 部分共5维特征.人类视觉系统对图像的感知是多 真产生的块效应的作用范围大于提取RM时的均值 尺度的，因此在评价模型中引入多尺度信息往往能 滤波范围，随着失真程度的加深，JPEG产生的“块” 够改善算法的性能[8,2].为了从多尺度的层面来更 的大小远大于3×3个像素点，这种情况下GM和 好地描述图像，本文采用下采样的方法再提取另外 M的差异变得很小，因此会出现上述情况.而对于 5维特征，总共10维特征 其他四种失真，H(GMIL)和H(RMIL)的差值与 2 AdaBoost神经网络 DMOS值均能呈现近似线性的关系，并且对于模糊 类失真，图像质量越差，GM和RM的差别越大，对 本文采用自适应增强神经网络(AdaBoost neu- 于噪声类的失真，图像质量越差，GM和RM的差别 ral network)进行回归.Adaboost算法是一种迭代算 越小. 法，其核心思想是将许多弱分类器联合在一起，构成
沈丽丽等: 联合多种边缘检测算子的无参考质量评价算法 图 1 LIVE 数据库一张原始图像及其失真图像的 GM 和 LOG 幅值概率分布,其中(a ~ c)为高斯模糊失真,(d ~ f)为白噪声失真. 失真程度 依次增加,DMOS 值分别为 (a) 20郾 38; (b) 46郾 67; (c) 72郾 87; (d) 22郾 15; (e) 39郾 11; (f) 47郾 45 Fig. 1 Probability distribution of GM and LOG for reference and distorted image in LIVE, (a鄄鄄c) are Gaussian blur, (d鄄鄄f) are white noise. The de鄄 gree of distortion respective increases and the DMOS of every map is: (a) 20郾 38; (b) 46郾 67; (c) 72郾 87; (d) 22郾 15; (e) 39郾 11; (f) 47郾 45 出散点图,结果显示在图 3 中. 如图 3 所示,对于 JPEG 类型的失真,在 DMOS 值小于 50 时, 散点图能呈现出线性关系, 而在 DMOS 大于 50 时,H(GM| L)和 H(RM | L)的差值急 速下降,最后趋近于 0. 造成这样的原因是:JPEG 失 真产生的块效应的作用范围大于提取 RM 时的均值 滤波范围,随着失真程度的加深,JPEG 产生的“块冶 的大小远大于 3 伊 3 个像素点,这种情况下 GM 和 RM 的差异变得很小,因此会出现上述情况. 而对于 其他四种失真, H(GM | L) 和 H(RM | L) 的差值与 DMOS 值均能呈现近似线性的关系,并且对于模糊 类失真,图像质量越差,GM 和 RM 的差别越大,对 于噪声类的失真,图像质量越差,GM 和 RM 的差别 越小. 本文的特征提取分为两部分:一部分提取 RO 的标准差, 另一部分提取 GM、RM 和 LOG 之间相互 的条件熵作为特征, 即 H ( GM | L)、 H ( L | GM)、 H(GM| L) - H(RM| L)和 H(L |GM) - H(L |RM),两 部分共 5 维特征. 人类视觉系统对图像的感知是多 尺度的,因此在评价模型中引入多尺度信息往往能 够改善算法的性能[8,20] . 为了从多尺度的层面来更 好地描述图像,本文采用下采样的方法再提取另外 5 维特征,总共 10 维特征. 2 AdaBoost 神经网络 本文采用自适应增强神经网络(AdaBoost neu鄄 ral network)进行回归. Adaboost 算法是一种迭代算 法,其核心思想是将许多弱分类器联合在一起,构成 ·999·
·1000. 工程科学学报，第40卷，第8期 (a) 6 8 4 0 00 8电 0 0 89o 0 2 o oo .o.. 0 85 000 0 98 40 60 100 20 40 60 80 100 DMOS DMOS 0 d 6 4 品88 5 98 o8 30 4 ● 8 00 88 20 40 0 80 100 20 40 60 80 100 DMOS DMOS (e) 00 0 3 89风 0 0 eo 0 ax 905 8 20 40 60 80100 DMOS 图2LIVE图像库中，不同失真类型下，所有失真图像的H(GMIL)与其对应的DMOS值的散点图.(a)JPEG2000:(b)PEG:(c)白噪 声：(d)高斯模糊：(e)快速衰落 Fig.2 Scatter plot between (GMIL)and DMOS on LIVE database with different types of distortion:(a)JPEG2000;(b)JPEG;(c)white noise;(d)Gaussian blur;(e)fast fading Rayleigh 一个强分类器.图4展示的是本文使用的Adaboost (1/K i=1 网络的基本框图.其中∫。是BP神经网络的输入， D-1×(1+Ef证-os) i=2,3.…,10 在本文中输入向量的长度n为10. (10) 该回归方法使用I0个BP(back-propagation)神 1, x>0.1 经网络作为弱分类器，每个BP神经网络有两个隐 f(x)= (11) 0. x≤0.1 藏层，每个隐含层和输入层具有相同的节点数，第一 其中，f(x)是阈值函数，K是样本总个数，B是阈值， 个隐藏层使用sigmoid函数作为激活函数，第二个隐 在本文中设置为0.1.将每个弱分类器的样本误差 藏层使用径向基函数作为激活函数.将每个BP神 进行累加得到累积误差E,: 经网络的输出通过联合函数进行加权，得到最终的 预测评分.设是第i个BP神经网络对第j个图 E,=∑DxfY-s) (12) i=1- 像质量的预测值，Yos是第j个图像的真实图像质 使用sigmoid函数得到第i个弱分类器的权值a:,其 量.第i个BP神经网络对第j个样本的误差分布 中b和c是sigmoid函数的参数，本文中b设置为1， D:,可由以下公式求出： c设置为为0.5
工程科学学报,第 40 卷,第 8 期 图 2 LIVE 图像库中,不同失真类型下,所有失真图像的 H(GM | L)与其对应的 DMOS 值的散点图. ( a) JPEG2000; ( b) JPEG; ( c) 白噪 声; (d) 高斯模糊; (e) 快速衰落 Fig. 2 Scatter plot between H(GM| L) and DMOS on LIVE database with different types of distortion: ( a) JPEG2000; ( b) JPEG; ( c) white noise; (d) Gaussian blur; (e) fast fading Rayleigh 一个强分类器. 图 4 展示的是本文使用的 Adaboost 网络的基本框图. 其中 fn 是 BP 神经网络的输入, 在本文中输入向量的长度 n 为 10. 该回归方法使用 10 个 BP(back鄄propagation)神 经网络作为弱分类器,每个 BP 神经网络有两个隐 藏层,每个隐含层和输入层具有相同的节点数,第一 个隐藏层使用 sigmoid 函数作为激活函数,第二个隐 藏层使用径向基函数作为激活函数. 将每个 BP 神 经网络的输出通过联合函数进行加权,得到最终的 预测评分. 设 Y i,j pre是第 i 个 BP 神经网络对第 j 个图 像质量的预测值,Y j MOS是第 j 个图像的真实图像质 量. 第 i 个 BP 神经网络对第 j 个样本的误差分布 Di,j可由以下公式求出: Di,j = 1/ K i =1 Di,j -1 伊 (1 + 着·f(Y i,j pre - Y j { MOS )) i =2,3,…,10 (10) f(x) = 1, x > 0郾 1 {0, x臆0郾 1 (11) 其中,f(x)是阈值函数,K 是样本总个数,着 是阈值, 在本文中设置为 0郾 1. 将每个弱分类器的样本误差 进行累加得到累积误差 Ei: Ei = j 移= 1…K Di,j 伊 f(Y i,j pre - Y j MOS ) (12) 使用 sigmoid 函数得到第 i 个弱分类器的权值 琢i,其 中 b 和 c 是 sigmoid 函数的参数,本文中 b 设置为 1, c 设置为为 0郾 5. ·1000·
沈丽丽等：联合多种边缘检测算子的无参考质量评价算法 ·1001· 3.5m (a) 1.5r op 2.5 0 0 o0o 1.0 0 2.0 电 15 品 0o0 0.5 0 0 08 q. 0 0.5 20 40 -0.5 60 80 100 40 60 80 100 MOS DMO 0.8 3.0 (c) d 品。 0.7 2.5 0.6 99 0 88 2.0 c8 0.5 80 0.4 85 1.5 08 0.3 1.0 0,2 010 20 40 60 80 100 0.5 20 40 60 80 100 DMOS DMOS 3.5 3.0 2.5 0 8e8 0 2. 00 1.5 80 1.00 89 0.5 20 40 60 80 100 DMOS 图3各种失真类型下，H(GMIL)与H(RMIL)的差值与DMOS的散点图.(a)JPEG20O0:(b)PEG:(c)白噪声：(d)高斯模糊：(e)快 速衰落 Fig.3 Scatter plot between H(GMIL)-H(RMIL)and DMOS on LIVE database on individual distortion types (a)JPEG2000;(b)JPEG;(c) white noise;(d)Gaussian blur;(e)fast fading Rayleigh BP神经网络 设Y是网络输出的最终预测值，则联合函 输人 数为： 输人层( i= a,×Ye (14) No 10 M分类器 剧分要器 隐成层 3 实验结果 粥分类器 3.1算法性能 输出层 本文选择LIVE1)数据库和TD2008[18]数据库 进行训练与测试.LVE数据库由29张参考图像生 联合函数 输出 成5种不同类型的失真，包括JPEG、JPEG2000、高斯 图4 Adaboost神经网络的框图 模糊(Gaussian blur,GB)、白噪声(white noise, Fig.4 Structure of the AdaBoost BP neural network WN)和快速衰落(fast fading,FF),总共包含779张 1 (13) 失真图像.TD2008数据库将24张真实图像和一张 0:= e-bIE+e 电脑合成图像作为参考图像，生成17种失真类型
沈丽丽等: 联合多种边缘检测算子的无参考质量评价算法 图 3 各种失真类型下,H(GM| L)与 H(RM| L)的差值与 DMOS 的散点图. (a) JPEG2000; (b) JPEG; (c) 白噪声; (d) 高斯模糊; (e) 快 速衰落 Fig. 3 Scatter plot between H(GM| L)鄄鄄H(RM| L) and DMOS on LIVE database on individual distortion types : (a) JPEG2000; (b) JPEG; (c) white noise; (d) Gaussian blur; (e) fast fading Rayleigh 图 4 Adaboost 神经网络的框图 Fig. 4 Structure of the AdaBoost BP neural network 琢i = 1 e - b | Ei | + c (13) 设 ^Y 是 网 络 输 出 的 最 终 预 测 值, 则 联 合 函 数为: ^Y = 移i 琢i 伊 Y i pre (14) 3 实验结果 3郾 1 算法性能 本文选择 LIVE [17]数据库和 TID2008 [18] 数据库 进行训练与测试. LIVE 数据库由 29 张参考图像生 成 5 种不同类型的失真,包括 JPEG、JPEG2000、高斯 模糊 ( Gaussian blur, GB )、 白 噪 声 ( white noise, WN)和快速衰落(fast fading, FF), 总共包含 779 张 失真图像. TID2008 数据库将 24 张真实图像和一张 电脑合成图像作为参考图像,生成 17 种失真类型, ·1001·
.1002. 工程科学学报，第40卷，第8期 在本文中，仅考虑该数据库中JPEG、JPEG2000、高 逊线性相关系数(Pearson linear correlation coeff- 斯模糊和白噪声4种常见的失真，并且不考虑电脑 cient,PLCC),取l000次迭代测试的SROCC中值和 合成的图像，因此总共使用384张失真图像 PLCC中值作为无参考质量评价模型的评价结果. 将数据库中所有失真图像随机的分成80%的 将本文算法与全参考评价方法峰值信噪比(peak 训练样本和20%的测试样本两部分，并且两部分中 signal noise ratio,PSNR)、结构相似性(structural 没有内容相同的图像.根据预测的质量分数与主观 similarity,SSM)以及现有的无参考质量评价算法 DMOS值计算斯皮尔曼等级相关系数(Spearman's 进行比较，结果如表1和表2所示，并将无参考算法 rank ordered correlation coefficient,SROCC)和皮尔 中性能最好的两个分数加粗. 表1LIVE数据库和TD20O8数据库上的质量评价算法性能比较 Table 1 Performance of competing algorithms test on LIVE and TID2008 database LIVE(779张) TID2008(384张) 算法 评价方法类型斯皮尔曼等级相关 皮尔逊线性相关 斯皮尔曼等级相关 皮尔逊线性相关 系数(SROCC)中值 系数(PLCC)中值 系数(SROCC)中值 系数(PLCC)中值 PSNR FR 0.884 0.882 0.879 0.815 SSIM[21] FR 0.949 0.946 0.903 0.925 DIIVINE?) NR 0.925 0.927 0.893 0.904 BLIINDS-nt6] NR 0.933 0.939 0.899 0.922 BRISQUE[s] NR 0.943 0.947 0.932 0.939 CORNIA[2] NR 0.945 0.948 0.930 0.940 OG_IQA[3] NR 0.938 0.940 0.928 0.933 NR_GLBp(23] NR 0.943 0.947 0.935 0.939 NFERMC24] NR 0.944 0.950 0.938 0.946 本文 NR 0.952 0.956 0.941 0.950 表2LVE数据库中各种失真类型1O00次迭代测试的PLCC中值 Table 2 Performance (PLCC)of competing algorithms on individual distortion types of LIVE database 不同失真类型迭代测试的PLCC中值 算法 JPEG2000 JPEG WN GB FF DIIVINE 0.885 0.931 0.988 0.945 0.897 BLIINDS-II 0.913 0.943 0.973 0.912 0.892 BRISQUE 0.918 0.967 0.984 0.948 0.904 CORNIA 0.927 0.944 0.961 0.955 0.910 OG_IQA 0.912 0.978 0.982 0.951 0.893 NR_GLBP 0.933 0.958 0.981 0.936 0.855 NFERM 0.938 0.964 0.983 0.937 0.887 本文 0.937 0.981 0.990 0.960 0.934 由表1和表2可知，从整体上来说，本文算法在 比，将部分评价方法在LIVE数据库上实验的PLCC LIVE数据库和TID20O8数据库上的评价效果均要 结果进行置信度为95%的t检验，图5是单边t检 优于其他无参考质量评价算法，与主观评分有高度 验结果.其中·1'表示行上的算法要优于列上相应 的一致性，并且本文算法仅使用了10维特征，而对 的算法，·-1'表示行上的算法要劣于列上的算法， 比算法中性能较好的CORNIA和NFERM分别使用 ‘0'表示算法性能相同.可以看出，本文算法在统计 了20000维和23维 上要优于其他主流的无参考质量评价算法 3.2假设检验 3.3其他对比试验 为了从统计的角度更好的与其他算法进行对 本文使用的特征分为两个部分：一部分使用文
工程科学学报,第 40 卷,第 8 期 在本文中,仅考虑该数据库中 JPEG、JPEG2000、高 斯模糊和白噪声 4 种常见的失真,并且不考虑电脑 合成的图像,因此总共使用 384 张失真图像. 将数据库中所有失真图像随机的分成 80% 的 训练样本和 20% 的测试样本两部分,并且两部分中 没有内容相同的图像. 根据预测的质量分数与主观 DMOS 值计算斯皮尔曼等级相关系数( Spearman爷 s rank ordered correlation coefficient, SROCC) 和皮尔 逊线性相关系数 ( Pearson linear correlation coeffi鄄 cient, PLCC),取 1000 次迭代测试的 SROCC 中值和 PLCC 中值作为无参考质量评价模型的评价结果. 将本文算法与全参考评价方法峰值信噪比( peak signal noise ratio, PSNR)、 结 构 相 似 性 ( structural similarity, SSIM)以及现有的无参考质量评价算法 进行比较,结果如表 1 和表 2 所示,并将无参考算法 中性能最好的两个分数加粗. 表 1 LIVE 数据库和 TID2008 数据库上的质量评价算法性能比较 Table 1 Performance of competing algorithms test on LIVE and TID2008 database 算法 评价方法类型 LIVE(779 张) TID2008(384 张) 斯皮尔曼等级相关 系数(SROCC)中值 皮尔逊线性相关 系数(PLCC)中值 斯皮尔曼等级相关 系数(SROCC)中值 皮尔逊线性相关 系数(PLCC)中值 PSNR FR 0郾 884 0郾 882 0郾 879 0郾 815 SSIM [21] FR 0郾 949 0郾 946 0郾 903 0郾 925 DIIVINE [7] NR 0郾 925 0郾 927 0郾 893 0郾 904 BLIINDS鄄II [6] NR 0郾 933 0郾 939 0郾 899 0郾 922 BRISQUE [8] NR 0郾 943 0郾 947 0郾 932 0郾 939 CORNIA [22] NR 0郾 945 0郾 948 0郾 930 0郾 940 OG_IQA [13] NR 0郾 938 0郾 940 0郾 928 0郾 933 NR_GLBP [23] NR 0郾 943 0郾 947 0郾 935 0郾 939 NFERM [24] NR 0郾 944 0郾 950 0郾 938 0郾 946 本文 NR 0郾 952 0郾 956 0郾 941 0郾 950 表 2 LIVE 数据库中各种失真类型 1000 次迭代测试的 PLCC 中值 Table 2 Performance (PLCC) of competing algorithms on individual distortion types of LIVE database 算法 不同失真类型迭代测试的 PLCC 中值 JPEG2000 JPEG WN GB FF DIIVINE 0郾 885 0郾 931 0郾 988 0郾 945 0郾 897 BLIINDS鄄II 0郾 913 0郾 943 0郾 973 0郾 912 0郾 892 BRISQUE 0郾 918 0郾 967 0郾 984 0郾 948 0郾 904 CORNIA 0郾 927 0郾 944 0郾 961 0郾 955 0郾 910 OG_IQA 0郾 912 0郾 978 0郾 982 0郾 951 0郾 893 NR_GLBP 0郾 933 0郾 958 0郾 981 0郾 936 0郾 855 NFERM 0郾 938 0郾 964 0郾 983 0郾 937 0郾 887 本文 0郾 937 0郾 981 0郾 990 0郾 960 0郾 934 由表 1 和表 2 可知,从整体上来说,本文算法在 LIVE 数据库和 TID2008 数据库上的评价效果均要 优于其他无参考质量评价算法,与主观评分有高度 的一致性,并且本文算法仅使用了 10 维特征,而对 比算法中性能较好的 CORNIA 和 NFERM 分别使用 了 20000 维和 23 维. 3郾 2 假设检验 为了从统计的角度更好的与其他算法进行对 比,将部分评价方法在 LIVE 数据库上实验的 PLCC 结果进行置信度为 95% 的 t 检验,图 5 是单边 t 检 验结果. 其中‘1爷表示行上的算法要优于列上相应 的算法,‘ - 1爷表示行上的算法要劣于列上的算法, ‘0爷表示算法性能相同. 可以看出,本文算法在统计 上要优于其他主流的无参考质量评价算法. 3郾 3 其他对比试验 本文使用的特征分为两个部分:一部分使用文 ·1002·
沈丽丽等：联合多种边缘检测算子的无参考质量评价算法 ·1003· 算法 OG IQA NR GLBP BRISQUE CORNIA NFERM 本文 OG IOA 0 -1 1 -1 -1 -1 NR GLBP 0 -1 -1 -1 -1 BRISQUE 1 0 -1 -1 -1 CORNIA 1 1 0 0 -1 NFERM 1 1 0 0 本文 1 1 y 0 图5IVE数据库上不同算法PLCC的t假设检验结果 Fig.5 Results of one sided t-test conducted using the PLCC values of competing algorithms 献[9]中提出的R0的标准差特征，另一部分是本文 20%的样本进行训练的情况下，本文算法的SROCC 提出的相对嫡特征，为了证明本文特征的有效性，分 和PLCC中值仍然能达到0.91以上，证明了本文算 别使用这两部分的特征在VE数据库上进行训练 法是高度鲁棒的 和测试，得到的结果如表3所示 为了验证本文算法的通用型，进行数据库独立 表3两部分特征在IVE数据库上1000次选代实验的SROCC和 性实验，使用同一个数据库的所有失真图像进行训 PLCC的中值 练，然后用训练好的模型评价另一个数据库图像的 Table 3 Performance (SROCC and PLCC)of two parts of features test 质量，并计算出相应的SROCC中值，表5是实验结 on LIVE database 果.由于Adaboost网络的随机性，本文算法取1000 特征 维数 SROCC中值 PLCC中值 次迭代的SROCC中值作为最终结果 RO的标准差 2 0.895 0.901 表4LIVE数据库上不同训练测试比例下1000次迭代实验SROCC 条件熵特征 8 0.945 0.949 和PLCC的中值 Table 4 Performance (SROCC and PLCC)in 1000 iteration tests under 由表3可以看出，仅使用条件嫡特征在VE different rations of train and test on LIVE database 数据库上10O0次实验的SROCC和PLCC中值分别 训练-测试比例 SROCC中值 PLCC中值 可以达到0.945和0.949，证明了本文提出的特征 60%~40% 0.946 0.950 在预测中起主要作用.为了验证算法的鲁棒性，使 50%~50% 0.942 0.945 用不同的训练比例在LVE数据库上进行实验，表4 40%~60% 0.937 0.940 是实验结果.可以看到，随着训练数据的减少，算法 20%~80% 0.914 0.918 的性能出现下降，但下降的程度不明显.在仅使用 表5数据库独立性实验的SROCC结果 Table 5 SROCC comparison of cross-database validation 训练所采用 测试所采用 不同算法的SROCC中值结果 的数据库 的数据库 BRISQUE CORNIA OG_IQA NR_GLBP NFERM 本文 LIVE TID2008 0.878 0.879 0.869 0.910 0.904 0.908 TD2008 LIVE 0.861 0.859 0.857 0.899 0.838 0.902 由表5可以看出，本文算法在进行跨数据库的 表6不同算法在LVE数据库上处理一张图片的平均用时 训练-测试中仍然与主观分数保持较高的一致性， Table 6 Computational complexity and average run time on LIVE data 虽然在LVE上训练，TD2008上测试的实验中略低 base 于NR_GLBP算法，但总体上可以认为该算法有较 算法 平均运行时间/s 好的通用型. DIIVINE 18.2470 BLIINDS-II 83.2120 3.4复杂度分析 BRISQUE 0.0921 为了比较算法复杂程度，表6中记录了不同算 CORNIA 2.6030 法在LIVE数据库上处理每张图片的平均耗时.P℃ OG_IQA 0.0711 机的硬件为CPU:Inter Core i5-4460,3.20GHz,内 NR GLBP 1.5540 存：8GRAM,操作系统：Windows1064位，软件平 NFERM 63.4460 台：Matlab2014a. 本文 0.1100
沈丽丽等: 联合多种边缘检测算子的无参考质量评价算法 图 5 LIVE 数据库上不同算法 PLCC 的 t 假设检验结果 Fig. 5 Results of one sided t鄄test conducted using the PLCC values of competing algorithms 献[9]中提出的 RO 的标准差特征,另一部分是本文 提出的相对熵特征,为了证明本文特征的有效性,分 别使用这两部分的特征在 LIVE 数据库上进行训练 和测试,得到的结果如表 3 所示. 表 3 两部分特征在 LIVE 数据库上 1000 次迭代实验的 SROCC 和 PLCC 的中值 Table 3 Performance (SROCC and PLCC) of two parts of features test on LIVE database 特征 维数 SROCC 中值 PLCC 中值 RO 的标准差 2 0郾 895 0郾 901 条件熵特征 8 0郾 945 0郾 949 由表 3 可以看出,仅使用条件熵特征在 LIVE 数据库上 1000 次实验的 SROCC 和 PLCC 中值分别 可以达到 0郾 945 和 0郾 949,证明了本文提出的特征 在预测中起主要作用. 为了验证算法的鲁棒性,使 用不同的训练比例在 LIVE 数据库上进行实验,表 4 是实验结果. 可以看到,随着训练数据的减少,算法 的性能出现下降,但下降的程度不明显. 在仅使用 20% 的样本进行训练的情况下,本文算法的 SROCC 和 PLCC 中值仍然能达到 0郾 91 以上,证明了本文算 法是高度鲁棒的. 为了验证本文算法的通用型,进行数据库独立 性实验,使用同一个数据库的所有失真图像进行训 练,然后用训练好的模型评价另一个数据库图像的 质量,并计算出相应的 SROCC 中值,表 5 是实验结 果. 由于 Adaboost 网络的随机性,本文算法取 1000 次迭代的 SROCC 中值作为最终结果. 表 4 LIVE 数据库上不同训练测试比例下 1000 次迭代实验 SROCC 和 PLCC 的中值 Table 4 Performance (SROCC and PLCC) in 1000 iteration tests under different rations of train and test on LIVE database 训练鄄鄄测试比例 SROCC 中值 PLCC 中值 60% ~ 40% 0郾 946 0郾 950 50% ~ 50% 0郾 942 0郾 945 40% ~ 60% 0郾 937 0郾 940 20% ~ 80% 0郾 914 0郾 918 表 5 数据库独立性实验的 SROCC 结果 Table 5 SROCC comparison of cross鄄database validation 训练所采用 的数据库 测试所采用 的数据库 不同算法的 SROCC 中值结果 BRISQUE CORNIA OG_IQA NR_GLBP NFERM 本文 LIVE TID2008 0郾 878 0郾 879 0郾 869 0郾 910 0郾 904 0郾 908 TID2008 LIVE 0郾 861 0郾 859 0郾 857 0郾 899 0郾 838 0郾 902 由表 5 可以看出,本文算法在进行跨数据库的 训练鄄鄄测试中仍然与主观分数保持较高的一致性, 虽然在 LIVE 上训练,TID2008 上测试的实验中略低 于 NR_GLBP 算法,但总体上可以认为该算法有较 好的通用型. 3郾 4 复杂度分析 为了比较算法复杂程度,表 6 中记录了不同算 法在 LIVE 数据库上处理每张图片的平均耗时. PC 机的硬件为 CPU: Inter Core i5鄄鄄4460, 3郾 20 GHz, 内 存: 8G RAM,操作系统: Windows 10 64 位,软件平 台: Matlab 2014a. 表 6 不同算法在 LIVE 数据库上处理一张图片的平均用时 Table 6 Computational complexity and average run time on LIVE data鄄 base 算法 平均运行时间/ s DIIVINE 18郾 2470 BLIINDS鄄II 83郾 2120 BRISQUE 0郾 0921 CORNIA 2郾 6030 OG_IQA 0郾 0711 NR_GLBP 1郾 5540 NFERM 63郾 4460 本文 0郾 1100 ·1003·
·1004· 工程科学学报.第40卷，第8期 由于BLIINDS-I对图像进行离散余弦变换 2012,21(12):4695 (discrete cosine transform,DCT),因此有很高的计算 [9]Hubel D H,Wiesel T N.Receptive fields,binocular interaction 复杂度.本文算法由于计算条件嫡需要多次遍历图 and functional architecture in the cat's visual cortex.Physiol, 1962,160(1):106 像，因此运行时间略慢OG_IQA和BRISQUE算法. [10]Clark M.Bovik A C.Experiments in segmenting texton patterns 总体而言，可以认为该算法有较低的复杂度 using localized spatial filters.Pattern Recognit,1989,22(6): 707 4结论 [11]Marziliano P,Dufaux F.Winkler S,et al.A no-reference per- (1)本文提出了一种新的无参考质量评价方 ceptual blur metric /IEEE International Conference on Image 法，为了避免单一算子的局限性，同时考虑一阶边缘 Processing (ICIP).Rochester,2002:Ill-57 [12]Marziliano P.Dufaux F,Winkler S,et al.Perceptual blur and 特征GM和二阶边缘特征LOG,并利用它们之间的 ringing metrics:application to JPEG2000.Signal Process:Image 相似度来预测图像质量. Commun,2004,19(2):163 (2)考虑到了全局特征与局部特征的关系，同 [13]Liu L X,Hua Y,Zhao Q J,et al.Blind image quality assess- 时使用全局的GM特征与改进的局部RM特征，能 ment by relative gradient statistics and adaboosting neural net- 够更好的反映出失真对图像纹理细节的破坏. work.Signal Process:Image Commun,2016,40:1 (3)将信息论中的条件嫡引入来衡量两种特征 [14]Zhang M,Muramatsu C,Zhou X R,et al.Blind image quality assessment using the joint statistics of generalized local binary 的相似性，不仅可以很好的表达出图像的失真程度， pattern.IEEE Signal Process Lett,2014,22(2):207 而且大大减少了特征的维数，本算法仅使用10维特 [15]Li Q H,Lin W S,Fang Y M.No-reference quality assessment 征就能达到理想的效果 for multiply-distorted images in gradient domain.IEEE Signal (4)本文算法具有很高的主观一致性，符合人 Process Lett,2016,23(4):541 眼的视觉系统，统计结果表明该算法性能优于大部 [16]Yue G H,Hou C P,Gu K,et al.No reference image blurriness assessment with local binary patterns.J Visual Commun Image 分主流的无参考质量评价算法，在不同训练-测试 Representation,2017,49:382 比例下均有着较好的性能，具有高度的鲁棒性，并且 [17]Sheikh H R,Wang Z,Cormack L,et al.LIVE image quality as- 有较低的时间复杂度，可以满足实时性需要. sessment database release 2 J/OL].Laboratory for Image Video Engineering (2005 [2017-08-22 ]http://live.ece. 参考文献 utexas.edu/research/quality [1]Wang Q.Gu K,Zhang X,et al.Subjective and objective quali- [18]Ponomarenko N,Lukin V,Zelensky A,et al.TID2008-a data- ty assessment of compressed sereen content images.IEEE J Emer. base for evaluation of full-reference visual quality assessment met- ging Sel Top Circuits Syst,2016,6(4):532 rics.Adr Mod Radioelectron,2009,10(4):30 [2]Zhang X F,Wang S Q,Gu K,et al.Just-noticeable difference- [19]Ghosh K,Sarkar S,Bhaumik K.Understanding image structure based perceptual optimization for JPEG compression.IEEE Signal from a new multi-scale representation of higher order derivative Process Lett,2017,24(1):96 filters.Image Vision Comput,2007,25(8):1228 [3]Li L D,Yan Y,Lu Z L,et al.No-reference quality assessment of [20]Gu K,Li L D,Lu H,et al.A fast reliable image quality predic- deblurred images based on natural scene statistics.IEEE Access, tor by fusing micro-and macro-structures.IEEE Trans Ind Elec- 2017,5:2163 tron,2017,64(5):3903 [4]Gu K,Zhai G T,Wang S Q,et al.A general histogram modifica- [21]Wang Z,Bovik A C,Sheikh H R,et al.Image quality assess- tion framework for efficient contrast enhancement /IEEE Interna- ment:from error visibility to structural similarity.IEEE Trans tional Symposium on Circuits and Systems.Lisbon,2015:2816 Image Process,2004,13(4):600 [5]Ruderman DL.The statistics of natural images.Network Comput [22]Ye P,Kumar J.Kang L,et al.Unsupervised feature leaming Neural Syst,1994,5(4):517 framework for no-reference image quality assessment //EEE [6]Saad M A,Bovik A C,Charrier C.Blind image quality assess- Conference on Computer Vision and Pattern Recognition(CVPR). ment:a natural scene statistics approach in the DCT domain. Providence,2012:1098 IEEE Trans Image Process,2012,21(8):3339 [23]Zhang M,Muramatsu C.Zhou X R,et al.Blind image quality [7]Moorthy A K,Bovik A C.Blind image quality assessment:from assessment using the joint statistics of generalized local binary natural scene statistics to perceptual quality.IEEE Trans Image pattern.IEEE Signal Process Lett,2014,22(2):207 Process,2011,20(12):3350 [24]Gu K,Zhai G T,Yang X K,et al.Using free energy principle [8]Mittal A,Moorthy A K.Bovik A C.No-reference image quality for blind image quality assessment.IEEE Trans Multimedia, assessment in the spatial domain.IEEE Trans Image Process, 2015,17(1):50
工程科学学报,第 40 卷,第 8 期 由于 BLIINDS鄄II 对图像进行离散余弦变换 (discrete cosine transform, DCT),因此有很高的计算 复杂度. 本文算法由于计算条件熵需要多次遍历图 像,因此运行时间略慢 OG_IQA 和 BRISQUE 算法. 总体而言,可以认为该算法有较低的复杂度. 4 结论 (1) 本文提出了一种新的无参考质量评价方 法,为了避免单一算子的局限性,同时考虑一阶边缘 特征 GM 和二阶边缘特征 LOG,并利用它们之间的 相似度来预测图像质量. (2) 考虑到了全局特征与局部特征的关系,同 时使用全局的 GM 特征与改进的局部 RM 特征,能 够更好的反映出失真对图像纹理细节的破坏. (3) 将信息论中的条件熵引入来衡量两种特征 的相似性,不仅可以很好的表达出图像的失真程度, 而且大大减少了特征的维数,本算法仅使用 10 维特 征就能达到理想的效果. (4) 本文算法具有很高的主观一致性,符合人 眼的视觉系统,统计结果表明该算法性能优于大部 分主流的无参考质量评价算法,在不同训练鄄鄄 测试 比例下均有着较好的性能,具有高度的鲁棒性,并且 有较低的时间复杂度,可以满足实时性需要. 参 考 文 献 [1] Wang S Q, Gu K, Zhang X, et al. Subjective and objective quali鄄 ty assessment of compressed screen content images. IEEE J Emer鄄 ging Sel Top Circuits Syst, 2016, 6(4): 532 [2] Zhang X F, Wang S Q, Gu K, et al. Just鄄noticeable difference鄄 based perceptual optimization for JPEG compression. IEEE Signal Process Lett, 2017, 24(1): 96 [3] Li L D, Yan Y, Lu Z L, et al. No鄄reference quality assessment of deblurred images based on natural scene statistics. IEEE Access, 2017, 5: 2163 [4] Gu K, Zhai G T, Wang S Q, et al. A general histogram modifica鄄 tion framework for efficient contrast enhancement / / IEEE Interna鄄 tional Symposium on Circuits and Systems. Lisbon, 2015: 2816 [5] Ruderman D L. The statistics of natural images. Network Comput Neural Syst, 1994, 5(4): 517 [6] Saad M A, Bovik A C, Charrier C. Blind image quality assess鄄 ment: a natural scene statistics approach in the DCT domain. IEEE Trans Image Process, 2012, 21(8): 3339 [7] Moorthy A K, Bovik A C. Blind image quality assessment: from natural scene statistics to perceptual quality. IEEE Trans Image Process, 2011, 20(12): 3350 [8] Mittal A, Moorthy A K, Bovik A C. No鄄reference image quality assessment in the spatial domain. IEEE Trans Image Process, 2012, 21(12): 4695 [9] Hubel D H, Wiesel T N. Receptive fields, binocular interaction and functional architecture in the cat蒺s visual cortex. J Physiol, 1962, 160(1): 106 [10] Clark M, Bovik A C. Experiments in segmenting texton patterns using localized spatial filters. Pattern Recognit, 1989, 22 (6): 707 [11] Marziliano P, Dufaux F, Winkler S, et al. A no鄄reference per鄄 ceptual blur metric / / IEEE International Conference on Image Processing (ICIP). Rochester, 2002: III鄄57 [12] Marziliano P, Dufaux F, Winkler S, et al. Perceptual blur and ringing metrics: application to JPEG2000. Signal Process: Image Commun, 2004, 19(2): 163 [13] Liu L X, Hua Y, Zhao Q J, et al. Blind image quality assess鄄 ment by relative gradient statistics and adaboosting neural net鄄 work. Signal Process: Image Commun, 2016, 40: 1 [14] Zhang M, Muramatsu C, Zhou X R, et al. Blind image quality assessment using the joint statistics of generalized local binary pattern. IEEE Signal Process Lett, 2014, 22(2): 207 [15] Li Q H, Lin W S, Fang Y M. No鄄reference quality assessment for multiply鄄distorted images in gradient domain. IEEE Signal Process Lett, 2016, 23(4): 541 [16] Yue G H, Hou C P, Gu K, et al. No reference image blurriness assessment with local binary patterns. J Visual Commun Image Representation, 2017, 49: 382 [17] Sheikh H R, Wang Z, Cormack L, et al. LIVE image quality as鄄 sessment database release 2 [ J/ OL]. Laboratory for Image & Video Engineering (2005) [2017鄄鄄 08鄄鄄 22 ]. http: / / live. ece. utexas. edu / research / quality [18] Ponomarenko N, Lukin V, Zelensky A, et al. TID2008鄄鄄 a data鄄 base for evaluation of full鄄reference visual quality assessment met鄄 rics. Adv Mod Radioelectron, 2009, 10(4): 30 [19] Ghosh K, Sarkar S, Bhaumik K. Understanding image structure from a new multi鄄scale representation of higher order derivative filters. Image Vision Comput, 2007, 25(8): 1228 [20] Gu K, Li L D, Lu H, et al. A fast reliable image quality predic鄄 tor by fusing micro鄄 and macro鄄structures. IEEE Trans Ind Elec鄄 tron, 2017, 64(5): 3903 [21] Wang Z, Bovik A C, Sheikh H R, et al. Image quality assess鄄 ment: from error visibility to structural similarity. IEEE Trans Image Process, 2004, 13(4): 600 [22] Ye P, Kumar J, Kang L, et al. Unsupervised feature learning framework for no鄄reference image quality assessment / / IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Providence, 2012: 1098 [23] Zhang M, Muramatsu C, Zhou X R, et al. Blind image quality assessment using the joint statistics of generalized local binary pattern. IEEE Signal Process Lett, 2014, 22(2):207 [24] Gu K, Zhai G T, Yang X K, et al. Using free energy principle for blind image quality assessment. IEEE Trans Multimedia, 2015, 17(1): 50 ·1004·
