第13卷第6期 智能系统学报 Vol.13 No.6 2018年12月 CAAI Transactions on Intelligent Systems Dec.2018 D0:10.11992/tis.201805027 网络出版地址：http:/kns.cnki.net/kcms/detail/23.1538.TP.20180716.1307.012.html 一种特征字典映射的图像盲评价方法研究 王伟2，刘辉2，杨俊安2 (1.军事科学院评估论证研究中心，北京100091；2.国防科技大学电子对抗学院，安徽合肥230037) 摘要：图像质量评价对于许多计算机视觉任务来说，是至关重要的一环。传统的方法往往聚焦于人类直观打 分，其最大不足就是打分数据的庞大性。为了解决这个难题，本文提出了一种图像质量盲评价框架。首先分别 提取图像的局部结构特征和全局统计特性，在学习阶段，提出了一种基于字典池的映射策略来加速打分的进 程。实验结果显示，本文所提方法准确度和鲁棒性相比较时下其他算法，取得了更加令人满意的结果。 关键词：客观评价：盲评价：图像质量评价；局部结构特征；全局统计特性；特征提取；字典；池化映射 中图分类号：TP391.4文献标志码：A文章编号：1673-4785(2018)06-0989-05 中文引用格式：王伟，刘辉，杨俊安.一种特征字典映射的图像盲评价方法研究.智能系统学报，2018,13(6)：989-993. 英文引用格式：WANG Wei,LIU Hui,YANG Jun'an.Blind quality evaluation with image features codebook mapping.CAAI transactions on intelligent systems,2018,13(6):989-993. Blind quality evaluation with image features codebook mapping WANG Wei2,LIU Hui,YANG Jun'an? (1.Center for Assessment and Demonstration Research,Academy of Military Science,Beijing 100091,China;2.Institute of Elec- tronic Warfare,National University of Defense Technology,Hefei 230037,China) Abstract:Image quality assessment is crucial to many computer vision tasks.Traditional approaches concentrate on hu- man perceptual scoring.The biggest hurdle to these subjective efforts is the difficulty of collecting the enormous human scored data.To solve this difficulty,we propose a blind image quality assessment framework.Starting with local struc- tural characteristics and global statistics characteristics of images,we utilize a codebook-based pooling strategy to accel- erate the scoring stage.Experimental results show that by comparison with other algorithm,an effective performance in accuracy and robustness was achieved using the proposed approach. Keywords:objective assessment;blind assessment;image quality assessment;local structural feature;global statistics characteristics;feature extraction;codebook;pooling mapping 数字视频和图像缩小了人类和自然界的差 我们往往只有失真后的图像，并没有原始图像做 距。然而不幸的是，由于各种各样的图像退化和 参考。这种问题的出现影响了图像质量评价的进 畸变，有用的信息可能会被丢失，因此如何评价 程，进而可能会给后续分析带来麻烦，因此怎样 失真图像的质量成为了一种紧迫需要。理论上，人 设计出一个合适的盲图像质量评价系统是人们迫 类视觉系统(HVS)是最有效和直接的方式，但是 切的愿望。 其收集大量人类打分数据的过程极其复杂、耗时。 1相关工作 关于图像质量评价的研究已经有较长时间。 通常图像质量可以通过直接计算原始图像和退化 建立一个典型盲图像质量评价系统通常需要 图像之间的距离来衡量。然而在大多数情况下， 两个成分：一系列特征以及学习型的回归模型。 收稿日期：2018-05-22.网络出版日期：2018-07-17. 典型全参考图像质量评价过程流程图如图1所 基金项目：中国博士后科学基金项目(2015M572722):安徽省自 然科学基金项目(1408085MKL46), 示。之前的方法通常将特征提取和模型训练分开 通信作者：王伟.E-mail:wwei0O9@mail.ustc.edu.cn. 考虑。对于这些特定类型的失真图像，相应的特
DOI: 10.11992/tis.201805027 网络出版地址: http://kns.cnki.net/kcms/detail/23.1538.TP.20180716.1307.012.html 一种特征字典映射的图像盲评价方法研究 王伟1,2，刘辉2 ，杨俊安2 （1. 军事科学院 评估论证研究中心，北京 100091; 2. 国防科技大学 电子对抗学院，安徽 合肥 230037） 摘 要：图像质量评价对于许多计算机视觉任务来说，是至关重要的一环。传统的方法往往聚焦于人类直观打 分，其最大不足就是打分数据的庞大性。为了解决这个难题，本文提出了一种图像质量盲评价框架。首先分别 提取图像的局部结构特征和全局统计特性，在学习阶段，提出了一种基于字典池的映射策略来加速打分的进 程。实验结果显示，本文所提方法准确度和鲁棒性相比较时下其他算法，取得了更加令人满意的结果。 关键词：客观评价；盲评价；图像质量评价；局部结构特征；全局统计特性；特征提取；字典；池化映射 中图分类号：TP391.4 文献标志码：A 文章编号：1673−4785(2018)06−0989−05 中文引用格式：王伟, 刘辉, 杨俊安. 一种特征字典映射的图像盲评价方法研究[J]. 智能系统学报, 2018, 13(6): 989–993. 英文引用格式：WANG Wei, LIU Hui, YANG Jun’an. Blind quality evaluation with image features codebook mapping[J]. CAAI transactions on intelligent systems, 2018, 13(6): 989–993. Blind quality evaluation with image features codebook mapping WANG Wei1,2 ，LIU Hui2 ，YANG Jun’an2 (1. Center for Assessment and Demonstration Research, Academy of Military Science, Beijing 100091, China; 2. Institute of Electronic Warfare, National University of Defense Technology, Hefei 230037, China) Abstract: Image quality assessment is crucial to many computer vision tasks. Traditional approaches concentrate on human perceptual scoring. The biggest hurdle to these subjective efforts is the difficulty of collecting the enormous human scored data. To solve this difficulty, we propose a blind image quality assessment framework. Starting with local structural characteristics and global statistics characteristics of images, we utilize a codebook-based pooling strategy to accelerate the scoring stage. Experimental results show that by comparison with other algorithm, an effective performance in accuracy and robustness was achieved using the proposed approach. Keywords: objective assessment; blind assessment; image quality assessment; local structural feature; global statistics characteristics; feature extraction; codebook; pooling mapping 数字视频和图像缩小了人类和自然界的差 距。然而不幸的是，由于各种各样的图像退化和 畸变，有用的信息可能会被丢失，因此如何评价 失真图像的质量成为了一种紧迫需要。理论上，人 类视觉系统 (HVS) 是最有效和直接的方式，但是 其收集大量人类打分数据的过程极其复杂、耗时。 关于图像质量评价的研究已经有较长时间。 通常图像质量可以通过直接计算原始图像和退化 图像之间的距离来衡量。然而在大多数情况下， 我们往往只有失真后的图像，并没有原始图像做 参考。这种问题的出现影响了图像质量评价的进 程，进而可能会给后续分析带来麻烦，因此怎样 设计出一个合适的盲图像质量评价系统是人们迫 切的愿望。 1 相关工作 建立一个典型盲图像质量评价系统通常需要 两个成分：一系列特征以及学习型的回归模型。 典型全参考图像质量评价过程流程图如图 1 所 示。之前的方法通常将特征提取和模型训练分开 考虑。对于这些特定类型的失真图像，相应的特 收稿日期：2018−05−22. 网络出版日期：2018−07−17. 基金项目：中国博士后科学基金项目 (2015M572722)；安徽省自 然科学基金项目 (1408085MKL46). 通信作者：王伟. E-mail：wwei009@mail.ustc.edu.cn. 第 13 卷第 6 期 智 能 系 统 学 报 Vol.13 No.6 2018 年 12 月 CAAI Transactions on Intelligent Systems Dec. 2018
·990· 智能系统学报 第13卷 征被用来衡量它们的质量，比如空间域的边缘宽 1)显著性地图 度四以及在某些转换域的峭度。然而当退化种 图像的亮度变化传达着图像自身许多有用的 类未知时，上述论文中所提的特定特征将无法使用。 信息。带通图像响应，尤其是高斯滤波器响应， 可以用作描绘多种图像的语义结构，比如直线 训练 图像 边缘、角点以及斑点等，这些都与人类主观认知 特征 局部质 池化映 图像 提取 量计算 射策略 质量 密切相关。有了这个发现，我们开发了一种语义 测试 显著性准则来感知图像中的目标： 图像 S(x,y)=-Iaobe(x,y)ll (1) 图1典型全参考图像质量评价过程流程图 式中：Iu是图像特征向量的均值，Iwc(x,y)是原始 Fig.1 The flowchart of typical FR_IQA process 图像对应的高斯模糊图像像素值（使用一个 还有一些其他方法没有使用人工手工选取的 5×5可分离的二项式内核)，是L2范数。 局部描绘算子，而是基于特征学习。监督式滤波 2)梯度幅值图 器学习已被Jain和Karu在文献[3]中采用作为纹 梯度算子通常使用卷积模板来表达，本文实 理分类，其中特征提取和分类任务被神经网络执 现中，梯度幅值的定义为 行。文献[4]采用了无监督特征学习，其中局部算 子被编代码然后用一种无监督的方式来学习。为 G=G:+G (2) 了学习一个更加简洁紧凑的和有区分性的字典， 式中G和G,分别是图像相应像素位置的水平梯度 学习类的方法优化包括采用一个优化过的具有重 和垂直梯度。自然界梯度统计分布在图像分析中 建性和区分性的标准5。 扮演着关键角色，梯度相似性可被用作建立图像 语义结构的基本要素，这些语义结构与人类可感 2本文方法 知的自然图像质量密切相关。 相较这些传统方法，一个具有区分性的特征 2.1.2全局统计特性 集和灵活的学习策略可以提高表现。为了在图像 为了克服传统像素级评价方法的不足，我们 质量预测阶段改善联合统计特征和学习策略，介 更加关注局部特征细节和全局统计特征之间的平衡。 绍了两种不同的特征提取成分：1)一个局部特征 统计作为一种全局描述算子，是对所提取局 提取器：2)一个汇总了局部特征分布的全局特征 部特征分布的概述。特别指出的是，我们使用了 提取器。 一种BRISQUE参数模型，模型对像素值进行了 为了不失一般性，采用了一个基于字典类译 GGD归一化，其中形状和尺度参数都被用作特 码本的方法来规避标准信息的优势。传统的字典 征。虽然滤波响应的峭度和峰度值可能不能正确 学习方法聚焦于信号的重构，同时需要字典中的 描述分布的形状，但对于质量高低不等的图像， 学习原子，应该能很好地代表图像块，本文所提 它们是相对好的指示器，如图2所示。 方法则没有这个限制。事实上，后续显示用于图 600 像质量分类的字典将有很大不同。 dmos-0 dm0s=30.475 2.1图像特征提取 500 dm0s=55.8753 特征提取的第1步是从增强的图像块中捕捉 400 合适的特征。在这个部分中，讨论怎么使用一系 300 列线性滤波器来获取局部特征。受人类视觉系统 200 发现和感知物体的启发，尝试设计出一个自然 的、面向对象的检测器，在不同种类间具有一般 100 性。首先，整幅图像被分割成互相重叠的图像 0 2 块，然后从这些区域中提取两种类型的特征：一 像素分布 类是局部特征，另一类则是统计整幅图像局部特 图2 滤波响应后不同等级模糊失真示例（高DMOS值 征分布情况的全局特征。 表示低质量无量纲) 2.1.1局部特征 Fig.2 Examples of filter responses for different levels of 为了方便，将原始图像块归一化成一系列局 blur distortion(high DMOS indicates low quality) 部描述算子。本节将提取以下算子来代表整幅图 此外峭度值S和峰度值K的计算非常方便，定 像的局部特征。 义为
征被用来衡量它们的质量，比如空间域的边缘宽 度 [1]以及在某些转换域的峭度[2]。然而当退化种 类未知时，上述论文中所提的特定特征将无法使用。 特征 提取 局部质 量计算 训练 图像 测试 图像 图像 质量 池化映 射策略 图 1 典型全参考图像质量评价过程流程图 Fig. 1 The flowchart of typical FR_IQA process 还有一些其他方法没有使用人工手工选取的 局部描绘算子，而是基于特征学习。监督式滤波 器学习已被 Jain 和 Karu 在文献[3]中采用作为纹 理分类，其中特征提取和分类任务被神经网络执 行。文献[4]采用了无监督特征学习，其中局部算 子被编代码然后用一种无监督的方式来学习。为 了学习一个更加简洁紧凑的和有区分性的字典， 学习类的方法优化包括采用一个优化过的具有重 建性和区分性的标准[5-6]。 2 本文方法 相较这些传统方法，一个具有区分性的特征 集和灵活的学习策略可以提高表现。为了在图像 质量预测阶段改善联合统计特征和学习策略，介 绍了两种不同的特征提取成分：1) 一个局部特征 提取器；2) 一个汇总了局部特征分布的全局特征 提取器。 为了不失一般性，采用了一个基于字典类译 码本的方法来规避标准信息的优势。传统的字典 学习方法聚焦于信号的重构，同时需要字典中的 学习原子，应该能很好地代表图像块，本文所提 方法则没有这个限制。事实上，后续显示用于图 像质量分类的字典将有很大不同。 2.1 图像特征提取 特征提取的第 1 步是从增强的图像块中捕捉 合适的特征。在这个部分中，讨论怎么使用一系 列线性滤波器来获取局部特征。受人类视觉系统 发现和感知物体的启发，尝试设计出一个自然 的、面向对象的检测器，在不同种类间具有一般 性。首先，整幅图像被分割成互相重叠的图像 块，然后从这些区域中提取两种类型的特征：一 类是局部特征，另一类则是统计整幅图像局部特 征分布情况的全局特征。 2.1.1 局部特征 为了方便，将原始图像块归一化成一系列局 部描述算子。本节将提取以下算子来代表整幅图 像的局部特征。 1) 显著性地图 图像的亮度变化传达着图像自身许多有用的 信息。带通图像响应，尤其是高斯滤波器响应， 可以用作描绘多种图像的语义结构，比如直线、 边缘、角点以及斑点等，这些都与人类主观认知 密切相关。有了这个发现，我们开发了一种语义 显著性准则来感知图像中的目标[7] ： S(x, y) = ||Iµ − Iωhc(x, y)|| (1) 式中： Iµ是图像特征向量的均值， Iωhc(x, y) 是原始 图像对应的高斯模糊图像像素 值 (使用一 个 5×5 可分离的二项式内核)，||·||是 L2 范数。 2) 梯度幅值图 梯度算子通常使用卷积模板来表达，本文实 现中，梯度幅值的定义为 G = √ G2 x +G2 y (2) 式中 Gx和 Gy分别是图像相应像素位置的水平梯度 和垂直梯度。自然界梯度统计分布在图像分析中 扮演着关键角色，梯度相似性可被用作建立图像 语义结构的基本要素，这些语义结构与人类可感 知的自然图像质量密切相关。 2.1.2 全局统计特性 为了克服传统像素级评价方法的不足，我们 更加关注局部特征细节和全局统计特征之间的平衡。 统计作为一种全局描述算子，是对所提取局 部特征分布的概述。特别指出的是，我们使用了 一种 BRISQUE[8]参数模型，模型对像素值进行了 GGD 归一化，其中形状和尺度参数都被用作特 征。虽然滤波响应的峭度和峰度值可能不能正确 描述分布的形状，但对于质量高低不等的图像， 它们是相对好的指示器，如图 2 所示。 600 500 400 300 模糊失真指数 200 100 0 −3 −2 −1 0 像素分布 1 2 3 dmos=0 dmos=30.475 dmos=55.8753 图 2 滤波响应后不同等级模糊失真示例 (高 DMOS 值 表示低质量无量纲) Fig. 2 Examples of filter responses for different levels of blur distortion (high DMOS indicates low quality) 此外峭度值 S 和峰度值 K 的计算非常方便，定 义为 ·990· 智 能 系 统 学 报 第 13 卷
第6期 王伟，等：一种特征字典映射的图像盲评价方法研究 ·991· K-nmi (x-/SD4-3 2)聚类 通过块质量归一化策略，将相似度得分按分 (3) 1 值分成多个组，再把那些降质块按各自的局部构 造分为不同类。 式中：x和SD分别代表着整幅图像像素灰度值的 归一化后的块得分ω，是个介于0~1之间的正 均值和方差，n为像素数目。 值，首先统一将，量化成L个等级，然后将具有相 2.2图像分类打分 近质量等级的图像块归合成同一组，记作Q。因 本节讨论这些局部特征和全局描述算子是如 此有： 何通过来学习准则预测不同图像的质量，轻松解 =1/L1=1,2,…L 决图像质量盲评价的病态任务问题。 {dlq-1<w:<q,1=2,3.…,L (7) Q= 2.2.1学习阶段 {d4lw:<q,1=1 为了方便训练一个值得可信的图像质量盲评 对于每组Q,应用聚类过程来获得质量。为 价模型通常需要一个很大的人类打分训练集，通 了提高聚类准确度，每个质量层应该基于相同的 过主观测试获得这样一个模型的代价显得昂贵耗 结构特征。在预处理阶段，使用高斯高通滤波器 时。因此在训练阶段开发一个不需要如此大数据 来提取块特征，藉此提高图像的细节结构。具体 量的人类主观打分的图像质量盲评价模型变得迫 实现中，使用的是高斯金字塔的方案在不同尺度 不及待。本节求助于聚类学习和池化映射策略。 提取图像细节特征，并形成一个特征向量。QAC 1)池化策略 通过对滤波特征应用K均值聚类算法，得到Q组 如果手里没有任何人类主观质量打分，我们 类心mk: 瞄准学习图像质量盲评价的中心集。为了方便起 min∑k∑kef-maf (8) 见，退化图像和原始图像都被分割成重叠块。 式中：Qk是Q组中第k个类。值得注意的是，也 所提方法的关键问题是怎样分配感知质量。 可以使用其他相似度准则。然而考虑到计算复杂 本文我们求助于特征相似性指数(FSM)来计算 度，为了方便使用欧式距离，为了有效求解上述 参考图像和变形图像之间的相似度。通过这种方 最小化问题，应用了谱聚类的方法。 式，可以去除对人类主观打分的依赖。退化图像 2.2.2测试阶段 的FSIM得分定义如下： 有了这些学习得到的不同质量层的中心集， S:=S(r,d)= 可以通过把这些退化图像特征映射到相应的质量 2P(r)P(d)+a 2G(r)G(d)+B (4) 一X P(r +P(d)2+aG(r)2+G(d)2+B 得分池，轻易地推断出感知质量，如图3所示。 式中：d,和r:代表退化图像和参考图像，P()和 通过应用滤波算法，可以获得新的增强图像 G)分别代表着在中心点的相位一致性和梯度 及其相应的质量等级。 幅值。为了避免0除计算，α和B是正值常量。 块分制 相似度得分s,在某种意义上反映了退化图像 d,的质量。为了使得这些相似度得分的均值接近 特征提取 真实人类主观打分质量，我们将s归一化，提出一 7 种百分数的池化策略来完成归一化过程。 类分配 假设全部图像块的集合为2，中，表示其中质 量最低的20%局部块集合。归一化因子的计 块质量预估 算为 图像质量预测 (5) 图3图像质量估计流程图 式中：c=20,每个退化质量块的最终得分归一 Fig.3 The process of image quality prediction 化为 通过式(9)所示的均值策略来推断新测试图 wi=S;/W (6) 像最终的质量得分。 因此整幅图像的质量可表达为平均质量，这 (A)= (9) 就与百分池化结果保持一致了。 i=
K = 1 n−1 ∑n i=1 (xi − x) 4 /SD4 −3 S = 1 n−1 ∑n i=1 (xi − x) 3 /SD3 (3) 式中： x和 SD 分别代表着整幅图像像素灰度值的 均值和方差，n 为像素数目。 2.2 图像分类打分 本节讨论这些局部特征和全局描述算子是如 何通过来学习准则预测不同图像的质量，轻松解 决图像质量盲评价的病态任务问题。 2.2.1 学习阶段 为了方便训练一个值得可信的图像质量盲评 价模型通常需要一个很大的人类打分训练集，通 过主观测试获得这样一个模型的代价显得昂贵耗 时。因此在训练阶段开发一个不需要如此大数据 量的人类主观打分的图像质量盲评价模型变得迫 不及待。本节求助于聚类学习和池化映射策略。 1) 池化策略 如果手里没有任何人类主观质量打分，我们 瞄准学习图像质量盲评价的中心集。为了方便起 见，退化图像和原始图像都被分割成重叠块。 所提方法的关键问题是怎样分配感知质量。 本文我们求助于特征相似性指数[9] (FSIM) 来计算 参考图像和变形图像之间的相似度。通过这种方 式，可以去除对人类主观打分的依赖。退化图像 的 FSIM 得分定义如下： si = S (ri ,di) = 2P(ri)P(di)+α P(ri) 2 + P(di) 2 +α × 2G(ri)G(di)+β G(ri) 2 +G(di) 2 +β (4) di ri P(ri) G(ri) ri α β 式中： 和 代表退化图像和参考图像， 和 分别代表着在中心点 的相位一致性和梯度 幅值。为了避免 0 除计算， 和 是正值常量。 si di si 相似度得分 在某种意义上反映了退化图像 的质量。为了使得这些相似度得分的均值接近 真实人类主观打分质量，我们将 归一化，提出一 种百分数的池化策略来完成归一化过程。 假设全部图像块的集合为 Ω，Φp表示其中质 量最低的 20% 局部块集合。归一化因子的计 算为 W = ∑ i∈Φ si c ∑ i∈ΦP si (5) 式中： c = 20 ，每个退化质量块的最终得分归一 化为 ωi = si/W (6) 因此整幅图像的质量可表达为平均质量，这 就与百分池化结果保持一致了。 2) 聚类 通过块质量归一化策略，将相似度得分按分 值分成多个组，再把那些降质块按各自的局部构 造分为不同类。 ωi ωi Ql 归一化后的块得分 是个介于 0~1 之间的正 值，首先统一将 量化成 L 个等级，然后将具有相 近质量等级的图像块归合成同一组，记作 。因 此有： ql = 1/L,l = 1,2,···L Ql = {di |ql−1 < ωi < ql , l = 2,3,··· ,L {di |ωi < ql , l = 1 (7) Ql fi Ql ml,k 对于每组 ，应用聚类过程来获得质量。为 了提高聚类准确度，每个质量层应该基于相同的 结构特征。在预处理阶段，使用高斯高通滤波器 来提取块特征，藉此提高图像的细节结构。具体 实现中，使用的是高斯金字塔的方案在不同尺度 提取图像细节特征，并形成一个特征向量。QAC 通过对滤波特征 应用 K 均值聚类算法，得到 组 类心 ： min ml,k ∑K k=1 ∑ d∈Ql,k || fi −ml,k ||2 (8) 式中： Ql,k是 Ql组中第 k 个类。值得注意的是，也 可以使用其他相似度准则。然而考虑到计算复杂 度，为了方便使用欧式距离，为了有效求解上述 最小化问题，应用了谱聚类[10]的方法。 2.2.2 测试阶段 有了这些学习得到的不同质量层的中心集， 可以通过把这些退化图像特征映射到相应的质量 得分池，轻易地推断出感知质量，如图 3 所示。 通过应用滤波算法，可以获得新的增强图像 及其相应的质量等级。 类分配 特征提取 块质量预估 图像质量预测 块分割 图 3 图像质量估计流程图 Fig. 3 The process of image quality prediction 通过式 (9) 所示的均值策略来推断新测试图 像最终的质量得分。 Q(A) = 1 n ∑n i=1 qi (9) 第 6 期 王伟，等：一种特征字典映射的图像盲评价方法研究 ·991·
·992· 智能系统学报 第13卷 式中：n是所有图像块的数量，q:是每个图像块的 质量，Q4)是待估图像A的最终质量得分。 4 LCC= (10) 3实验 3.1实验设置 在通用基准数据集LIVE数据库上评估了我 式中d,=y,-p是二者之间的差距。 们所提算法。LIVE数据库包含了29幅参考图像 作为对比，选择集中具有代表性的NR-IQA 及其对应的779幅5种不同类型的退化图像。为 方法来评价LIVE数据库中特定退化类型和非特 了代表性和简洁性考虑，仅仅选择其中两个典型 定退化类型的实验。对于前者，随机选择特定类 型的退化图像来训练和测试，对于后者所有退化 的退化类型：白噪声(WN)、高斯模糊(BLUR)。对 于每个退化图像，都有一个主观感知得分DMOS 类型的图像将放在一起训练和测试。 前人几种表现良好的无参考图像质量评价和 值，分值范围从0~100不等。较低的DMOS得 分代表着较好的视觉质量。实验中，随机选取 全参考图像质量评价方法用来作为对比：如表I 所列，BRISQUEIS、CORNIA和CNN都是从原 80%的参考图像及其退化图像作为训练集样本， 文中提取的方法。除了CNN,所有这些方法在作 剩余20%用作测试集。 对比时，取LIVE数据库中的80%做训练，剩余 3.2质量预测 20%做测试。对于CNN取60%做训练，20%做 为了验证本文所提方法的有效性，选择LVE 更新，剩余的20%做测试。 数据库中一个数据集来分别预测它们的质量得 分，如图4所示。 表1LIVE数据库上的LCC Table 1 LCC on LIVE LCC WN BLUR FF ALL PSNR 0.926 0.779 0.870 0.856 PSIM 0.976 0.978 0.912 0.960 (a)17:0.3855 b)141:0.5873 SSIM 0.982 0.893 0.939 0.906 BRISQUE 0.985 0.951 0.903 0.942 CORNIA 0.987 0.968 0.917 0.935 CNN 0.984 0.953 0.933 0.953 (c)29:0.6358 (d34:0.6664 OURS 0.987 0.968 0.944 0.957 4结束语 (e)9:0.7227 (f)161:0.7661 本文提出了一个简单有效的框架来自动评估 图4LVE数据库中同一幅基准图像不同退化程度后的 图像质量。全文的创新性在于集成使用了局部特 图像质量预测 征和全局统计特性描绘图像。本文的贡献是两方 Fig.4 Quality prediction of different degraded degree im- 面的：首先，本文用到了一个包括局部特征和全 age from LIVE database using proposed method 局统计特性有区分性的特征集来表征图像块；其 从结果可以看出，使用本文算法预测出的分 次，研究了怎样在无标记的数据集上构建字典， 数和人类视觉系统的结果完全一致。 使用了一个跟退化类型无关的池化策略来加速学 3.3对比评估 习过程。 用植入线性关联系数(LCC)准则来评估本文 相比前人的方法，本文所提算法有了很大的 所提算法的表现。LCC通过衡量真实分数和预 提高，实验表明本文算法能有效处理某种程度上 测分数之间的线性关系来预测分数。假如有n幅 不可预见退化类型的图像。未来将考虑将目标检 退化图像，每幅图像有一个人类感知分数等级和 测融合到我们的框架中去，以此代替对所有检测 一个预测的分数等级。LCC的计算为 区域质量的均值化处理
qi Q(A) 式中：n 是所有图像块的数量， 是每个图像块的 质量， 是待估图像 A 的最终质量得分。 3 实验 3.1 实验设置 在通用基准数据集 LIVE 数据库上评估了我 们所提算法。LIVE 数据库包含了 29 幅参考图像 及其对应的 779 幅 5 种不同类型的退化图像。为 了代表性和简洁性考虑，仅仅选择其中两个典型 的退化类型：白噪声 (WN)、高斯模糊 (BLUR)。对 于每个退化图像，都有一个主观感知得分 DMOS 值，分值范围从 0～100 不等。较低的 DMOS 得 分代表着较好的视觉质量。实验中，随机选取 80% 的参考图像及其退化图像作为训练集样本， 剩余 20% 用作测试集。 3.2 质量预测 为了验证本文所提方法的有效性，选择 LIVE 数据库中一个数据集来分别预测它们的质量得 分，如图 4 所示。 (a) 17:0.385 5 (b) 141:0.587 3 (c) 29:0.635 8 (d) 34:0.666 4 (e) 9:0.722 7 (f) 161:0.766 1 图 4 LIVE 数据库中同一幅基准图像不同退化程度后的 图像质量预测 Fig. 4 Quality prediction of different degraded degree image from LIVE database using proposed method 从结果可以看出，使用本文算法预测出的分 数和人类视觉系统的结果完全一致。 3.3 对比评估 用植入线性关联系数 (LCC) 准则来评估本文 所提算法的表现。LCC 通过衡量真实分数和预 测分数之间的线性关系来预测分数。假如有 n 幅 退化图像，每幅图像有一个人类感知分数等级和 一个预测的分数等级。LCC 的计算为 LCC = ∑n i=1 di √∑n i=1 d 2 i (10) 式中 di = vi − pi是二者之间的差距。 作为对比，选择集中具有代表性的 NR-IQA 方法来评价 LIVE 数据库中特定退化类型和非特 定退化类型的实验。对于前者，随机选择特定类 型的退化图像来训练和测试，对于后者所有退化 类型的图像将放在一起训练和测试。 前人几种表现良好的无参考图像质量评价和 全参考图像质量评价方法用来作为对比：如表 I 所列，BRISQUE[8] 、CORNIA[4]和 CNN[11]都是从原 文中提取的方法。除了 CNN，所有这些方法在作 对比时，取 LIVE 数据库中的 80% 做训练，剩余 20% 做测试。对于 CNN 取 60% 做训练，20% 做 更新，剩余的 20% 做测试。 表 1 LIVE 数据库上的 LCC Table 1 LCC on LIVE LCC WN BLUR FF ALL PSNR 0.926 0.779 0.870 0.856 PSIM 0.976 0.978 0.912 0.960 SSIM 0.982 0.893 0.939 0.906 BRISQUE 0.985 0.951 0.903 0.942 CORNIA 0.987 0.968 0.917 0.935 CNN 0.984 0.953 0.933 0.953 OURS 0.987 0.968 0.944 0.957 4 结束语 本文提出了一个简单有效的框架来自动评估 图像质量。全文的创新性在于集成使用了局部特 征和全局统计特性描绘图像。本文的贡献是两方 面的：首先，本文用到了一个包括局部特征和全 局统计特性有区分性的特征集来表征图像块；其 次，研究了怎样在无标记的数据集上构建字典， 使用了一个跟退化类型无关的池化策略来加速学 习过程。 相比前人的方法，本文所提算法有了很大的 提高，实验表明本文算法能有效处理某种程度上 不可预见退化类型的图像。未来将考虑将目标检 测融合到我们的框架中去，以此代替对所有检测 区域质量的均值化处理。 ·992· 智 能 系 统 学 报 第 13 卷
第6期 王伟，等：一种特征字典映射的图像盲评价方法研究 ·993· 参考文献： ence image quality assessment metric based on entropy fu- sion[J].Optik-international journal for light and electron [1]WANG Wei,LIU Hui,ZHENG Jinjin,et al.Integrated optics,.2013,12421):5149-5153. blur image quality assessment based on human visual per- [10]GU Ke,ZHAI Guangtao,YANG Xiaokang,et al.A new ception[C]//Proceedings of the International Conference on reduced-reference image quality assessment using struc- Computer Science and Applications.Wuhan,China,2017: tural degradation model[C]//Proceedings of 2013 IEEE 119-124 International Symposium on Circuits and Systems. [2]FERZLI R.KARAM L J.A no-reference objective image Beijing,China,2013:1095-1098. sharpness metric based on the notion of just noticeable blur [11]ROTH S,BLACK M J.Fields of experts:a framework for (JNB)[J].IEEE transactions on image processing,2009, learning image priors[C]//Proceedings of 2005 IEEE 18(4):717-728 Computer Society Conference on Computer Vision and [3]HASSEN R.WANG Zhou,SALAMA M.No-reference Pattern Recognition.San Diego,USA,2005:860-867. image sharpness assessment based on local phase coher- ence measurement[Cl//Proceedings of 2010 IEEE Interna- 作者简介： tional Conference on Acoustics,Speech and Signal Pro- cessing.Dallas,USA,2010:2434-2437. 王伟，男，1987年生，博士，主要 [4]CHEN Mingjun,BOVIK A C.No-reference image blur as- 研究方向为计算机视觉、模式识别、智 sessment using multiscale gradient[C]//Proceedings of 能信息处理。获得国家发明专利授权 2009 International Workshop on Quality of Multimedia 1项。发表学术论文18篇.被SCI检 Experience.San Diego,USA,2009:3. 索3篇，EI检索12篇。 [5]LI Chaofeng,BOVIK A C.Content-partitioned structural similarity index for image quality assessment[J].Signal processing:image communication,2010,25(7):517-526. 刘辉，男，1983年生，博士，主要 [6]CIANCIO A.DA COSTA A L,DA SILVA E A,et al.No- 研究方向为智能信息处理、通信对抗 技术。获得国防发明专利授权1项。 reference blur assessment of digital pictures based on mul- 发表学术论文25篇，被SC1检素 tifeature classifiers[J].IEEE transactions on image pro- 4篇，EI检索16篇。 cessing.2010,20(1:6475. [7]YAO Hongxun,HUSEH M Y,YAO Guilin,et al.Image evaluation factors[C]//KAMEL M,CAMPILHO A.Image Analysis and Recognition.Berlin,Heidelberg:Springer, 杨俊安，男，1965年生，教授，博 士生导师，主要研究方向为机器学习 2005:255-262. 智能信息处理、通信对抗技术。获得 [8]HASLER D,SuSSTRUNK S E.Measuring colourfulness 国防发明专利授权1项。发表学术论 in natural images[J].Electronic imaging,2003,5007: 文70余篇，被SCI检索8篇，EI检素 87-95. 30余篇。 [9]ZHANG Qiang,HAN Yu,CAI Yunze.Novel full-refer-
参考文献： WANG Wei, LIU Hui, ZHENG Jinjin, et al. Integrated blur image quality assessment based on human visual perception[C]//Proceedings of the International Conference on Computer Science and Applications. Wuhan, China, 2017: 119–124. [1] FERZLI R, KARAM L J. A no-reference objective image sharpness metric based on the notion of just noticeable blur (JNB)[J]. IEEE transactions on image processing, 2009, 18(4): 717–728. [2] HASSEN R, WANG Zhou, SALAMA M. No-reference image sharpness assessment based on local phase coherence measurement[C]//Proceedings of 2010 IEEE International Conference on Acoustics, Speech and Signal Processing. Dallas, USA, 2010: 2434–2437. [3] CHEN Mingjun, BOVIK A C. No-reference image blur assessment using multiscale gradient[C]//Proceedings of 2009 International Workshop on Quality of Multimedia Experience. San Diego, USA, 2009: 3. [4] LI Chaofeng, BOVIK A C. Content-partitioned structural similarity index for image quality assessment[J]. Signal processing: image communication, 2010, 25(7): 517–526. [5] CIANCIO A, DA COSTA A L, DA SILVA E A, et al. Noreference blur assessment of digital pictures based on multifeature classifiers[J]. IEEE transactions on image processing, 2010, 20(1): 64–75. [6] YAO Hongxun, HUSEH M Y, YAO Guilin, et al. Image evaluation factors[C]//KAMEL M, CAMPILHO A. Image Analysis and Recognition. Berlin, Heidelberg: Springer, 2005: 255–262. [7] HASLER D, SüSSTRUNK S E. Measuring colourfulness in natural images[J]. Electronic imaging, 2003, 5007: 87–95. [8] [9] ZHANG Qiang, HAN Yu, CAI Yunze. Novel full-reference image quality assessment metric based on entropy fusion[J]. Optik-international journal for light and electron optics, 2013, 124(21): 5149–5153. GU Ke, ZHAI Guangtao, YANG Xiaokang, et al. A new reduced-reference image quality assessment using structural degradation model[C]//Proceedings of 2013 IEEE International Symposium on Circuits and Systems. Beijing, China, 2013: 1095–1098. [10] ROTH S, BLACK M J. Fields of experts: a framework for learning image priors[C]//Proceedings of 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Diego, USA, 2005: 860–867. [11] 作者简介： 王伟，男，1987 年生，博士，主要 研究方向为计算机视觉、模式识别、智 能信息处理。获得国家发明专利授权 1 项。发表学术论文 18 篇，被 SCI 检 索 3 篇，EI 检索 12 篇。 刘辉，男，1983 年生，博士，主要 研究方向为智能信息处理、通信对抗 技术。获得国防发明专利授权 1 项。 发表学术论文 25 篇，被 SCI 检索 4 篇，EI 检索 16 篇。 杨俊安，男，1965 年生，教授，博 士生导师，主要研究方向为机器学习、 智能信息处理、通信对抗技术。获得 国防发明专利授权 1 项。发表学术论 文 70 余篇，被 SCI 检索 8 篇，EI 检索 30 余篇。 第 6 期 王伟，等：一种特征字典映射的图像盲评价方法研究 ·993·