第7卷第5期 智能系统学报 Vol.7 No.5 2012年10月 CAAI Transactions on Intelligent Systems 0ct.2012 D0I:10.3969/i.issn.16734785.201206021 网络出版地址：http://www.cnki.ne/kcms/detail/23.1538.TP.20120921.1545.002.html 基于感知视觉重要性的立体图像质量评价 姜峰，郭美思，刘绍辉，赵德斌 (哈尔滨工业大学计算机科学与技术学院，黑龙江哈尔滨150001) 摘要：视觉心理、生理因素是有效、准确评价图像质量的重要依据.尽管在计算层面已有众多视觉心理、生理计算 模型及方法为其提供支持，但在图像质量评价任务中如何分析各种孤立方法之间的内在关系进而使之有效协同，是 使得评价结果更符合人主观评测的关键.从图像质量评价的角度出发，功能上将人眼的视觉注意区域定义并数学形 式化为视觉初期注意区域与视觉转移期的劣质区域；同时考虑人眼的感知冗余特性，结合JND感知冗余模型，进而 提出了图像质量评价范畴下的视觉感知模型PVSSIM..以此为依据，将感知视觉的方法在二维图像数据库中验证其 可行性，并将其引入到立体图像质量评价中.实验结果表明，提出的客观评价方法与传统方法相比，充分考虑到了图 像质量评价任务中各种视觉心理、生理因素的协同，与人主观的图像质量评价相比具有更高的相关度，评价方法在 立体图像库中能很好地与主观评价相吻合，达到了预期的效果. 关键词：图像质量评价：立体图像评价：JND:视觉心理：生理模型：感知视觉 中图分类号：TP391文献标志码：A文章编号：16734785(2012)05041409 Quality assessment of stereoscopic images based on the significance of perceptual vision JIANG Feng,GUO Meisi,LIU Shaohui,ZHAO Debin (Department of Computer Science and Technology,Harbin Institute of Technology,Harbin 150001,China) Abstract:The visual psychological and physiological factors are crucial for the assessment on image quality.There are many visual,psychological and physiological calculation models used to support the assessment of image quality, however,how to analyze the intrinsic relations among various isolated methods and further effectively coordinate them in the task of image quality assessment is the key to making the assessment results more conform to subjective assess- ment of human.The definition and formalization of visual attention areas as saliency in the early vision period and poor-quality area for vision transformation periods were examined from an image quality angle.Simultaneously,the property of perceptual redundancy of human eyes,JND(just noticeable distortion)perception redundancy model,and vision perception model PVSSIM of image equality assessment will be examined.Based on the research findings,fea- sibility of vision perception methods are verified using a two-dimensional image database study through the introduc- tion of image stereoscopic.The experimental results confirm that,in comparison with traditional methods,the raised objective assessment method sufficiently considers the coordination of various psychological and physiological factors in the task of image quality assessment,it is more relevant to the subjective image quality assessment of human.In the stereoscopic image database,the assessment method may properly coincide with the subjective assessment,the expectable effect is realized. Keywords:image quality assessment;stereoscopic image;just noticeable distortion(JND);visual psychology;physiological model;perceptual vision 在信息、媒体、通讯高速发展的时代，人们已经不满足于二维平面图像带来的亭受.2010年我国举 行的第16届亚运会，首次实现了综合运动会的三维 收稿日期：201206-18.网络出版日期：201209-21. 传播，这些都为立体图像视频的欢迎做好了铺垫.随 基金项目：国家自然科学基金资助项目(61100096)；国家“973”计划 资助项目(2009CB320905). 着人们生活水平的提高，3DTV、3D电影、家庭影院 通信作者：姜峰.E-mail:fiang@hit.ed.cm 等都在人们的日常生活中越来越普及.在这种强大
第5期 姜峰，等：基于感知视觉重要性的立体图像质量评价 ·415 的市场需求的情况下，立体图像视频已经成为当前 性Ia].Roushain等提出了无参的方法评价非对称的 研究的热点。 JPEG压缩图像，基于图像对在固定块的划分作为 立体图像的2幅图像（左视和右视）是通过2 3D人工产品的特性，获得的块被分成平坦块（无轮 个很近的摄像机（近似两眼之间的距离）采集的.为 廓)和活跃块（有轮廓），利用这2个特征评估立体 了节省带宽和存储空间，左右视图像会被相应压缩 对的质量4.基于差异图，Kim等提出了3D立体视 虽然3D图像的获取技术在不断出现，但这些技术 频质量评价方法.首先进行主观实验作为3D质量 和图像压缩一样，极大地影响了3D的感知质量.在 准则，然后根据色差及其在时间上的平均变化来实 每个环节中，原始图像都会产生失真的可能性.与传 现该方法5].Olsson等提出了一个基于深度图的方 统的2D图像/视频不同，3D图像/视频在采集、压 法16，在预处理阶段，他们在不同深度层次上合成 缩、存储、传输、重建过程中需要克服新的挑战，因为 2D立体对，层次是根据相机距离和焦距信息来选择 三维图像能利用左、右眼观察到的具有视差的图像 的，在每个层次中，像素根据文献[17]的算法识别， 对，在大脑中融合出真实的立体感觉.三维图像有时 编码噪音都用MSSM的方法评价16.国内的研究 会给用户带来梯形失真、鬼影效应、木偶戏效应、硬 机构也在此方向做了很多类似的研究，并得出一些 纸板效应、切形变、眩晕等特有的现象，因此研究适 重要的结论[20] 于人眼的3D图像质量评价方法就显得非常重要. 2 感知视觉重要性方法 1图像质量评价 参考图像 立体技术14]的不断涌现，为研究立体图像提 供了技术保障.从当前的国内外研究现状来看，可以 JND模型 失真图像 将立体图像质量评价方法分为以下3种类别：第1 种是基于2D图像评价方法的立体图像评价；第2 消除冗余过程 种是基于2D评价方法融合3D信息的立体图像评 新的失真图像 价；第3种是基于3D分析的立体图像质量评价. 1)第1种质量评价方法的思想是基于最新的 2D质量评价方法来评价3D图像质量.近年来，2D 亮度比较 对比度比较 结构比较 图像质量评价方法主要有PSNR、MSE、SSM) MSSIM6]、P-SSM71、IWSSIM81、VASSIM9等.You 等[1已经将上述的一些方法应用到立体图像评价 仅内容重要图 中，并研究了其性能.立体图像中的失真图像对被单 显著图 检测 独分开作为2D方法的输入，最后的分数是左、右图 像分数的平均值.实验结果显示，以上方法对立体图 既内容重要图又劣质图 像评价是有效的，虽然基于以上方法的立体图像评 质量图 价性能没有2D图像性能好. 排序 仅劣质图 2)第2种质量评价方法的思想是将立体图像 融合 的差异图或深度图以不同的方式融合在标准框架 中.You等使用3种不同的方法融合视差图来得到 最后分数 最后的质量评价分数[to].Yang等根据立体图像对 的绝对差异图来进行立体图像质量评价u1.Hewage 图1基于视觉重要性的图像质量评价框架 Fig.1 The framework of image quality assessment based 和Martini提出的方法计算原始和受损的深度图的 on the significance of perceptual vision 轮廓，然后这些轮廓被二值化，继而使用PSNR方法 人眼感知冗余特性是由于图像的亮度对比和空 评价图像质量[2].Xig等提出了从立体图像中计算 间掩藏效应产生的.JND(just noticeable distortion) 出深度图的方法，然后通过原始和受损的深度图像 模型能模拟HVS的亮度对比度和空间掩藏效应等 得出SSIM map被赋予相应的权值，这个方法的分数 是带权深度图的平均值] 特性，能表示人眼的感知冗余，在感知冗余评估上与 人眼相吻合.另一方面，在一副图像中，只有部分区 3)第3种方法的主要思想是提取3D的感知特
416 智能系统学报 第7卷 域能引起视觉注意.这部分区域可以是视觉初期注 00000 00100 00100 010-10 831 8300 00380 03030 意到的内容重要性区域，也可以是视觉转移时注意 00 000 130-3-1 -1-303 08080 到的质量不好区域.因此，本文从这2个方面来检测 -1 -3 -8-3-1 00-3-80 0-8-300 03030 00000 00-10000-100 010-10 视觉重要性区域.对于不同的区域来说，观看者注意 图24个方向的高通滤波器 程度是不同的，对不同的区域训练出不同的权值，然 Fig.2 The high-pass filters in 4 directions 后形成视觉感知模型VPM(vision perception mod- 而a(b,(x,y))和B(b（x,y)被定义为： ©l).基于感知视觉重要性的图像质量评价框架如图 a(bg(x,y)=b(x,y)×0.0001+0.115, 1所示. B(b(x,y)）=u-b(x,y）×0.01, 2.1感知冗余 55 图像的感知冗余主要是由于亮度对比度和空间 b,(x,y)=2∑p(x-3+i,y-3+i)*B(i》 掩盖效应引起的.在JND得出的可见性门限阈值 式中：b,(x,y)为平均背景亮度，通过滤波B实现， 内，图像的变化在人眼中是察觉不到的；然而超出这 如图3所示. 个阈值，人们就能察觉到图像的失真。 为使图像质量评价更加符合人眼特性，如果像 素值在ND的可见性门限阈值内，则将待测图像的 像素值修改成参考图像的像素值；否则，待测图像的 像素值会相应地增加或减少ND的值.本文采用的 是空域JND模型2，具体过程如下， 图3低通加权滤波器 1)利用模型计算参考图像的JND值Sd Fig.3 The low-pass filter 2)利用JND特性修改失真图像.如果原始图像 函数2(b,（(x,y)计算可见门限值，如式(3)： O(x,y)和失真图像D(x,y)的差值在门限阈值内， f2(b(x,y)= 则D(x,y)=O(x,y);否则，失真图像的像素值减去 门限阈值： 五×[1-(7n+e14,x,)≤127： D(x,y）=D(x,y）-Sd(x,y) y×[bg(x,y）-127]+e,b(x,y）>127. 如果原始图像像素值大于失真图像像素值，则失真 (3) 图像的像素值加上门限阈值： 2.2视觉重要性模型 D(x,y）=D(x,y）+S(x,y). 视觉注意是指对图像的某一部分特别注意，而 本文利用空间JND模型来得到能感知冗余的 能引起注意的区域包括内容重要性的显著区域和劣 可见性门限阈值，如式(1)： 质区域.本文方法将图像分为4个部分区域：既是显 Sjnd =maxifi(be(x,y),mg(x,y))f(b(x,y)). 著区域又是劣质区域、仅是显著区域、仅是劣质区 (1) 域、既不是显著区域又不是劣质区域.然后，将这4 式中：f(b(x,y),m(x,y)和f左(b(x,y))分别是 个部分区域分别赋予不同的权值来形成视觉重要性 估计空间掩盖和亮度对比的函数，而(b(x,y), 模型(vision significance model,VSM). m(x,y）)定义为 2.2.1显著性模型 f(b.(x,y）),m.(x,y）)= 显著区域是指在图像中能提取出图像的重要内 m(x,y）×a(b.(x,y))+B(b(x,y）)). 容的区域，可以依据图像在频域中的特性来提取.根 式中：m(x,y)是像素(x,y)在4个方向上亮度变化 据信息论的观点，图像信息能被分解为两部分：新颖 的最大加权平均值，如式(2)： 部分和先验部分.不同的图像在频谱对数曲线中有 m(x,y）=m0a(x,）1, 共同的曲线趋势，而频谱上的频谱冗余部分即是图 =12p(x-3+i,y-3+)*G(i,). 像的新颖部分，由此来构造图像的显著区域2] g=16台 设I(x,y)为一输人图像，A(u,)和P(u,v)分 (2) 别是经过傅里叶变换后的频谱和相谱，对数频谱 式中：G,(i,)是检测纹理的高通滤波器，如图2 L(u,)为 所示 L(u,v)=In(A(u,v)). 式中：A(“,)是对数频谱的一般形式，相当于给定
第5期 姜峰，等：基于感知视觉重要性的立体图像质量评价 417 的先验部分.而A(u,)的平均频谱A（u,v)可以用 (步长从1到4000)以得到最好的增益，在客观分 局部滤波器来近似A(u,)的形状： 数和主观分数之间的相关系数值最大时，就可得到 A (u,v)=h (u,v)*L(u,v). 该尺度的3个权值，每个尺度上都是这样训练得到 滤波器hn(u,)的矩阵表达形式如式(4)： 权值.本文在LVE数据库中抽取各种失真类型和 1 不同失真程度的150幅图像进行实验， H(u 通过分别分析4个尺度上的-SSM、⊙-SSM、 BI-SSM与主观分数之间相关系数的散点图得出最 1 优的T,「，、6值，其训练的结果如表1所示.实验结 综上，频谱冗余R(u,v)为 果表明，在显著区域且劣质区域的权值比仅是显著 R(u,v)=L(u,v)-A1(u,). 区域或者仅是劣质区域的权值高 此时频谱冗余意味着图像中的新颖部分，即显著部 表1不同尺度上的，，值 分.之后再通过反傅里叶变换得到显著图S(x,y), Table 1 The r,,r,and r with different scales 如式(5)： 模型 尺度1 尺度2 尺度3 尺度4 S(x,y）=g(x,y）*乎[exp(R(u,）+P(u,w)]2. -SSIM 28 3 1 (5) -SSIM 20 2 1 2 式中：g(x,y)是一个高斯滤波器，目的是通过平滑 BI-SSIM 40 > 6 产生较好的视觉效果，显著图突出了吸引人眼注意 因此，视觉重要性模型为 的物体，为了检测显著图中的前物体，可采用阈值的 (x,）=10(,）+,2y,)+ 方法，则前物体图O(x,y)定义为： 亚(x,y） 0(x,y)={0, r1,S(x,y)>T; @(x,2B(x,y）}/3. 其他. B(x,y) 式中：T=E(S(x,y))×3. 2.2.2劣质图像模型 武中0(，》=文x点名0(，).(》 在观看图像时，劣质区域同内容重要区域一样 1 1兰兰B(x,y). MXN三，），B(x,）=MXN,B 能吸引人的注意.在本文中，劣质图像区域的确定采 2.3感知视觉方法 用基于百分比的模型].参考图像和失真图像经过 感知视觉方法主要由以下4个步骤实现： SSIM获得的质量图SSM_map进行从小到大排序， 1)通过参考图像和失真图像计算出SSIM中的 若像素值f(x,y)落入前p%的集合范围内，就标 质量图； 记为图像劣质，其值为1，否则为0.将前p%的值的 2)再通过参考图像计算出JND值，消除视觉的 集合定义为集合A,则图像劣质图V(x,y)定义为： (x,y）=,aa(x,)eA: 感知冗余，突出失真区域； 3)通过显著区域和劣质区域来计算视觉重要 0,其他. 性模型VS; 2.2.3视觉重要性模型 4)最后融合到多尺度SSIM中得到最终的质量 由于提取视觉重要性的时候将图像分为4个部 评价结果。 分区域：既是显著区域又是劣质区域、仅是显著区 设M为最高的尺度，M的值取为5，w.:为第j个 域、仅是劣质区域、既不是显著区域又不是劣质区域 尺度上的VS图在空间位置i的值.则对于j=1,2,…, 因此，可以提取既是显著又是劣质的图像区域，其被定 M-1时，第j个尺度的PVSSIM的定义如式(6)： 义为双边重要区域(both importance map,BI map): B(,)=0(x,)=1,,)=1: F)=x) (6) 0,其他. ∑9a 同理，定义⊙(x,y)为仅有显著区域没有劣质区 当j=M时，第j个尺度的PVSSIM的定义如式(7)： 域，x,y)为仅有劣质区域没有显著区域将以上3个 部分的区域分别赋予不同的权值，⊙(x,y)的权值，≥ Ra)=是∑)x(3.)×s3.人 1,x,y)的权值r,≥1，B(x,y)的权值r≥1. (7) 根据不同区域赋予不同的权值，权值被训练 式中：l(X.,Y.i)、c(X.i,Yd)和s(Xi,Y)分别为
418 智能系统学报 第7卷 SSIM中的3个分量.最后的PVSSIM被定义为 3 立体图像质量评价 = Π(Fna) 目前3D图像质量评价处于探索阶段，与2D图 式中：每个尺度B:的权值与文献[6]中的多尺度 像质量评价相比，它有着独特的三维信息即立体感 SSM保持一致，尺度M=5. 三维图像技术的基本原理是利用人的左、右眼分别 2.4实验结果 观察具有视差相关性的左右视图，在人脑中融合出 本文采用的实验数据库图像是由982幅图像构 真实的立体世界.因此，本文将3D图像质量评价分 成的VE数据库[a].该数据库有5种失真类型，其 为质量评价和立体感评价。 中JPEG压缩图像有233幅，JPEG2000压缩图像有 当观看立体图像时，大脑会依据双眼产生的视 227幅，白噪声的图像有174幅，高斯模糊的图像有 差信息来融合产生立体感.绝对视差图对立体感有 174幅，快速退化的图像有174幅，还有203幅图像 很重要的影响，而影响立体视觉的因素还有很 是参考图像即无失真图像。 多，如阴影、重叠、双眼会聚、个人的经验和记忆等， 本文使用4种IQA测量性能的评估标准： 但是能直接影响立体图像中的立体感因素就是双眼 PLCC、SRCC、KRCC、RMSE来衡量提出的新方法，并 视差.图像对（具有标准视差）的绝对差异图像可以 和最近流行的客观评价方法比较.在评测中，一个较 近似为图像的轮廓线，由于图像的像素值不能为负 好的客观评价方法应该有较高的PLCC、SRCC、 值，因而取绝对差异图.若参考图像对如图5所示， KRCC和较低的RMSE.表2中详细具体地显示了当 则它的绝对差异图如图6所示 前具有代表性的各个客观质量评价方法在LVE图 像数据库上的评估指标. 表2客观图像质量评价方法在LVE库上的比较 Table 2 Comparison of the objective stereoscopic images assessment methods in LIVE 模型 PLCC SRCC KRCC RMSE SSIMsI 0.902 0.911 0.732 11.801 MSSSIM6J 0.940 0.951 0.804 9.312 (a)左视亮 (b)右视图 P-SSIM7] 0.937 0.946 0.796 9.537 IWSSIM8] 0.943 0.957 0.818 9.137 图5参考立体图像对 VASSIM!I 0.948 0.957 0.817 8.668 Fig.5 The inference images PVSSIM 0.949 0.958 0.818 8.584 图4显示了PVSSIM方法在LIVE数据库上的 散点图，每一个点代表一幅图像.从评估数据和散点 图中可以看出，基于感知视觉的方法符合人眼的特 性，与主观评价吻合 1.0 0.9 0.8 0.7 图6绝对视差图 x Fig.6 The absolute parallax 8. 在研究立体感和绝对差异图之间关系时做了以 0.3 下实验山.参考图像对来自图5，绝对差异图来自 0.2 图6.在参考图像对位于绝对差异图中值较大的区 0. 域加噪声，这时采取主观评价的方法观察图像对，立 20 0 20 4060 80100120 主观分数 体感觉几乎丧失，但质量还可以.在参考图像对位于 绝对差异图中值较小的区域加噪声，这时如果采取 图4 PVSSIM方法在LIVE库上的散点 主观评价的方法观察图像对，立体感觉几乎没有损 Fig.4 The scatters of PVSSIM in LIVE base 害，但质量会很差.如图7~8所示
第5期 姜峰，等：基于感知视觉重要性的立体图像质量评价 419… 立体图像立体感的基本原因.因此，基于左右图像的 绝对差异图来评价立体感，本方法也是基于视觉重 要性模型的方法.首先，根据立体图像对的左右图像 得出立体图像差异图.L。和R。分别代表参考立体 图像对的左图像和右图像，L4和R。分别代表失真 立体图像对的左图像和右图像.则参考图像对的绝 (a)左视倒 (b)右视图 对差异图X1=L。-R。I,失真图像对的绝对差异图 X2=ILa-RI.然后将参考图像差异图和失真图像 图7在相对值较大的区域加入噪声 Fig.7 Images added noise in the significant value area 差异图作为立体感的输入图像，根据感知冗余和视 觉注意特性融入SSM中进行立体感评价.立体感 评价的框架如图10所示， 参考左图像参考右图像 失真左图像失真右图像 参考绝对视差图 失真绝对视差图 (a)左视图 (b)右视图 图8在相对值小的区域加入噪声 JND模型 Fig.8 Images added noise in the small value area 在双眼差异值大的区域加入恒值噪声，立体感 消除冗余过程 会减退，噪声把两眼的差异部分弱化.在绝对差异图 中相对较小值的区域加入噪声，双眼视差变化较小， 新的失真绝对视差图 只是质量很差，双眼还是可以融合出立体感.由此， 绝对差异图是人的双眼视差的直接体现，是研究3D 图像立体感最根本的出发点。 亮度比较 对比度比较 结构比较 3.1质量评价 在3D图像质量评价中，沿用2D图像质量评价 方法：基于感知视觉的客观质量评价方法.将左图像 和右图想单独评价，然后根据最后评价结果取均值 显著图 仅内容重要图 检测 即为质量评价结果.质量评价框架如图9所示，图像 质量评价的结果是左右图像的得分均值 既内容重要图又劣质图 参考左图像 失真左图像 参考右图像 失真右图像 质量阁 排序 仅劣质图 PVSSIM方法 PVSSIM方法 融合 左分数 右分数 立体感分数 图10立体感的评价框架 Fig.10 The framework of illusion depth assessment 3.3立体图像库建立与实验结果 最后质量分数 3.3.1立体图像库的建立 图9质量的评价框架 无失真的立体图像对即为参考立体图像对，可 Fig.9 The framework of images quality assessment 以根据这些图像对得到各种失真类型的图像对，从 3.2立体感评价 而建立立体图像库.对在网上搜集的立体图像对进 通过研究双眼视差，可得到绝对差异图是产生 行4种失真处理：高斯模糊、高斯白噪声、JPEG
·420. 智能系统学报 第7卷 JPEG2000,并有3种不同的失真等级.将高斯模糊、 价标准指标的比较结果如表3所示，立体感评价标准 高斯白噪声、JPEG这3种失真类型用Matlab处理，而 指标的比较结果如表4所示.从表中的结果可以看出， JPEG2000用的是Kakadu软件进行处理，如图11所示. 本文提出的客观质量评价方法有明显的性能提升， 表3质量评价指标的结果 Table 3 The results of quality assessment 模型 PLCC SRCC KRCC RMSE PSNR7] 0.935 0.915 0.750 3.92 PVSSIM 0.939 0.924 0.768 3.80 表4 立体感评价指标的结果 (a高斯模糊 ,)高斯白噪声 Table 4 The results of stereoscopic assessment 模型 PLCC SRCC KRCC RMSE PSNR7] 0.897 0.859 0.684 0.190 PVSSIM 0.914 0.882 0.714 0.174 本文的质量评价和主观质量分数的散点图如图 12所示，立体感的评价和主观立体分数的散点图如 图13所示.每一个点代表一幅图像，该点的横坐标 代表该图像由各方法得出的主观分数，纵轴代表该 (c)JPEG (d)JPEG2000 图像的客观分数.从这2个散点图中可以看出，本文 图11失真类型 方法得到的客观分数和主观分数的拟合曲线更接近 Fig.11 The types of distortion ~条平滑曲线，这样经过拟合后本文方法得到的图 在立体图像库中，立体图像对分为左图像和右 像评价分数就会更接近主观分数. 图像，因此，失真种类应该包括左图失真右图失真、 1.0 。。。 左图失真右图不失真、左图不失真右图失真、左图不 0.9 失真右图不失真这4种情况，并且每幅图像中的每 1 种失真类型都有不同失真程度的图像.但为了简便， 蓉08 本文只对左图不失真右图失真的情况进行了主观评 皇0 …《 价.建立的立体图像库一共有180对图像，各有180 0.6 个主观的图像质量分数和主观的立体感分数， 为了控制合适的主观评价结果，主观评价的观 0.5 30 40 5060708090 看条件、评估者条件、评价的说明指示、测试的过程 主观分数 已经被标准化，各个参数都有标准的定义.要求 图12质量评价和主观质量分数的散点 测试者都是非专业的观看者，测试者需要带着偏振 Fig.12 The scatters of quality assessment and subjec- 眼镜，共有18个观测者参加了测试.对测试者进行 tive evaluation 示范说明，详细介绍评价方法和评分标准.该立体图 1.0 44 像库的评测包括2个方面：图像质量分数和立体感 0.8 分数.实验采用双刺激评分标准，即参考图像和失真 图像交替显示观看2次，在显示每幅图像后都会停 0.6 歇5s,这样就不会使观察者眼睛产生视觉停留的现 0.4 象，从中恢复到正常状态，最后对评分数据进行处 理.为了获得可靠的数据，根据测试者的评分的均 0.2 5202.53.03.54.0 值、标准差和置信区间来得到最后的主观评分 主观分数 3.3.2实验结果 由于将立体图像的主观评价分为质量和立体感 图13立体感评价与主观立体感分数的散点 来评测，这与文献[11]中的PSNR方法是相同的，因 Fig.13 The scatters of illusion depth assessment and subjective evaluation 此，与文献[11]的PSNR方法进行实验比较.质量评
第5期 姜峰，等：基于感知视觉重要性的立体图像质量评价 .421· on Image Processing,2011,20(5):1185-1198. 4结束语 [9]GUO An'an,ZHAO Debin,LIU Shaohui,et al.Visual at- 基于人眼视觉冗余和视觉注意特性之间的关 tention based image quality assessment[C]//18th IEEE In- 系，本文提出了基于感知视觉的立体图像质量评价 ternational Conference on Image Processing.Brussels,Bel- gium,2011:3297-3300. 方法.该立体图像质量评价分为质量评价和立体感 [10]YOU Junyong,XING Liyuan,PERKIS A,et al.Perceptu- 评价2种.在质量评价中，使用了基于感知视觉的 al quality assessment for stereoscopic images based on 2D 2D图像质量评价方法，将立体图像对的左右图像分 image quality metrics and disparity analysis[C]Fifth In- 别评价，再取其均值作为最后的客规质量分数.在立 temational Workshop on Video Processing and Quality Met- 体感评价中，通过分析立体感产生的因素得到了基 rics for Consumer Electronics.Scottsdale,USA,2010: 于双眼视差的绝对差异图是立体感最直接的体现， 40334036. 从而通过立体图像对得到参考图像绝对差异图和失 [11]YANG Jiachen,HOU Chunping,ZHOU Yuan,et al.Ob- 真图像绝对差异图，再根据这2个绝对差异图来评 jective quality assessment method of stereo images C1// 价立体感.最后在立体图像数据库上进行验证，结果 3DTV-Conference:The True Vision Capture,Transmission and Display of 3D Video.Potsdam,Germany,2009:14. 表明该评价方法在立体图像库中能很好地与主观评 [12]HEWAGE C T E R,MARTINI M G.Reduced-reference 价相吻合。 quality metric for 3D depth map transmission[C]//3DTV- 参考文献： Conference:The True Vision Capture,Transmission and Display of 3D Video.Tampere,Finland,2010:1-4. [1]LIPTON L.Foundations of the stereoscopic cinema:a study [13 XING Liyuan,YOU Junyong,EBRAHIMI T,et al.A in depth[M].New York,USA:Van Nostrand Reinhold, perceptual quality metric for stereoscopic crosstalk percep- 1982. tion[C]//17th IEEE Interational Conference on Image [2]YEMEZ Y,GUDUKBAY U,ZABULIS X,et al.Scene Processing.Hong Kong,China,2010:4033-4036. representation technologies for 3DTV:a survey[J].IEEE [14]ROUSHAIN A,SAZZAD P,HORITA Z M,et al.No ref- Transactions on Circuits and Systems for Video Technology, erence stereoscopic image quality assessment[C]//Pro- 2007,17(11):1587-1605. ceedings of the SPIE Volume 7524:Stereoscopic Displays [3]丁剑飞，刘永进.三维立体显示技术综述[J].系统仿真 and Applications XXI.San Jose,USA,2010:17-21. 学报，2008,20(S1):132-135. [15 KIM D H,MIN D B,OH J H,et al.Depth map quality DING Jianfei,LIU Yongjin.A survey on three-dimension metric for three-dimensional video[C]//Proceedings of the display technologies[J].Journal of System Simulation, SPIE Volume 7237:Stereoscopic Displays and Applica- 2008,20(Suppl.1):132-135. tions XX.San Jose,USA,2009:29-34. [4]SAKAMOTO K,KIMURA R,TAKAKI M.Parallax polariz- [16]OLSSON R,SJOSTROM M.A depth dependent quality er barrier stereoscopic 3D display systems[C]//Proceedings metric for evaluation of coded integral imaging based 3D- of the 2005 International Conference on Active Media Tech- images [C]//3DTV-Conference:The True Vision Cap- nology.Kagawa,Japan,2005:469-474. ture,Transmission and Display of 3D Video.Kos, [5]WANG Z,BOVIK A C,SHEIKH H R,et al.Image quality Greece,2007:14. assessment:from error visibility to structural similarity[J]. [17]TAKAHASHI K,NAEMURA T.Unstructured light field IEEE Transactions on Image Processing,2004,13 (4): rendering using on-the-fiy focus measurements[C]//IEEE 600-612. International Conference on Multimedia and Expo.Amster- [6]WANG Z.SIMONCELLI E P,BOVIK A C.Multi-scale dam,The Netherlands,2005:205-208. structural similarity for image quality assessment[C]//Pro- [18]王翔.数字图像缩放及图像质量评价关键技术研究 ceedings of the 37th IEEE Asilomar Conference on Signals, [D].杭州：浙江大学，2012：105-126. Systems and Computers.Pacific Grove,USA,2003:1398- WANG Xiang.Research on image scaling and image quali- 1402. ty assessment[D].Hangzhou:Zhejiang University,2012: [7]MOORTHY A K,BOVIK A C.Visual importance pooling 105-126. for image quality assessment[J].IEEE Journal of Selected [19]张桦.基于视觉感知的图像质量评价方法研究[D].杭 Topics in Signal Processing,Special Issue on Visual Media 州：浙江大学，2009：6888， Quality Assessment,2009,3(2):193-201. ZHANG Ye.Research on image quality assessment based [8]WANG Zhou,LI Qiang.Information content weighting for on visual perception[D].Hangzhou:Zhejiang University, perceptual image quality assessment[J].IEEE Transactions 2009:68-88
·422. 智能系统学报 第7卷 [20]王科俊，刘靖宇，马慧，等.手指静脉图像质量评价[J]· 郭美思，女，987年生，硕士研究生， 智能系统学报，2011,6(4)：324-327. 主要研究方向计算机视觉、视频编码. WANG Kejun,LIU Jingyu,MA Hui,et al.A finger vein image quality assessment method[J].CAAI Transactions on Intelligent Systems,2011,6(4):324-327. [21]CHOU Chunhsien,LI Yunchin.A perceptually tuned sub- band image coder based on the measure of just-noticeable- distortion profile[J].IEEE Transactions on Circuits and 刘绍辉，男，1977年生，副教授，硕 Systems for Video Technology,1995,5(6):467-476. 士生导师，博士，主要研究方向为计算 [22]HOU Xiaodi,ZHANG Liqing.Saliency detection:a spec- 机视觉、视频编解码，发表学术论文60 tral residual approach[C]//IEEE Conference on Computer 余篇。 Vision and Pattern Recognition.Minneapolis,USA,2007: 1-8. [23]SHEIKH H R,SESHADRINATHAN K,MOORTHY A K, et al.Image and video quality assessment research at LIVE 赵德斌，男，1963年生，教授，博士 [EB/0L].(2012-03-12)[201206-15].htp:/ive. 生导师，主要研究方向为视频编码、图 ece.utexas.edu/research/quality/. 像处理和视频传输.作为负责人完成和 作者简介： 在研国家“973计划”项目、国家“863” 姜峰，男，1978年生，副教授，硕士生导 计划项目、国家自然科学基金重点项目 师，博士，主要研究方向为计算机视觉模式 与面上项目、国际合作项目等科研项目 识别、视频编码，发表学术论文60余篇。 19项.共获得国家及省部级奖励13项，其中国家技术发明 二等奖1项，国家科学技术进步二等奖2项，省部级科学技 术进步一、二、三等奖共10项，发明专利14项.发表学术论 文270余篇，其中被SCI检素62篇、EI检素202篇， 《应用科技》征订启事 《应用科技》杂志创刊于1974年，双月刊，工业和信息化部主管，哈尔滨工程大学主办，国内外公开发 行.该刊集科学性、前沿性、实用性于一体，以高等院校、科研院所的科研人员以及致力于科技开发、成果应用 的社会各界人士为读者对象，主要栏目涉及现代电子技术、计算机应用、自动化技术、机电工程、建筑工程、材 料与化学等学科. 《应用科技》杂志为双月刊，大16开本，国内统一刊号：CN23-1191/U;邮发代号：1460. 全国各地邮局均可订阅，也可以直接与本社联系邮购。 每期定价10.00元，全年定价60.00元. 通信地址：(150001)哈尔滨市南岗区南通大街145号1号楼《应用科技》编辑部 电话：0451-82534001 期f刊网址：htp:/yykj.hrbeu.edu.cm