·444· 智能系统学报 第17卷 36.15 据集，该数据集包含1000张2K分辨率的高清图 36.05 像，其中800张作为训练数据集，100张用于验证， 35.95 号35.85 100张用于测试。该数据集还包含高清分辨率图 曾35.75 像对应的低分辨率图像（使用插值法获得）便于 35.65 训练。本文中，将DIV2K数据集中编号1~800的 35.55 图像作为训练集，编号801~900的图像作为验证 35.45 0.068 集，编号901~1000的图像作为测试集，另选Set5 Set14为测试集进行对比。Set5为5张动植物的 图像，Setl4数据集包含14张自然景象的图像。 图4感知损失收敛曲线 3.2评价指标 Fig.4 Perceptual loss convergence curve 图像超分辨率效果的客观评价指标为峰值信 36.10 噪比(peak signal-.to-noise ratio,PSNR)和结构相似 36.00 35.90 (structural similarity,SSIM). 号35.80 3.2.1峰值信噪比 兰35.70 峰值信噪比是图像超分辨率评价指标中使用 35.60 最多的一种标准，其使用均方误差来对图片质量 35.50 作判断。对于单色m×n的高清原图I与超分辨率 35.40 、、、、、 得到的图片K,两者之间的均方误差公式为 MSE=- n∑x)-Kr (13) 图5像素损失收敛曲线 Fig.5 Pixel loss convergence curve 峰值信噪比的公式为 36.175f (MAX PSNR=10-lgMSE =20-lg MAX (14) 36.165 VMSE 36.155 式中：MAX,表示像素最大值，如果采样点用8位 36.145 号35.135 表示，则为255。可见，MSE与PSNR成反比， 遵35.125 PSNR越大代表重新构建的图像效果越好。 35.115 3.2.2结构相似度 35.105 结构相似度是图像超分辨率重建的另一个应 35.095 35.08 用较为广泛的测量指标，其输入是两张图像，其 0 0.0002 0.0004 0.0006 0.0008 0.0010 0.001 中一张是未经压缩的无失真图像y,另一张是重 新构建出的图像x,那么SSM公式为 (15) 图6对抗损失收敛曲线 SSIM(y)=[l(x.y)]".[c(x.y)[s(x.y) Fig.6 Adversarial loss convergence curve 式中：a>0,B>0,y>0,1是亮度(luminance)比较，c 是对比度(contrast)比较，s是结构(structure)比较： 3实验设置 1(x,y）= 2μ4，+C1 ++C 本实验在Windows 10操作系统中使用PyT- orch深度学习框架，Python版本为3.7.6，硬件配 c(x,y)= 20g+C2 ++c 置为Intel(R)Core(TMi5-7300 HQ CPU@2.50GHz, 24GB内存，显卡为NIDIA GeForce GTX1050Ti, s(x.)=o+c xOy+C3 使用CUDA10.2+cudnn7.4.1进行GPU加速，在 一般c=c/2,其中4、4，表示均值。a、o,表 训练过程中，采用Adam梯度下降算法，设置初始 示方差，o,表示x与y的协方差。在实际应用中 学习率为0.001，模型的epoch设置为200，每 通常设===1，故可将式(15)简化为 10次保存一次网络模型。 SSIM(x,y)= (2μ4，+C)(og+c2) 3.1数据集 (++c)(++c2 DIV2K数据集是用于NTIRE大赛的标准数 可以看出，SSIM具有对称性，即SSIM(x,y)=0.068 35.45 35.55 35.65 35.75 35.85 35.95 36.05 36.15 0.070 0.072 0.074 0.076 0.078 0.080 0.088 0.090 0.092 λ1 Loss/dB 图 4 感知损失收敛曲线 Fig. 4 Perceptual loss convergence curve λ2 0.882 35.40 35.50 35.60 35.70 35.80 35.90 36.00 36.10 0.884 0.886 0.888 0.890 0.898 0.900 0.902 0.904 0.906 Loss/dB 图 5 像素损失收敛曲线 Fig. 5 Pixel loss convergence curve λ3 0 35.085 35.095 35.105 35.115 35.125 35.135 36.145 36.165 36.155 36.175 0.000 2 0.000 4 0.000 6 0.000 8 0.001 0 0.001 2 Loss/dB 图 6 对抗损失收敛曲线 Fig. 6 Adversarial loss convergence curve 3 实验设置 本实验在 Windows 10 操作系统中使用 PyT￾orch 深度学习框架，Python 版本为 3.7.6，硬件配 置为 Intel(R) Core(TM) i5-7300HQ CPU @ 2.50 GHz, 24 GB 内存，显卡为 NIDIA GeForce GTX 1 050 Ti， 使用 CUDA 10.2 + cudnn 7.4.1 进行 GPU 加速，在 训练过程中，采用 Adam 梯度下降算法，设置初始 学习率为 0.001，模型的 epoch 设置为 200，每 10 次保存一次网络模型。 3.1 数据集 DIV2K 数据集是用于 NTIRE 大赛的标准数 据集，该数据集包含 1 000 张 2K 分辨率的高清图 像，其中 800 张作为训练数据集，100 张用于验证， 100 张用于测试。该数据集还包含高清分辨率图 像对应的低分辨率图像 (使用插值法获得) 便于 训练。本文中，将 DIV2K 数据集中编号 1~800 的 图像作为训练集，编号 801~900 的图像作为验证 集，编号 901~1 000 的图像作为测试集，另选 Set5、 Set14 为测试集进行对比。Set5 为 5 张动植物的 图像，Set14 数据集包含 14 张自然景象的图像。 3.2 评价指标 图像超分辨率效果的客观评价指标为峰值信 噪比 (peak signal-to-noise ratio, PSNR) 和结构相似 性 (structural similarity, SSIM)。 3.2.1 峰值信噪比 峰值信噪比是图像超分辨率评价指标中使用 最多的一种标准，其使用均方误差来对图片质量 作判断。对于单色 m×n 的高清原图 I 与超分辨率 得到的图片 K，两者之间的均方误差公式为 MSE = 1 mn ∑m−1 i=1 ∑n−1 j=1 [ I(x, y)−K(x, y) ]2 (13) 峰值信噪比的公式为 PSNR = 10 ·lg( MAX2 I MSE ) = 20 ·lg( MAXI √ MSE) (14) 式中：MAXI 表示像素最大值，如果采样点用 8 位 表示，则为 255。可见，MSE 与 PSNR 成反比， PSNR 越大代表重新构建的图像效果越好。 3.2.2 结构相似度 结构相似度是图像超分辨率重建的另一个应 用较为广泛的测量指标，其输入是两张图像，其 中一张是未经压缩的无失真图像 y，另一张是重 新构建出的图像 x，那么 SSIM 公式为 SSIM(x, y) = [ l(x, y) ]α · [ c (x, y) ]β · [ s(x, y) ]γ (15) 式中：α>0，β>0，γ>0，l 是亮度 (luminance) 比较，c 是对比度 (contrast) 比较，s 是结构 (structure) 比较： l(x, y) = 2µxµy +c1 µ 2 x +µ 2 y +c1 c (x, y) = 2σxy +c2 σ2 x +σ2 y +c2 s(x, y) = σxy +c3 σxσy +c3 一般 c3=c2 /2，其中 μx、μy 表示均值。σx 2 、σy 2 表 示方差，σxy 表示 x 与 y 的协方差。在实际应用中 通常设 α=β=γ=1，故可将式 (15) 简化为 SSIM(x, y) = ( 2µxµy +c1 ) (σxy +c2 ) ( µ 2 x +µ 2 y +c1 ) (σ2 x +σ2 y +c2 ) 可以看出，SSIM 具有对称性，即 SSIM(x, y)= ·444· 智 能 系 统 学 报 第 17 卷