第6期 刘万军，等：空洞卷积与注意力融合的对抗式图像阴影去除算法 ·1085· 高输出的质量。 式中：m、n分别为图像的长与宽；I为真实图像： 注意力机制可分为加法注意力机制和乘法注 K为生成图像。 意力机制，乘法注意力机制是面对加法注意力机 均方根误差(root mean squared error,RMSE) 制要求编码与解码的隐藏层长度必须相同的条件 是一个中间的评价指标，很多评价指标都是基于 的改进，具有更高的灵活性。因此，在判别器设 均方根误差进行的，是均方误差(MSE)的开根号 计中，运用乘法注意力机制。而在多次网络卷积 数，均方根误差可用来计算阴影图与非阴影图的 结构后，特征信息逐渐精简的同时，重点可能会 像素级误差，可表示为 被分散。因此，在每2层卷积层中加入乘法注意 RMSE =VMSE 力机制，突出重点，强调特征，感知全局，提升质 3.3 实验结果与分析 量。判别器设计如图7所示。 实验中针对生成器与判别器的特点，并参考 生成无 文献[23]来设置学习率参数。其中，生成器网络 阴影图片 卷积 注意 学习率为0.002，判别器网络学习率为0.001，且每 直实无 层 力 阴影图片 进行10000次训练，学习率缩小0.1倍。预训练 参数基于VGG-E网络。阴影区与非阴影区的像 图7判别器设计图 Fig.7 Design of the discriminator 素差的阈值设为30。 该实验在ISTD数据集与SRD数据集上进行 3实验及结果分析 实验，经过100000次训练，实验最佳结果SSIM 可达到0.977，PSNR为32.2，RMSE为6.2。因 3.1实验环境及数据集 ISTD与SRD数据集中各类别图像在数据集中的 实验环境为ubuntul6.10系统、GeForce GTX 1080Ti显卡。数据集选取ISTD2]和SRD22。 占比不一致且同一类别中各图像阴影区域的占比 ISTD数据集共1870对阴影与非阴影数据对，其 也不一致，因此分别在两个数据集的测试集中选 中训练集1330对，测试集540对。SRD数据集共 取不同类别。在同一类别中选取一副图片进行测 3088对阴影与非阴影数据对，其中训练集2680对， 试，并对它们的值进行展示，不同数据集效果对 测试集408对。 比见表2（其中，图片1~3为ISTD数据集上图片， 3.2实验评价 图片46为SRD数据集上图片)。 实验的评价主要从视觉效果和现流行的衡量 表2不同数据集效果对比 指标（结构相似性、蜂值信噪比、均方根误差）进 Table 2 Comparison of effect of different data sets 行评价。结构相似性(structural similarity,SSIM) 实验次数 评价指标 基于图像亮度、对比度和结构进行评价，可表示为 1 2 3 4 5 6 SSIM(x.y)= (2μ4，+c)(2cg+c2) (5) SSIM 0.975 0.9140.973 0.9770.967 (+H+c)2++c2) 0.958 式中：x、y代表要比较的两张图片；4为x的均 PSNR 28.88 27.51 30.1531.3228.9032.23 值，4，为y的均值；为x的方差；为y的方差； RMSE 9.17 10.73 7.92 6.92 9.15 6.23 σ为x和y的协方差；C1=(kL)2、c2=(kL)为两 个常数，避免除0：L为像素范围；本次实验k1为 该算法分别在ISTD和SRD数据集上选取 0.01;k为0.03。式（⑤）的值越接近1，两图片相似 3个图片进行展示，可见该算法的阴影去除效果 性越强。 较好，对相对复杂地物的阴影去除效果也表现良 峰值信噪比(peak signal-to-noise ratio,PSNR), 好，视觉感受上不存在半影情况。不同数据集实 单位是B,数值越大表示效果越好。峰值信噪比 验效果如图8所示。图8共6组图片，前3组（图 基于对应像素点间的误差，即基于误差敏感的图 (a)~(i)为ISTD数据集的测试图片，后3组（图 像质量评价。不考虑人眼的视觉特性，会出现评 G)()为SRD数据集的测试图片。 价结果与人的主观感觉不一致的情况，可表示为 实验是基于GAN网络与空洞卷积、注意力结 PSNR =101g( MAX 合的思想进行的，分别在特征提取、自编码、判断 MSE 网络进行巧妙设计。其中特征提取运用空洞残差 1 (6) MSE=- 分号6)-K6 块，自编码加入空洞卷积，判别网络加入多层乘 法注意力网络。逐步改进实验效果见表3。由表3高输出的质量。 注意力机制可分为加法注意力机制和乘法注 意力机制，乘法注意力机制是面对加法注意力机 制要求编码与解码的隐藏层长度必须相同的条件 的改进，具有更高的灵活性。因此，在判别器设 计中，运用乘法注意力机制。而在多次网络卷积 结构后，特征信息逐渐精简的同时，重点可能会 被分散。因此，在每 2 层卷积层中加入乘法注意 力机制，突出重点，强调特征，感知全局，提升质 量。判别器设计如图 7 所示。 生成无 阴影图片 真实无 阴影图片 卷积 层 注意 力 卷积 层 卷积 层 注意 力 FC 图 7 判别器设计图 Fig. 7 Design of the discriminator 3 实验及结果分析 3.1 实验环境及数据集 实验环境为 ubuntu16.10 系统、GeForce GTX 1080Ti 显卡。数据集选取 ISTD[ 2 1 ] 和 SRD[ 2 2 ]。 ISTD 数据集共 1870 对阴影与非阴影数据对，其 中训练集 1 330 对，测试集 540 对。SRD 数据集共 3088 对阴影与非阴影数据对，其中训练集 2680 对， 测试集 408 对。 3.2 实验评价 实验的评价主要从视觉效果和现流行的衡量 指标 (结构相似性、峰值信噪比、均方根误差) 进 行评价。结构相似性 (structural similarity, SSIM) 基于图像亮度、对比度和结构进行评价，可表示为 SSIM(x, y) = (2µxµy +c1)(2σxy +c2) (µ 2 x +µ 2 y +c1)(σ2 x +σ2 y +c2) (5) µx µy σ 2 x σ 2 y σxy 式中：x、y 代表要比较的两张图片； 为 x 的均 值， 为 y 的均值； 为 x 的方差； 为 y 的方差； 为 x 和 y 的协方差；c1 = (k1L) 2 、c2 = (k2L) 2 为两 个常数，避免除 0；L 为像素范围；本次实验 k1 为 0.01；k2 为 0.03。式 (5) 的值越接近 1，两图片相似 性越强。 峰值信噪比 (peak signal-to-noise ratio, PSNR)， 单位是 dB，数值越大表示效果越好。峰值信噪比 基于对应像素点间的误差，即基于误差敏感的图 像质量评价。不考虑人眼的视觉特性，会出现评 价结果与人的主观感觉不一致的情况，可表示为 PSNR = 10lg( MAX2 I MSE ) MSE = 1 mn ∑m−1 i=0 ∑n−1 j=0 [I(i, j)− K(i, j)]2 (6) 式中：m、n 分别为图像的长与宽；I 为真实图像； K 为生成图像。 均方根误差 (root mean squared error, RMSE) 是一个中间的评价指标，很多评价指标都是基于 均方根误差进行的，是均方误差 (MSE) 的开根号 数，均方根误差可用来计算阴影图与非阴影图的 像素级误差，可表示为 RMSE = √ MSE 3.3 实验结果与分析 实验中针对生成器与判别器的特点，并参考 文献 [23] 来设置学习率参数。其中，生成器网络 学习率为 0.002，判别器网络学习率为 0.001，且每 进行 10 000 次训练，学习率缩小 0.1 倍。预训练 参数基于 VGG-E 网络。阴影区与非阴影区的像 素差的阈值设为 30。 该实验在 ISTD 数据集与 SRD 数据集上进行 实验，经过 100 000 次训练，实验最佳结果 SSIM 可达到 0.977，PSNR 为 32.2，RMSE 为 6.2。因 ISTD 与 SRD 数据集中各类别图像在数据集中的 占比不一致且同一类别中各图像阴影区域的占比 也不一致，因此分别在两个数据集的测试集中选 取不同类别。在同一类别中选取一副图片进行测 试，并对它们的值进行展示，不同数据集效果对 比见表 2(其中，图片 1~3 为 ISTD 数据集上图片， 图片 4~6 为 SRD 数据集上图片)。 表 2 不同数据集效果对比 Table 2 Comparison of effect of different data sets 评价指标 实验次数 1 2 3 4 5 6 SSIM 0.958 0.975 0.914 0.973 0.977 0.967 PSNR 28.88 27.51 30.15 31.32 28.90 32.23 RMSE 9.17 10.73 7.92 6.92 9.15 6.23 该算法分别在 ISTD 和 SRD 数据集上选取 3 个图片进行展示，可见该算法的阴影去除效果 较好，对相对复杂地物的阴影去除效果也表现良 好，视觉感受上不存在半影情况。不同数据集实 验效果如图 8 所示。图 8 共 6 组图片，前 3 组 (图 (a)~(i)) 为 ISTD 数据集的测试图片，后 3 组 (图 (j)~(r)) 为 SRD 数据集的测试图片。 实验是基于 GAN 网络与空洞卷积、注意力结 合的思想进行的，分别在特征提取、自编码、判断 网络进行巧妙设计。其中特征提取运用空洞残差 块，自编码加入空洞卷积，判别网络加入多层乘 法注意力网络。逐步改进实验效果见表 3。由表 3 第 6 期 刘万军，等：空洞卷积与注意力融合的对抗式图像阴影去除算法 ·1085·