第6期 刘万军，等：空洞卷积与注意力融合的对抗式图像阴影去除算法 ·1083· 意力图指导编码阶段的无阴影图像的生成。同 1.4损失函数 时，注意力图受阴影模板（带阴影的图片与不带 在生成对抗网络中，为了达到纳什平衡⑧，需 阴影的真实图片作差)的影响。具体图片的注意 优化，见式(3)： 力图如图3所示。 minmaxV(D.G)=Epoo[logD(x)]+ E-p.(o llog(1-D(G(Z)))] (3) 空洞残 长短记忆 注意力 阴影图 差块 网络 卷积层 图1 式中：G为生成网络；D为判别网络；Paax)代表 真实分布；p(e)代表噪声分布。 空洞残 长短记忆 卷积层 注意力 注意力机制的损失函数为 差块 网络 图2 L(A-(M) (4) =1 空洞残 长短记忆 注意力 卷积层 差块 网络 图5 损失的计算是通过比较每次生成的注意力 图(A,)与对应图片阴影掩模(M)之间的均方误差 编码器 (MSE)进行的。由参考文献[19-23]得知，N取5， 图2生成器注意力网络 0取0.8为宜。 Fig.2 Generator attention network 编码阶段的损失(L)由两部分构成，即图片 的真实损失(L)和模型损失(Lm)。图片的真实损 失为编码生成的图片与真实图片的均方误差， B取值参考文献[19]。模型损失为通过VGG网络 编码生成的图片与真实图片的损失的均方误差， (a)阴影图 (b)一次注意(c)三次注意(d)五次注意 力图 力图 力图 可表示为 图3生成注意力图示例 L=∑L0,F)+∑L0.F Fig.3 Example of generating attention map L,(Oi.F)=B:VMSE(Oi.F) 1.3空洞卷积 L(Oi,F)=VMSE(VGG(O:),VGG(F)) 空洞卷积(atrous convolutions)也称扩张卷积 (dilated convolutions),与普通卷积层相比，引入了 2 ADAGAN算法 一个称为“扩张率(dilation rate)的新参数，该参 为了解决图片阴影去除过程中存在的阴影少 数定义了卷积核处理数据时各值的间距。空洞 卷积具有数据结构保留完整和不使用下采样 量遗漏，半影去除不完全的问题，提出了ADAGAN 算法。该算法中GAN(generative adversarial net-. (down-sampling)的特性，优点明显。但多层的空 woks),即生成对抗网络，是该算法的主体思想。 洞卷积也有破坏数据连续性的缺点。 第1个A(CDD of attention)指的是生成器中注意 空洞卷积的卷积核是通过在普通的卷积核上 力机制特征提取运用CDD(convolutions and dilated 填0实现的，增大了网络的扩张系数，空洞卷积 convolutions and dilated convolutions)空洞残差块； 示意如图4所示。扩张系数与空洞卷积核的尺寸 D(dilated convolutions of automatic encoding) 关系为 是在生成器自编码阶段加入的4层相同结构的空 kdsize =(y-1)(ksize-1)+ksize (2) 洞卷积层；第2个A(multiple attention)指的是判别 式中：y表示空洞卷积的扩张系数；kze表示普通 器中的多重注意力网络。 卷积核尺寸：kd表示空洞卷积核尺寸，当=1时 2.1算法总体架构 即为普通卷积核。 ADAGAN算法运用细节信息提取更精细的 VGG-E作为该网络的预训练模型。基于生成对 抗网络架构，主体可分为图片阴影的特征提取 注意力编码和判别网络3部分。其中，特征提取 与注意力编码属于生成器部分，判别网络属于判 (a)普通卷积核 (b)空洞率为1 (c)空洞率为3 别器部分。 的卷积核 的卷积核 在生成器部分，对图片阴影信息进行特征提 图4空洞卷积示意 取，特征提取使用CDD残差块，提取特征作为生 Fig.4 Example of dilated convolutions 成器注意力机制的输人。在生成器的自编码阶意力图指导编码阶段的无阴影图像的生成。同 时，注意力图受阴影模板 (带阴影的图片与不带 阴影的真实图片作差) 的影响。具体图片的注意 力图如图 3 所示。 阴影图 空洞残 差块 空洞残 差块 长短记忆 网络 长短记忆 网络 卷积层 卷积层 注意力 图 1 注意力 图 2 空洞残 差块 长短记忆 网络 卷积层 注意力 图 5 编码器 … … … … 图 2 生成器注意力网络 Fig. 2 Generator attention network (a) 阴影图 (b) 一次注意 力图 (c) 三次注意 力图 (d) 五次注意 力图 图 3 生成注意力图示例 Fig. 3 Example of generating attention map 1.3 空洞卷积 空洞卷积 (atrous convolutions) 也称扩张卷积 (dilated convolutions),与普通卷积层相比，引入了 一个称为“扩张率 (dilation rate)”的新参数，该参 数定义了卷积核处理数据时各值的间距[16]。空洞 卷积具有数据结构保留完整和不使用下采样 (down-sampling) 的特性，优点明显。但多层的空 洞卷积也有破坏数据连续性的缺点。 空洞卷积的卷积核是通过在普通的卷积核上 填 0 实现的，增大了网络的扩张系数[17] ，空洞卷积 示意如图 4 所示。扩张系数与空洞卷积核的尺寸 关系为 kdsize = (γ−1)(ksize −1)+ksize (2) 式中：γ 表示空洞卷积的扩张系数；ksize 表示普通 卷积核尺寸；kdsize 表示空洞卷积核尺寸，当 γ=1 时 即为普通卷积核。 (a) 普通卷积核 (b) 空洞率为 1 的卷积核 (c) 空洞率为 3 的卷积核 图 4 空洞卷积示意 Fig. 4 Example of dilated convolutions 1.4 损失函数 在生成对抗网络中，为了达到纳什平衡[18] ，需 优化，见式 (3)： minmaxV(D,G) = Ex∼pdata (x)[logD(x)]+ Ez∼pn (z)[log(1− D(G(z)))] (3) 式中：G 为生成网络；D 为判别网络；pdata(x) 代表 真实分布；pn (z) 代表噪声分布。 注意力机制的损失函数为 La({A}, M) = ∑N t=1 θ N−tLMSE(At , M) (4) 损失的计算是通过比较每次生成的注意力 图 (At ) 与对应图片阴影掩模 (M) 之间的均方误差 (MSE) 进行的。由参考文献 [19-23] 得知，N 取 5， θ 取 0.8 为宜。 编码阶段的损失 (Le ) 由两部分构成，即图片 的真实损失 (Lr ) 和模型损失 (Lm)。图片的真实损 失为编码生成的图片与真实图片的均方误差， β 取值参考文献 [19]。模型损失为通过 VGG 网络 编码生成的图片与真实图片的损失的均方误差， 可表示为 Le = ∑N i=1 Lr(Oi ,F)+ ∑N i=1 Lm(Oi ,F) Lr(Oi ,F) = βiVMSE(Oi ,F) Lm(Oi ,F) = VMSE(VGG(Oi),VGG(F)) 2 ADAGAN 算法 为了解决图片阴影去除过程中存在的阴影少 量遗漏，半影去除不完全的问题，提出了 ADAGAN 算法。该算法中 GAN(generative adversarial net￾works)，即生成对抗网络，是该算法的主体思想。 第 1 个 A(CDD of attention) 指的是生成器中注意 力机制特征提取运用 CDD(convolutions and dilated convolutions and dilated convolutions) 空洞残差块； D(dilated convolutions of automatic encoding) 指的 是在生成器自编码阶段加入的 4 层相同结构的空 洞卷积层；第 2 个 A(multiple attention) 指的是判别 器中的多重注意力网络。 2.1 算法总体架构 ADAGAN 算法运用细节信息提取更精细的 VGG-E 作为该网络的预训练模型。基于生成对 抗网络架构，主体可分为图片阴影的特征提取、 注意力编码和判别网络 3 部分。其中，特征提取 与注意力编码属于生成器部分，判别网络属于判 别器部分。 在生成器部分，对图片阴影信息进行特征提 取，特征提取使用 CDD 残差块，提取特征作为生 成器注意力机制的输入。在生成器的自编码阶 第 6 期 刘万军，等：空洞卷积与注意力融合的对抗式图像阴影去除算法 ·1083·