·1084· 智能系统学报 第16卷 段，加入空洞卷积层。判别器部分由多层卷积注 加充分，增大特征的感受范围，减少计算量。该 意力(multiple attention)网络组成。空洞卷积阴影 实验在7层卷积后，加入4层同样结构的空洞卷 去除算法整体框架如图5所示。其中，注意力编 积层，通过多层堆叠的方式增加感受野，为后续的 码部分由注意力生成网络和自动编码网络组成。 解码过程提取更抽象、更本质的全局的语义特征。 阴影图 特征提取 真实无阴影图 编码阶段可分为编码与解码两个部分，编码 由卷积层与空洞卷积完成，解码由反卷积与卷积 配合完成。 注意力编码 判别网络 该实验编码阶段共由11个卷积层，4个空洞 卷积层，2个反卷积层以及3个跳跃连接层组成， 生成无阴影图 各层之间的连接关系见表1。其中编码阶段的输 入为带阴影的图像与注意力图，每层之间的激活 图5空洞卷积阴影去除算法整体框架图 Fig.5 Block diagram of the dilated convolution shadow re- 函数为LRelu,.输出结果为不带阴影的图片。Conv moval algorithm 代表卷积层，Dia cont代表空洞卷积层，Deconv 生成器与判别器部分相互作用，互相影响，形 代表反卷积层，Skp为跳跃连接层。 成表现良好的图片去除阴影网络。 表1去除阴影算法编码表 2.2CDD残差块 Table 1 Shadow removal algorithm code 为了增加对图片中阴影信息提取的精确度，在 名称 输入 输出 卷积核 网络中引人CDD残差块。该方法运用普通卷积 Convl 图片+注意力图 Lrelul 3×3 与空洞卷积组合的方式，结合残差网络的结构， Convl 1 Lrelul Lrelul_1 3×3 使生成器注意力机制部分的输入特征更加充分。 Conv2 Lrelul 1 Lrelu2 3×3 空洞卷积能在不增加算法复杂度的情况下， Conv3 Lrelu2 Lrelu3 3×3 Conv4 Lrelu3 Lrelu4 3×3 具有更大的感受野，越大的感受野包含越多的上 Conv5 Lrelu4 Lrelu5 3×3 下文关系，但它也会损失信息的连续性，适合大 Conv6 Lrelu5 Lrelu6 3×3 区域的阴影。为了使空洞卷积对小区域的阴影也 Dia convl Lrelu6 Lrelu7 3×3 有很好的特征感知强度，借助残差网络的结构， Dia conv2 Lrelu7 Lrelu8 3×3 发现二者的结合，有助于提高特征提取阶段的精 Dia_conv3 Lrelu8 Lrelu9 3×3 确性。残差块对比如图6所示。为了特征提取的 Dia conv4 Lrelu9 Lrelu10 3×3 表达更加精确细致，改变激活函数relu为Irelu,使 Conv7 Lrelul0 Lrelul1 3×3 值为负数时，也有一定区分，不全为0。 Conv8 Lrelul1 Lrelu12 3×3 Deconv_1 Lrelu12 Lrelul3 4×4 卷积层 卷积层 Conv 9 Lrelu13+Lrelu3 Lrelul4 3×3 Deconv 2 Lrelu14 Lrelu15 4×4 relu Conv_10 Lrelu15+Lrelul Lrelul6 3×3 Lrelu12+Lrelu10 Skip_1 3×3 卷积层 Skip_1 空洞卷积层 Skip_2 Lrelul4 Skip_2 3×3 relu Irelu Skip_3 Lrelu16 Skip_3 3×3 卷积层 空洞卷积层 2.4改进判别网络 卷积网络无法有效地捕捉图像的几何结构和 形状，而注意力模型可通过不同的权重系数来强 调目标的重要性，抑制无关的细节2，且不需要监 (a)原始残差块 (b)新型空洞卷积残差块 督。注意力模型的最终目的是帮助类似编解码器 图6残差块对比 这样的框架，更好地学到多种内容模态之间的相 Fig.6 Residual blocks comparison 互关系，从而更好地表示这些信息，克服其无法 2.3扩展的编码阶段 解释从而很难设计的缺陷。因此可以灵活地感知 在编码阶段加入空洞卷积层，使特征表达更 到全局与局部的联系，提升网络的感知能力，提段，加入空洞卷积层。判别器部分由多层卷积注 意力 (multiple attention) 网络组成。空洞卷积阴影 去除算法整体框架如图 5 所示。其中，注意力编 码部分由注意力生成网络和自动编码网络组成。 阴影图 特征提取 真实无阴影图 注意力编码 判别网络 生成无阴影图 图 5 空洞卷积阴影去除算法整体框架图 Fig. 5 Block diagram of the dilated convolution shadow re￾moval algorithm 生成器与判别器部分相互作用，互相影响，形 成表现良好的图片去除阴影网络。 2.2 CDD 残差块 为了增加对图片中阴影信息提取的精确度，在 网络中引入 CDD 残差块。该方法运用普通卷积 与空洞卷积组合的方式，结合残差网络的结构， 使生成器注意力机制部分的输入特征更加充分。 空洞卷积能在不增加算法复杂度的情况下， 具有更大的感受野，越大的感受野包含越多的上 下文关系，但它也会损失信息的连续性，适合大 区域的阴影。为了使空洞卷积对小区域的阴影也 有很好的特征感知强度，借助残差网络的结构， 发现二者的结合，有助于提高特征提取阶段的精 确性。残差块对比如图 6 所示。为了特征提取的 表达更加精确细致，改变激活函数 relu 为 lrelu，使 值为负数时，也有一定区分，不全为 0。 卷积层 + 卷积层 卷积层 relu relu 卷积层 + 空洞卷积层 空洞卷积层 lrelu lrelu (a) 原始残差块 (b) 新型空洞卷积残差块 图 6 残差块对比 Fig. 6 Residual blocks comparison 2.3 扩展的编码阶段 在编码阶段加入空洞卷积层，使特征表达更 加充分，增大特征的感受范围，减少计算量。该 实验在 7 层卷积后，加入 4 层同样结构的空洞卷 积层，通过多层堆叠的方式增加感受野，为后续的 解码过程提取更抽象、更本质的全局的语义特征。 编码阶段可分为编码与解码两个部分，编码 由卷积层与空洞卷积完成，解码由反卷积与卷积 配合完成。 该实验编码阶段共由 11 个卷积层，4 个空洞 卷积层，2 个反卷积层以及 3 个跳跃连接层组成， 各层之间的连接关系见表 1。其中编码阶段的输 入为带阴影的图像与注意力图，每层之间的激活 函数为 LRelu，输出结果为不带阴影的图片。Conv 代表卷积层，Dia_conv 代表空洞卷积层，Deconv 代表反卷积层，Skip 为跳跃连接层。 表 1 去除阴影算法编码表 Table 1 Shadow removal algorithm code 名称 输入 输出 卷积核 Conv1 图片+注意力图 Lrelu1 3×3 Conv1_1 Lrelu1 Lrelu1_1 3×3 Conv2 Lrelu1_1 Lrelu2 3×3 Conv3 Lrelu2 Lrelu3 3×3 Conv4 Lrelu3 Lrelu4 3×3 Conv5 Lrelu4 Lrelu5 3×3 Conv6 Lrelu5 Lrelu6 3×3 Dia_conv1 Lrelu6 Lrelu7 3×3 Dia_conv2 Lrelu7 Lrelu8 3×3 Dia_conv3 Lrelu8 Lrelu9 3×3 Dia_conv4 Lrelu9 Lrelu10 3×3 Conv7 Lrelu10 Lrelu11 3×3 Conv8 Lrelu11 Lrelu12 3×3 Deconv_1 Lrelu12 Lrelu13 4×4 Conv_9 Lrelu13+Lrelu3 Lrelu14 3×3 Deconv_2 Lrelu14 Lrelu15 4×4 Conv_10 Lrelu15+Lrelu1 Lrelu16 3×3 Skip_1 Lrelu12+Lrelu10 Skip_1 3×3 Skip_2 Lrelu14 Skip_2 3×3 Skip_3 Lrelu16 Skip_3 3×3 2.4 改进判别网络 卷积网络无法有效地捕捉图像的几何结构和 形状，而注意力模型可通过不同的权重系数来强 调目标的重要性，抑制无关的细节[20] ，且不需要监 督。注意力模型的最终目的是帮助类似编解码器 这样的框架，更好地学到多种内容模态之间的相 互关系，从而更好地表示这些信息，克服其无法 解释从而很难设计的缺陷。因此可以灵活地感知 到全局与局部的联系，提升网络的感知能力，提 ·1084· 智 能 系 统 学 报 第 16 卷