第3期 曹锦纲，等：基于生成式对抗网络的道路交通模糊图像增强 ·493· 式中：E代表分布函数的期望；Pe代表的是真实 作，从而获得图像在不同尺度下采集到的不同类 数据分布；P:代表的是噪声分布。 型的特征信息，因而能提取到更加丰富和细腻的 在最开始的生成式对抗网络研究中，输入的 特征信息。多路径模式下的局部与全局学习相结 是随机噪声，经生成网络映射成图像，随着生成 合，采用多权重的递归学习，实现各卷积层的参 式对抗网络的发展，后来越来越多的研究采用图 数共享，深浅层特征融合，采用残差学习，提高了 像3471或者视频920输入代替噪声输入，这使 网络的性能。这些都有利于使模糊增强图像更加 得生成网络的生成质量和效率得到了进一步提升。 清晰和细节更加丰富。本文生成网络框架如图3 所示。 2基于生成式对抗网络的多尺度多 生成的清晰图像 路径模型 2.1网络结构设计 本文提出的模型整体框架图如图2所示。为 模糊图像 0-1 了更好地提取出图像数据信息，本文在设计生成 网络中，主要有2个创新点：1)采用多尺度卷积 核神经网络进行特征值提取：2)使多路径模式的 局部残差学习与全局残差学习相结合，进行多权 原清晰图像 重的递归学习。利用多尺度卷积核提取特征值的 图2本文提出模型的整体框架 本质是使用不同尺寸的卷积核对图像进行卷积操 Fig.2 Overall framework of the proposed model n64 n61 n18gn256s n6432 n64 5×5 5个循环 n64 3×3 n64 1×1 输出 n256 n256 B 256 n256 图3本文提出的生成网络框架 Fig.3 Diagram of the framework of the generated network 图3中：A部分为多尺度神经网络；B部分为 积跟随instanceNorm和relu处理，经过循环学习 l个多路径模式下的学习；instanceNorm和conv- 5次后，进行两次步长为2、卷积核为3×3×128和 Transpose分别代表归一化和反卷积层；n为通道 3×3×64的反卷积操作，每步反卷积跟随instan- 数；s为步长；tanh和relu是激活函数。本文提 ceNorm和relu处理，最后进行一次卷积核为 出的生成网络框架图包含一个卷积核尺寸为 7×7×64的卷积和tanh操作。 7×7×64的卷积，步长为1，多尺度卷积的卷积核尺 为充分考虑到像素间的联系，选用了Path 寸分别为5×5×64、3×3×64、1×1×64，步长为1，卷 cGAN2作为判别网络，其每次只输入N×N个像 积融合后进行instanceNorm和relu处理，之后进 素点，然后让判别器对这N×N个像素点判断其是 行卷积核尺寸为3×3×128、3×3×256的卷积处理， 否为真，采用类似CNN滑窗的方法得到每个N×W 步长为2，每步卷积跟随instanceNorm和relu处 框的判别器输出值，将这些输出值进行平均得到 理，随后进入步长为1、卷积核为3×3×256的多路 最后判别器的输出结果。本文采用的判别网络框 径模式的局部残差学习与全局残差学习，每步卷 架结构如图4所示。E Pdate Pz 式中： 代表分布函数的期望； 代表的是真实 数据分布； 代表的是噪声分布。 在最开始的生成式对抗网络研究中，输入的 是随机噪声，经生成网络映射成图像，随着生成 式对抗网络的发展，后来越来越多的研究采用图 像 [13-14,17-18] 或者视频[19-20] 输入代替噪声输入，这使 得生成网络的生成质量和效率得到了进一步提升。 2 基于生成式对抗网络的多尺度多 路径模型 2.1 网络结构设计 本文提出的模型整体框架图如图 2 所示。为 了更好地提取出图像数据信息，本文在设计生成 网络中，主要有 2 个创新点：1) 采用多尺度卷积 核神经网络进行特征值提取；2) 使多路径模式的 局部残差学习与全局残差学习相结合，进行多权 重的递归学习。利用多尺度卷积核提取特征值的 本质是使用不同尺寸的卷积核对图像进行卷积操 作，从而获得图像在不同尺度下采集到的不同类 型的特征信息，因而能提取到更加丰富和细腻的 特征信息。多路径模式下的局部与全局学习相结 合，采用多权重的递归学习，实现各卷积层的参 数共享，深浅层特征融合，采用残差学习，提高了 网络的性能。这些都有利于使模糊增强图像更加 清晰和细节更加丰富。本文生成网络框架如图 3 所示。 模糊图像 0~1 原清晰图像 生成的清晰图像 判别网络 D 生成网络 G 图 2 本文提出模型的整体框架 Fig. 2 Overall framework of the proposed model + + 7×7 卷积 instanceNorm 3×3 卷积 3×3 卷积 7×7 relu 卷积 convTranspose tanh A n64 n64 n128s2 n128s2 n256s2 n64s2 n64 n256 n256 n256 n256 5×5 5个循环 n64 n64 3×3 1×1 输入 输出 B + 3×3 3×3 3×3 3×3 图 3 本文提出的生成网络框架 Fig. 3 Diagram of the framework of the generated network 图 3 中：A 部分为多尺度神经网络；B 部分为 1 个多路径模式下的学习；instanceNorm 和 conv￾Transpose 分别代表归一化和反卷积层；n 为通道 数 ；s 为步长；tanh 和 relu 是激活函数。本文提 出的生成网络框架图包含一个卷积核尺寸为 7×7×64 的卷积，步长为 1，多尺度卷积的卷积核尺 寸分别为 5×5×64、3×3×64、1×1×64，步长为 1，卷 积融合后进行 instanceNorm 和 relu 处理，之后进 行卷积核尺寸为 3×3×128、3×3×256 的卷积处理， 步长为 2，每步卷积跟随 instanceNorm 和 relu 处 理，随后进入步长为 1、卷积核为 3×3×256 的多路 径模式的局部残差学习与全局残差学习，每步卷 积跟随 instanceNorm 和 relu 处理，经过循环学习 5 次后，进行两次步长为 2、卷积核为 3×3×128 和 3×3×64 的反卷积操作，每步反卷积跟随 instan￾ceNorm 和 relu 处理，最后进行一次卷积核为 7×7×64 的卷积和 tanh 操作。 为充分考虑到像素间的联系，选用了 Path￾cGAN[21] 作为判别网络，其每次只输入 N×N 个像 素点，然后让判别器对这 N×N 个像素点判断其是 否为真，采用类似 CNN 滑窗的方法得到每个 N×N 框的判别器输出值，将这些输出值进行平均得到 最后判别器的输出结果。本文采用的判别网络框 架结构如图 4 所示。 第 3 期 曹锦纲，等：基于生成式对抗网络的道路交通模糊图像增强 ·493·