·494· 智能系统学报 第15卷 n28s2 1256s) n384s2 n384s nlsl 二m 0】 输 输出 图4判别网络框架 Fig.4 Framework of the discriminant network sigmoid是激活函数。生成网络生成的清晰 集，每一对图像包含一张模糊图和与之对应的清 图像和原清晰图像输入判别网络，先进行步长为 晰图像。所有数据集图像都是道路交通场景下的 2、卷积核为4×4×64的卷积，跟随relu处理，之后 图像，图像中包含道路、行人、车辆等，其中的 依次经过步长为2、卷积核为4×4×128、4×4×256、 2000对模糊清晰图像对作为模型的训练集，剩下的 4×4×384的卷积，再进行一个步长为1、卷积核为 1000对作为测试集。在输入神经网络模型之前， 4×4×384的卷积，每步卷积跟随instanceNorm和 将图像对的分辨率大小设置为256×256。 relu处理，接着经过步长为1、卷积核为4×4×1的 3.2质量评价 一次卷积，经flatten、全连接1、tanh、全连接2、 图像的质量评价方法主要分为两种：一种是 sigmoid操作后产生0~l之间的值。 主观评价，另一种是客观评价。主观评价依靠的 2.2损失函数 是观察者的视觉效果来反映图像的质量，客观评 本文的损失函数由两部分构成，即对抗网络 价是通过数学模型定性地评价图像质量。本文采 损失Lv和感知损失Lc。 用的是客观评价中常用的2种图像质量评价方 为使训练过程更好地收敛，采用的是WGAN- GP7中的对抗网络损失，对每个样本独立地施加 法，即峰值信噪比(PSNR)和结构相似度(SSIM), 实验结果数据取的是全部测试图像的平均值。蜂 梯度惩罚，损失函数为 值信噪比是通过计算对应像素点间的误差来判断 Ldv=E.pD(G(z))-EP((D(x))+ (4) 图像质量的好坏，其值越高表示失真越小，说明 REa.[(lIVa D(a)ll2-1)2] 图像与原图越接近。结构相似度是将感知误差的 式中：6为在Z和x之间随机插值取样；A取值为10。 度量转移到对感知结构失真的度量，其值越大越好。 采用感知损失来帮助恢复图像内容，感知 3.3网络训练 损失是基于生成和目标图像特征映射的差异。它 本文的模型是建立在pycharm平台上，采用 定义为 深度学习Keras框架实现，选用自适应矩估计 Lo= W:.H: ..c. (5) (ADAM)算法来优化损失函数。通过训练数据不 断更新神经网络权重，经过多次训练调优，学习 先使用ImageNet进行预训练VGGl9,其中 率a定为0.0001，B,=0,B2=0.9。采用道路交通模 ,是在VGG19网络中第i个最大池化层之前的 糊图像作为直接输入，每50对图像为一次训练， 第广个卷积（激活之后）获得的特征图，W和H 设置的最大迭代次数为1000，实验步骤如下： 是特征值，Ig是模糊图像，【、是清晰图像。 1)先固定生成网络G,不使生成网络G的参 模型的总体损失函数为 数更新，使用原清晰图像训练判别网络D,5次迭 Lios Ladv +BLe (6) 代训练保存1次参数。 3实验结果与分析 2)用生成网络G生成的清晰图像，使用生成 得到的清晰图像训练判别网络D,5次迭代训练 3.1数据集 保存1次参数。 现有公开的道路交通模糊图像数据库较少， 3)固定判别网络D,不使判别网络D的参数 为了更好地训练本文的模型，我们从网络图像 更新，使用损失训练生成网络G,5次迭代训练保 库、GoPro数据集搜集了3000对图像组成了数据 存1次参数。4×4 卷积 relu instanceNorm relu 4×4 卷积 4×4 卷积 4×4 卷积 4×4 卷积 4×4 卷积 全连接(1024) 全连接(1) sigmoid tanh 0~1 Flatten 输入 n64s2 n128s2 n256s2 n384s2 n384s1 n1s1 输出 图 4 判别网络框架 Fig. 4 Framework of the discriminant network sigmoid 是激活函数。生成网络生成的清晰 图像和原清晰图像输入判别网络，先进行步长为 2、卷积核为 4×4×64 的卷积，跟随 relu 处理，之后 依次经过步长为 2、卷积核为 4×4×128、4×4×256、 4×4×384 的卷积，再进行一个步长为 1、卷积核为 4×4×384 的卷积，每步卷积跟随 instanceNorm 和 relu 处理，接着经过步长为 1、卷积核为 4×4×1 的 一次卷积，经 flatten、全连接 1、tanh、全连接 2、 sigmoid 操作后产生 0~1 之间的值。 2.2 损失函数 Ladv Lc 本文的损失函数由两部分构成，即对抗网络 损失 和感知损失 。 为使训练过程更好地收敛，采用的是 WGAN￾GP[17] 中的对抗网络损失，对每个样本独立地施加 梯度惩罚，损失函数为 Ladv = Ez∼ pz (z)D(G(z))−Ex∼ Pdata (x)(D(x))+ λE∂∼ p∂ [(||∇∂D(∂)||2 −1)2 ] (4) 式中： ∂ 为在 Z 和 x之间随机插值取样； λ 取值为 10。 采用感知损失[18] 来帮助恢复图像内容，感知 损失是基于生成和目标图像特征映射的差异。它 定义为 Lc = 1 Wi, jHi, j ∑Wi, j x=1 ∑Hi, j y=1 ( φi, j(IS )x,y−φi, j(G(IB))x,y )2 (5) φi, j Wi, j Hi, j 先使用 ImageNet 进行预训练 VGG19，其中 是在 VGG19 网络中第 i 个最大池化层之前的 第 j 个卷积 (激活之后) 获得的特征图， 和 是特征值，IB 是模糊图像，IS 是清晰图像。 模型的总体损失函数为 Lloss = Ladv +βLc (6) 3 实验结果与分析 3.1 数据集 现有公开的道路交通模糊图像数据库较少， 为了更好地训练本文的模型，我们从网络图像 库、GoPro 数据集搜集了 3 000 对图像组成了数据 集，每一对图像包含一张模糊图和与之对应的清 晰图像。所有数据集图像都是道路交通场景下的 图像，图像中包含道路、行人、车辆等，其中的 2 000 对模糊清晰图像对作为模型的训练集，剩下的 1 000 对作为测试集。在输入神经网络模型之前， 将图像对的分辨率大小设置为 256×256。 3.2 质量评价 图像的质量评价方法主要分为两种：一种是 主观评价，另一种是客观评价。主观评价依靠的 是观察者的视觉效果来反映图像的质量，客观评 价是通过数学模型定性地评价图像质量。本文采 用的是客观评价中常用的 2 种图像质量评价方 法，即峰值信噪比 (PSNR) 和结构相似度 (SSIM)， 实验结果数据取的是全部测试图像的平均值。峰 值信噪比是通过计算对应像素点间的误差来判断 图像质量的好坏，其值越高表示失真越小，说明 图像与原图越接近。结构相似度是将感知误差的 度量转移到对感知结构失真的度量，其值越大越好。 3.3 网络训练 本文的模型是建立在 pycharm 平台上，采用 深度学习 Keras 框架实现，选用自适应矩估计 (ADAM) 算法来优化损失函数。通过训练数据不 断更新神经网络权重，经过多次训练调优，学习 率 α 定为 0.000 1，β1=0，β2=0.9。采用道路交通模 糊图像作为直接输入，每 50 对图像为一次训练， 设置的最大迭代次数为 1000，实验步骤如下： 1) 先固定生成网络 G，不使生成网络 G 的参 数更新，使用原清晰图像训练判别网络 D，5 次迭 代训练保存 1 次参数。 2) 用生成网络 G 生成的清晰图像，使用生成 得到的清晰图像训练判别网络 D，5 次迭代训练 保存 1 次参数。 3) 固定判别网络 D，不使判别网络 D 的参数 更新，使用损失训练生成网络 G，5 次迭代训练保 存 1 次参数。 ·494· 智 能 系 统 学 报 第 15 卷