·492· 智能系统学报 第15卷 强自动驾驶的容错力。因此，研究道路交通运动 增强的质量，本文提出了一种基于生成式对抗网 模糊图像的增强对智能城市的进步与发展有着重 络的多尺度提取图像特征值多路径学习的模型。 要的现实意义。 模型通过多尺度卷积核神经网络来进行特征值提 运动模糊图像I通常可以理解为清晰图像 取，采用多路径模式下的局部残差学习与全局残 和某个模糊核K的卷积加上噪声N作用的结果四， 差学习相结合，进行多权重的递归学习，判别网 用数学模型可以表达为Is=Is×K+N。对于由于 络和生成网络间的对抗训练，最后利用生成网络 物体运动或摄像设备抖动拍摄出来的运动模糊图 生成清晰图像。 片，去除这类图片的模糊的目标：一方面是恢复 物体原有的边缘结构；另一方面是增强图像的细 1生成式对抗网络 节，使图片具有较好的图像视觉效果。根据模糊 生成式对抗网络(generative adversarial net- 核是否已知，图像去模糊研究可以分为两种，即 work,GAN是由Goodfellow等I于2014年设计 盲去模糊和非盲去模糊。盲去模糊是利用模糊图 的一种生成式模型，其核心思想是二人零和博 像估计出模糊核，同时估计出清晰图像，非盲去 弈，生成式对抗网络模型是由一个生成网络G和 模糊是在能获知模糊核的情况下使用。传统去 一个判别网络D组成。生成网络G通过不断学 模糊方法是以图像成像过程的物理模型为基础， 习真实数据的概率分布，利用学习到的分布模型 应用各种约束来模拟模糊特征，利用基于内部图 生成新的数据。判别网络D的作用是将真实数 像特定的补丁重现先验)、稀疏梯度先验B、空间 据与生成网络G生成的数据区别开。判别网络 先验)、最大后验向等其他不同的自然图像先验 能使生成网络在没有较多的图像先验知识的情况 信息对解空间进行正则化，利用数学方法，如 下仍然可以很好地去学习真实数据，生成网络与 概率论、最优化方法等，通过数学建模来实现图 判别网络进行对抗训练相互进行参数优化，提高 像去模糊。传统方法涉及启发式参数调整和复杂 各自的生成和判别能力，最终使通过生成网络生 计算，而且真实情况下的模糊要比建模复杂得 成的数据可以与真实数据十分相近。生成式对抗 多，因而基于神经网络学习的去模糊方法被提 网络原始模型框架如图1所示。 出。早期的方法c是通过网络训练学到的参数 替换传统框架中的一些步骤，文献[10]使用深层 其实数据X 分层结构，采用包含了特定图像的反卷积计算 判别网络D 其/假 随机变量Z 来去除图像模糊；文献[11]使用卷积神经网络 →生成网路GG阳 (CNN)预测运动模糊的概率分布，并使用马尔科 图1GAN结构 夫随机场来推断密集非均匀运动模糊场，将图像 Fig.1 GAN structure 先验与非均匀去模糊模型相结合以去图像模糊； 随机噪声向量Z输入生成网络G,输出G(), 文献[12]采用一种多尺度交错的收缩场级联模 当输入判别网络D的数据为真实数据X时，D输 型，其中包含一系列高阶滤波器，以促进模糊内 出1，当输入判别网络D的数据为G(z)时，D输 核和潜像的联合恢复，但该模型运动离焦模糊处 出0。生成网络和判别网络利用损失函数进行对 理效果不是很好。模糊图像增强一直以来都是计 抗训练，网络对抗训练的目的是使G()接近真实 算机视觉领域内的重要研究课题，在深度学习大 数据分布Pe。经过不断对抗训练且迭代优化， 热的背景下，深度学习模型被应用到计算机视觉 当D最终无法判别数据来源时，认为生成网络已 与图像处理当中，使用可训练网络端到端来实现 学到真实数据分布。 模糊图像增强。文献[13]利用多尺度卷积神经网 生成网络G的损失函数为 络(CNN)将模糊图像逐步恢复高分辨率的潜像， min(D.G)=Ezp.([log(1-D(G(2)))] (1) 直到达到图像较好的分辨率；文献[14使用基于 判别网络D的损失函数为 条件生成对抗网络和多分量损失函数的方法， mgx V(D.G)=Eollog(D(x))+ (2) 进行对抗网络训练，端到端直接生成清晰图片。 EF.[(1-D(G(2)))]] 目前针对道路交通场景下的运动模糊图像增 模型的总体损失函数为 强的深度学习研究较少，而道路交通运动模糊图 min max V(D.G)=Eolog(D(x)]J+ (3) 像的增强有重要价值。为提高道路交通模糊图像 E2p.(o[1-D(G(2))]强自动驾驶的容错力。因此，研究道路交通运动 模糊图像的增强对智能城市的进步与发展有着重 要的现实意义。 IB = IS ×K +N 运动模糊图像 IB 通常可以理解为清晰图像 IS 和某个模糊核 K 的卷积加上噪声 N 作用的结果[1] ， 用数学模型可以表达为 。对于由于 物体运动或摄像设备抖动拍摄出来的运动模糊图 片，去除这类图片的模糊的目标：一方面是恢复 物体原有的边缘结构；另一方面是增强图像的细 节，使图片具有较好的图像视觉效果。根据模糊 核是否已知，图像去模糊研究可以分为两种，即 盲去模糊和非盲去模糊。盲去模糊是利用模糊图 像估计出模糊核，同时估计出清晰图像，非盲去 模糊是在能获知模糊核的情况下使用[1]。传统去 模糊方法是以图像成像过程的物理模型为基础， 应用各种约束来模拟模糊特征，利用基于内部图 像特定的补丁重现先验[2] 、稀疏梯度先验 [3-4] 、空间 先验[5] 、最大后验[6] 等其他不同的自然图像先验 信息[7-9] 对解空间进行正则化，利用数学方法，如 概率论、最优化方法等，通过数学建模来实现图 像去模糊。传统方法涉及启发式参数调整和复杂 计算，而且真实情况下的模糊要比建模复杂得 多，因而基于神经网络学习的去模糊方法被提 出。早期的方法[10-12] 是通过网络训练学到的参数 替换传统框架中的一些步骤，文献 [10] 使用深层 分层结构，采用包含了特定图像的反卷积计算 来去除图像模糊；文献 [11] 使用卷积神经网络 (CNN) 预测运动模糊的概率分布，并使用马尔科 夫随机场来推断密集非均匀运动模糊场，将图像 先验与非均匀去模糊模型相结合以去图像模糊； 文献 [12] 采用一种多尺度交错的收缩场级联模 型，其中包含一系列高阶滤波器，以促进模糊内 核和潜像的联合恢复，但该模型运动离焦模糊处 理效果不是很好。模糊图像增强一直以来都是计 算机视觉领域内的重要研究课题，在深度学习大 热的背景下，深度学习模型被应用到计算机视觉 与图像处理当中，使用可训练网络端到端来实现 模糊图像增强。文献 [13] 利用多尺度卷积神经网 络 (CNN) 将模糊图像逐步恢复高分辨率的潜像， 直到达到图像较好的分辨率；文献 [14] 使用基于 条件生成对抗网络[15] 和多分量损失函数的方法， 进行对抗网络训练，端到端直接生成清晰图片。 目前针对道路交通场景下的运动模糊图像增 强的深度学习研究较少，而道路交通运动模糊图 像的增强有重要价值。为提高道路交通模糊图像 增强的质量，本文提出了一种基于生成式对抗网 络的多尺度提取图像特征值多路径学习的模型。 模型通过多尺度卷积核神经网络来进行特征值提 取，采用多路径模式下的局部残差学习与全局残 差学习相结合，进行多权重的递归学习，判别网 络和生成网络间的对抗训练，最后利用生成网络 生成清晰图像。 1 生成式对抗网络 生成式对抗网络 (generative adversarial net￾work, GAN) 是由 Goodfellow 等 [16] 于 2014 年设计 的一种生成式模型，其核心思想是二人零和博 弈，生成式对抗网络模型是由一个生成网络 G 和 一个判别网络 D 组成。生成网络 G 通过不断学 习真实数据的概率分布，利用学习到的分布模型 生成新的数据。判别网络 D 的作用是将真实数 据与生成网络 G 生成的数据区别开。判别网络 能使生成网络在没有较多的图像先验知识的情况 下仍然可以很好地去学习真实数据，生成网络与 判别网络进行对抗训练相互进行参数优化，提高 各自的生成和判别能力，最终使通过生成网络生 成的数据可以与真实数据十分相近。生成式对抗 网络原始模型框架如图 1 所示。 随机变量 Z 生成网络 G 真实数据 X 判别网络 D 真/假 x G(z) 图 1 GAN 结构 Fig. 1 GAN structure Z X Pdate 随机噪声向量 输入生成网络 G，输出 G(z)， 当输入判别网络 D 的数据为真实数据 时，D 输 出 1，当输入判别网络 D 的数据为 G(z) 时，D 输 出 0。生成网络和判别网络利用损失函数进行对 抗训练，网络对抗训练的目的是使 G(z) 接近真实 数据分布 。经过不断对抗训练且迭代优化， 当 D 最终无法判别数据来源时，认为生成网络已 学到真实数据分布。 生成网络 G 的损失函数为 min G (D,G) = Ez∼ pz (z)[log(1− D(G(z)))] (1) 判别网络 D 的损失函数为 max D V (D,G) = Ex∼ pdata (x)[log(D(x))+ Ez∼ Pz (z)[(1− D(G(z)))]] (2) 模型的总体损失函数为 min G max D V (D,G) = Ex∼ pdata (x)[log(D(x)]J+ Ez∼ pz (z)[1− D(G(z))] (3) ·492· 智 能 系 统 学 报 第 15 卷