【机器感知与模式识别】利用残差密集网络的运动模糊复原方法

第16卷第3期 智能系统学报 Vol.16 No.3 2021年5月 CAAI Transactions on Intelligent Systems May 2021 D0L:10.11992tis.201912002 利用残差密集网络的运动模糊复原方法 林椹尠，张梦凯2，吴成茂3 (1.西安邮电大学理学院，陕西西安710121：2.西安邮电大学通信与信息工程学院，陕西西安710121上：3.西安 邮电大学电子工程学院，陕西西安710121) 摘要：针对图像生成过程中由于物体运动或相机抖动产生的运动模糊问题，提出了利用残差密集网络的运动 模糊图像复原方法。设计对抗网络结构，以残差密集网络为生成器，通过长短连接实现不同层次特征的融合， 生成复原图像，以深度卷积网络为判别器，判断图像真伪，在生成器和判别器的对抗中提高网络性能：采用对 抗损失和内容损失结合的损失函数，提高网络的复原效果：以端到端的方式，省略模糊核的估计过程，输入模 糊图像直接获取复原图像。实验结果表明，该方法能够取得较好的复原效果。 关键词：图像处理：运动图片；图像去噪；图像复原：深度学习；网络模型；网络结构；卷积神经网络 中图分类号：TP183文献标志码：A文章编号：1673-4785(2021)03-0442-07 中文引用格式：林椹尠，张梦凯，吴成茂.利用残差密集网络的运动模糊复原方法J小.智能系统学报，2021,16(3)：442-448. 英文引用格式：LIN Zhenxian,ZHANG Mengkai,,WU Chengmao.Image restoration with residual dense network.CAAI trans- actions on intelligent systems,2021,16(3):442-448. Image restoration with residual dense network LIN Zhenxian',ZHANG Mengkai,WU Chengmao (1.School of Science,Xi'an University of Post and Telecommunications,Xi'an 710121,China;2.School of Communication and In- formation Engineering,Xi'an University of Post and Telecommunications,Xi'an 710121,China;3.School of Electronic Engineering, Xi'an University of Post and Telecommunications,Xi'an 710121,China) Abstract:Aiming at the problem of motion blur caused by object motion or camera shake in the image generation pro- cess,an image restoration method based on the residual dense network is proposed.An adversarial network structure is used in the method,taking the residual dense network as the generator and fusing different levels of features in a long- short connection to generate restored images.The deep convolution network acts as the discriminator to identify the au- thenticities of images,training the network performance in adversarial between the generator and discriminator.The pro- posed method combines the adversarial and content losses to improve the effectiveness of network restoration.This study demonstrates the restoration of an input blur image in an end-to-end way without estimating the blur kernel.Ex- periments show that the proposed method results in a better restoration effect. Keywords:image processing;motion pictures;image denoising;image restoration;deep learning;network model;net- work architecture;convolutional neural network 由于相机抖动、环境干扰或者物体运动等诸 方法假设退化模型已知或者可以通过简单的计算 多因素的影响，都会导致生成的图像产生运动模 得到点扩散函数，利用已知信息有针对性地进行 糊。在刑侦、医疗、军事等图像应用领域，需要 复原。但是在现实生活中，图像退化过程受到各 高质量的图像，而图像的获取却不容易，因此对 种因素的影响，造成图像退化的结果也不尽相 目标图像复原，是计算机视觉研究领域中一个重 同，因此点扩散函数无法精确得到，所以传统的 要的研究方向回 图像复原方法不能很好地解决图像复原问题。 图像复原的目的是去除模糊和干扰，得到尽 近几年，计算机视觉领域广泛应用深度学习 可能接近理想图像的复原图像。传统的图像复原 的方法，并且取得了惊人的成果。Zhou等首次将 收稿日期：2019-12-02 基金项目：国家自然科学基金项目(61671377) 神经网络用于图像复原，提出了基于离散Hopfield 通信作者：张梦凯.E-maili:zmkdyx@163.com. 神经网络的图像复原模型；Jain等将卷积神经

DOI: 10.11992/tis.201912002 利用残差密集网络的运动模糊复原方法 林椹尠1 ，张梦凯2 ，吴成茂3 （1. 西安邮电大学 理学院，陕西 西安 710121; 2. 西安邮电大学 通信与信息工程学院，陕西 西安 710121; 3. 西安 邮电大学 电子工程学院，陕西 西安 710121） 摘 要：针对图像生成过程中由于物体运动或相机抖动产生的运动模糊问题，提出了利用残差密集网络的运动 模糊图像复原方法。设计对抗网络结构，以残差密集网络为生成器，通过长短连接实现不同层次特征的融合， 生成复原图像，以深度卷积网络为判别器，判断图像真伪，在生成器和判别器的对抗中提高网络性能；采用对 抗损失和内容损失结合的损失函数，提高网络的复原效果；以端到端的方式，省略模糊核的估计过程，输入模 糊图像直接获取复原图像。实验结果表明，该方法能够取得较好的复原效果。 关键词：图像处理；运动图片；图像去噪；图像复原；深度学习；网络模型；网络结构；卷积神经网络 中图分类号：TP183 文献标志码：A 文章编号：1673−4785(2021)03−0442−07 中文引用格式：林椹尠, 张梦凯, 吴成茂. 利用残差密集网络的运动模糊复原方法 [J]. 智能系统学报, 2021, 16(3): 442–448. 英文引用格式：LIN Zhenxian, ZHANG Mengkai, WU Chengmao. Image restoration with residual dense network[J]. CAAI trans￾actions on intelligent systems, 2021, 16(3): 442–448. Image restoration with residual dense network LIN Zhenxian1 ，ZHANG Mengkai2 ，WU Chengmao3 (1. School of Science, Xi’an University of Post and Telecommunications, Xi’an 710121, China; 2. School of Communication and In￾formation Engineering, Xi’an University of Post and Telecommunications, Xi’an 710121, China; 3. School of Electronic Engineering, Xi’an University of Post and Telecommunications, Xi’an 710121, China) Abstract: Aiming at the problem of motion blur caused by object motion or camera shake in the image generation pro￾cess, an image restoration method based on the residual dense network is proposed. An adversarial network structure is used in the method, taking the residual dense network as the generator and fusing different levels of features in a long￾short connection to generate restored images. The deep convolution network acts as the discriminator to identify the au￾thenticities of images, training the network performance in adversarial between the generator and discriminator. The pro￾posed method combines the adversarial and content losses to improve the effectiveness of network restoration. This study demonstrates the restoration of an input blur image in an end-to-end way without estimating the blur kernel. Ex￾periments show that the proposed method results in a better restoration effect. Keywords: image processing; motion pictures; image denoising; image restoration; deep learning; network model; net￾work architecture; convolutional neural network 由于相机抖动、环境干扰或者物体运动等诸 多因素的影响，都会导致生成的图像产生运动模 糊 [1]。在刑侦、医疗、军事等图像应用领域，需要 高质量的图像，而图像的获取却不容易，因此对 目标图像复原，是计算机视觉研究领域中一个重 要的研究方向[2]。 图像复原的目的是去除模糊和干扰，得到尽 可能接近理想图像的复原图像。传统的图像复原 方法假设退化模型已知或者可以通过简单的计算 得到点扩散函数，利用已知信息有针对性地进行 复原。但是在现实生活中，图像退化过程受到各 种因素的影响，造成图像退化的结果也不尽相 同，因此点扩散函数无法精确得到，所以传统的 图像复原方法不能很好地解决图像复原问题。 近几年，计算机视觉领域广泛应用深度学习 的方法，并且取得了惊人的成果。Zhou 等 [3] 首次将 神经网络用于图像复原，提出了基于离散 Hopfield 神经网络的图像复原模型；Jain 等 [4] 将卷积神经 收稿日期：2019−12−02. 基金项目：国家自然科学基金项目 (61671377). 通信作者：张梦凯. E-maili：zmkdyx@163.com. 第 16 卷第 3 期 智 能 系 统 学 报 Vol.16 No.3 2021 年 5 月 CAAI Transactions on Intelligent Systems May 2021

第3期 林椹尠，等：利用残差密集网络的运动模糊复原方法 ·443· 网络用于图像去噪，证明了卷积神经网络可以直 学习网络模型，网络分成生成器(generator,G) 接学习从低质量图像到清晰图像的端到端的非线 和判别器(discriminator,D),生成器模拟真实数据 性映射，能够较好地复原图像；Huang等提出了 分布情况，以产生相似的样本数据为目的；判别 密集网络(DenseNet)模型，DenseNet能够以连接 器判断样本是否来自真实数据集。生成对抗网络 模式连接密集单元中的任意2个卷积层，实现了特 模型如图1所示。 征重用及信息传递，为图像复原提供了新的思路： 真实样本 Zhang等首次将残差学习和批处理归一化引入 数据集 判别网络 真实数据？ 图像复原，提出去噪卷积神经网络(DnCNN),该 生成数据？ 生成 网络可训练单一的网络模型进行盲去噪，比针对特 样本 定噪声水平训练的方法有更好的性能。Lu等可提 随机噪声 生成网络 出非局部循环神经网络NLRN),利用图像的自我 相似度，通过捕捉一个特征与其邻近特征的相关 0 性进行图像重建，有较好的图像复原能力。Guo等网 图1生成对抗网络模型 使用卷积网络，其包括噪声估计子网络和非盲去 Fig.1 GAN model 噪子网络，并提出非对称学习损失函数，实现真 在训练过程中，生成网络G的目标是生成接 实图像的盲去噪。Cha等例提出全卷积自适应图 近真实样本的生成样本，以此来“迷惑”判别网络 像去噪网络，使用正则化方法获得更鲁棒的自适 D。D的目标是判断输入的样本是生成样本还是 应性。2014年，Goodfellow等o1受到博弈论的启 真实样本。这样，G和D构成了一个动态的“博 发提出生成对抗网络(generative adversarial net- 弈”，在相互对抗中提升各自的性能，这就是生成 wok,GAN),GAN网络模型由生成网络和判别网 对抗网络的基本思想。两者通过不断地博弈学 络组成，在生成图像方面具有显著的优势。Kupyn 习，最终，G生成的样本能够“以假乱真”，D无法 等山提出了利用生成对抗网络消除运动模糊的方 区分输入的样本是真实的样本还是由生成器生成 法DeblurGAN,该方法可以有效地消除单张运动 的样本，此时生成器达到最好状态。 模糊。Wang等使用残差生成对抗网络复原退 1.2残差密集网络 化图片，提高了网络的稳定性和效率。Zhou等 残差密集网络结合残差网络与密集网络，将 提出标签去噪对抗网络(LDAN)用于逆光照明人 网络模型中不同单元提取的浅层特征与深度特征 脸图像，通过生成对抗网络生成的图像来训练深 融合，在图像复原中取得了很好的效果。 度卷积网络，提高了图像复原效果。这些方法都 RDN包括浅层特征提取、残差密集单元(re- 有效地改善了图像复原效果，但是在复杂的现实 sidual dense block,RDB)、全局特征融合3部分。 环境中使用有一定的局限性。 首先，对原始图像进行卷积操作提取浅层特征， 本文提出一种针对运动模糊的网络模型，以 将浅层特征作为残差密集单元的输入；残差密集 生成对抗网络为框架，生成网络使用残差网铬和 单元包含密集连接和局部特征融合，其输出与下 密集网络结合的残差密集网络(residual dense net- 一个单元内的各个卷积层直接相关，实现了单元 work,RDN),将模糊图像输入到生成网络中，输 之间的信息连续传递；随后，全局特征融合实现 出复原图像；判别网络使用深度卷积网络，判断 了浅层特征和各个单元提取的不同分层特征之间 输入图像是否真实。使用内容损失和对抗损失共 的全局特征融合，局部特征融合及全局特征融合 同优化网络。在公开的GoPro数据集和Celeba数 均以短连接的方式实现，最终的融合特征用于图 据集上实验，并与其他复原算法对比分析，验证 像重建。由于图像复原中大量的信息复用，充分 残差密集网络在图像复原中的优势。 利用不同单元提取的分层特征，将浅层特征与深 层特征结合能够提供丰富的图像细节信息，有利 1 相关网络 于图像复原。 1.1生成对抗网络 2网络模型 生成对抗网络首次提出来后，就获得了广泛 的关注，其强大的图像生成能力，使其在图像合 使用的网络模型包括2个部分：生成网络和 成、图像修补、超分辨率、图像复原等方面得到广 判别网络。生成网络是一个RDN网络，判别网络 泛应用。生成对抗网络是深度学习中一种无监督 是深度卷积网络。网络模型如图2所示

网络用于图像去噪，证明了卷积神经网络可以直 接学习从低质量图像到清晰图像的端到端的非线 性映射，能够较好地复原图像；Huang 等 [5] 提出了 密集网络 (DenseNet) 模型，DenseNet 能够以连接 模式连接密集单元中的任意 2 个卷积层，实现了特 征重用及信息传递，为图像复原提供了新的思路； Zhang 等 [6] 首次将残差学习和批处理归一化引入 图像复原，提出去噪卷积神经网络 (DnCNN)，该 网络可训练单一的网络模型进行盲去噪，比针对特 定噪声水平训练的方法有更好的性能。Liu 等 [7] 提 出非局部循环神经网络 (NLRN)，利用图像的自我 相似度，通过捕捉一个特征与其邻近特征的相关 性进行图像重建，有较好的图像复原能力。Guo 等 [8] 使用卷积网络，其包括噪声估计子网络和非盲去 噪子网络，并提出非对称学习损失函数，实现真 实图像的盲去噪。Cha 等 [9] 提出全卷积自适应图 像去噪网络，使用正则化方法获得更鲁棒的自适 应性。2014 年，Goodfellow 等 [10] 受到博弈论的启 发提出生成对抗网络 (generative adversarial net￾work, GAN)，GAN 网络模型由生成网络和判别网 络组成，在生成图像方面具有显著的优势。Kupyn 等 [11] 提出了利用生成对抗网络消除运动模糊的方 法 DeblurGAN，该方法可以有效地消除单张运动 模糊。Wang 等 [12] 使用残差生成对抗网络复原退 化图片，提高了网络的稳定性和效率。Zhou 等 [13] 提出标签去噪对抗网络 (LDAN) 用于逆光照明人 脸图像，通过生成对抗网络生成的图像来训练深 度卷积网络，提高了图像复原效果。这些方法都 有效地改善了图像复原效果，但是在复杂的现实 环境中使用有一定的局限性。 本文提出一种针对运动模糊的网络模型，以 生成对抗网络为框架，生成网络使用残差网络和 密集网络结合的残差密集网络 (residual dense net￾work, RDN)[14] ，将模糊图像输入到生成网络中，输 出复原图像；判别网络使用深度卷积网络，判断 输入图像是否真实。使用内容损失和对抗损失共 同优化网络。在公开的 GoPro 数据集和 Celeba 数 据集上实验，并与其他复原算法对比分析，验证 残差密集网络在图像复原中的优势。 1 相关网络 1.1 生成对抗网络 生成对抗网络首次提出来后，就获得了广泛 的关注，其强大的图像生成能力，使其在图像合 成、图像修补、超分辨率、图像复原等方面得到广 泛应用。生成对抗网络是深度学习中一种无监督 学习网络模型，网络分成生成器 (generator, G) 和判别器 (discriminator, D)，生成器模拟真实数据 分布情况，以产生相似的样本数据为目的；判别 器判断样本是否来自真实数据集。生成对抗网络 模型如图 1 所示。 数据集 真实样本 判别网络 随机噪声 生成网络 生成 样本 真实数据? 生成数据? 图 1 生成对抗网络模型 Fig. 1 GAN model G D D G D G D 在训练过程中，生成网络 的目标是生成接 近真实样本的生成样本，以此来“迷惑”判别网络 。 的目标是判断输入的样本是生成样本还是 真实样本。这样， 和 构成了一个动态的“博 弈”，在相互对抗中提升各自的性能，这就是生成 对抗网络的基本思想。两者通过不断地博弈学 习，最终， 生成的样本能够“以假乱真”， 无法 区分输入的样本是真实的样本还是由生成器生成 的样本，此时生成器达到最好状态。 1.2 残差密集网络 残差密集网络结合残差网络与密集网络，将 网络模型中不同单元提取的浅层特征与深度特征 融合，在图像复原中取得了很好的效果。 RDN 包括浅层特征提取、残差密集单元 (re￾sidual dense block, RDB)、全局特征融合 3 部分。 首先，对原始图像进行卷积操作提取浅层特征， 将浅层特征作为残差密集单元的输入；残差密集 单元包含密集连接和局部特征融合，其输出与下 一个单元内的各个卷积层直接相关，实现了单元 之间的信息连续传递；随后，全局特征融合实现 了浅层特征和各个单元提取的不同分层特征之间 的全局特征融合，局部特征融合及全局特征融合 均以短连接的方式实现，最终的融合特征用于图 像重建。由于图像复原中大量的信息复用，充分 利用不同单元提取的分层特征，将浅层特征与深 层特征结合能够提供丰富的图像细节信息，有利 于图像复原。 2 网络模型 使用的网络模型包括 2 个部分：生成网络和 判别网络。生成网络是一个 RDN 网络，判别网络 是深度卷积网络。网络模型如图 2 所示。 第 3 期 林椹尠，等：利用残差密集网络的运动模糊复原方法 ·443·

·444· 智能系统学报 第16卷 浅层特征提取 全局特征融合 残差密集单元 真/假 图2RDN-GAN网络结构 Fig.2 Network structure of RDN-GAN 2.1生成网络 输入图像边界(Padding)的方式，保持图像的分辨 生成网络的目的是生成复原图像。生成网络 率不变。除了最后一层卷积层之外，每个卷积层 是一个由残差网络和密集网络结合而成的残差密 之后都跟随一个带泄漏修正线性单元(leaky recti-. 集网络，残差网能够有效缓解随着网络深度增 fied linear units,.LReLU激活函数。 加引发的梯度消失的现象，这样即使增加网络深 2.2判别网络 度，还能够保持很好的性能和效率；密集网络通 判别网络用于估计输人的图片是来自于训练 过特征复用，能够加强特征传播，减少参数量。 样本还是生成样本的概率，如果输入来自真实的 由于在进行图像复原的过程中，模糊图像和清晰 训练样本，则输出概率越高，如果输入是生成样 图像之间的相似度很高，即两者之间会有很多共 本，则输出概率越低。判别网络是一个全卷积网 享的信息，残差网络能够有效地学习两幅图像之 络，遵循Radford等l的设计样式，判别网络参数 间的映射关系，并且结合密集网络结构使得网络 设置如表1所示。 更加稳定。 表1判别器网络参数 残差网络和密集网络结合形成的RDB作为 Table 1 Parameters of discriminator 主要网络单元，RDB结构如图3所示。RDB首先 网络层 核数量核大小 步长 输出大小 经过一个6层的全卷积网络，根据密集连接机制， 输入图像 128×128×3 每一层的输入都会拼接前面所有层作为额外的输 卷积层 32 3 1 128×128×32 入。由于累计拼接会导致特征层数量过多，所以 卷积层 32 3 2 64×64×32 设置一个1×1的卷积层，用于多通道的特征融合， 卷积层 64 3 1 64×64×64 并起到降维的作用。在最后将输入与输出进行特 卷积层 64 3 2 32×32×64 征融合作为新的输出。在RDB中，输入图像信息的 卷积层 128 3 1 32×32×128 维度不会改变，这样可以避免通过反卷积来进行上 卷积层 128 3 2 16×16×128 采样所造成的棋盘效应(checkerboard artifacts) 卷积层 256 3 1 16×16×256 卷积层 256 3 2 8×8×256 卷积层 512 3 1 8×8×512 卷积层 512 3 2 4×4×512 全连接层 1024 1024 全连接层 1 图3RDB结构 Sigmoid)层 Fig.3 Structure of RDB 输入图像首先经过2个卷积层，进行浅层特 判别网络中全部使用卷积核大小为3×3的卷 征提取，得到64个特征图(feature map):接着排列 积层，并且在卷积层后面跟随一个LRLU激活函 着3个RDB,RDB的输出会通过拼接方式结合， 数。接着经过一个1024的全连接层(fully connec- 并使用1×1卷积层进行特征融合；然后通过一个 ted layer,.FC),最后通过一维的全连接层，并通过 卷积层，并与第一次卷积结果相加；最后通过卷 Sigmoid输出判决结果。 积完成密集特征融合，并把特征图转换成输入图 3 损失函数 像维度，且与输入图像相加，通过tanh激活函数 作为最后的输出。生成网络中的所有卷积层，卷 损失函数由内容损失函数和对抗损失函数组 积核的大小设置为3×3，步长设置为1，通过填充 成，共同优化网络模型，即

卷积层 卷积层 RDB RDB RDB 卷积层 卷积层 拼接 1×1 卷积层 真/假 残差密集单元 浅层特征提取 全局特征融合 图 2 RDN-GAN 网络结构 Fig. 2 Network structure of RDN-GAN 2.1 生成网络 生成网络的目的是生成复原图像。生成网络 是一个由残差网络和密集网络结合而成的残差密 集网络，残差网络能够有效缓解随着网络深度增 加引发的梯度消失的现象，这样即使增加网络深 度，还能够保持很好的性能和效率；密集网络通 过特征复用，能够加强特征传播，减少参数量。 由于在进行图像复原的过程中，模糊图像和清晰 图像之间的相似度很高，即两者之间会有很多共 享的信息，残差网络能够有效地学习两幅图像之 间的映射关系，并且结合密集网络结构使得网络 更加稳定。 残差网络和密集网络结合形成的 RDB 作为 主要网络单元，RDB 结构如图 3 所示。RDB 首先 经过一个 6 层的全卷积网络，根据密集连接机制， 每一层的输入都会拼接前面所有层作为额外的输 入。由于累计拼接会导致特征层数量过多，所以 设置一个 1×1 的卷积层，用于多通道的特征融合， 并起到降维的作用。在最后将输入与输出进行特 征融合作为新的输出。在 RDB 中，输入图像信息的 维度不会改变，这样可以避免通过反卷积来进行上 采样所造成的棋盘效应 (checkerboard artifacts)[15]。 卷积层 卷积层 卷积层 拼接 1×1 卷积层 图 3 RDB 结构 Fig. 3 Structure of RDB 输入图像首先经过 2 个卷积层，进行浅层特 征提取，得到 64 个特征图 (feature map)；接着排列 着 3 个 RDB，RDB 的输出会通过拼接方式结合， 并使用 1×1 卷积层进行特征融合；然后通过一个 卷积层，并与第一次卷积结果相加；最后通过卷 积完成密集特征融合，并把特征图转换成输入图 像维度，且与输入图像相加，通过 tanh 激活函数 作为最后的输出。生成网络中的所有卷积层，卷 积核的大小设置为 3×3，步长设置为 1，通过填充 输入图像边界 (Padding) 的方式，保持图像的分辨 率不变。除了最后一层卷积层之外，每个卷积层 之后都跟随一个带泄漏修正线性单元 (leaky recti￾fied linear units，LReLU) 激活函数。 2.2 判别网络 判别网络用于估计输入的图片是来自于训练 样本还是生成样本的概率，如果输入来自真实的 训练样本，则输出概率越高，如果输入是生成样 本，则输出概率越低。判别网络是一个全卷积网 络，遵循 Radford 等 [16] 的设计样式，判别网络参数 设置如表 1 所示。 表 1 判别器网络参数 Table 1 Parameters of discriminator 网络层 核数量 核大小 步长 输出大小 输入图像 — — — 128×128×3 卷积层 32 3 1 128×128×32 卷积层 32 3 2 64×64×32 卷积层 64 3 1 64×64×64 卷积层 64 3 2 32×32×64 卷积层 128 3 1 32×32×128 卷积层 128 3 2 16×16×128 卷积层 256 3 1 16×16×256 卷积层 256 3 2 8×8×256 卷积层 512 3 1 8×8×512 卷积层 512 3 2 4×4×512 全连接层 1 024 — — 1024 全连接层 1 — — 1 Sigmoid层 — — — 1 判别网络中全部使用卷积核大小为 3×3 的卷 积层，并且在卷积层后面跟随一个 LReLU 激活函 数。接着经过一个 1 024 的全连接层 (fully connec￾ted layer，FC)，最后通过一维的全连接层，并通过 Sigmoid 输出判决结果。 3 损失函数 损失函数由内容损失函数和对抗损失函数组 成，共同优化网络模型，即 ·444· 智 能 系 统 学 报 第 16 卷

第3期 林椹尠，等：利用残差密集网络的运动模糊复原方法 ·445· L=A Lo+ALo (1) 了使用相机拍摄合成的不同街道视角的模糊图 式中：L为对抗损失函数；Lc为内容损失函数； 像，整个数据集一共有3214对模糊清晰图像对， 和2为权重系数。 其中训练集有2103对图像，测试集有1111对图 3.1内容损失函数 像。Celeba数据集包括200000张左右的人脸图 内容损失函数通过对比生成图像和真实图像 像，通过拉普拉斯算子筛选清晰图像2500张，通 的每个像素值，保证最后的生成图像能够接近理 过仿真程序给图像添加9像素的运动模糊，结合 想值。内容损失函数一般使用L1损失或者L2损 清晰图像，制作训练集2000对图像，测试集500张 失。然而，有研究发现”，由于2损失对异常值 图像。所有的图像都重新设置大小为128×128。 更加敏感，使用L,损失可以减少重构图像中斑点 4.2实验设置 状的人工痕迹，并减小误差，因此本文使用L,损 实验中使用批处理大小为1，设置对抗损失 失作为内容损失，L损失定义为 权重=1，内容损失函数权重2=100。实验中使 L=IIG(z)-xill (2) 用自适应矩阵估计(adaptive moment estimation, 式中：x为真实图像：G(z)为生成器生成的图像。 ADAM)算法优化损失函数，设置初始学习率为 3.2对抗损失函数 0.0002,衰减系数B1=0.5。 由于像素间的误差影响，内容损失函数将在 实验中设置迭代周期为100个，每个周期迭代 所有解的平均值处收敛1劇，这会导致复原图像过 遍训练集图像，每一次交替训练判别器和生成器。 于平滑，丢失锐利的边缘信息，而模糊依然存 4.3评价指标 在。因此把内容损失函数和对抗损失函数结合起 为了客观评价复原图像效果，实验使用峰值信 来共同作为损失函数。 噪比(peak signal-to-noise ratio,.PSNR)P和结构相 假设用于训练的真实图像数据是x,噪声为 似性(structural similarity,SSM)2a作为评价指标。 乙，生成模型G能够生成图像，实际是G(?)的分布 PSNR基于对应像素点间的误差来评价图像 应该尽可能接近真实图像的数据分布Pu(x)。根 质量，PSNR的值越高表示图像失真越小，PSNR 据交叉嫡损失，可构造损失函数为 定义为 V(D.G)=E-pco[ln D(x)]+E:-p(o[ln(1-D(G()))](3) R 式中：Exp田是指直接在训练数据x中取得真实 PSNR =201g (7 VM 样本；而E-,日是指从已知的噪声分布中取得样 式中：n为每个像素的比特数，通常像素为8bit时 本；P.(a)为噪声分布；D(x)表示D判断真实图像 取n=8:M为两幅灰度图像的均方差。 是否真实的概率，因为x是真实的，所以对于D SSM以每个像素为中心的小块为单位，同时 来说，这个值越大越好；而D(G(z)是D判断G生 对比图像块的亮度、对比度和结构，SSM的值越 成的图像是真实的概率。 接近1，表示两图像越接近，SSM定义为 G希望生成的图像越真实越好，即G希望D(G(z) 尽可能地大。因此G希望V(D,G越小越好。 SSIM=_ 2μ4+C1)2o+C2) (8) (2+H+C(σ+σ2+C2) min V(D,G)=E:-p.([ln(1-D(G(2)))] (4) 式中：x、y为输人图像；山为图像的灰度平均值；σ D的能力越强，D(x)应该越大，D(G(z)应该越 为图像的标准差；σ。为两幅图像的协方差，C,和 小。因此D的目的和G不同，D希望V(D,G)越 C2为常数，本文设置C1=6.5025,C2=58.5225。 大越好。 4.4结果分析 mgx V(D.G)=Epo[ln D(]+E:-m[ln(1-D(G())] 实验使用CPU为Intel i5,内存8GB,GPU为 (5) NVIDA GeForce GTX980Ti,同时使用Tensor- 由判别器D和生成器G共同得到目标函数L: Flow深度学习框架，Python编程语言。本文算法 La min max V(D,G)=E-p(o[ln D(x)]+ tù (6) 在GoPro数据集上训练30h,在Celeba数据集上 E:-p.([In(1-D(G(Z)))] 训练24h。 4实验分析 为了验证本文算法对图像运动模糊的复原效 果，选取具有代表性的方法DnCNN模型 4.1 数据集处理 DeblurGAN模型和SRNDeblur模型2)，与本文 实验使用的数据集包括两部分：一个是Nah 方法进行比较。为了公正地对比各种算法，均使 等9公开的GoPro数据集，另一个是在Celeba 用相同的实验环境和相同的数据集进行训练。 部分数据集上添加运动模糊。GoPro数据集包含 实验结果如图4、5所示，图4为在Celeba数

L = λ1La +λ2LC (1) La LC λ1 λ2 式中： 为对抗损失函数； 为内容损失函数； 和 为权重系数。 3.1 内容损失函数 L1 L2 L2 L1 L1 L1 内容损失函数通过对比生成图像和真实图像 的每个像素值，保证最后的生成图像能够接近理 想值。内容损失函数一般使用 损失或者 损 失。然而，有研究发现[17] ，由于 损失对异常值 更加敏感，使用 损失可以减少重构图像中斑点 状的人工痕迹，并减小误差，因此本文使用 损 失作为内容损失， 损失定义为 L1 = ∥G(zi)− xi∥1 (2) 式中：x 为真实图像； G(zi) 为生成器生成的图像。 3.2 对抗损失函数 由于像素间的误差影响，内容损失函数将在 所有解的平均值处收敛[18] ，这会导致复原图像过 于平滑，丢失锐利的边缘信息，而模糊依然存 在。因此把内容损失函数和对抗损失函数结合起 来共同作为损失函数。 x z G G(z) pdata(x) 假设用于训练的真实图像数据是 ，噪声为 ，生成模型 能够生成图像，实际是 的分布 应该尽可能接近真实图像的数据分布 。根 据交叉熵损失，可构造损失函数为 V(D,G) = Ex∼pdata (x)[lnD(x)] +Ez∼pz(z)[ln(1−D(G(z)))] (3) Ex∼pdata (x) x Ez∼pz(z) pz(z) D(x) D x D D(G(z)) D G 式中： 是指直接在训练数据 中取得真实 样本；而 是指从已知的噪声分布中取得样 本； 为噪声分布； 表示 判断真实图像 是否真实的概率，因为 是真实的，所以对于 来说，这个值越大越好；而 是 判断 生 成的图像是真实的概率。 G G D(G(z)) G V(D,G) 希望生成的图像越真实越好，即 希望 尽可能地大。因此 希望 越小越好。 min G V(D,G) = Ez∼pz(z)[ln(1− D(G(z)))] (4) D D(x) D(G(z)) D G D V(D,G) 的能力越强， 应该越大， 应该越 小。因此 的目的和 不同， 希望 越 大越好。 max D V(D,G) = Ex∼pdata (x)[lnD(x)]+ Ez∼pz(z)[ln(1− D(G(z)))] (5) 由判别器 D 和生成器 G 共同得到目标函数 La： La = min G max D V(D,G) = Ex∼pdata (x)[lnD(x)]+ Ez∼pz(z)[ln(1− D(G(z)))] (6) 4 实验分析 4.1 数据集处理 实验使用的数据集包括两部分：一个是 Nah 等 [19] 公开的 GoPro 数据集，另一个是在 Celeba[20] 部分数据集上添加运动模糊。GoPro 数据集包含 128×128 了使用相机拍摄合成的不同街道视角的模糊图 像，整个数据集一共有 3 214 对模糊清晰图像对， 其中训练集有 2 103 对图像，测试集有 1 111 对图 像。Celeba 数据集包括 200 000 张左右的人脸图 像，通过拉普拉斯算子筛选清晰图像 2 500 张，通 过仿真程序给图像添加 9 像素的运动模糊，结合 清晰图像，制作训练集 2 000 对图像，测试集 500 张 图像。所有的图像都重新设置大小为 。 4.2 实验设置 λ1= 1 λ2= 100 β1 = 0.5 实验中使用批处理大小为 1，设置对抗损失 权重 ，内容损失函数权重 。实验中使 用自适应矩阵估计 (adaptive moment estimation, ADAM) 算法优化损失函数，设置初始学习率为 0.0002，衰减系数 。 实验中设置迭代周期为 100 个，每个周期迭代 一遍训练集图像，每一次交替训练判别器和生成器。 4.3 评价指标 为了客观评价复原图像效果，实验使用峰值信 噪比 (peak signal-to-noise ratio，PSNR)[21] 和结构相 似性 (structural similarity，SSIM)[22] 作为评价指标。 PSNR 基于对应像素点间的误差来评价图像 质量，PSNR 的值越高表示图像失真越小，PSNR 定义为 PSNR = 20lg( 2 n −1 √ M ) (7) n n = 8 M 式中： 为每个像素的比特数，通常像素为 8 bit 时 取 ； 为两幅灰度图像的均方差。 SSIM 以每个像素为中心的小块为单位，同时 对比图像块的亮度、对比度和结构，SSIM 的值越 接近 1，表示两图像越接近，SSIM 定义为 SSIM = (2µxµy +C1)(2σxy +C2) (µ 2 x +µ 2 y +C1)(σ2 x +σ2 y +C2) (8) x y µ σ σxy C1 C2 C1 = 6.502 5 C2 = 58.522 5 式中： 、 为输入图像； 为图像的灰度平均值； 为图像的标准差； 为两幅图像的协方差， 和 为常数，本文设置 ， 。 4.4 结果分析 实验使用 CPU 为 Intel i5，内存 8 GB，GPU 为 NVIDA GeForce GTX 980 Ti，同时使用 Tensor￾Flow 深度学习框架，Python 编程语言。本文算法 在 GoPro 数据集上训练 30 h，在 Celeba 数据集上 训练 24 h。 为了验证本文算法对图像运动模糊的复原效 果，选取具有代表性的方 法 DnCNN 模 型 [ 6 ] 、 DeblurGAN 模型[8] 和 SRNDeblur 模型[23] ，与本文 方法进行比较。为了公正地对比各种算法，均使 用相同的实验环境和相同的数据集进行训练。 实验结果如图 4、5 所示，图 4 为在 Celeba 数 第 3 期 林椹尠，等：利用残差密集网络的运动模糊复原方法 ·445·

·446· 智能系统学报 第16卷 据集上的复原结果，图5为GoPro数据集的复原 耗时为处理测试集中单张图片的平均花费时间。 结果。基于本文方法的复原结果在主观视觉效果 从表2中可以看出，在两个数据集中，本文方法 中均得到了较好的结果，如在图4中贝壳放大后的 的PSNR和SSIM两种量化指标都要优于其他 纹理，以及路面上的细节都很好地复原了原图信息； 两种方法。在平均耗时方面，DeblurGAN算法和 而DeblurGAN和SRN-Deblur虽然整体看起来比 DnCNN算法的执行速度最快，单张图片耗时最 较清晰，但是放大后可以看出一些细节丢失；DnCNN 少；SRN-Deblur算法的执行速度最慢，单张图片 的复原结果不是很好，有严重的振铃现象。 耗时在30s左右；本文方法有较快的执行速度， 表2是两组实验的图像质量评价结果，平均 单张图片耗时在1s左右。 (a)清晰图像 (b)模糊图像 (c)本文方法(d)DeblurGAN(e)DnCNN (f)SRN-Deblur 图4 Celeba数据集实验结果 Fig.4 Results of the Celeba dataset (a)清晰图像 (b)模糊图像 (c)本文方法 (d)DeblurGAN (e)DnCNN (①SRN-Deblur 图5 GoPro数据集实验结果 Fig.5 Results of the GoPro dataset 表2结果对比 Table 2 Comparison of the results 数据集 算法 PSNR/dB SSIM 平均耗时/s DeblurGAN 26.13 0.86 0.33 DnCNN 29.52 0.89 0.35 GoPro SRNDeblur 33.00 0.95 31.25 本文算法 33.04 0.98 1.13 DeblurGAN 25.17 0.77 0.24 DnCNN 25.82 0.74 0.32 Celeba SRNDeblur 26.17 0.81 30.78 本文算法 29.34 0.94 1.06

据集上的复原结果，图 5 为 GoPro 数据集的复原 结果。基于本文方法的复原结果在主观视觉效果 中均得到了较好的结果，如在图 4 中贝壳放大后的 纹理，以及路面上的细节都很好地复原了原图信息； 而 DeblurGAN 和 SRN-Deblur 虽然整体看起来比 较清晰，但是放大后可以看出一些细节丢失；DnCNN 的复原结果不是很好，有严重的振铃现象。 表 2 是两组实验的图像质量评价结果，平均 耗时为处理测试集中单张图片的平均花费时间。 从表 2 中可以看出，在两个数据集中，本文方法 的 PSNR 和 SSIM 两种量化指标都要优于其他 两种方法。在平均耗时方面，DeblurGAN 算法和 DnCNN 算法的执行速度最快，单张图片耗时最 少；SRN-Deblur 算法的执行速度最慢，单张图片 耗时在 30 s 左右；本文方法有较快的执行速度， 单张图片耗时在 1 s 左右。 (a) 清晰图像 (b) 模糊图像 (c) 本文方法 (d) DeblurGAN (e) DnCNN (f) SRN-Deblur 图 4 Celeba 数据集实验结果 Fig. 4 Results of the Celeba dataset (a) 清晰图像 (b) 模糊图像 (c) 本文方法 (d) DeblurGAN (e) DnCNN (f) SRN-Deblur 图 5 GoPro 数据集实验结果 Fig. 5 Results of the GoPro dataset 表 2 结果对比 Table 2 Comparison of the results 数据集 算法 PSNR/dB SSIM 平均耗时/s GoPro DeblurGAN 26.13 0.86 0.33 DnCNN 29.52 0.89 0.35 SRNDeblur 33.00 0.95 31.25 本文算法 33.04 0.98 1.13 Celeba DeblurGAN 25.17 0.77 0.24 DnCNN 25.82 0.74 0.32 SRNDeblur 26.17 0.81 30.78 本文算法 29.34 0.94 1.06 ·446· 智 能 系 统 学 报 第 16 卷

第3期 林椹尠，等：利用残差密集网络的运动模糊复原方法 ·447· 5结束语 lutional blind denoising of real photographs[C]//Proceed- ings of the IEEE/CVF Conference on Computer Vision and 针对相机成像时抖动、环境干扰、物体运动 Pattern Recognition.Long Beach,USA,2019:1712-1722. 等原因产生的图像运动模糊问题，本文提出了一 [9]CHA S,MOON T.Fully convolutional pixel adaptive im- 种利用残差密集网络的端到端图像盲复原方法， age denoiser[C]//Proceedings of the IEEE/CVF Interna- 残差密集网络结合残差网络和密集网络的优点， tional Conference on Computer Vision.Seoul,Korea 通过长短连接的方式提取并融合不同层次的特 (South),2019:4159-4168. 征，由于图像生成过程中大量信息的复用，提高 [10]GOODFELLOW I J.POUGET-ABADIE J.MIRZA M. 了图像复原的效果，并使用对抗训练的方式提高 et al.Generative adversarial nets[Cl//Proceedings of the 网络性能；采用对抗损失和内容损失结合的损失 27th International Conference on Neural Information Pro- 函数优化网络。在GoPro数据集和Celeba数据集 cessing Systems.Montreal,Canada,2014:2672-2680. 上进行实验，通过分析对比，本文方法能够得到 [11]KUPYN O,BUDZAN V,MYKHAILYCH M,et al 较好的复原效果。未来将优化算法，提高网络的 DeblurGAN:blind motion deblurring using conditional 训练效率；分析其他退化图像，改进网络模型，使 adversarial networks[Cl//Proceedings of the IEEE/CVF 其适用于多种退化图像。 Conference on Computer Vision and Pattern Recognition. Salt Lake City,USA.2018:8183-8192. 参考文献： [12]WANG M,LI H.LI F.Generative adversarial network [1]程俊廷，左旺孟.快速非均匀模糊图像的盲复原模型) based on resnet for conditional image restoration[EB/OL]. [2021-06-07 https:/arxiv.org/abs/1707.04881 黑龙江科技大学学报，2017,272：196-199. [13]ZHOU H,SUN J,YACOOB Y,et al.Label denoising ad- CHENG Junting,ZUO Wangmeng.Fast blind deblurring versarial network (LDAN)for inverse lighting of models for restoration of non-uniform blur images[J]. faces[Cl//Proceedings of the IEEE Conference on Com- Journal of Heilongjiang University of Science and Techno- puter Vision and Pattern Recognition.Salt Lake City, 10gy,2017,27(2:196-199. USA.2018:6238-6247. [2]BANHAM M R,KATSAGGELOS A K.Digital image [14]ZHANG Yulun,TIAN Yapeng,KONG Yu,et al.Resid- restoration[J].IEEE signal processing magazine,1997, ual dense network for image super-resolution[C]//Pro- 14(2):24-41 ceedings of the IEEE/CVF Conference on Computer Vis- [3]ZHOU Y T,CHELLAPPA R,VAID A,et al.Image restor- ion and Pattern Recognition.Salt Lake City,USA,2018: ation using a neural network[J].IEEE transactions on 2472-2481. acoustics,speech,and signal processing,1988,36(7): [15]SAJJADI M S M.SCHOLKOPF B.HIRSCH M.Enhan- 1141-1151 ceNet:single image super-resolution through automated [4]JAIN V,SEUNG S.Natural image denoising with convo- texture synthesis[C]//Proceedings of the IEEE Internation- lutional networksfCl//Advances in Neural Information Pro- al Conference on Computer Vision.Venice,Italy,2017: cessing Systems.Vancouver,Canada,2009:769-776. 4501-4510. [5]HUANG Gao,LIU Zhuang,VAN DER MAATEN L,et al. [16]ADFORD A.METZ L,CHINTALA S.Unsupervised Densely connected convolutional networks[C]//Proceed- representation learning with deep convolutional generat- ings of the IEEE Conference on Computer Vision and Pat- ive adversarial networks[EB/OL].[2021-06-07]https:// tern Recognition.Honolulu,USA,2017:2261-2269. arxiv.org/abs/1511.06434. [6]ZHANG Kai,ZUO Wangmeng,CHEN Yunjin,et al.Bey- [17]ZHAO Hang,GALLO O,FROSIO I,et al.Loss func- ond a Gaussian denoiser:residual learning of deep CNN tions for image restoration with neural networks[J].IEEE for image denoising[J].IEEE transactions on image pro- transactions on computational imaging,2017,3(1): cessing,2017,26(7):3142-3155. 47-57. [7]LIU Ding,WEN Bihan,FAN Yuchen,et al.Non-local re- [18]WHYTE O,SIVIC J,ZISSERMAN A,et al.Non-uni- current network for image restoration[C]//32nd Confer- form deblurring for shaken images[J].International journ- ence on Neural Information Processing Systems.Montreal, al of computer vision,2012,98(2):168-186. Canada,.2018:1673-1682 [19]NAH S,KIM T H,LEE K M.Deep multi-scale convolu- [8]GUO Shi,YAN Zifei,ZHANG Kai,et al.Toward convo- tional neural network for dynamic scene deblurring[C]//

5 结束语 针对相机成像时抖动、环境干扰、物体运动 等原因产生的图像运动模糊问题，本文提出了一 种利用残差密集网络的端到端图像盲复原方法， 残差密集网络结合残差网络和密集网络的优点， 通过长短连接的方式提取并融合不同层次的特 征，由于图像生成过程中大量信息的复用，提高 了图像复原的效果，并使用对抗训练的方式提高 网络性能；采用对抗损失和内容损失结合的损失 函数优化网络。在 GoPro 数据集和 Celeba 数据集 上进行实验，通过分析对比，本文方法能够得到 较好的复原效果。未来将优化算法，提高网络的 训练效率；分析其他退化图像，改进网络模型，使 其适用于多种退化图像。 参考文献： 程俊廷, 左旺孟. 快速非均匀模糊图像的盲复原模型 [J]. 黑龙江科技大学学报, 2017, 27(2): 196–199. CHENG Junting, ZUO Wangmeng. Fast blind deblurring models for restoration of non-uniform blur images[J]. Journal of Heilongjiang University of Science and Techno￾logy, 2017, 27(2): 196–199. [1] BANHAM M R, KATSAGGELOS A K. Digital image restoration[J]. IEEE signal processing magazine, 1997, 14(2): 24–41. [2] ZHOU Y T, CHELLAPPA R, VAID A, et al. Image restor￾ation using a neural network[J]. IEEE transactions on acoustics, speech, and signal processing, 1988, 36(7): 1141–1151. [3] JAIN V, SEUNG S. Natural image denoising with convo￾lutional networks[C]//Advances in Neural Information Pro￾cessing Systems. Vancouver, Canada, 2009: 769−776. [4] HUANG Gao, LIU Zhuang, VAN DER MAATEN L, et al. Densely connected convolutional networks[C]//Proceed￾ings of the IEEE Conference on Computer Vision and Pat￾tern Recognition. Honolulu, USA, 2017: 2261−2269. [5] ZHANG Kai, ZUO Wangmeng, CHEN Yunjin, et al. Bey￾ond a Gaussian denoiser: residual learning of deep CNN for image denoising[J]. IEEE transactions on image pro￾cessing, 2017, 26(7): 3142–3155. [6] LIU Ding, WEN Bihan, FAN Yuchen, et al. Non-local re￾current network for image restoration[C]//32nd Confer￾ence on Neural Information Processing Systems. Montréal, Canada, 2018: 1673−1682. [7] [8] GUO Shi, YAN Zifei, ZHANG Kai, et al. Toward convo￾lutional blind denoising of real photographs[C]//Proceed￾ings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach, USA, 2019: 1712−1722. CHA S, MOON T. Fully convolutional pixel adaptive im￾age denoiser[C]//Proceedings of the IEEE/CVF Interna￾tional Conference on Computer Vision. Seoul, Korea (South), 2019: 4159−4168. [9] GOODFELLOW I J, POUGET-ABADIE J, MIRZA M, et al. Generative adversarial nets[C]//Proceedings of the 27th International Conference on Neural Information Pro￾cessing Systems. Montreal, Canada, 2014: 2672−2680. [10] KUPYN O, BUDZAN V, MYKHAILYCH M, et al. DeblurGAN: blind motion deblurring using conditional adversarial networks[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, USA, 2018: 8183−8192. [11] WANG M, LI H, LI F. Generative adversarial network based on resnet for conditional image restoration[EB/OL]. [2021−06−07] https://arxiv.org/abs/1707.04881. [12] ZHOU H, SUN J, YACOOB Y, et al. Label denoising ad￾versarial network (LDAN) for inverse lighting of faces[C]//Proceedings of the IEEE Conference on Com￾puter Vision and Pattern Recognition. Salt Lake City, USA, 2018: 6238-6247. [13] ZHANG Yulun, TIAN Yapeng, KONG Yu, et al. Resid￾ual dense network for image super-resolution[C]//Pro￾ceedings of the IEEE/CVF Conference on Computer Vis￾ion and Pattern Recognition. Salt Lake City, USA, 2018: 2472−2481. [14] SAJJADI M S M, SCHÖLKOPF B, HIRSCH M. Enhan￾ceNet: single image super-resolution through automated texture synthesis[C]//Proceedings of the IEEE Internation￾al Conference on Computer Vision. Venice, Italy, 2017: 4501−4510. [15] ADFORD A, METZ L, CHINTALA S. Unsupervised representation learning with deep convolutional generat￾ive adversarial networks[EB/OL]. [2021−06−07] https:// arxiv.org/abs/1511.06434. [16] ZHAO Hang, GALLO O, FROSIO I, et al. Loss func￾tions for image restoration with neural networks[J]. IEEE transactions on computational imaging, 2017, 3(1): 47–57. [17] WHYTE O, SIVIC J, ZISSERMAN A, et al. Non-uni￾form deblurring for shaken images[J]. International journ￾al of computer vision, 2012, 98(2): 168–186. [18] NAH S, KIM T H, LEE K M. Deep multi-scale convolu￾tional neural network for dynamic scene deblurring[C]// [19] 第 3 期 林椹尠，等：利用残差密集网络的运动模糊复原方法 ·447·

·448· 智能系统学报 第16卷 Proceedings of the IEEE Conference on Computer Vision 作者简介： and Pattern Recognition.Honolulu,USA,2017:257-265. 林椹尠，教授，博士，主要研究方 [20]BENGIO Y,LOURADOUR J,COLLOBERT R,et al. 向为基于小波理论的图像处理。发表 Curriculum learning[C]//Proceedings of the 26th Annual 学术论文30余篇。 International Conference on Machine Learning.Montreal. Canada,2009:41-48. [21]佟雨兵，张其善，祁云平基于PSNR与SSIM联合的图 像质量评价模型刀.中国图象图形学报，2006,11(12)： 1758-1763. 张梦凯，硕士研究生，主要研究方 向为图像处理。 TONG Yubing,ZHANG Qishan,QI Yunping.Image quality assessing by combining PSNR with SSIM[J]. Journal of image and graphics,2006,11(12):1758-1763. [22]WANG Zhou,BOVIK A C,SHEIKH H R,et al.Image quality assessment:from error visibility to structural sim- ilarity[J].IEEE transactions on image processing,2004, 吴成茂，高级工程师，主要研究方 13(4):600-612 向为模式分析与智能信息处理、图像 处理与信息安全。发表学术论文 [23]TAO Xin,GAO Hongyun,SHEN Xiaoyong,et al.Scale- 200余篇。 recurrent network for deep image deblurring[C]//Proceed- ings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake City,USA,2018: 8174-8182 ACM-2021年第四届算法、计算和人工智能国际会议（ACAI2021) ACM-2021 4th International Conference on Algorithms,Computing and Artificial Intelligence(ACAI 2021) ◆大会信息 021年第四届算法、计算和人工智能国际会议(ACAI2021)将于2021年12月22-24日在中国三亚召 开。本会议主要围绕“算法、计算和人工智能”的最新研究领域而展开，致力于促进世界顶尖创新者、科学 家、学者、研究人员和思想领导者之间的交流和探讨，促进算法、计算和人工智能领域的发展，在会议的这三 天里，您将有机会聆听到前沿的学术报告，见证该领域的成果与进步 ◆论文出版和检索 ACAI2021会议论文集依I旧由ACM出版，收录在ACM Digital Library中，并被EI Compendex,.Scopus, CNKI等检索。 *ACAI前三届会议论文均已由ACM成功出版，并于出版后1个月左右完成EI和Scopus检索 ◆联系方式 会议官网：htp:/www.acai2021.ne/ 邮箱：sub@acai2021.net QQ咨询：1455341287

Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, USA, 2017: 257−265. BENGIO Y, LOURADOUR J, COLLOBERT R, et al. Curriculum learning[C]//Proceedings of the 26th Annual International Conference on Machine Learning. Montreal, Canada, 2009: 41−48. [20] 佟雨兵, 张其善, 祁云平. 基于 PSNR 与 SSIM 联合的图 像质量评价模型 [J]. 中国图象图形学报, 2006, 11(12): 1758–1763. TONG Yubing, ZHANG Qishan, QI Yunping. Image quality assessing by combining PSNR with SSIM[J]. Journal of image and graphics, 2006, 11(12): 1758–1763. [21] WANG Zhou, BOVIK A C, SHEIKH H R, et al. Image quality assessment: from error visibility to structural sim￾ilarity[J]. IEEE transactions on image processing, 2004, 13(4): 600–612. [22] TAO Xin, GAO Hongyun, SHEN Xiaoyong, et al. Scale￾recurrent network for deep image deblurring[C]//Proceed￾ings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, USA, 2018: 8174−8182. [23] 作者简介： 林椹尠，教授，博士，主要研究方 向为基于小波理论的图像处理。发表 学术论文 30 余篇。 张梦凯，硕士研究生，主要研究方 向为图像处理。 吴成茂，高级工程师，主要研究方 向为模式分析与智能信息处理、图像 处理与信息安全。发表学术论文 200 余篇。 ACM-2021 年第四届算法、计算和人工智能国际会议（ACAI 2021) ACM-2021 4th International Conference on Algorithms, Computing and Artificial Intelligence(ACAI 2021) ◆大会信息 021 年第四届算法、计算和人工智能国际会议（ACAI 2021）将于 2021 年 12 月 22−24 日在中国三亚召 开。本会议主要围绕“算法、计算和人工智能”的最新研究领域而展开，致力于促进世界顶尖创新者、科学 家、学者、研究人员和思想领导者之间的交流和探讨，促进算法、计算和人工智能领域的发展，在会议的这三 天里，您将有机会聆听到前沿的学术报告，见证该领域的成果与进步 ◆论文出版和检索 ACAI 2021 会议论文集依旧由 ACM 出版，收录在 ACM Digital Library 中，并被 EI Compendex，Scopus， CNKI 等检索。 *ACAI 前三届会议论文均已由 ACM 成功出版，并于出版后 1 个月左右完成 EI 和 Scopus 检索 ◆联系方式 会议官网：http://www.acai2021.net/ 邮箱：sub@acai2021.net QQ 咨询：1455341287 ·448· 智 能 系 统 学 报 第 16 卷