【机器感知与模式识别】基于生成对抗网络的机载遥感图像超分辨率重建

团购合买资源类别：文库，文档格式：PDF，文档页数：10，文件大小：3.69MB

第15卷第1期智能系统学报 Vol.15 No.1 2020年1月 CAAI Transactions on Intelligent Systems Jan.2020 D0L:10.11992tis.202002002 基于生成对抗网络的机载遥感图像超分辨率重建毕晓君，潘梦迪 (1.中夹民族大学信息工程学院，北京100081；2.哈尔滨工程大学信息与通信工程学院，黑龙江哈尔滨150001) 摘要：为解决机载遥感图像质量易受环境影响的问题，对其进行超分辨率重建，对现有深度学习机载遥感图像超分辨率重建方法存在的特征提取能力差、重建图像边缘平滑、模型训练困难的问题进行改进，增强图像重建效果。将生成对抗网络作为模型的整体框架，使用密集剩余残差块增强模型特征提取能力，增加跳跃连接，有效提取机载遥感图像的浅层和深层特征，引入沃瑟斯坦式生成对抗网络优化模型训练。该方法能够有效对机载遥感图像进行4倍重建，在峰值信噪比评价上较对比方法约有2B增益，重建出的机载遥感图像在视觉上更清晰、细节更丰富、边缘更锐利。实验结果表明，该方法有效提升了模型特征提取能力，优化了训练过程，重建的机载遥感图像效果较好。关键词：机载遥感；超分辨率重建；深度学习：密集剩余残差块；特征提取；跳跃链接；沃瑟斯坦；生成对抗网络中图分类号：TP751.1文献标志码：A文章编号：1673-4785(2020)01-0074-10 中文引用格式：毕晓君，潘梦迪.基于生成对抗网络的机载遥感图像超分辨率重建.智能系统学报，2020,15(1)：74-83. 英文引用格式：BI Xiaojun,PAN Mengdi.Super--resolution reconstruction of airborne remote sensing images based on the generat- ive adversarial networks[Jl.CAAI transactions on intelligent systems,2020,15(1):74-83. Super-resolution reconstruction of airborne remote sensing images based on the generative adversarial networks BI Xiaojun',PAN Mengdi? (1.School of Information Engineering,Minzu University of China,Beijing 100081,China;2.Department of Information and Com- munication Engineering,Harbin Engineering University,Harbin 150001,China) Abstract:To solve the problem that the quality of airborne remote sensing images is susceptible to environmental im- pacts,super-resolution reconstruction is carried out.The existing super-resolution reconstruction methods for deep learn- ing airborne remote sensing images has the problems of poor feature extraction capability,smooth edges of reconstruc- ted images and difficulty in model training,the image reconstruction effect is enhanced to solve the above problems. The generative adversarial network is taken as the overall framework of the model.The dense residual block is used to enhance the feature extraction capability of the model,and jump connection is added to effectively extract the shallow and deep features of airborne remote sensing images.The Wasserstein-type generative adversarial network optimization model training is introduced.The method can effectively reconstruct airborne remote sensing images by 4 times,and has a gain of 2 dB or so in peak signal-to-noise ratio evaluation compared with other methods for comparison.The recon- structed airborne remote sensing images are clearer in vision,richer in details and sharper in edges.The experimental results show that the method effectively improves the model feature extraction ability,optimizes the training process, and the reconstructed airborne remote sensing image has better effect. Keywords:airborne remote sensing;super-resolution reconstruction;deep learning;residual in residual dense block; feature extraction;jump connection:Wasserstein;generative adversarial network 近年来，随着人们对航空航天领域开发的重收稿日期：2020-02-04. 基金项目：国家自然科学基金项目(51779050). 视，卫星、无人机等设备被应用到日常信息获取通信作者：毕晓君.E-mail:bixiaojun@hrbeu.edu.cn 中来，由它们获取到的遥感图像具有面积大、范

DOI: 10.11992/tis.202002002 基于生成对抗网络的机载遥感图像超分辨率重建毕晓君1 ，潘梦迪2 （1. 中央民族大学信息工程学院，北京 100081; 2. 哈尔滨工程大学信息与通信工程学院，黑龙江哈尔滨 150001）摘要：为解决机载遥感图像质量易受环境影响的问题，对其进行超分辨率重建，对现有深度学习机载遥感图像超分辨率重建方法存在的特征提取能力差、重建图像边缘平滑、模型训练困难的问题进行改进，增强图像重建效果。将生成对抗网络作为模型的整体框架，使用密集剩余残差块增强模型特征提取能力，增加跳跃连接，有效提取机载遥感图像的浅层和深层特征，引入沃瑟斯坦式生成对抗网络优化模型训练。该方法能够有效对机载遥感图像进行 4 倍重建，在峰值信噪比评价上较对比方法约有 2 dB 增益，重建出的机载遥感图像在视觉上更清晰、细节更丰富、边缘更锐利。实验结果表明，该方法有效提升了模型特征提取能力，优化了训练过程，重建的机载遥感图像效果较好。关键词：机载遥感；超分辨率重建；深度学习；密集剩余残差块；特征提取；跳跃链接；沃瑟斯坦；生成对抗网络中图分类号：TP751.1 文献标志码：A 文章编号：1673−4785(2020)01−0074−10 中文引用格式：毕晓君, 潘梦迪. 基于生成对抗网络的机载遥感图像超分辨率重建 [J]. 智能系统学报, 2020, 15(1): 74–83. 英文引用格式：BI Xiaojun, PAN Mengdi. Super-resolution reconstruction of airborne remote sensing images based on the generative adversarial networks[J]. CAAI transactions on intelligent systems, 2020, 15(1): 74–83. Super-resolution reconstruction of airborne remote sensing images based on the generative adversarial networks BI Xiaojun1 ，PAN Mengdi2 (1. School of Information Engineering, Minzu University of China, Beijing 100081, China; 2. Department of Information and Communication Engineering, Harbin Engineering University, Harbin 150001, China) Abstract: To solve the problem that the quality of airborne remote sensing images is susceptible to environmental impacts, super-resolution reconstruction is carried out. The existing super-resolution reconstruction methods for deep learning airborne remote sensing images has the problems of poor feature extraction capability, smooth edges of reconstructed images and difficulty in model training, the image reconstruction effect is enhanced to solve the above problems. The generative adversarial network is taken as the overall framework of the model. The dense residual block is used to enhance the feature extraction capability of the model, and jump connection is added to effectively extract the shallow and deep features of airborne remote sensing images. The Wasserstein-type generative adversarial network optimization model training is introduced. The method can effectively reconstruct airborne remote sensing images by 4 times, and has a gain of 2 dB or so in peak signal-to-noise ratio evaluation compared with other methods for comparison. The reconstructed airborne remote sensing images are clearer in vision, richer in details and sharper in edges. The experimental results show that the method effectively improves the model feature extraction ability, optimizes the training process, and the reconstructed airborne remote sensing image has better effect. Keywords: airborne remote sensing; super-resolution reconstruction; deep learning; residual in residual dense block; feature extraction; jump connection; Wasserstein; generative adversarial network 近年来，随着人们对航空航天领域开发的重视，卫星、无人机等设备被应用到日常信息获取中来，由它们获取到的遥感图像具有面积大、范收稿日期：2020−02−04. 基金项目：国家自然科学基金项目 (51779050). 通信作者：毕晓君. E-mail：bixiaojun@hrbeu.edu.cn. 第 15 卷第 1 期智能系统学报 Vol.15 No.1 2020 年 1 月 CAAI Transactions on Intelligent Systems Jan. 2020

第1期毕晓君，等：基于生成对抗网络的机载遥感图像超分辨率重建 ·75· 围广、信息量大等特点，在工业、农业、军事等领练不稳定的问题。域具有重要的意义山。而其中，机载遥感技术以因此，基于机载遥感图像对于地物识别和丰其造价低、灵活性高、平台机动性高等优势成为富细节的较高要求，针对现有图像SR重建算法必备手段之一，被广泛应用到军事无人机侦察、存在的问题，本文在SRGAN的基础上提出一种重大自然灾害监测等方面。但是，由于硬件条件基于改进的生成对抗网络机载遥感图像超分辨率的限制，加上距离、气流、运动等外界因素对于采重建方法。在生成器部分采用密集剩余残差块增集设备的影响，经常使获取到的机载遥感图像清强整个网络的特征提取能力，将残差网络与密集晰度较差，细节不够丰富，放大时无法识别细节网络的思想相结合，利用残差缩放和层级之间的信息。因此，对机载遥感图像进行超分辨率重直连，将各层提取到的特征信息更好地传递，重建处理十分必要。建出细节丰富的机载遥感图像；引入WGAN对网图像超分辨率(super resolution,SR)重建就是络进行优化，解决原始GAN存在的难以训练、生从低分辨率(low resolution,LR)图像中恢复出相成样本缺乏多样性的问题，并选取以感知损失为应的高分辨率(high resolution,HR)图像的过程。主的目标函数优化训练过程，进一步提升图像重传统的图像SR重建方法，如基于插值的方法、基建质量。于重建的方法和基于经典学习的方法等，虽然计算简单易于理解，但是存在以下几个问题：1)重 1相关工作建图像边缘模糊、超分辨能力较差；2)随着放大 1.1 超分辨率重建倍数的增加提高，图像细节信息丢失；3)对训练图像超分辨率重建可以从一幅或多幅低分辨样本要求较高，需要获取先验知识。近年来，随率图像中恢复出一幅高分辨率图像，它的原理可着深度学习的发展，使得图像超分辨率重建有了以看做是低分辨率图像成像观测模型的逆过程。新的突破。2014年，Dong等将深度学习的思想采集到的真实图像在理想情况下是高分辨率的，引入图像SR重建中来，提出一种基于卷积神经但是在经过成像系统时，由于硬件条件的限制网络的超分辨率重建模型SRCNN,通过学习高、 (如传感器)和运动等现实情况造成的模糊，使得低分辨率图像之间的映射关系，利用卷积层和最终呈现出来的是低分辨率的图像。而图像超分 RεLU激活函数获得学习重建高分辨率图像的能辨率重建恰恰是成像过程的逆过程，如图1所示。力。2016年，Dong等对之前提出的SRCNN模型进行改进，提出FSRCNN模型，不再需要在网超分辨率重建、逆过程络外部进行放大图片尺寸的操作，同时通过添加理想高分辨率图像收缩层和扩张层，将一个大层用一些小层来代传感器噪声替，实现了速度提升。2016年，Kim等向以牺牲采样下采样无混叠) (有混叠) 收敛速度为代价，通过增加卷积层数来提高重建图像质量，提出了具有20层网络的模型VSDR。其实图像成像系统但是，由于卷积神经网络在图像细节的恢复上缺观测模型、正过程乏真实性，在放大倍数较高的时，需要使用很深图1成像正过程与超分辨率重建逆过程的网络层数才能有效提取图像的高频细节，而生 Fig.1 Positive imaging process and inverse process of su- 成对抗网络(GAN)作为深度学习领域的新星，凭 per-resolution reconstruction 借自身强大的图像生成能力，成为图像SR重建早在1984年，Tsai和Huang等1o首次将图像领域的佼佼者。2017年，Legid等提出一种基于超分辨率重建带入人们的视野，随后的几十年间生成对抗网络的图像超分辨率重建模型SRGAN, 被学者们广泛的研究和应用。图像SR重建的方利用生成对抗网络自我优化的特性，在图像高频法分类广泛，根据技术原理的不同大体上可以分细节纹理恢复上得到了很好的视觉效果，但由于为基于插值的方法、基于重建的方法和基于学习使用JS、KL散度衡量原始生成对抗网络分布间的方法"。详细的分类如图2所示。在这些方法的距离存在缺陷，使得网络训练非常困难。2017 中，传统的基于插值、重建以及经典学习的方法，年，Arjovsky等I8提出了沃瑟斯坦式GAN,使用虽然计算简单，容易理解和操作，但由于其自身沃瑟斯坦距离代替JS、KL散度来衡量生成分布对于图像特征提取的局限性，无法满足机载遥感与真实分布间的距离，有效解决了原始GAN训图像在放大倍数较高时对于图像细节的要求。因

围广、信息量大等特点，在工业、农业、军事等领域具有重要的意义[1]。而其中，机载遥感技术以其造价低、灵活性高、平台机动性高等优势成为必备手段之一，被广泛应用到军事无人机侦察、重大自然灾害监测等方面。但是，由于硬件条件的限制，加上距离、气流、运动等外界因素对于采集设备的影响，经常使获取到的机载遥感图像清晰度较差，细节不够丰富，放大时无法识别细节信息[2]。因此，对机载遥感图像进行超分辨率重建处理十分必要。图像超分辨率 (super resolution, SR) 重建就是从低分辨率 (low resolution, LR) 图像中恢复出相应的高分辨率 (high resolution, HR) 图像的过程[3]。传统的图像 SR 重建方法，如基于插值的方法、基于重建的方法和基于经典学习的方法等，虽然计算简单易于理解，但是存在以下几个问题：1) 重建图像边缘模糊、超分辨能力较差；2) 随着放大倍数的增加提高，图像细节信息丢失；3) 对训练样本要求较高，需要获取先验知识。近年来，随着深度学习的发展，使得图像超分辨率重建有了新的突破。2014 年，Dong 等 [4] 将深度学习的思想引入图像 SR 重建中来，提出一种基于卷积神经网络的超分辨率重建模型 SRCNN，通过学习高、低分辨率图像之间的映射关系，利用卷积层和 ReLU 激活函数获得学习重建高分辨率图像的能力。2016 年，Dong 等 [5] 对之前提出的 SRCNN 模型进行改进，提出 FSRCNN 模型，不再需要在网络外部进行放大图片尺寸的操作，同时通过添加收缩层和扩张层，将一个大层用一些小层来代替，实现了速度提升。2016 年，Kim 等 [6] 以牺牲收敛速度为代价，通过增加卷积层数来提高重建图像质量，提出了具有 20 层网络的模型 VSDR。但是，由于卷积神经网络在图像细节的恢复上缺乏真实性，在放大倍数较高的时，需要使用很深的网络层数才能有效提取图像的高频细节，而生成对抗网络 (GAN) 作为深度学习领域的新星，凭借自身强大的图像生成能力，成为图像 SR 重建领域的佼佼者。2017 年，Legid 等 [7] 提出一种基于生成对抗网络的图像超分辨率重建模型 SRGAN，利用生成对抗网络自我优化的特性，在图像高频细节纹理恢复上得到了很好的视觉效果，但由于使用 JS、KL 散度衡量原始生成对抗网络分布间的距离存在缺陷，使得网络训练非常困难。2017 年，Arjovsky 等 [8] 提出了沃瑟斯坦式 GAN，使用沃瑟斯坦距离代替 JS、KL 散度来衡量生成分布与真实分布间的距离，有效解决了原始 GAN 训练不稳定的问题。因此，基于机载遥感图像对于地物识别和丰富细节的较高要求，针对现有图像 SR 重建算法存在的问题，本文在 SRGAN 的基础上提出一种基于改进的生成对抗网络机载遥感图像超分辨率重建方法。在生成器部分采用密集剩余残差块增强整个网络的特征提取能力，将残差网络与密集网络的思想相结合，利用残差缩放和层级之间的直连，将各层提取到的特征信息更好地传递，重建出细节丰富的机载遥感图像；引入 WGAN 对网络进行优化，解决原始 GAN 存在的难以训练、生成样本缺乏多样性的问题，并选取以感知损失为主的目标函数优化训练过程，进一步提升图像重建质量。 1 相关工作 1.1 超分辨率重建图像超分辨率重建可以从一幅或多幅低分辨率图像中恢复出一幅高分辨率图像，它的原理可以看做是低分辨率图像成像观测模型的逆过程[9]。采集到的真实图像在理想情况下是高分辨率的，但是在经过成像系统时，由于硬件条件的限制 (如传感器) 和运动等现实情况造成的模糊，使得最终呈现出来的是低分辨率的图像。而图像超分辨率重建恰恰是成像过程的逆过程，如图 1 所示。超分辨率重建、逆过程理想高分辨率图像观测模型、正过程真实图像成像系统采样 (无混叠) 下采样 (有混叠) 传感器噪声运动与模糊 + 图 1 成像正过程与超分辨率重建逆过程 Fig. 1 Positive imaging process and inverse process of super-resolution reconstruction 早在 1984 年，Tsai 和 Huang 等 [10] 首次将图像超分辨率重建带入人们的视野，随后的几十年间被学者们广泛的研究和应用。图像 SR 重建的方法分类广泛，根据技术原理的不同大体上可以分为基于插值的方法、基于重建的方法和基于学习的方法[11]。详细的分类如图 2 所示。在这些方法中，传统的基于插值、重建以及经典学习的方法，虽然计算简单，容易理解和操作，但由于其自身对于图像特征提取的局限性，无法满足机载遥感图像在放大倍数较高时对于图像细节的要求。因第 1 期毕晓君，等：基于生成对抗网络的机载遥感图像超分辨率重建 ·75·

·76· 智能系统学报第15卷此，当深度学习被应用于图像超分辨率重建时，使用卷积神经网络重建出的高分辨率图像其细节其强大的学习能力使得图像特征能够被保留下往往缺乏真实性，边缘较平滑，图像质量不高。来，重建后的图像细节信息更丰富，与传统方法因此，生成对抗网络以其自身具备的图像生成能相比重建的效果有了很大的提升。但是，大多数力使得图像真实细节的重建有了新的突破。图像超分辨率重建基于插值基于重建基于学习基于经典学习基于深度学习最邻近差值法迭代反投影法双线性插值法凸集投影法邻域嵌人法卷积神经网络双三次插值法极大似然估计法稀疏表示法生成对抗网络最大后验概率估计法错定邻域回归法 ” 图2图像超分辨率重建方法分类 Fig.2 Classification of image super-resolution reconstruction methods 1.2生成对抗网络难、生成样本缺乏多样性等问题，许多学者尝试 2014年，Goodfellow提出生成式对抗网络着对其进行改进，但成效甚微。2017年，Ar- (generative adversarial network,GAN)。其核心来 jovsky等⑧I提出用沃瑟斯坦(Wasserstein)距离代源于博弈论中的“纳什均衡”，也就是模拟“二人零替原始GAN中生成分布与真实分布之间的和博弈”，即两个人之间是一个无合作的竞争关 KL散度和JS散度，使得在真实分布与生成分布系，此消彼长，你获益我受损，而且总和守恒为没有重合的情况下，依然能够反映二者的远近，零，所以称之“对抗式”。生成对抗网络顾名思且能够提供有意义的梯度，有效地解决了原始义，就是一种通过对抗的方式，去学习数据分布 GAN存在的问题。Wasserstein距离可表示为的生成式模型，分为生成器G和判别器D两个部 W(P,Pa)=inf Esllx-yl Y-(PP) 分，而所谓的对抗，就是指生成器和判别器的互式中：P,表示真实样本分布；P。表示生成器生成相对抗。生成器尽可能生成逼真样本，判别器则的样本分布；y表示联合分布；(P,P)表示P,和尽可能去判别该样本是真实样本，还是生成的假 Pg所有可能的联合分布的集合；Ix-y为样本x 样本。为了胜过对方，生成器和判别器不断进行和y之间的距离。所以Wasserstein距离表示对所对抗和自我优化，各自提高生成能力和判别能有可能的联合分布下的样本对距离的期望值取下力，寻找二者之间的“均衡”，生成式对抗网络的界。为简化求解过程，本文引入适当范围的含参结构如图3所示。数w且令最后一层不是非线性激活层的判别器网络f(x)得到：假数据 LuP.P)=Ex-r.[fi(x)]-E-P,[f.(x)] 生成器( Ge) 取最大值得到的LP,P近似为P,和Pg之间判别器D 其/假随机噪声的Wasserstein距离。此时，最小化Lr,就可以得到WGAN生成器的损失函数LG和判别器的损真数据失函数Lo: 图3生成对抗网络结构 La=-Ex-P,[fi(x)] Fig.3 The structure of the generate adversarial network LD Ex-r,[f.(x)]-E-p.[f.(x)] 1.3沃瑟斯坦式生成对抗网络 LRP越小，表示P,与Pg的Wasserstein距离越自提出以来，生成对抗网络就存在着训练困小，GAN训练得越好

此，当深度学习被应用于图像超分辨率重建时，其强大的学习能力使得图像特征能够被保留下来，重建后的图像细节信息更丰富，与传统方法相比重建的效果有了很大的提升。但是，大多数使用卷积神经网络重建出的高分辨率图像其细节往往缺乏真实性，边缘较平滑，图像质量不高。因此，生成对抗网络以其自身具备的图像生成能力使得图像真实细节的重建有了新的突破。图像超分辨率重建基于重建基于学习基于经典学习基于深度学习最邻近差值法双线性插值法双三次插值法 … 迭代反投影法凸集投影法极大似然估计法最大后验概率估计法 … 邻域嵌入法稀疏表示法锚定邻域回归法 … 卷积神经网络生成对抗网络 … 基于插值图 2 图像超分辨率重建方法分类 Fig. 2 Classification of image super-resolution reconstruction methods 1.2 生成对抗网络 2014 年，Goodfellow 提出生成式对抗网络 (generative adversarial network，GAN)[12]。其核心来源于博弈论中的“纳什均衡”，也就是模拟“二人零和博弈”，即两个人之间是一个无合作的竞争关系，此消彼长，你获益我受损，而且总和守恒为零，所以称之“对抗式”。生成对抗网络顾名思义，就是一种通过对抗的方式，去学习数据分布的生成式模型，分为生成器 G 和判别器 D 两个部分，而所谓的对抗，就是指生成器和判别器的互相对抗。生成器尽可能生成逼真样本，判别器则尽可能去判别该样本是真实样本，还是生成的假样本。为了胜过对方，生成器和判别器不断进行对抗和自我优化，各自提高生成能力和判别能力，寻找二者之间的“均衡”，生成式对抗网络的结构如图 3 所示。生成器G x 判别器D 假数据真数据随机噪声z G(z) 真/假图 3 生成对抗网络结构 Fig. 3 The structure of the generate adversarial network 1.3 沃瑟斯坦式生成对抗网络自提出以来，生成对抗网络就存在着训练困难、生成样本缺乏多样性等问题，许多学者尝试着对其进行改进，但成效甚微。2017 年， Arjovsky 等 [8] 提出用沃瑟斯坦 (Wasserstein) 距离代替原始 G AN 中生成分布与真实分布之间的 KL 散度和 JS 散度，使得在真实分布与生成分布没有重合的情况下，依然能够反映二者的远近，且能够提供有意义的梯度，有效地解决了原始 GAN 存在的问题。Wasserstein 距离可表示为 W(Pr,Pg) = inf γ∼ ∏(Pr,Pg ) E(x,y)∼γ[∥ x−y ∥] Pr Pg γ ∏(Pr ,Pg) Pr Pg ∥ x−y ∥ x y w fw(x) 式中：表示真实样本分布；表示生成器生成的样本分布；表示联合分布；表示和所有可能的联合分布的集合；为样本和之间的距离。所以 Wasserstein 距离表示对所有可能的联合分布下的样本对距离的期望值取下界。为简化求解过程，本文引入适当范围的含参数且令最后一层不是非线性激活层的判别器网络得到： L(Pr,Pg ) = Ex∼Pr [fw(x)]− Ex∼Pg [fw(x)] L(Pr,Pg) Pr Pg L(Pr,Pg) LG LD 取最大值得到的近似为和之间的 Wasserstein 距离。此时，最小化就可以得到 WGAN 生成器的损失函数和判别器的损失函数： LG = −Ex∼Pg [fw(x)] LD = Ex∼Pg [fw(x)]− Ex∼Pr [fw(x)] L(Pr,Pg) 越小，表示 Pr 与 Pg 的 Wasserstein 距离越小，GAN 训练得越好。 ·76· 智能系统学报第 15 卷

第1期毕晓君，等：基于生成对抗网络的机载遥感图像超分辨率重建 ·77· 2本文方法分组成：先由生成器网络生成重建的高分辨率图像；再将生成的重建图像与真实图像同时输入判 2.1网络结构设计别器网络，由判别器进行判别是真实图像还是重针对机载遥感图像超分辨率重建过程中存在建图像。若判别器能够分辨出重建图像，则证明的问题，本文提出一种基于WGAN的机载遥感图图像重建质量不佳，此时反馈给生成器继续进行像超分辨率重建模型。模型以生成对抗网络为主训练；若判别器不能分辨出重建图像与真实图体，分别对生成器和判别器做出改进，整体结构像，则证明生成器已完成训练。如图4所示。整个网络由生成器部分和判别器部生成器 H 密集剩余残差块图像 RRDB 重硅重建图像图像判别器真真实图像像图4网络整体结构 Fig.4 Overall network structure 2.1.1生成器网络的设计密集在生成器部分，先由卷积层提取载遥感图像摸块浅层的特征信息并传递给上采样层；再由特征提取模块进行深层特征的提取和传输；最后经过非密集剩余残差块线性映射、上采样等操作对图像进行重建。 RRDB 在生成器网络结构的设计上，本文采用密集剩余残差块(residual-.in-residual dense block, 图5特征提取模块 Fig.5 Feature extraction block RRDB)代替SRGAN的特征提取模块，增强模型每个密集模块都由5层卷积网络通过跳跃特征提取能力，通过去除特征提取模块中的批量连接组成，并增加残差缩放将残差乘以0~1之间归一化(batch norm,BN层减少计算复杂度，并的常数，然后将它们添加到主传输路径上来保证在残差块连接处增加残差缩放来稳定训练过程。训练的稳定性，其结构如图6所示。本文采用的在特征提取模块中，本文采用23个RRDB作缩放因子为01。在每个密集块中最后的卷积层为主要组成，每一个RRDB内部都包含3个密集紧连着一个恒定的缩放层，当使用大量滤波器模块(dense block)来代替SRGAN中由两个3×3 时，这些缩放层极大地稳定了训练过程。在密集的卷积层、BN层和ReLU激活层组成的基础块，块中，前4层卷积层后都接有激活函数Leaky- 通过密集模块间的密集的连接，增加层数的同时 RLU层，最后一层只有一个卷积层。通过密集增加层与层之间的连接，从而增强模型的特征提连接的结构用更短跳跃连接的方式有效地保障了取能力，特征提取模块的具体结构如图5所示。各层之间的信息传递，对于每一层来说，它的输

2 本文方法 2.1 网络结构设计针对机载遥感图像超分辨率重建过程中存在的问题，本文提出一种基于 WGAN 的机载遥感图像超分辨率重建模型。模型以生成对抗网络为主体，分别对生成器和判别器做出改进，整体结构如图 4 所示。整个网络由生成器部分和判别器部分组成：先由生成器网络生成重建的高分辨率图像；再将生成的重建图像与真实图像同时输入判别器网络，由判别器进行判别是真实图像还是重建图像。若判别器能够分辨出重建图像，则证明图像重建质量不佳，此时反馈给生成器继续进行训练；若判别器不能分辨出重建图像与真实图像，则证明生成器已完成训练。生成器判别器输入图像重建图像密集(I) 真实图像卷积卷积真实图像重建图像卷积密集剩余残差块 RRDB 上采 RRDB RRDB 样 ×β ×β ×β ×β 密集(1024) Leaky ReLU Leaky ReLU Leaky ReLU 密集模块密集模块密集模块批量归一化图 4 网络整体结构 Fig. 4 Overall network structure 2.1.1 生成器网络的设计在生成器部分，先由卷积层提取载遥感图像浅层的特征信息并传递给上采样层；再由特征提取模块进行深层特征的提取和传输；最后经过非线性映射、上采样等操作对图像进行重建。在生成器网络结构的设计上，本文采用密集剩余残差块 (residual-in-residual dense block， RRDB) 代替 SRGAN 的特征提取模块，增强模型特征提取能力，通过去除特征提取模块中的批量归一化 (batch norm，BN)[13] 层减少计算复杂度，并在残差块连接处增加残差缩放来稳定训练过程。 3×3 在特征提取模块中，本文采用 23 个 RRDB 作为主要组成，每一个 RRDB 内部都包含 3 个密集模块 (dense block) 来代替 SRGAN 中由两个的卷积层、BN 层和 ReLU 激活层组成的基础块，通过密集模块间的密集的连接，增加层数的同时增加层与层之间的连接，从而增强模型的特征提取能力，特征提取模块的具体结构如图 5 所示。密集剩余残差块 RRDB RRDB RRDB 密集模块密集模块密集 ×β ×β ×β 模块 ×β 图 5 特征提取模块 Fig. 5 Feature extraction block 每个密集模块都由 5 层卷积网络通过跳跃连接组成，并增加残差缩放将残差乘以 0~1 之间的常数，然后将它们添加到主传输路径上来保证训练的稳定性，其结构如图 6 所示。本文采用的缩放因子为 0.1。在每个密集块中最后的卷积层紧连着一个恒定的缩放层，当使用大量滤波器时，这些缩放层极大地稳定了训练过程。在密集块中，前 4 层卷积层后都接有激活函数 LeakyReLU[14] 层，最后一层只有一个卷积层。通过密集连接的结构用更短跳跃连接的方式有效地保障了各层之间的信息传递，对于每一层来说，它的输第 1 期毕晓君，等：基于生成对抗网络的机载遥感图像超分辨率重建 ·77·

·78· 智能系统学报第15卷入都由之前每一层的特征图组成，并将自己的所间的欧氏距离；中表示在VGG19网络内在第i 有特征图作为下一层的输出。个最大池化层之前通过第j个卷积层（激活之后)所获得的特征映射：W,和H表示VGG网络 Dense 特征图的尺寸。由于WGAN的加入，对抗损失作为生成器损失的重要组成，可以表示为图6密集模块 LGen =-Ex-F,[fw(x)] Fig.6 Dense block 对应的判别器损失为批量归一化在卷积神经网络中具有重要作 LD Ex-r,[f.(x)]-Ex-P,[f.() 用，不仅可以加速网络收敛速度，易于训练深层为了更好地训练模型，最终取得更好的重建网络，还可以防止网络过拟合。但是，2017年，效果，本文设置的具体实验超参数为：生成器和 Lim等通过实验证明，在图像SR重建领域中，判别器的学习率均为0.0001，迭代次数为40万网络结构中加入批量归一化层并不能得到良好的次，在5万次后学习率衰减，batchsize为16，优化结果，反而会使得训练速度缓慢且不稳定，甚至算法选择RMSProp, 最后发散。因此，为了训练稳定性和一致性，在 2.3评价指标的选取设计生成器网络结构时，本文方法去除了传统密本文选择在图像超分辨率重建上最常用的峰集块和残差网络中的批量归一化层，在RRDB中值信噪比(PSNR)来对重建图像进行对比和评直接将卷积层与激活函数LeakyReLU相连，提高价。PSNR的本质是计算原始图像与重建图像像模型泛化能力，减少计算复杂度和内存使用。素点之间的误差，从而衡量二者之间的相似情 2.1.2判别器网络的设计况。其计算方法为在判别器部分，生成器的输出即重建出的机 PSNR=10xlg (2-1)2 载遥感图像，和真实图像同时作为判别器的输 MSE 入，进入判别器网络，通过判别模块对图像进行式中：n为每个采样值的比特数，峰值信噪比的单判别，最终通过两个密集层预测输入的为真实图位为dB,其值越大，表明原始图像与重建图像像像还是重建图像，再反馈给生成器。素点间误差越小，重建效果越好。MSE代表均方在判别器网络结构的设计上，为了解决原始误差，对于一个大小为M×N的图像，其计算公式为 GAN训练困难、生成样本缺乏多样性的问题，本文采用WGAN对判别器进行优化，并去除SR- MSE= 22- GAN判别器最末层的Sigmoid层。判别网络包 M×N 含8个卷积层，使用LeakyRelu作为激活函数，随式中：I和分别为原始图像与重建图像中像素着网络层数加深，特征个数从64增加到512，特点坐标为（位，）处的像素值。征尺寸不断减小。 3实验与结果分析 2.2损失函数与超参数设置为了实现对于机载遥感图像的清晰重建，根据 3.1数据集与实验环境本文提出的网络结构，选取在生成对抗网络上常用为了验证本文方法的有效性和先进性，选择机的感知损失作为代价函数对生成器损失进行优化。载遥感图像开放数据集NWPU-RESISC4516)和在生成对抗网络中，感知损失(perceptual loss)是由 UCMerced LandUsel71进行实验。NWPU- 内容损失和对抗损失共同决定的，其形式为 RESISC45机载遥感图像数据集，包含45个不同场 Lpercep=Lcontent+10Lcen 景下的机载遥感图像，包括飞机、港口、湖泊、高速式中：Lcontent为内容损失，Lcm为对抗损失。内容公路、商业区等场景，每类图像有700张，共31500 损失可被表示为张图像，图像大小为256×256，随机选择每类56张 1 图像共2520张图像组成训练集，1500张组成测试集。UCMerced LandUse遥感数据集是从USGS国 (Ga,(H))2 家地图“市区图像”集合中的大图像中提取的，涵盖式中：Lvcc表示在特征提取时，选取了VGG19 了21类土地资源遥感图像，每类100张，共2100 网络的RLU激活层为内容损失，该损失可以视张，我们将这2100张图像作为另一组测试集用于为重建图像G(IH)的特征表示与真实图像H 实验的验证。本文采用的实验环境设置如表1所示

入都由之前每一层的特征图组成，并将自己的所有特征图作为下一层的输出。 Dense block Conv LReLU Conv LReLU Conv LReLU Conv Conv LReLU 图 6 密集模块 Fig. 6 Dense block 批量归一化在卷积神经网络中具有重要作用，不仅可以加速网络收敛速度，易于训练深层网络，还可以防止网络过拟合。但是，2017 年， Lim 等 [15] 通过实验证明，在图像 SR 重建领域中，网络结构中加入批量归一化层并不能得到良好的结果，反而会使得训练速度缓慢且不稳定，甚至最后发散。因此，为了训练稳定性和一致性，在设计生成器网络结构时，本文方法去除了传统密集块和残差网络中的批量归一化层，在 RRDB 中直接将卷积层与激活函数 LeakyReLU 相连，提高模型泛化能力，减少计算复杂度和内存使用。 2.1.2 判别器网络的设计在判别器部分，生成器的输出即重建出的机载遥感图像，和真实图像同时作为判别器的输入，进入判别器网络，通过判别模块对图像进行判别，最终通过两个密集层预测输入的为真实图像还是重建图像，再反馈给生成器。在判别器网络结构的设计上，为了解决原始 GAN 训练困难、生成样本缺乏多样性的问题，本文采用 WGAN 对判别器进行优化，并去除 SRGAN 判别器最末层的 Sigmoid 层。判别网络包含 8 个卷积层，使用 LeakyRelu 作为激活函数，随着网络层数加深，特征个数从 64 增加到 512，特征尺寸不断减小。 2.2 损失函数与超参数设置为了实现对于机载遥感图像的清晰重建，根据本文提出的网络结构，选取在生成对抗网络上常用的感知损失作为代价函数对生成器损失进行优化。在生成对抗网络中，感知损失 (perceptual loss) 是由内容损失和对抗损失共同决定的，其形式为 Lpercep = Lcontent +10−3LGen 式中： Lcontent 为内容损失， LGen 为对抗损失。内容损失可被表示为 Lcontent = LVGG/i, j = 1 Wi, jHi, j ∑Wi, j x=1 ∑Hi, j y=1 (ϕi, j(I HR)x,y− ϕi, j(GθG (I HR))x,y) 2 LVGG/i, j GθG (I HR) I HR 式中：表示在特征提取时，选取了 VGG19 网络的 ReLU 激活层为内容损失，该损失可以视为重建图像的特征表示与真实图像 ϕi, j i j Wi, j Hi, j 间的欧氏距离；表示在 VGG19 网络内在第个最大池化层之前通过第个卷积层 (激活之后) 所获得的特征映射；和表示 VGG 网络特征图的尺寸。由于 WGAN 的加入，对抗损失作为生成器损失的重要组成，可以表示为 LGen = −Ex∼Pg [fw(x)] 对应的判别器损失为 LD = Ex∼Pg [fw(x)]− Ex∼Pr [fw(x)] 为了更好地训练模型，最终取得更好的重建效果，本文设置的具体实验超参数为：生成器和判别器的学习率均为 0.000 1，迭代次数为 40 万次，在 5 万次后学习率衰减，batchsize 为 16，优化算法选择 RMSProp。 2.3 评价指标的选取本文选择在图像超分辨率重建上最常用的峰值信噪比 (PSNR) 来对重建图像进行对比和评价。PSNR 的本质是计算原始图像与重建图像像素点之间的误差，从而衡量二者之间的相似情况。其计算方法为 PSNR = 10×lg[ (2n −1)2 MSE ] n MSE M ×N 式中：为每个采样值的比特数，峰值信噪比的单位为 dB，其值越大，表明原始图像与重建图像像素点间误差越小，重建效果越好。代表均方误差，对于一个大小为的图像，其计算公式为 MSE = ∑M i=1 ∑N j=1 (Ii j − I ′ i j) M ×N Ii j Ii j ′ (i, j) 式中：和分别为原始图像与重建图像中像素点坐标为处的像素值。 3 实验与结果分析 3.1 数据集与实验环境为了验证本文方法的有效性和先进性，选择机载遥感图像开放数据集 NWPU-RESISC45[16] 和 UCMerced_LandUse [ 1 7 ] 进行实验。NWPURESISC45 机载遥感图像数据集，包含 45 个不同场景下的机载遥感图像，包括飞机、港口、湖泊、高速公路、商业区等场景，每类图像有 700 张，共 31 500 张图像，图像大小为 256×256，随机选择每类 56 张图像共 2 520 张图像组成训练集，1 500 张组成测试集。UCMerced_LandUse 遥感数据集是从 USGS 国家地图“市区图像”集合中的大图像中提取的，涵盖了 21 类土地资源遥感图像，每类 100 张，共 2 100 张，我们将这 2 100 张图像作为另一组测试集用于实验的验证。本文采用的实验环境设置如表 1 所示。 ·78· 智能系统学报第 15 卷

表 1 实验环境配置 Table 1 Experimental environment configuration 实验硬件 Intel® CoreTMi7 8700 K 酷睿六核3.7 GHz 内存 32 GB 处理器 64 bit GPU GeForce GTX 1080 Ti GAMING X TRIO 11 GB GDDR5X 操作系统 Ubuntu 16.04 编程框架 Pytorch0.4.0 评价指标计算 MATLAB 3.2 实验结果分析在实验中，用 NWPU-RESISC45 数据集中的 2 520 张图像进行训练，并对 1 500 张图像进行测试。为验证本文方法的先进性，选择具有权威性的图像超分辨率重建领域的经典方法和计算机视觉领域顶级会议 ECCV、CVPR 上所发表的方法，从数值评价指标和视觉效果两方面与本文方法进行对比。对 NWPU-RESISC45 测试集中所有的测试图像的 PSNR 值求均值，可以得到如表 2 的结果。从表 2 可以看出，相比于其他方法，本文方法在 NWPU-RESISC45 测试集上取得了最高的平均 PSNR 值，较传统 Bicubic 方法有 2.59 dB 增益，较 FSRCNN 方法有 2.42 dB 增益，较 ESPCN 方法有 2.24 dB 增益，较 SRGAN 方法有 1.99 dB 增益。验证了本文方法在评价指标上的先进性。表 2 NWPU-RESISC45 测试集的 PSNR 对比 Table 2 PSNR comparison of NWPU-RESISC45 test set 评价指标 LR Bicubic FSRCNN ESPCN SRGAN 本文方法 HR MSE 251.24 269.41 202.81 187.10 176.64 111.71 0 PSNR/dB 24.13 25.06 25.23 25.41 25.66 27.65 ∞ 对机载遥感图像重建的视觉效果进行对比分析，对比结果如图 7 所示。图中 (a)~(d) 分别对应数据集中的 airplane_039、lake_690、 overpass_405 和 ship_010 这 4 张机载遥感图像。每一张图像从左至右分别为使用双三次插值 (Bicubic)、FSRCNN、SRGAN 和本文方法进行超分辨率重建后的机载遥感图像，以及原始高分辨率图像。 Bicubic FSRCNN SRGAN 本文方法 HR 图 7 NWPU-RESISC45 的重建效果对比 Fig. 7 Comparison of reconstruction effect of test set NWPU-RESISC45 第 1 期毕晓君，等：基于生成对抗网络的机载遥感图像超分辨率重建 ·79·

·80 智能系统学报第15卷从图中可以看出，本文方法能够有效对机载遥自然纹理的重建也要优于对比方法。为了更加清感图像进行超分辨率重建，并对原始高清机载遥感晰直观地对比各个方法的重建效果，将图7中每个图像的地物及细节进行了有效恢复。如第1幅图图像中红色方框区域放大，进行对比，如图8所中，本文方法对于飞机机身红色线条、机场地面线示。由图8的局部放大效果对比图可以看出，本文条和机尾等细节部分的重建效果明显优于对比方提出的方法在对于细节的重建上明显优于对比方法；第2幅图中，本文方法对于湖泊边缘和土地的法，图像的整体质量更高。 (a)Bicubic (b)FSRCNN (c)SRGAN (d)本文方法 (e)HR 图8局部放大效果对比 Fig.8 Comparison of local magnification 可以看出，本文方法能够有效对机载遥感图超分辨率重建模型的泛化能力，增加了对数据集像进行4倍的重建，相较于其他方法，有更高的 UCMerced LandUse的测试。将训练好的模型在 PSNR值和更好的重建效果，特别是能够重建出数据集UCMerced LandUse的2l00张图像上进更真实清晰的纹理细节，验证了本文方法的有效行测试，并与其他经典方法进行对比，PSNR对比性和先进性。为了验证本文提出的机载遥感图像如表3，重建效果和局部放大对比如图9。表3 UCMerced_LandUse测试集的PSNR对比 Table 3 PSNR comparison of UCMerced_LandUse test set 评价指标 LR Bicubic FSRCNN VDSR SRGAN 本文方法 HR MSE 335.03 177.04 131.85 126.50 150.34 120.25 0 PSNR/dB 22.88 25.65 26.93 27.11 26.36 27.33 从表3中可以看出，相比于其他方法，本文方法有0.22dB增益，较SRGAN方法有0.97dB增法在UCMerced LandUse测试集上取得了最高的益。验证了本文方法在评价指标上的先进性。从平均PSNR值，较传统Bicubic方法有1.68dB增图9中可以看出，本文方法能够有效对数据集益，较FSRCNN方法有O.4dB增益，较VDSR方 UCMerced LandUse中的机载遥感图像进行4倍

从图中可以看出，本文方法能够有效对机载遥感图像进行超分辨率重建，并对原始高清机载遥感图像的地物及细节进行了有效恢复。如第 1 幅图中，本文方法对于飞机机身红色线条、机场地面线条和机尾等细节部分的重建效果明显优于对比方法；第 2 幅图中，本文方法对于湖泊边缘和土地的自然纹理的重建也要优于对比方法。为了更加清晰直观地对比各个方法的重建效果，将图 7 中每个图像中红色方框区域放大，进行对比，如图 8 所示。由图 8 的局部放大效果对比图可以看出，本文提出的方法在对于细节的重建上明显优于对比方法，图像的整体质量更高。 (a) Bicubic (b) FSRCNN (c) SRGAN (e) HR (d) 本文方法图 8 局部放大效果对比 Fig. 8 Comparison of local magnification 可以看出，本文方法能够有效对机载遥感图像进行 4 倍的重建，相较于其他方法，有更高的 PSNR 值和更好的重建效果，特别是能够重建出更真实清晰的纹理细节，验证了本文方法的有效性和先进性。为了验证本文提出的机载遥感图像超分辨率重建模型的泛化能力，增加了对数据集 UCMerced_LandUse 的测试。将训练好的模型在数据集 UCMerced_LandUse 的 2 100 张图像上进行测试，并与其他经典方法进行对比，PSNR 对比如表 3，重建效果和局部放大对比如图 9。表 3 UCMerced_LandUse 测试集的 PSNR 对比 Table 3 PSNR comparison of UCMerced_LandUse test set 评价指标 LR Bicubic FSRCNN VDSR SRGAN 本文方法 HR MSE 335.03 177.04 131.85 126.50 150.34 120.25 0 PSNR/dB 22.88 25.65 26.93 27.11 26.36 27.33 ∞ 从表 3 中可以看出，相比于其他方法，本文方法在 UCMerced_LandUse 测试集上取得了最高的平均 PSNR 值，较传统 Bicubic 方法有 1.68 dB 增益，较 FSRCNN 方法有 0.4 dB 增益，较 VDSR 方法有 0.22 dB 增益，较 SRGAN 方法有 0.97 dB 增益。验证了本文方法在评价指标上的先进性。从图 9 中可以看出，本文方法能够有效对数据集 UCMerced_LandUse 中的机载遥感图像进行 4 倍 ·80· 智能系统学报第 15 卷

·82 智能系统学报第15卷重建，且能够保证图像细节纹理的恢复，如草坪感图像具有更真实的细节、更锐利的边缘和更好上的纹理、道路行车线、电缆阴影以及飞机场上的重建效果，并通过对比实验，验证了本文方法的转弯痕迹等，重建出的图像纹理细节更加真的有效性、先进性和模型泛化能力。同时，在研实，边缘更加锐利，整体效果更好。通过对比，充究过程中发现，对于不同类别的机载遥感图像重分证明本文方法能够有效对机载遥感图像进行图建的效果存在差异，如何有针对性的对不同类别像特征提取，并恢复出更清晰的细节纹理，且该的机载遥感图像进行超分辨率重建是未来研究的模型具有对不同机载遥感图像重建的泛化能力。主要方向。为了验证WGAN对于训练过程的优化效果，将训练过程中原始GAN网络和使用WGAN后网参考文献：络的判别器损失函数变化曲线进行对比。选取迭 [1]赵英时.遥感应用分析原理与方法M北京：科学出版代100次得到的结果进行对比分析，判别器损失社，2013. 函数变化曲线如图10所示，图(a)为原始GAN的 [2]罗小波.遥感图像智能分类及其应用M北京：电子工判别器损失函数变化曲线，图(b)为WGAN的判业出版社.2011」别器损失函数变化曲线。通过对比可以看出，原 [3]石爱业，徐枫.徐梦溪.图像超分辨率重建方法及应始GAN在迭代55次时趋于平稳，而使用WGAN 用M.北京：科学出版社，2016. 后迭代30次时趋于平稳。随着迭代次数的增加， [4]DONG Chao,LOY CC,HE Kaiming,et al.Learning a 使用WGAN的判别器损失函数曲线下降的比原 deep convolutional network for image super-resolution[M]. FLEET D.PAJDLA T,SCHIELE B.et al.Computer Vis- 始GAN的更快，而且波动较小，训练进程更加稳 ion-ECCV 2014.Cham:Springer,2014:184-199. 定。这充分说明了WGAN对于模型训练的优化 [5]DONG Chao,LOY CC,TANG Xiaoou.Accelerating the 作用，提升了整个模型的训练稳定性，同时加快 super-resolution convolutional neural network[M].LEIBE 了收敛速度。 B,MATAS J,SEBE N,et al.Computer Vision-ECCV 4.0 1.0 2016.Cham:Springer,.2016:391-407. 3.5 0.8 [6]KIM J,LEE JK,LEE K M.Accurate image super-resolu- 3.0 tion using very deep convolutional networks[C]//Proceed- 0.6 ings of 2016 IEEE Conference on Computer Vision and 04 Pattern Recognition.Las Vegas,NV,USA,2016: 1.0 1646-1654. 0.5 [7]LEDIG C.THEIS L.HUSZAR F.et al.Photo-realistic 00 0.0 255075100125 0 255075100125 single image super-resolution using a generative adversari- 迭代次数迭代次数 al network[C]//Proceedings of 2017 IEEE Conference on (a)原始GAN (b)WGAN Computer Vision and Pattern Recognition.Honolulu,HI. 图10判别器损失函数变化曲线对比 USA.2017:105-114 Fig.10 Comparison of discriminant loss function curves [8]ARJOVSKY M,CHINTALA S,BOTTOU L.Wasserstein GAN[J/OL].(2017-01-26).https://arxiv.org/abs/1701. 4结束语 07875. 本文提出的机载遥感图像超分辨率重建模 [9]石爱业，徐枫，徐梦溪.图像超分辨率重建方法及应型将生成对抗网络应用到机载遥感图像中，将用M0.北京：科学出版社，2016. RRDB作为特征提取模块，使生成器网络有更深 [10]TSAI R Y,HUANG TS.Multiframe image restoration 层的网络结构和更密集的连接，既可以防止选用 and registration.Advances in Computer Vision and Im- age Pro-cessing:JAI Press Inc.,1984,317-339. 较深网络训练时出现退化问题，又可以保证图像 [11]高春波.生成对抗网络的图像超分辨率重建D1.杭州」的浅层信息和深层信息都能够得到有效的传递，浙江理工大学，2019 最终重建出细节更丰富、图像更清晰的机载遥感 GAO Chunbo.Image super-resolution using a generative 图像的：采用带有感知损失的沃瑟斯坦式生成对 adversarial network[D].Hangzhou:Zhejiang Sci-Tech 抗网络优化判别器，克服了生成对抗网络难以训 University,2019. 练的缺点，最终有效对机载遥感图像进行4倍重 [12]GOODFELLOW I J.POUGET-ABADIE J.MIRZA M. 建。相较于其他方法，本文方法重建出的机载遥 et al.Generative adversarial nets[C]//Proceedings of the

重建，且能够保证图像细节纹理的恢复，如草坪上的纹理、道路行车线、电缆阴影以及飞机场上的转弯痕迹等，重建出的图像纹理细节更加真实，边缘更加锐利，整体效果更好。通过对比，充分证明本文方法能够有效对机载遥感图像进行图像特征提取，并恢复出更清晰的细节纹理，且该模型具有对不同机载遥感图像重建的泛化能力。为了验证 WGAN 对于训练过程的优化效果，将训练过程中原始 GAN 网络和使用 WGAN 后网络的判别器损失函数变化曲线进行对比。选取迭代 100 次得到的结果进行对比分析，判别器损失函数变化曲线如图 10 所示，图 (a) 为原始 GAN 的判别器损失函数变化曲线，图 (b) 为 WGAN 的判别器损失函数变化曲线。通过对比可以看出，原始 GAN 在迭代 55 次时趋于平稳，而使用 WGAN 后迭代 30 次时趋于平稳。随着迭代次数的增加，使用 WGAN 的判别器损失函数曲线下降的比原始 GAN 的更快，而且波动较小，训练进程更加稳定。这充分说明了 WGAN 对于模型训练的优化作用，提升了整个模型的训练稳定性，同时加快了收敛速度。 1.0 0.8 0.6 0.4 0.2 0.0 0 25 50 75 100 125 (b) WGAN 4.0 3.5 3.0 2.5 2.0 1.5 1.0 0.5 0.0 0 25 50 75 100 125 (a) 原始GAN 损失函数值迭代次数迭代次数损失函数值图 10 判别器损失函数变化曲线对比 Fig. 10 Comparison of discriminant loss function curves 4 结束语本文提出的机载遥感图像超分辨率重建模型将生成对抗网络应用到机载遥感图像中，将 RRDB 作为特征提取模块，使生成器网络有更深层的网络结构和更密集的连接，既可以防止选用较深网络训练时出现退化问题，又可以保证图像的浅层信息和深层信息都能够得到有效的传递，最终重建出细节更丰富、图像更清晰的机载遥感图像的；采用带有感知损失的沃瑟斯坦式生成对抗网络优化判别器，克服了生成对抗网络难以训练的缺点，最终有效对机载遥感图像进行 4 倍重建。相较于其他方法，本文方法重建出的机载遥感图像具有更真实的细节、更锐利的边缘和更好的重建效果，并通过对比实验，验证了本文方法的有效性、先进性和模型泛化能力。同时，在研究过程中发现，对于不同类别的机载遥感图像重建的效果存在差异，如何有针对性的对不同类别的机载遥感图像进行超分辨率重建是未来研究的主要方向。参考文献：赵英时. 遥感应用分析原理与方法 [M]. 北京: 科学出版社, 2013. [1] 罗小波. 遥感图像智能分类及其应用 [M]. 北京: 电子工业出版社, 2011. [2] 石爱业, 徐枫, 徐梦溪. 图像超分辨率重建方法及应用 [M]. 北京: 科学出版社, 2016. [3] DONG Chao, LOY C C, HE Kaiming, et al. Learning a deep convolutional network for image super-resolution[M]. FLEET D, PAJDLA T, SCHIELE B, et al. Computer Vision- ECCV 2014. Cham: Springer, 2014: 184−199. [4] DONG Chao, LOY C C, TANG Xiaoou. Accelerating the super-resolution convolutional neural network[M]. LEIBE B, MATAS J, SEBE N, et al. Computer Vision- ECCV 2016. Cham: Springer, 2016: 391−407. [5] KIM J, LEE J K, LEE K M. Accurate image super-resolution using very deep convolutional networks[C]//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, NV, USA, 2016: 1646−1654. [6] LEDIG C, THEIS L, HUSZÁR F, et al. Photo-realistic single image super-resolution using a generative adversarial network[C]//Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, HI, USA, 2017: 105−114. [7] ARJOVSKY M, CHINTALA S, BOTTOU L. Wasserstein GAN[J/OL]. (2017-01-26). https://arxiv.org/abs/1701. 07875. [8] 石爱业, 徐枫, 徐梦溪. 图像超分辨率重建方法及应用 [M]. 北京: 科学出版社, 2016. [9] TSAI R Y, HUANG T S. Multiframe image restoration and registration. Advances in Computer Vision and Image Pro-cessing: JAI Press Inc., 1984, 317−339. [10] 高春波. 生成对抗网络的图像超分辨率重建 [D]. 杭州: 浙江理工大学, 2019. GAO Chunbo. Image super-resolution using a generative adversarial network[D]. Hangzhou: Zhejiang Sci-Tech University, 2019. [11] GOODFELLOW I J, POUGET-ABADIE J, MIRZA M, et al. Generative adversarial nets[C]//Proceedings of the [12] ·82· 智能系统学报第 15 卷

第1期毕晓君，等：基于生成对抗网络的机载遥感图像超分辨率重建 ·83· 27th International Conference on Neural Information Pro- tial extensions for land-use classification[C]//Proceedings cessing Systems.Montreal,Canada,2014:2672-2680. of the 18th ACM SIGSPATIAL International Conference [13]IOFFE S,SZEGEDY C.Batch normalization:accelerat- on Advances in Geographic Information Systems.New ing deep network training by reducing internal covariate York,USA,2010:270-279 shift[C]//Proceedings of the 32nd International Confer- 作者简介： ence on Machine Learning.Lille,France,2015:448-456. 毕晓君，女，1964年生，教授博 [14]MASS A L,HANNUN A Y,NG A Y.Rectifier nonlin- 士生导师，主要研究方向为智能信息 earities improve neural network acoustic models[C]//Pro- 处理、数字图像处理、智能优化算法及 ceedings of the 30th International Conference on Ma- 机器学习。主持国家自然科学基金面 chine Learning.Atlanta,GA,USA,2013. 上项目2项，科技部国际合作项目面 [15]LIM B,SON S,KIM H,et al.Enhanced deep residual 上项目1项，教育部博土点基金1项工业与信息化部海洋工程装备科研项 networks for single image super-resolution[C]//Proceed- 目子项目1项，民品横向课题1项，获国家专利8项。出版 ings of 2017 IEEE Conference on Computer Vision and 学术专著3部，发表学术论文160余篇。 Pattern Recognition Workshops.Honolulu,HI,USA, 2017:1132-1140 潘梦迪，女，1994年生，硕士研究 [16]CHENG Gong,HAN Junwei,LU Xiaoqiang.Remote 生，主要研究方向为深度学习、图像处理。 sensing image scene classification:benchmark and state of the art[J].Proceedings of the IEEE,2017,105(10): 1865-1883 [17]YANG Yi,NEWSAM S.Bag-of-visual-words and spa- 2020年中国粒计算与知识发现学术会议由中国人工智能学会主办，中国人工智能学会粒计算与知识发现专委会协办，国际粗糙集学会支持，山西大学承办的2020年中国粒计算与知识发现学术会议（第二十届中国粗糙集与软计算学术会议、第十四届中国粒计算学术会议、第八届三支决策学术会议)将于2020年8月14一16日在“历史文化名城一一山西太原”召开。现将会议有关征文事宜通知如下，热忱欢迎相关研究人员踊跃投稿并参会。征文范围（包括但不仅限于）： 1)粗糙集与软计算；2)粒计算理论及其应用；3)三支决策模型与分析：4)识发现与数据挖掘：5)人工智能创新应用。注意事项： 1)采用网上投稿方式，投稿地址：https:://easychair.org/conferences//?conf=cgckd.2020。 2)会议接收中英文论文。 3)投稿内容应突出作者的创新与成果，具有重要的学术价值与应用推广价值，且未在公开发行的刊物上发表或会议上宣读。 4)录用论文将根据论文质量推荐到《International Journal of Machine Learning and Cybernetics》《Interna- tional Journal of Bio-inspired Computation>CAAI Transactions on Intelligence Technology>International Journal of Computer Science and Knowledge Engineering》《计算机研究与发展》《智能系统学报》《模式识别与人工智能》《计算机科学》《计算机科学与探索》《小型微型计算机系统》《南京大学学报（自然科学版)》《计算机应用》《计算机工程与应用》《数据采集与处理》《山东大学学报（理学版）》《郑州大学学报（理学版）》《山西大学学报（自然科学版）》《数码设计》等期刊正刊发表。 5)会议将评选优秀学生论文若干。联系方式： 1)投稿与会务咨询：魏巍(18635125988)：翟岩慧(13100147204)：钱宇华(15135193000)。 2)会务邮箱：cgckd.2020@163.com 3)会议网站：http://cgckd2020.sxu.edu.cn

27th International Conference on Neural Information Processing Systems. Montreal, Canada, 2014: 2672−2680. IOFFE S, SZEGEDY C. Batch normalization: accelerating deep network training by reducing internal covariate shift[C]//Proceedings of the 32nd International Conference on Machine Learning. Lille, France, 2015: 448−456. [13] MASS A L, HANNUN A Y, NG A Y. Rectifier nonlinearities improve neural network acoustic models[C]//Proceedings of the 30th International Conference on Machine Learning. Atlanta, GA, USA, 2013. [14] LIM B, SON S, KIM H, et al. Enhanced deep residual networks for single image super-resolution[C]//Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops. Honolulu, HI, USA, 2017: 1132−1140. [15] CHENG Gong, HAN Junwei, LU Xiaoqiang. Remote sensing image scene classification: benchmark and state of the art[J]. Proceedings of the IEEE, 2017, 105(10): 1865–1883. [16] [17] YANG Yi, NEWSAM S. Bag-of-visual-words and spatial extensions for land-use classification[C]//Proceedings of the 18th ACM SIGSPATIAL International Conference on Advances in Geographic Information Systems. New York, USA, 2010: 270−279. 作者简介：毕晓君，女，1964 年生，教授，博士生导师，主要研究方向为智能信息处理、数字图像处理、智能优化算法及机器学习。主持国家自然科学基金面上项目 2 项，科技部国际合作项目面上项目 1 项，教育部博士点基金 1 项，工业与信息化部海洋工程装备科研项目子项目 1 项，民品横向课题 1 项，获国家专利 8 项。出版学术专著 3 部，发表学术论文 160余篇。潘梦迪，女，1994 年生，硕士研究生，主要研究方向为深度学习、图像处理。 2020 年中国粒计算与知识发现学术会议由中国人工智能学会主办，中国人工智能学会粒计算与知识发现专委会协办，国际粗糙集学会支持，山西大学承办的 2020 年中国粒计算与知识发现学术会议（第二十届中国粗糙集与软计算学术会议、第十四届中国粒计算学术会议、第八届三支决策学术会议）将于 2020 年 8 月 14—16 日在“历史文化名城——山西太原”召开。现将会议有关征文事宜通知如下，热忱欢迎相关研究人员踊跃投稿并参会。征文范围（包括但不仅限于）： 1）粗糙集与软计算；2）粒计算理论及其应用；3）三支决策模型与分析；4）识发现与数据挖掘；5）人工智能创新应用。注意事项： 1）采用网上投稿方式，投稿地址：https://easychair.org/conferences/?conf=cgckd2020。 2）会议接收中英文论文。 3）投稿内容应突出作者的创新与成果，具有重要的学术价值与应用推广价值，且未在公开发行的刊物上发表或会议上宣读。 4）录用论文将根据论文质量推荐到《International Journal of Machine Learning and Cybernetics》《 International Journal of Bio-inspired Computation》《CAAI Transactions on Intelligence Technology》《International Journal of Computer Science and Knowledge Engineering》《计算机研究与发展》《智能系统学报》《模式识别与人工智能》《计算机科学》《计算机科学与探索》《小型微型计算机系统》《南京大学学报（自然科学版）》《计算机应用》《计算机工程与应用》《数据采集与处理》《山东大学学报（理学版）》《郑州大学学报（理学版）》《山西大学学报（自然科学版）》《数码设计》等期刊正刊发表。 5）会议将评选优秀学生论文若干。联系方式： 1）投稿与会务咨询：魏巍（18635125988）；翟岩慧（13100147204）；钱宇华（15135193000）。 2）会务邮箱：cgckd2020@163.com 3）会议网站： http://cgckd2020.sxu.edu.cn/ 第 1 期毕晓君，等：基于生成对抗网络的机载遥感图像超分辨率重建 ·83·

点击下载完整版文档（PDF格式）

已到末页，全文结束

点击下载（PDF格式）

浏览记录