第15卷第1期 智能系统学报 Vol.15 No.1 2020年1月 CAAI Transactions on Intelligent Systems Jan.2020 D0L:10.11992tis.202002002 基于生成对抗网络的机载遥感图像超分辨率重建 毕晓君，潘梦迪 (1.中夹民族大学信息工程学院，北京100081；2.哈尔滨工程大学信息与通信工程学院，黑龙江哈尔滨150001) 摘要：为解决机载遥感图像质量易受环境影响的问题，对其进行超分辨率重建，对现有深度学习机载遥感图 像超分辨率重建方法存在的特征提取能力差、重建图像边缘平滑、模型训练困难的问题进行改进，增强图像重 建效果。将生成对抗网络作为模型的整体框架，使用密集剩余残差块增强模型特征提取能力，增加跳跃连接， 有效提取机载遥感图像的浅层和深层特征，引入沃瑟斯坦式生成对抗网络优化模型训练。该方法能够有效对 机载遥感图像进行4倍重建，在峰值信噪比评价上较对比方法约有2B增益，重建出的机载遥感图像在视觉 上更清晰、细节更丰富、边缘更锐利。实验结果表明，该方法有效提升了模型特征提取能力，优化了训练过程， 重建的机载遥感图像效果较好。 关键词：机载遥感；超分辨率重建；深度学习：密集剩余残差块；特征提取；跳跃链接；沃瑟斯坦；生成对抗网络 中图分类号：TP751.1文献标志码：A文章编号：1673-4785(2020)01-0074-10 中文引用格式：毕晓君，潘梦迪.基于生成对抗网络的机载遥感图像超分辨率重建.智能系统学报，2020,15(1)：74-83. 英文引用格式：BI Xiaojun,PAN Mengdi.Super--resolution reconstruction of airborne remote sensing images based on the generat- ive adversarial networks[Jl.CAAI transactions on intelligent systems,2020,15(1):74-83. Super-resolution reconstruction of airborne remote sensing images based on the generative adversarial networks BI Xiaojun',PAN Mengdi? (1.School of Information Engineering,Minzu University of China,Beijing 100081,China;2.Department of Information and Com- munication Engineering,Harbin Engineering University,Harbin 150001,China) Abstract:To solve the problem that the quality of airborne remote sensing images is susceptible to environmental im- pacts,super-resolution reconstruction is carried out.The existing super-resolution reconstruction methods for deep learn- ing airborne remote sensing images has the problems of poor feature extraction capability,smooth edges of reconstruc- ted images and difficulty in model training,the image reconstruction effect is enhanced to solve the above problems. The generative adversarial network is taken as the overall framework of the model.The dense residual block is used to enhance the feature extraction capability of the model,and jump connection is added to effectively extract the shallow and deep features of airborne remote sensing images.The Wasserstein-type generative adversarial network optimization model training is introduced.The method can effectively reconstruct airborne remote sensing images by 4 times,and has a gain of 2 dB or so in peak signal-to-noise ratio evaluation compared with other methods for comparison.The recon- structed airborne remote sensing images are clearer in vision,richer in details and sharper in edges.The experimental results show that the method effectively improves the model feature extraction ability,optimizes the training process, and the reconstructed airborne remote sensing image has better effect. Keywords:airborne remote sensing;super-resolution reconstruction;deep learning;residual in residual dense block; feature extraction;jump connection:Wasserstein;generative adversarial network 近年来，随着人们对航空航天领域开发的重 收稿日期：2020-02-04. 基金项目：国家自然科学基金项目(51779050). 视，卫星、无人机等设备被应用到日常信息获取 通信作者：毕晓君.E-mail:bixiaojun@hrbeu.edu.cn 中来，由它们获取到的遥感图像具有面积大、范
DOI: 10.11992/tis.202002002 基于生成对抗网络的机载遥感图像超分辨率重建 毕晓君1 ，潘梦迪2 （1. 中央民族大学 信息工程学院，北京 100081; 2. 哈尔滨工程大学 信息与通信工程学院，黑龙江 哈尔滨 150001） 摘 要：为解决机载遥感图像质量易受环境影响的问题，对其进行超分辨率重建，对现有深度学习机载遥感图 像超分辨率重建方法存在的特征提取能力差、重建图像边缘平滑、模型训练困难的问题进行改进，增强图像重 建效果。将生成对抗网络作为模型的整体框架，使用密集剩余残差块增强模型特征提取能力，增加跳跃连接， 有效提取机载遥感图像的浅层和深层特征，引入沃瑟斯坦式生成对抗网络优化模型训练。该方法能够有效对 机载遥感图像进行 4 倍重建，在峰值信噪比评价上较对比方法约有 2 dB 增益，重建出的机载遥感图像在视觉 上更清晰、细节更丰富、边缘更锐利。实验结果表明，该方法有效提升了模型特征提取能力，优化了训练过程， 重建的机载遥感图像效果较好。 关键词：机载遥感；超分辨率重建；深度学习；密集剩余残差块；特征提取；跳跃链接；沃瑟斯坦；生成对抗网络 中图分类号：TP751.1 文献标志码：A 文章编号：1673−4785(2020)01−0074−10 中文引用格式：毕晓君, 潘梦迪. 基于生成对抗网络的机载遥感图像超分辨率重建 [J]. 智能系统学报, 2020, 15(1): 74–83. 英文引用格式：BI Xiaojun, PAN Mengdi. Super-resolution reconstruction of airborne remote sensing images based on the generative adversarial networks[J]. CAAI transactions on intelligent systems, 2020, 15(1): 74–83. Super-resolution reconstruction of airborne remote sensing images based on the generative adversarial networks BI Xiaojun1 ，PAN Mengdi2 (1. School of Information Engineering, Minzu University of China, Beijing 100081, China; 2. Department of Information and Communication Engineering, Harbin Engineering University, Harbin 150001, China) Abstract: To solve the problem that the quality of airborne remote sensing images is susceptible to environmental impacts, super-resolution reconstruction is carried out. The existing super-resolution reconstruction methods for deep learning airborne remote sensing images has the problems of poor feature extraction capability, smooth edges of reconstructed images and difficulty in model training, the image reconstruction effect is enhanced to solve the above problems. The generative adversarial network is taken as the overall framework of the model. The dense residual block is used to enhance the feature extraction capability of the model, and jump connection is added to effectively extract the shallow and deep features of airborne remote sensing images. The Wasserstein-type generative adversarial network optimization model training is introduced. The method can effectively reconstruct airborne remote sensing images by 4 times, and has a gain of 2 dB or so in peak signal-to-noise ratio evaluation compared with other methods for comparison. The reconstructed airborne remote sensing images are clearer in vision, richer in details and sharper in edges. The experimental results show that the method effectively improves the model feature extraction ability, optimizes the training process, and the reconstructed airborne remote sensing image has better effect. Keywords: airborne remote sensing; super-resolution reconstruction; deep learning; residual in residual dense block; feature extraction; jump connection; Wasserstein; generative adversarial network 近年来，随着人们对航空航天领域开发的重 视，卫星、无人机等设备被应用到日常信息获取 中来，由它们获取到的遥感图像具有面积大、范 收稿日期：2020−02−04. 基金项目：国家自然科学基金项目 (51779050). 通信作者：毕晓君. E-mail：bixiaojun@hrbeu.edu.cn. 第 15 卷第 1 期 智 能 系 统 学 报 Vol.15 No.1 2020 年 1 月 CAAI Transactions on Intelligent Systems Jan. 2020
第1期 毕晓君，等：基于生成对抗网络的机载遥感图像超分辨率重建 ·75· 围广、信息量大等特点，在工业、农业、军事等领 练不稳定的问题。 域具有重要的意义山。而其中，机载遥感技术以 因此，基于机载遥感图像对于地物识别和丰 其造价低、灵活性高、平台机动性高等优势成为 富细节的较高要求，针对现有图像SR重建算法 必备手段之一，被广泛应用到军事无人机侦察、 存在的问题，本文在SRGAN的基础上提出一种 重大自然灾害监测等方面。但是，由于硬件条件 基于改进的生成对抗网络机载遥感图像超分辨率 的限制，加上距离、气流、运动等外界因素对于采 重建方法。在生成器部分采用密集剩余残差块增 集设备的影响，经常使获取到的机载遥感图像清 强整个网络的特征提取能力，将残差网络与密集 晰度较差，细节不够丰富，放大时无法识别细节 网络的思想相结合，利用残差缩放和层级之间的 信息。因此，对机载遥感图像进行超分辨率重 直连，将各层提取到的特征信息更好地传递，重 建处理十分必要。 建出细节丰富的机载遥感图像；引入WGAN对网 图像超分辨率(super resolution,SR)重建就是 络进行优化，解决原始GAN存在的难以训练、生 从低分辨率(low resolution,LR)图像中恢复出相 成样本缺乏多样性的问题，并选取以感知损失为 应的高分辨率(high resolution,HR)图像的过程。 主的目标函数优化训练过程，进一步提升图像重 传统的图像SR重建方法，如基于插值的方法、基 建质量。 于重建的方法和基于经典学习的方法等，虽然计 算简单易于理解，但是存在以下几个问题：1)重 1相关工作 建图像边缘模糊、超分辨能力较差；2)随着放大 1.1 超分辨率重建 倍数的增加提高，图像细节信息丢失；3)对训练 图像超分辨率重建可以从一幅或多幅低分辨 样本要求较高，需要获取先验知识。近年来，随 率图像中恢复出一幅高分辨率图像，它的原理可 着深度学习的发展，使得图像超分辨率重建有了 以看做是低分辨率图像成像观测模型的逆过程。 新的突破。2014年，Dong等将深度学习的思想 采集到的真实图像在理想情况下是高分辨率的， 引入图像SR重建中来，提出一种基于卷积神经 但是在经过成像系统时，由于硬件条件的限制 网络的超分辨率重建模型SRCNN,通过学习高、 (如传感器)和运动等现实情况造成的模糊，使得 低分辨率图像之间的映射关系，利用卷积层和 最终呈现出来的是低分辨率的图像。而图像超分 RεLU激活函数获得学习重建高分辨率图像的能 辨率重建恰恰是成像过程的逆过程，如图1所示。 力。2016年，Dong等对之前提出的SRCNN模 型进行改进，提出FSRCNN模型，不再需要在网 超分辨率重建、逆过程 络外部进行放大图片尺寸的操作，同时通过添加 理想高分辨率图像 收缩层和扩张层，将一个大层用一些小层来代 传感器噪声 替，实现了速度提升。2016年，Kim等向以牺牲 采样 下采样 无混叠) (有混叠) 收敛速度为代价，通过增加卷积层数来提高重建 图像质量，提出了具有20层网络的模型VSDR。 其实图像 成像系统 但是，由于卷积神经网络在图像细节的恢复上缺 观测模型、正过程 乏真实性，在放大倍数较高的时，需要使用很深 图1成像正过程与超分辨率重建逆过程 的网络层数才能有效提取图像的高频细节，而生 Fig.1 Positive imaging process and inverse process of su- 成对抗网络(GAN)作为深度学习领域的新星，凭 per-resolution reconstruction 借自身强大的图像生成能力，成为图像SR重建 早在1984年，Tsai和Huang等1o首次将图像 领域的佼佼者。2017年，Legid等提出一种基于 超分辨率重建带入人们的视野，随后的几十年间 生成对抗网络的图像超分辨率重建模型SRGAN, 被学者们广泛的研究和应用。图像SR重建的方 利用生成对抗网络自我优化的特性，在图像高频 法分类广泛，根据技术原理的不同大体上可以分 细节纹理恢复上得到了很好的视觉效果，但由于 为基于插值的方法、基于重建的方法和基于学习 使用JS、KL散度衡量原始生成对抗网络分布间 的方法"。详细的分类如图2所示。在这些方法 的距离存在缺陷，使得网络训练非常困难。2017 中，传统的基于插值、重建以及经典学习的方法， 年，Arjovsky等I8提出了沃瑟斯坦式GAN,使用 虽然计算简单，容易理解和操作，但由于其自身 沃瑟斯坦距离代替JS、KL散度来衡量生成分布 对于图像特征提取的局限性，无法满足机载遥感 与真实分布间的距离，有效解决了原始GAN训 图像在放大倍数较高时对于图像细节的要求。因
围广、信息量大等特点，在工业、农业、军事等领 域具有重要的意义[1]。而其中，机载遥感技术以 其造价低、灵活性高、平台机动性高等优势成为 必备手段之一，被广泛应用到军事无人机侦察、 重大自然灾害监测等方面。但是，由于硬件条件 的限制，加上距离、气流、运动等外界因素对于采 集设备的影响，经常使获取到的机载遥感图像清 晰度较差，细节不够丰富，放大时无法识别细节 信息[2]。因此，对机载遥感图像进行超分辨率重 建处理十分必要。 图像超分辨率 (super resolution, SR) 重建就是 从低分辨率 (low resolution, LR) 图像中恢复出相 应的高分辨率 (high resolution, HR) 图像的过程[3]。 传统的图像 SR 重建方法，如基于插值的方法、基 于重建的方法和基于经典学习的方法等，虽然计 算简单易于理解，但是存在以下几个问题：1) 重 建图像边缘模糊、超分辨能力较差；2) 随着放大 倍数的增加提高，图像细节信息丢失；3) 对训练 样本要求较高，需要获取先验知识。近年来，随 着深度学习的发展，使得图像超分辨率重建有了 新的突破。2014 年，Dong 等 [4] 将深度学习的思想 引入图像 SR 重建中来，提出一种基于卷积神经 网络的超分辨率重建模型 SRCNN，通过学习高、 低分辨率图像之间的映射关系，利用卷积层和 ReLU 激活函数获得学习重建高分辨率图像的能 力。2016 年，Dong 等 [5] 对之前提出的 SRCNN 模 型进行改进，提出 FSRCNN 模型，不再需要在网 络外部进行放大图片尺寸的操作，同时通过添加 收缩层和扩张层，将一个大层用一些小层来代 替，实现了速度提升。2016 年，Kim 等 [6] 以牺牲 收敛速度为代价，通过增加卷积层数来提高重建 图像质量，提出了具有 20 层网络的模型 VSDR。 但是，由于卷积神经网络在图像细节的恢复上缺 乏真实性，在放大倍数较高的时，需要使用很深 的网络层数才能有效提取图像的高频细节，而生 成对抗网络 (GAN) 作为深度学习领域的新星，凭 借自身强大的图像生成能力，成为图像 SR 重建 领域的佼佼者。2017 年，Legid 等 [7] 提出一种基于 生成对抗网络的图像超分辨率重建模型 SRGAN， 利用生成对抗网络自我优化的特性，在图像高频 细节纹理恢复上得到了很好的视觉效果，但由于 使用 JS、KL 散度衡量原始生成对抗网络分布间 的距离存在缺陷，使得网络训练非常困难。2017 年，Arjovsky 等 [8] 提出了沃瑟斯坦式 GAN，使用 沃瑟斯坦距离代替 JS、KL 散度来衡量生成分布 与真实分布间的距离，有效解决了原始 GAN 训 练不稳定的问题。 因此，基于机载遥感图像对于地物识别和丰 富细节的较高要求，针对现有图像 SR 重建算法 存在的问题，本文在 SRGAN 的基础上提出一种 基于改进的生成对抗网络机载遥感图像超分辨率 重建方法。在生成器部分采用密集剩余残差块增 强整个网络的特征提取能力，将残差网络与密集 网络的思想相结合，利用残差缩放和层级之间的 直连，将各层提取到的特征信息更好地传递，重 建出细节丰富的机载遥感图像；引入 WGAN 对网 络进行优化，解决原始 GAN 存在的难以训练、生 成样本缺乏多样性的问题，并选取以感知损失为 主的目标函数优化训练过程，进一步提升图像重 建质量。 1 相关工作 1.1 超分辨率重建 图像超分辨率重建可以从一幅或多幅低分辨 率图像中恢复出一幅高分辨率图像，它的原理可 以看做是低分辨率图像成像观测模型的逆过程[9]。 采集到的真实图像在理想情况下是高分辨率的， 但是在经过成像系统时，由于硬件条件的限制 (如传感器) 和运动等现实情况造成的模糊，使得 最终呈现出来的是低分辨率的图像。而图像超分 辨率重建恰恰是成像过程的逆过程，如图 1 所示。 超分辨率重建、逆过程 理想高分辨率图像 观测模型、正过程 真实图像 成像系统 采样 (无混叠) 下采样 (有混叠) 传感器噪声 运动与 模糊 + 图 1 成像正过程与超分辨率重建逆过程 Fig. 1 Positive imaging process and inverse process of super-resolution reconstruction 早在 1984 年，Tsai 和 Huang 等 [10] 首次将图像 超分辨率重建带入人们的视野，随后的几十年间 被学者们广泛的研究和应用。图像 SR 重建的方 法分类广泛，根据技术原理的不同大体上可以分 为基于插值的方法、基于重建的方法和基于学习 的方法[11]。详细的分类如图 2 所示。在这些方法 中，传统的基于插值、重建以及经典学习的方法， 虽然计算简单，容易理解和操作，但由于其自身 对于图像特征提取的局限性，无法满足机载遥感 图像在放大倍数较高时对于图像细节的要求。因 第 1 期 毕晓君，等：基于生成对抗网络的机载遥感图像超分辨率重建 ·75·
·76· 智能系统学报 第15卷 此，当深度学习被应用于图像超分辨率重建时， 使用卷积神经网络重建出的高分辨率图像其细节 其强大的学习能力使得图像特征能够被保留下 往往缺乏真实性，边缘较平滑，图像质量不高。 来，重建后的图像细节信息更丰富，与传统方法 因此，生成对抗网络以其自身具备的图像生成能 相比重建的效果有了很大的提升。但是，大多数 力使得图像真实细节的重建有了新的突破。 图像超分辨率重建 基于插值 基于重建 基于学习 基于经典学习 基于深度学习 最邻近差值法 迭代反投影法 双线性插值法 凸集投影法 邻域嵌人法 卷积神经网络 双三次插值法 极大似然估计法 稀疏表示法 生成对抗网络 最大后验概率估计法 错定邻域回归法 ” 图2图像超分辨率重建方法分类 Fig.2 Classification of image super-resolution reconstruction methods 1.2生成对抗网络 难、生成样本缺乏多样性等问题，许多学者尝试 2014年，Goodfellow提出生成式对抗网络 着对其进行改进，但成效甚微。2017年，Ar- (generative adversarial network,GAN)。其核心来 jovsky等⑧I提出用沃瑟斯坦(Wasserstein)距离代 源于博弈论中的“纳什均衡”，也就是模拟“二人零 替原始GAN中生成分布与真实分布之间的 和博弈”，即两个人之间是一个无合作的竞争关 KL散度和JS散度，使得在真实分布与生成分布 系，此消彼长，你获益我受损，而且总和守恒为 没有重合的情况下，依然能够反映二者的远近， 零，所以称之“对抗式”。生成对抗网络顾名思 且能够提供有意义的梯度，有效地解决了原始 义，就是一种通过对抗的方式，去学习数据分布 GAN存在的问题。Wasserstein距离可表示为 的生成式模型，分为生成器G和判别器D两个部 W(P,Pa)=inf Esllx-yl Y-(PP) 分，而所谓的对抗，就是指生成器和判别器的互 式中：P,表示真实样本分布；P。表示生成器生成 相对抗。生成器尽可能生成逼真样本，判别器则 的样本分布；y表示联合分布；(P,P)表示P,和 尽可能去判别该样本是真实样本，还是生成的假 Pg所有可能的联合分布的集合；Ix-y为样本x 样本。为了胜过对方，生成器和判别器不断进行 和y之间的距离。所以Wasserstein距离表示对所 对抗和自我优化，各自提高生成能力和判别能 有可能的联合分布下的样本对距离的期望值取下 力，寻找二者之间的“均衡”，生成式对抗网络的 界。为简化求解过程，本文引入适当范围的含参 结构如图3所示。 数w且令最后一层不是非线性激活层的判别器 网络f(x)得到： 假数据 LuP.P)=Ex-r.[fi(x)]-E-P,[f.(x)] 生成器( Ge) 取最大值得到的LP,P近似为P,和Pg之间 判别器D 其/假 随机噪声 的Wasserstein距离。此时，最小化Lr,就可以 得到WGAN生成器的损失函数LG和判别器的损 真数据 失函数Lo: 图3生成对抗网络结构 La=-Ex-P,[fi(x)] Fig.3 The structure of the generate adversarial network LD Ex-r,[f.(x)]-E-p.[f.(x)] 1.3沃瑟斯坦式生成对抗网络 LRP越小，表示P,与Pg的Wasserstein距离越 自提出以来，生成对抗网络就存在着训练困 小，GAN训练得越好
此，当深度学习被应用于图像超分辨率重建时， 其强大的学习能力使得图像特征能够被保留下 来，重建后的图像细节信息更丰富，与传统方法 相比重建的效果有了很大的提升。但是，大多数 使用卷积神经网络重建出的高分辨率图像其细节 往往缺乏真实性，边缘较平滑，图像质量不高。 因此，生成对抗网络以其自身具备的图像生成能 力使得图像真实细节的重建有了新的突破。 图像超分辨率重建 基于重建 基于学习 基于经典学习 基于深度学习 最邻近差值法 双线性插值法 双三次插值法 … 迭代反投影法 凸集投影法 极大似然估计法 最大后验概率估计法 … 邻域嵌入法 稀疏表示法 锚定邻域回归法 … 卷积神经网络 生成对抗网络 … 基于插值 图 2 图像超分辨率重建方法分类 Fig. 2 Classification of image super-resolution reconstruction methods 1.2 生成对抗网络 2014 年 ，Goodfellow 提出生成式对抗网络 (generative adversarial network，GAN)[12]。其核心来 源于博弈论中的“纳什均衡”，也就是模拟“二人零 和博弈”，即两个人之间是一个无合作的竞争关 系，此消彼长，你获益我受损，而且总和守恒为 零，所以称之“对抗式”。生成对抗网络顾名思 义，就是一种通过对抗的方式，去学习数据分布 的生成式模型，分为生成器 G 和判别器 D 两个部 分，而所谓的对抗，就是指生成器和判别器的互 相对抗。生成器尽可能生成逼真样本，判别器则 尽可能去判别该样本是真实样本，还是生成的假 样本。为了胜过对方，生成器和判别器不断进行 对抗和自我优化，各自提高生成能力和判别能 力，寻找二者之间的“均衡”，生成式对抗网络的 结构如图 3 所示。 生成器G x 判别器D 假数据 真数据 随机噪声z G(z) 真/假 图 3 生成对抗网络结构 Fig. 3 The structure of the generate adversarial network 1.3 沃瑟斯坦式生成对抗网络 自提出以来，生成对抗网络就存在着训练困 难、生成样本缺乏多样性等问题，许多学者尝试 着对其进行改进，但成效甚微。2017 年 ， Arjovsky 等 [8] 提出用沃瑟斯坦 (Wasserstein) 距离代 替 原 始 G AN 中生成分布与真实分布之间 的 KL 散度和 JS 散度，使得在真实分布与生成分布 没有重合的情况下，依然能够反映二者的远近， 且能够提供有意义的梯度，有效地解决了原始 GAN 存在的问题。Wasserstein 距离可表示为 W(Pr,Pg) = inf γ∼ ∏(Pr,Pg ) E(x,y)∼γ[∥ x−y ∥] Pr Pg γ ∏(Pr ,Pg) Pr Pg ∥ x−y ∥ x y w fw(x) 式中： 表示真实样本分布； 表示生成器生成 的样本分布； 表示联合分布； 表示 和 所有可能的联合分布的集合； 为样本 和 之间的距离。所以 Wasserstein 距离表示对所 有可能的联合分布下的样本对距离的期望值取下 界。为简化求解过程，本文引入适当范围的含参 数 且令最后一层不是非线性激活层的判别器 网络 得到： L(Pr,Pg ) = Ex∼Pr [fw(x)]− Ex∼Pg [fw(x)] L(Pr,Pg) Pr Pg L(Pr,Pg) LG LD 取最大值得到的 近似为 和 之间 的 Wasserstein 距离。此时，最小化 就可以 得到 WGAN 生成器的损失函数 和判别器的损 失函数 ： LG = −Ex∼Pg [fw(x)] LD = Ex∼Pg [fw(x)]− Ex∼Pr [fw(x)] L(Pr,Pg) 越小，表示 Pr 与 Pg 的 Wasserstein 距离越 小，GAN 训练得越好。 ·76· 智 能 系 统 学 报 第 15 卷
第1期 毕晓君，等：基于生成对抗网络的机载遥感图像超分辨率重建 ·77· 2本文方法 分组成：先由生成器网络生成重建的高分辨率图 像；再将生成的重建图像与真实图像同时输入判 2.1网络结构设计 别器网络，由判别器进行判别是真实图像还是重 针对机载遥感图像超分辨率重建过程中存在 建图像。若判别器能够分辨出重建图像，则证明 的问题，本文提出一种基于WGAN的机载遥感图 图像重建质量不佳，此时反馈给生成器继续进行 像超分辨率重建模型。模型以生成对抗网络为主 训练；若判别器不能分辨出重建图像与真实图 体，分别对生成器和判别器做出改进，整体结构 像，则证明生成器已完成训练。 如图4所示。整个网络由生成器部分和判别器部 生成器 H 密集剩余残差块 图像 RRDB 重硅 重建 图像 图像 判别器 真 真实 图像 像 图4网络整体结构 Fig.4 Overall network structure 2.1.1生成器网络的设计 密集 在生成器部分，先由卷积层提取载遥感图像 摸块 浅层的特征信息并传递给上采样层；再由特征提 取模块进行深层特征的提取和传输；最后经过非 密集剩余残差块 线性映射、上采样等操作对图像进行重建。 RRDB 在生成器网络结构的设计上，本文采用密集 剩余残差块(residual-.in-residual dense block, 图5特征提取模块 Fig.5 Feature extraction block RRDB)代替SRGAN的特征提取模块，增强模型 每个密集模块都由5层卷积网络通过跳跃 特征提取能力，通过去除特征提取模块中的批量 连接组成，并增加残差缩放将残差乘以0~1之间 归一化(batch norm,BN层减少计算复杂度，并 的常数，然后将它们添加到主传输路径上来保证 在残差块连接处增加残差缩放来稳定训练过程。 训练的稳定性，其结构如图6所示。本文采用的 在特征提取模块中，本文采用23个RRDB作 缩放因子为01。在每个密集块中最后的卷积层 为主要组成，每一个RRDB内部都包含3个密集 紧连着一个恒定的缩放层，当使用大量滤波器 模块(dense block)来代替SRGAN中由两个3×3 时，这些缩放层极大地稳定了训练过程。在密集 的卷积层、BN层和ReLU激活层组成的基础块， 块中，前4层卷积层后都接有激活函数Leaky- 通过密集模块间的密集的连接，增加层数的同时 RLU层，最后一层只有一个卷积层。通过密集 增加层与层之间的连接，从而增强模型的特征提 连接的结构用更短跳跃连接的方式有效地保障了 取能力，特征提取模块的具体结构如图5所示。 各层之间的信息传递，对于每一层来说，它的输
2 本文方法 2.1 网络结构设计 针对机载遥感图像超分辨率重建过程中存在 的问题，本文提出一种基于 WGAN 的机载遥感图 像超分辨率重建模型。模型以生成对抗网络为主 体，分别对生成器和判别器做出改进，整体结构 如图 4 所示。整个网络由生成器部分和判别器部 分组成：先由生成器网络生成重建的高分辨率图 像；再将生成的重建图像与真实图像同时输入判 别器网络，由判别器进行判别是真实图像还是重 建图像。若判别器能够分辨出重建图像，则证明 图像重建质量不佳，此时反馈给生成器继续进行 训练；若判别器不能分辨出重建图像与真实图 像，则证明生成器已完成训练。 生成器 判别器 输入 图像 重建 图像 密集(I) 真实 图像 卷积 卷积 真实 图像 重建 图像 卷 积 密集剩余残差块 RRDB 上 采 RRDB RRDB 样 ×β ×β ×β ×β 密集(1024) Leaky ReLU Leaky ReLU Leaky ReLU 密集 模块 密集 模块 密集 模块 批量归一化 图 4 网络整体结构 Fig. 4 Overall network structure 2.1.1 生成器网络的设计 在生成器部分，先由卷积层提取载遥感图像 浅层的特征信息并传递给上采样层；再由特征提 取模块进行深层特征的提取和传输；最后经过非 线性映射、上采样等操作对图像进行重建。 在生成器网络结构的设计上，本文采用密集 剩余残差块 (residual-in-residual dense block， RRDB) 代替 SRGAN 的特征提取模块，增强模型 特征提取能力，通过去除特征提取模块中的批量 归一化 (batch norm，BN)[13] 层减少计算复杂度，并 在残差块连接处增加残差缩放来稳定训练过程。 3×3 在特征提取模块中，本文采用 23 个 RRDB 作 为主要组成，每一个 RRDB 内部都包含 3 个密集 模块 (dense block) 来代替 SRGAN 中由两个 的卷积层、BN 层和 ReLU 激活层组成的基础块， 通过密集模块间的密集的连接，增加层数的同时 增加层与层之间的连接，从而增强模型的特征提 取能力，特征提取模块的具体结构如图 5 所示。 密集剩余残差块 RRDB RRDB RRDB 密集 模块 密集 模块 密集 ×β ×β ×β 模块 ×β 图 5 特征提取模块 Fig. 5 Feature extraction block 每个密集模块都由 5 层卷积网络通过跳跃 连接组成，并增加残差缩放将残差乘以 0~1 之间 的常数，然后将它们添加到主传输路径上来保证 训练的稳定性，其结构如图 6 所示。本文采用的 缩放因子为 0.1。在每个密集块中最后的卷积层 紧连着一个恒定的缩放层，当使用大量滤波器 时，这些缩放层极大地稳定了训练过程。在密集 块中，前 4 层卷积层后都接有激活函数 LeakyReLU[14] 层，最后一层只有一个卷积层。通过密集 连接的结构用更短跳跃连接的方式有效地保障了 各层之间的信息传递，对于每一层来说，它的输 第 1 期 毕晓君，等：基于生成对抗网络的机载遥感图像超分辨率重建 ·77·
·78· 智能系统学报 第15卷 入都由之前每一层的特征图组成，并将自己的所 间的欧氏距离；中表示在VGG19网络内在第i 有特征图作为下一层的输出。 个最大池化层之前通过第j个卷积层（激活之 后)所获得的特征映射：W,和H表示VGG网络 Dense 特征图的尺寸。 由于WGAN的加入，对抗损失作为生成器损 失的重要组成，可以表示为 图6密集模块 LGen =-Ex-F,[fw(x)] Fig.6 Dense block 对应的判别器损失为 批量归一化在卷积神经网络中具有重要作 LD Ex-r,[f.(x)]-Ex-P,[f.() 用，不仅可以加速网络收敛速度，易于训练深层 为了更好地训练模型，最终取得更好的重建 网络，还可以防止网络过拟合。但是，2017年， 效果，本文设置的具体实验超参数为：生成器和 Lim等通过实验证明，在图像SR重建领域中， 判别器的学习率均为0.0001，迭代次数为40万 网络结构中加入批量归一化层并不能得到良好的 次，在5万次后学习率衰减，batchsize为16，优化 结果，反而会使得训练速度缓慢且不稳定，甚至 算法选择RMSProp, 最后发散。因此，为了训练稳定性和一致性，在 2.3评价指标的选取 设计生成器网络结构时，本文方法去除了传统密 本文选择在图像超分辨率重建上最常用的峰 集块和残差网络中的批量归一化层，在RRDB中 值信噪比(PSNR)来对重建图像进行对比和评 直接将卷积层与激活函数LeakyReLU相连，提高 价。PSNR的本质是计算原始图像与重建图像像 模型泛化能力，减少计算复杂度和内存使用。 素点之间的误差，从而衡量二者之间的相似情 2.1.2判别器网络的设计 况。其计算方法为 在判别器部分，生成器的输出即重建出的机 PSNR=10xlg (2-1)2 载遥感图像，和真实图像同时作为判别器的输 MSE 入，进入判别器网络，通过判别模块对图像进行 式中：n为每个采样值的比特数，峰值信噪比的单 判别，最终通过两个密集层预测输入的为真实图 位为dB,其值越大，表明原始图像与重建图像像 像还是重建图像，再反馈给生成器。 素点间误差越小，重建效果越好。MSE代表均方 在判别器网络结构的设计上，为了解决原始 误差，对于一个大小为M×N的图像，其计算公式为 GAN训练困难、生成样本缺乏多样性的问题，本 文采用WGAN对判别器进行优化，并去除SR- MSE= 22- GAN判别器最末层的Sigmoid层。判别网络包 M×N 含8个卷积层，使用LeakyRelu作为激活函数，随 式中：I和分别为原始图像与重建图像中像素 着网络层数加深，特征个数从64增加到512，特 点坐标为（位，）处的像素值。 征尺寸不断减小。 3实验与结果分析 2.2损失函数与超参数设置 为了实现对于机载遥感图像的清晰重建，根据 3.1数据集与实验环境 本文提出的网络结构，选取在生成对抗网络上常用 为了验证本文方法的有效性和先进性，选择机 的感知损失作为代价函数对生成器损失进行优化。 载遥感图像开放数据集NWPU-RESISC4516)和 在生成对抗网络中，感知损失(perceptual loss)是由 UCMerced LandUsel71进行实验。NWPU- 内容损失和对抗损失共同决定的，其形式为 RESISC45机载遥感图像数据集，包含45个不同场 Lpercep=Lcontent+10Lcen 景下的机载遥感图像，包括飞机、港口、湖泊、高速 式中：Lcontent为内容损失，Lcm为对抗损失。内容 公路、商业区等场景，每类图像有700张，共31500 损失可被表示为 张图像，图像大小为256×256，随机选择每类56张 1 图像共2520张图像组成训练集，1500张组成测试 集。UCMerced LandUse遥感数据集是从USGS国 (Ga,(H))2 家地图“市区图像”集合中的大图像中提取的，涵盖 式中：Lvcc表示在特征提取时，选取了VGG19 了21类土地资源遥感图像，每类100张，共2100 网络的RLU激活层为内容损失，该损失可以视 张，我们将这2100张图像作为另一组测试集用于 为重建图像G(IH)的特征表示与真实图像H 实验的验证。本文采用的实验环境设置如表1所示
入都由之前每一层的特征图组成，并将自己的所 有特征图作为下一层的输出。 Dense block Conv LReLU Conv LReLU Conv LReLU Conv Conv LReLU 图 6 密集模块 Fig. 6 Dense block 批量归一化在卷积神经网络中具有重要作 用，不仅可以加速网络收敛速度，易于训练深层 网络，还可以防止网络过拟合。但是，2017 年 ， Lim 等 [15] 通过实验证明，在图像 SR 重建领域中， 网络结构中加入批量归一化层并不能得到良好的 结果，反而会使得训练速度缓慢且不稳定，甚至 最后发散。因此，为了训练稳定性和一致性，在 设计生成器网络结构时，本文方法去除了传统密 集块和残差网络中的批量归一化层，在 RRDB 中 直接将卷积层与激活函数 LeakyReLU 相连，提高 模型泛化能力，减少计算复杂度和内存使用。 2.1.2 判别器网络的设计 在判别器部分，生成器的输出即重建出的机 载遥感图像，和真实图像同时作为判别器的输 入，进入判别器网络，通过判别模块对图像进行 判别，最终通过两个密集层预测输入的为真实图 像还是重建图像，再反馈给生成器。 在判别器网络结构的设计上，为了解决原始 GAN 训练困难、生成样本缺乏多样性的问题，本 文采用 WGAN 对判别器进行优化，并去除 SRGAN 判别器最末层的 Sigmoid 层。判别网络包 含 8 个卷积层，使用 LeakyRelu 作为激活函数，随 着网络层数加深，特征个数从 64 增加到 512，特 征尺寸不断减小。 2.2 损失函数与超参数设置 为了实现对于机载遥感图像的清晰重建，根据 本文提出的网络结构，选取在生成对抗网络上常用 的感知损失作为代价函数对生成器损失进行优化。 在生成对抗网络中，感知损失 (perceptual loss) 是由 内容损失和对抗损失共同决定的，其形式为 Lpercep = Lcontent +10−3LGen 式中： Lcontent 为内容损失， LGen 为对抗损失。内容 损失可被表示为 Lcontent = LVGG/i, j = 1 Wi, jHi, j ∑Wi, j x=1 ∑Hi, j y=1 (ϕi, j(I HR)x,y− ϕi, j(GθG (I HR))x,y) 2 LVGG/i, j GθG (I HR) I HR 式中： 表示在特征提取时，选取了 VGG19 网络的 ReLU 激活层为内容损失，该损失可以视 为重建图像 的特征表示与真实图像 ϕi, j i j Wi, j Hi, j 间的欧氏距离； 表示在 VGG19 网络内在第 个最大池化层之前通过第 个卷积层 (激活之 后) 所获得的特征映射； 和 表示 VGG 网络 特征图的尺寸。 由于 WGAN 的加入，对抗损失作为生成器损 失的重要组成，可以表示为 LGen = −Ex∼Pg [fw(x)] 对应的判别器损失为 LD = Ex∼Pg [fw(x)]− Ex∼Pr [fw(x)] 为了更好地训练模型，最终取得更好的重建 效果，本文设置的具体实验超参数为：生成器和 判别器的学习率均为 0.000 1，迭代次数为 40 万 次，在 5 万次后学习率衰减，batchsize 为 16，优化 算法选择 RMSProp。 2.3 评价指标的选取 本文选择在图像超分辨率重建上最常用的峰 值信噪比 (PSNR) 来对重建图像进行对比和评 价。PSNR 的本质是计算原始图像与重建图像像 素点之间的误差，从而衡量二者之间的相似情 况。其计算方法为 PSNR = 10×lg[ (2n −1)2 MSE ] n MSE M ×N 式中： 为每个采样值的比特数，峰值信噪比的单 位为 dB，其值越大，表明原始图像与重建图像像 素点间误差越小，重建效果越好。 代表均方 误差，对于一个大小为 的图像，其计算公式为 MSE = ∑M i=1 ∑N j=1 (Ii j − I ′ i j) M ×N Ii j Ii j ′ (i, j) 式中： 和 分别为原始图像与重建图像中像素 点坐标为 处的像素值。 3 实验与结果分析 3.1 数据集与实验环境 为了验证本文方法的有效性和先进性，选择机 载遥感图像开放数据集 NWPU-RESISC45[16] 和 UCMerced_LandUse [ 1 7 ] 进行实验。NWPURESISC45 机载遥感图像数据集，包含 45 个不同场 景下的机载遥感图像，包括飞机、港口、湖泊、高速 公路、商业区等场景，每类图像有 700 张，共 31 500 张图像，图像大小为 256×256，随机选择每类 56 张 图像共 2 520 张图像组成训练集，1 500 张组成测试 集。UCMerced_LandUse 遥感数据集是从 USGS 国 家地图“市区图像”集合中的大图像中提取的，涵盖 了 21 类土地资源遥感图像，每类 100 张，共 2 100 张，我们将这 2 100 张图像作为另一组测试集用于 实验的验证。本文采用的实验环境设置如表 1 所示。 ·78· 智 能 系 统 学 报 第 15 卷
第1期 毕晓君，等：基于生成对抗网络的机载遥感图像超分辨率重建 ·79· 表1实验环境配置 2520张图像进行训练，并对1500张图像进行测 Table 1 Experimental environment configuration 试。为验证本文方法的先进性，选择具有权威性 实验硬件 Intel CoreTM78700K酷容六核3.7Gz 的图像超分辨率重建领域的经典方法和计算机视 内存 32 GB 觉领域顶级会议ECCV、CVPR上所发表的方法， 处理器 64 bit 从数值评价指标和视觉效果两方面与本文方法进 GeForce GTX 1080 Ti GAMING 行对比。对NWPU-RESISC.45测试集中所有的测 GPU X TRIO 11 GB GDDR5X 试图像的PSNR值求均值，可以得到如表2的结 操作系统 Ubuntu 16.04 果。从表2可以看出，相比于其他方法，本文方法 编程框架 Pytorch0.4.0 在NWPU-RESISC45测试集上取得了最高的平均 评价指标计算 PSNR值，较传统Bicubic方法有2.59dB增益，较 MATLAB FSRCNN方法有2.42dB增益，较ESPCN方法有 3.2 实验结果分析 2.24dB增益，较SRGAN方法有1.99dB增益。验 在实验中，用NWPU-RESISC45数据集中的 证了本文方法在评价指标上的先进性。 表2NWPU-RESISC45测试集的PSNR对比 Table 2 PSNR comparison of NWPU-RESISC45 test set 评价指标 LR Bicubic FSRCNN ESPCN SRGAN 本文方法 HR MSE 251.24 269.41 202.81 187.10 176.64 111.71 0 PSNR/dB 24.13 25.06 25.23 25.41 25.66 27.65 00 对机载遥感图像重建的视觉效果进行对 每一张图像从左至右分别为使用双三次插值 比分析，对比结果如图7所示。图中(a)~(d) (Bicubic)、FSRCNN、SRGAN和本文方法进行超 分别对应数据集中的airplane_039、lake_690、 分辨率重建后的机载遥感图像，以及原始高分辨 overpass405和ship_010这4张机载遥感图像。 率图像。 Bicubic FSRCNN SRGAN 本文方法 HR 图7NWPU-RESISC45的重建效果对比 Fig.7 Comparison of reconstruction effect of test set NWPU-RESISC45
表 1 实验环境配置 Table 1 Experimental environment configuration 实验硬件 Intel® CoreTMi7 8700 K 酷睿六核3.7 GHz 内存 32 GB 处理器 64 bit GPU GeForce GTX 1080 Ti GAMING X TRIO 11 GB GDDR5X 操作系统 Ubuntu 16.04 编程框架 Pytorch0.4.0 评价指标计算 MATLAB 3.2 实验结果分析 在实验中，用 NWPU-RESISC45 数据集中的 2 520 张图像进行训练，并对 1 500 张图像进行测 试。为验证本文方法的先进性，选择具有权威性 的图像超分辨率重建领域的经典方法和计算机视 觉领域顶级会议 ECCV、CVPR 上所发表的方法， 从数值评价指标和视觉效果两方面与本文方法进 行对比。对 NWPU-RESISC45 测试集中所有的测 试图像的 PSNR 值求均值，可以得到如表 2 的结 果。从表 2 可以看出，相比于其他方法，本文方法 在 NWPU-RESISC45 测试集上取得了最高的平均 PSNR 值，较传统 Bicubic 方法有 2.59 dB 增益，较 FSRCNN 方法有 2.42 dB 增益，较 ESPCN 方法有 2.24 dB 增益，较 SRGAN 方法有 1.99 dB 增益。验 证了本文方法在评价指标上的先进性。 表 2 NWPU-RESISC45 测试集的 PSNR 对比 Table 2 PSNR comparison of NWPU-RESISC45 test set 评价指标 LR Bicubic FSRCNN ESPCN SRGAN 本文方法 HR MSE 251.24 269.41 202.81 187.10 176.64 111.71 0 PSNR/dB 24.13 25.06 25.23 25.41 25.66 27.65 ∞ 对机载遥感图像重建的视觉效果进行对 比分析，对比结果如 图 7 所示。图 中 (a)~(d) 分别对应数据集中的 airplane_039、lake_690、 overpass_405 和 ship_010 这 4 张机载遥感图像。 每一张图像从左至右分别为使用双三次插值 (Bicubic)、FSRCNN、SRGAN 和本文方法进行超 分辨率重建后的机载遥感图像，以及原始高分辨 率图像。 Bicubic FSRCNN SRGAN 本文方法 HR 图 7 NWPU-RESISC45 的重建效果对比 Fig. 7 Comparison of reconstruction effect of test set NWPU-RESISC45 第 1 期 毕晓君，等：基于生成对抗网络的机载遥感图像超分辨率重建 ·79·
·80 智能系统学报 第15卷 从图中可以看出，本文方法能够有效对机载遥 自然纹理的重建也要优于对比方法。为了更加清 感图像进行超分辨率重建，并对原始高清机载遥感 晰直观地对比各个方法的重建效果，将图7中每个 图像的地物及细节进行了有效恢复。如第1幅图 图像中红色方框区域放大，进行对比，如图8所 中，本文方法对于飞机机身红色线条、机场地面线 示。由图8的局部放大效果对比图可以看出，本文 条和机尾等细节部分的重建效果明显优于对比方 提出的方法在对于细节的重建上明显优于对比方 法；第2幅图中，本文方法对于湖泊边缘和土地的 法，图像的整体质量更高。 (a)Bicubic (b)FSRCNN (c)SRGAN (d)本文方法 (e)HR 图8局部放大效果对比 Fig.8 Comparison of local magnification 可以看出，本文方法能够有效对机载遥感图 超分辨率重建模型的泛化能力，增加了对数据集 像进行4倍的重建，相较于其他方法，有更高的 UCMerced LandUse的测试。将训练好的模型在 PSNR值和更好的重建效果，特别是能够重建出 数据集UCMerced LandUse的2l00张图像上进 更真实清晰的纹理细节，验证了本文方法的有效 行测试，并与其他经典方法进行对比，PSNR对比 性和先进性。为了验证本文提出的机载遥感图像 如表3，重建效果和局部放大对比如图9。 表3 UCMerced_LandUse测试集的PSNR对比 Table 3 PSNR comparison of UCMerced_LandUse test set 评价指标 LR Bicubic FSRCNN VDSR SRGAN 本文方法 HR MSE 335.03 177.04 131.85 126.50 150.34 120.25 0 PSNR/dB 22.88 25.65 26.93 27.11 26.36 27.33 从表3中可以看出，相比于其他方法，本文方 法有0.22dB增益，较SRGAN方法有0.97dB增 法在UCMerced LandUse测试集上取得了最高的 益。验证了本文方法在评价指标上的先进性。从 平均PSNR值，较传统Bicubic方法有1.68dB增 图9中可以看出，本文方法能够有效对数据集 益，较FSRCNN方法有O.4dB增益，较VDSR方 UCMerced LandUse中的机载遥感图像进行4倍
从图中可以看出，本文方法能够有效对机载遥 感图像进行超分辨率重建，并对原始高清机载遥感 图像的地物及细节进行了有效恢复。如第 1 幅图 中，本文方法对于飞机机身红色线条、机场地面线 条和机尾等细节部分的重建效果明显优于对比方 法；第 2 幅图中，本文方法对于湖泊边缘和土地的 自然纹理的重建也要优于对比方法。为了更加清 晰直观地对比各个方法的重建效果，将图 7 中每个 图像中红色方框区域放大，进行对比，如图 8 所 示。由图 8 的局部放大效果对比图可以看出，本文 提出的方法在对于细节的重建上明显优于对比方 法，图像的整体质量更高。 (a) Bicubic (b) FSRCNN (c) SRGAN (e) HR (d) 本文方法 图 8 局部放大效果对比 Fig. 8 Comparison of local magnification 可以看出，本文方法能够有效对机载遥感图 像进行 4 倍的重建，相较于其他方法，有更高的 PSNR 值和更好的重建效果，特别是能够重建出 更真实清晰的纹理细节，验证了本文方法的有效 性和先进性。为了验证本文提出的机载遥感图像 超分辨率重建模型的泛化能力，增加了对数据集 UCMerced_LandUse 的测试。将训练好的模型在 数据集 UCMerced_LandUse 的 2 100 张图像上进 行测试，并与其他经典方法进行对比，PSNR 对比 如表 3，重建效果和局部放大对比如图 9。 表 3 UCMerced_LandUse 测试集的 PSNR 对比 Table 3 PSNR comparison of UCMerced_LandUse test set 评价指标 LR Bicubic FSRCNN VDSR SRGAN 本文方法 HR MSE 335.03 177.04 131.85 126.50 150.34 120.25 0 PSNR/dB 22.88 25.65 26.93 27.11 26.36 27.33 ∞ 从表 3 中可以看出，相比于其他方法，本文方 法在 UCMerced_LandUse 测试集上取得了最高的 平均 PSNR 值，较传统 Bicubic 方法有 1.68 dB 增 益，较 FSRCNN 方法有 0.4 dB 增益，较 VDSR 方 法有 0.22 dB 增益，较 SRGAN 方法有 0.97 dB 增 益。验证了本文方法在评价指标上的先进性。从 图 9 中可以看出，本文方法能够有效对数据集 UCMerced_LandUse 中的机载遥感图像进行 4 倍 ·80· 智 能 系 统 学 报 第 15 卷
第1期 毕晓君，等：基于生成对抗网络的机载遥感图像超分辨率重建 ·81· (a)Bicubic (b)FSRCNN (c)SRGAN (d本文方法 (e)HR 图9测试集UCMerced LandUse的重建效果对比 Fig.9 Comparison of reconstruction effect of test set UCMerced LandUse
(a) Bicubic (b) FSRCNN (c) SRGAN (e) HR (d) 本文方法 图 9 测试集 UCMerced_LandUse 的重建效果对比 Fig. 9 Comparison of reconstruction effect of test set UCMerced_LandUse 第 1 期 毕晓君，等：基于生成对抗网络的机载遥感图像超分辨率重建 ·81·
·82 智能系统学报 第15卷 重建，且能够保证图像细节纹理的恢复，如草坪 感图像具有更真实的细节、更锐利的边缘和更好 上的纹理、道路行车线、电缆阴影以及飞机场上 的重建效果，并通过对比实验，验证了本文方法 的转弯痕迹等，重建出的图像纹理细节更加真 的有效性、先进性和模型泛化能力。同时，在研 实，边缘更加锐利，整体效果更好。通过对比，充 究过程中发现，对于不同类别的机载遥感图像重 分证明本文方法能够有效对机载遥感图像进行图 建的效果存在差异，如何有针对性的对不同类别 像特征提取，并恢复出更清晰的细节纹理，且该 的机载遥感图像进行超分辨率重建是未来研究的 模型具有对不同机载遥感图像重建的泛化能力。 主要方向。 为了验证WGAN对于训练过程的优化效果， 将训练过程中原始GAN网络和使用WGAN后网 参考文献： 络的判别器损失函数变化曲线进行对比。选取迭 [1]赵英时.遥感应用分析原理与方法M北京：科学出版 代100次得到的结果进行对比分析，判别器损失 社，2013. 函数变化曲线如图10所示，图(a)为原始GAN的 [2]罗小波.遥感图像智能分类及其应用M北京：电子工 判别器损失函数变化曲线，图(b)为WGAN的判 业出版社.2011」 别器损失函数变化曲线。通过对比可以看出，原 [3]石爱业，徐枫.徐梦溪.图像超分辨率重建方法及应 始GAN在迭代55次时趋于平稳，而使用WGAN 用M.北京：科学出版社，2016. 后迭代30次时趋于平稳。随着迭代次数的增加， [4]DONG Chao,LOY CC,HE Kaiming,et al.Learning a 使用WGAN的判别器损失函数曲线下降的比原 deep convolutional network for image super-resolution[M]. FLEET D.PAJDLA T,SCHIELE B.et al.Computer Vis- 始GAN的更快，而且波动较小，训练进程更加稳 ion-ECCV 2014.Cham:Springer,2014:184-199. 定。这充分说明了WGAN对于模型训练的优化 [5]DONG Chao,LOY CC,TANG Xiaoou.Accelerating the 作用，提升了整个模型的训练稳定性，同时加快 super-resolution convolutional neural network[M].LEIBE 了收敛速度。 B,MATAS J,SEBE N,et al.Computer Vision-ECCV 4.0 1.0 2016.Cham:Springer,.2016:391-407. 3.5 0.8 [6]KIM J,LEE JK,LEE K M.Accurate image super-resolu- 3.0 tion using very deep convolutional networks[C]//Proceed- 0.6 ings of 2016 IEEE Conference on Computer Vision and 04 Pattern Recognition.Las Vegas,NV,USA,2016: 1.0 1646-1654. 0.5 [7]LEDIG C.THEIS L.HUSZAR F.et al.Photo-realistic 00 0.0 255075100125 0 255075100125 single image super-resolution using a generative adversari- 迭代次数 迭代次数 al network[C]//Proceedings of 2017 IEEE Conference on (a)原始GAN (b)WGAN Computer Vision and Pattern Recognition.Honolulu,HI. 图10判别器损失函数变化曲线对比 USA.2017:105-114 Fig.10 Comparison of discriminant loss function curves [8]ARJOVSKY M,CHINTALA S,BOTTOU L.Wasserstein GAN[J/OL].(2017-01-26).https://arxiv.org/abs/1701. 4结束语 07875. 本文提出的机载遥感图像超分辨率重建模 [9]石爱业，徐枫，徐梦溪.图像超分辨率重建方法及应 型将生成对抗网络应用到机载遥感图像中，将 用M0.北京：科学出版社，2016. RRDB作为特征提取模块，使生成器网络有更深 [10]TSAI R Y,HUANG TS.Multiframe image restoration 层的网络结构和更密集的连接，既可以防止选用 and registration.Advances in Computer Vision and Im- age Pro-cessing:JAI Press Inc.,1984,317-339. 较深网络训练时出现退化问题，又可以保证图像 [11]高春波.生成对抗网络的图像超分辨率重建D1.杭州」 的浅层信息和深层信息都能够得到有效的传递， 浙江理工大学，2019 最终重建出细节更丰富、图像更清晰的机载遥感 GAO Chunbo.Image super-resolution using a generative 图像的：采用带有感知损失的沃瑟斯坦式生成对 adversarial network[D].Hangzhou:Zhejiang Sci-Tech 抗网络优化判别器，克服了生成对抗网络难以训 University,2019. 练的缺点，最终有效对机载遥感图像进行4倍重 [12]GOODFELLOW I J.POUGET-ABADIE J.MIRZA M. 建。相较于其他方法，本文方法重建出的机载遥 et al.Generative adversarial nets[C]//Proceedings of the
重建，且能够保证图像细节纹理的恢复，如草坪 上的纹理、道路行车线、电缆阴影以及飞机场上 的转弯痕迹等，重建出的图像纹理细节更加真 实，边缘更加锐利，整体效果更好。通过对比，充 分证明本文方法能够有效对机载遥感图像进行图 像特征提取，并恢复出更清晰的细节纹理，且该 模型具有对不同机载遥感图像重建的泛化能力。 为了验证 WGAN 对于训练过程的优化效果， 将训练过程中原始 GAN 网络和使用 WGAN 后网 络的判别器损失函数变化曲线进行对比。选取迭 代 100 次得到的结果进行对比分析，判别器损失 函数变化曲线如图 10 所示，图 (a) 为原始 GAN 的 判别器损失函数变化曲线，图 (b) 为 WGAN 的判 别器损失函数变化曲线。通过对比可以看出，原 始 GAN 在迭代 55 次时趋于平稳，而使用 WGAN 后迭代 30 次时趋于平稳。随着迭代次数的增加， 使用 WGAN 的判别器损失函数曲线下降的比原 始 GAN 的更快，而且波动较小，训练进程更加稳 定。这充分说明了 WGAN 对于模型训练的优化 作用，提升了整个模型的训练稳定性，同时加快 了收敛速度。 1.0 0.8 0.6 0.4 0.2 0.0 0 25 50 75 100 125 (b) WGAN 4.0 3.5 3.0 2.5 2.0 1.5 1.0 0.5 0.0 0 25 50 75 100 125 (a) 原始GAN 损失函数值 迭代次数 迭代次数 损失函数值 图 10 判别器损失函数变化曲线对比 Fig. 10 Comparison of discriminant loss function curves 4 结束语 本文提出的机载遥感图像超分辨率重建模 型将生成对抗网络应用到机载遥感图像中，将 RRDB 作为特征提取模块，使生成器网络有更深 层的网络结构和更密集的连接，既可以防止选用 较深网络训练时出现退化问题，又可以保证图像 的浅层信息和深层信息都能够得到有效的传递， 最终重建出细节更丰富、图像更清晰的机载遥感 图像的；采用带有感知损失的沃瑟斯坦式生成对 抗网络优化判别器，克服了生成对抗网络难以训 练的缺点，最终有效对机载遥感图像进行 4 倍重 建。相较于其他方法，本文方法重建出的机载遥 感图像具有更真实的细节、更锐利的边缘和更好 的重建效果，并通过对比实验，验证了本文方法 的有效性、先进性和模型泛化能力。同时，在研 究过程中发现，对于不同类别的机载遥感图像重 建的效果存在差异，如何有针对性的对不同类别 的机载遥感图像进行超分辨率重建是未来研究的 主要方向。 参考文献： 赵英时. 遥感应用分析原理与方法 [M]. 北京: 科学出版 社, 2013. [1] 罗小波. 遥感图像智能分类及其应用 [M]. 北京: 电子工 业出版社, 2011. [2] 石爱业, 徐枫, 徐梦溪. 图像超分辨率重建方法及应 用 [M]. 北京: 科学出版社, 2016. [3] DONG Chao, LOY C C, HE Kaiming, et al. Learning a deep convolutional network for image super-resolution[M]. FLEET D, PAJDLA T, SCHIELE B, et al. Computer Vision- ECCV 2014. Cham: Springer, 2014: 184−199. [4] DONG Chao, LOY C C, TANG Xiaoou. Accelerating the super-resolution convolutional neural network[M]. LEIBE B, MATAS J, SEBE N, et al. Computer Vision- ECCV 2016. Cham: Springer, 2016: 391−407. [5] KIM J, LEE J K, LEE K M. Accurate image super-resolution using very deep convolutional networks[C]//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, NV, USA, 2016: 1646−1654. [6] LEDIG C, THEIS L, HUSZÁR F, et al. Photo-realistic single image super-resolution using a generative adversarial network[C]//Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, HI, USA, 2017: 105−114. [7] ARJOVSKY M, CHINTALA S, BOTTOU L. Wasserstein GAN[J/OL]. (2017-01-26). https://arxiv.org/abs/1701. 07875. [8] 石爱业, 徐枫, 徐梦溪. 图像超分辨率重建方法及应 用 [M]. 北京: 科学出版社, 2016. [9] TSAI R Y, HUANG T S. Multiframe image restoration and registration. Advances in Computer Vision and Image Pro-cessing: JAI Press Inc., 1984, 317−339. [10] 高春波. 生成对抗网络的图像超分辨率重建 [D]. 杭州: 浙江理工大学, 2019. GAO Chunbo. Image super-resolution using a generative adversarial network[D]. Hangzhou: Zhejiang Sci-Tech University, 2019. [11] GOODFELLOW I J, POUGET-ABADIE J, MIRZA M, et al. Generative adversarial nets[C]//Proceedings of the [12] ·82· 智 能 系 统 学 报 第 15 卷
第1期 毕晓君，等：基于生成对抗网络的机载遥感图像超分辨率重建 ·83· 27th International Conference on Neural Information Pro- tial extensions for land-use classification[C]//Proceedings cessing Systems.Montreal,Canada,2014:2672-2680. of the 18th ACM SIGSPATIAL International Conference [13]IOFFE S,SZEGEDY C.Batch normalization:accelerat- on Advances in Geographic Information Systems.New ing deep network training by reducing internal covariate York,USA,2010:270-279 shift[C]//Proceedings of the 32nd International Confer- 作者简介： ence on Machine Learning.Lille,France,2015:448-456. 毕晓君，女，1964年生，教授博 [14]MASS A L,HANNUN A Y,NG A Y.Rectifier nonlin- 士生导师，主要研究方向为智能信息 earities improve neural network acoustic models[C]//Pro- 处理、数字图像处理、智能优化算法及 ceedings of the 30th International Conference on Ma- 机器学习。主持国家自然科学基金面 chine Learning.Atlanta,GA,USA,2013. 上项目2项，科技部国际合作项目面 [15]LIM B,SON S,KIM H,et al.Enhanced deep residual 上项目1项，教育部博土点基金1项 工业与信息化部海洋工程装备科研项 networks for single image super-resolution[C]//Proceed- 目子项目1项，民品横向课题1项，获国家专利8项。出版 ings of 2017 IEEE Conference on Computer Vision and 学术专著3部，发表学术论文160余篇。 Pattern Recognition Workshops.Honolulu,HI,USA, 2017:1132-1140 潘梦迪，女，1994年生，硕士研究 [16]CHENG Gong,HAN Junwei,LU Xiaoqiang.Remote 生，主要研究方向为深度学习、图像 处理。 sensing image scene classification:benchmark and state of the art[J].Proceedings of the IEEE,2017,105(10): 1865-1883 [17]YANG Yi,NEWSAM S.Bag-of-visual-words and spa- 2020年中国粒计算与知识发现学术会议 由中国人工智能学会主办，中国人工智能学会粒计算与知识发现专委会协办，国际粗糙集学会支持，山 西大学承办的2020年中国粒计算与知识发现学术会议（第二十届中国粗糙集与软计算学术会议、第十四届 中国粒计算学术会议、第八届三支决策学术会议)将于2020年8月14一16日在“历史文化名城一一山西太 原”召开。现将会议有关征文事宜通知如下，热忱欢迎相关研究人员踊跃投稿并参会。 征文范围（包括但不仅限于）： 1)粗糙集与软计算；2)粒计算理论及其应用；3)三支决策模型与分析：4)识发现与数据挖掘：5)人工智 能创新应用。 注意事项： 1)采用网上投稿方式，投稿地址：https:://easychair.org/conferences//?conf=cgckd.2020。 2)会议接收中英文论文。 3)投稿内容应突出作者的创新与成果，具有重要的学术价值与应用推广价值，且未在公开发行的刊物上 发表或会议上宣读。 4)录用论文将根据论文质量推荐到《International Journal of Machine Learning and Cybernetics》《Interna- tional Journal of Bio-inspired Computation>CAAI Transactions on Intelligence Technology>International Journal of Computer Science and Knowledge Engineering》《计算机研究与发展》《智能系统学报》《模式识 别与人工智能》《计算机科学》《计算机科学与探索》《小型微型计算机系统》《南京大学学报（自然科 学版)》《计算机应用》《计算机工程与应用》《数据采集与处理》《山东大学学报（理学版）》《郑州 大学学报（理学版）》《山西大学学报（自然科学版）》《数码设计》等期刊正刊发表。 5)会议将评选优秀学生论文若干。 联系方式： 1)投稿与会务咨询：魏巍(18635125988)：翟岩慧(13100147204)：钱宇华(15135193000)。 2)会务邮箱：cgckd.2020@163.com 3)会议网站：http://cgckd2020.sxu.edu.cn
27th International Conference on Neural Information Processing Systems. Montreal, Canada, 2014: 2672−2680. IOFFE S, SZEGEDY C. Batch normalization: accelerating deep network training by reducing internal covariate shift[C]//Proceedings of the 32nd International Conference on Machine Learning. Lille, France, 2015: 448−456. [13] MASS A L, HANNUN A Y, NG A Y. Rectifier nonlinearities improve neural network acoustic models[C]//Proceedings of the 30th International Conference on Machine Learning. Atlanta, GA, USA, 2013. [14] LIM B, SON S, KIM H, et al. Enhanced deep residual networks for single image super-resolution[C]//Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops. Honolulu, HI, USA, 2017: 1132−1140. [15] CHENG Gong, HAN Junwei, LU Xiaoqiang. Remote sensing image scene classification: benchmark and state of the art[J]. Proceedings of the IEEE, 2017, 105(10): 1865–1883. [16] [17] YANG Yi, NEWSAM S. Bag-of-visual-words and spatial extensions for land-use classification[C]//Proceedings of the 18th ACM SIGSPATIAL International Conference on Advances in Geographic Information Systems. New York, USA, 2010: 270−279. 作者简介： 毕晓君，女，1964 年生，教授，博 士生导师，主要研究方向为智能信息 处理、数字图像处理、智能优化算法及 机器学习。主持国家自然科学基金面 上项目 2 项，科技部国际合作项目面 上项目 1 项，教育部博士点基金 1 项， 工业与信息化部海洋工程装备科研项 目子项目 1 项，民品横向课题 1 项，获国家专利 8 项。出版 学术专著 3 部，发表学术论文 160余篇。 潘梦迪，女，1994 年生，硕士研究 生，主要研究方向为深度学习、图像 处理。 2020 年中国粒计算与知识发现学术会议 由中国人工智能学会主办，中国人工智能学会粒计算与知识发现专委会协办，国际粗糙集学会支持，山 西大学承办的 2020 年中国粒计算与知识发现学术会议（第二十届中国粗糙集与软计算学术会议、第十四届 中国粒计算学术会议、第八届三支决策学术会议） 将于 2020 年 8 月 14—16 日在“历史文化名城——山西太 原”召开。现将会议有关征文事宜通知如下，热忱欢迎相关研究人员踊跃投稿并参会。 征文范围（包括但不仅限于）： 1）粗糙集与软计算；2）粒计算理论及其应用；3）三支决策模型与分析；4）识发现与数据挖掘；5）人工智 能创新应用。 注意事项： 1）采用网上投稿方式，投稿地址：https://easychair.org/conferences/?conf=cgckd2020。 2）会议接收中英文论文。 3）投稿内容应突出作者的创新与成果，具有重要的学术价值与应用推广价值，且未在公开发行的刊物上 发表或会议上宣读。 4）录用论文将根据论文质量推荐到《International Journal of Machine Learning and Cybernetics》《 International Journal of Bio-inspired Computation》 《CAAI Transactions on Intelligence Technology》《International Journal of Computer Science and Knowledge Engineering》 《计算机研究与发展》《智能系统学报》《模式识 别与人工智能》 《计算机科学》《计算机科学与探索》《小型微型计算机系统》《南京大学学报（自然科 学版）》《计算机应用》《计算机工程与应用》 《数据采集与处理》 《山东大学学报（理学版）》 《郑州 大学学报（ 理学版）》 《山西大学学报（ 自然科学版）》 《数码设计》 等期刊正刊发表。 5）会议将评选优秀学生论文若干。 联系方式： 1） 投稿与会务咨询：魏巍（18635125988）；翟岩慧（13100147204）；钱宇华（15135193000）。 2）会务邮箱：cgckd2020@163.com 3）会议网站： http://cgckd2020.sxu.edu.cn/ 第 1 期 毕晓君，等：基于生成对抗网络的机载遥感图像超分辨率重建 ·83·
