第1期 毕晓君，等：基于生成对抗网络的机载遥感图像超分辨率重建 ·77· 2本文方法 分组成：先由生成器网络生成重建的高分辨率图 像；再将生成的重建图像与真实图像同时输入判 2.1网络结构设计 别器网络，由判别器进行判别是真实图像还是重 针对机载遥感图像超分辨率重建过程中存在 建图像。若判别器能够分辨出重建图像，则证明 的问题，本文提出一种基于WGAN的机载遥感图 图像重建质量不佳，此时反馈给生成器继续进行 像超分辨率重建模型。模型以生成对抗网络为主 训练；若判别器不能分辨出重建图像与真实图 体，分别对生成器和判别器做出改进，整体结构 像，则证明生成器已完成训练。 如图4所示。整个网络由生成器部分和判别器部 生成器 H 密集剩余残差块 图像 RRDB 重硅 重建 图像 图像 判别器 真 真实 图像 像 图4网络整体结构 Fig.4 Overall network structure 2.1.1生成器网络的设计 密集 在生成器部分，先由卷积层提取载遥感图像 摸块 浅层的特征信息并传递给上采样层；再由特征提 取模块进行深层特征的提取和传输；最后经过非 密集剩余残差块 线性映射、上采样等操作对图像进行重建。 RRDB 在生成器网络结构的设计上，本文采用密集 剩余残差块(residual-.in-residual dense block, 图5特征提取模块 Fig.5 Feature extraction block RRDB)代替SRGAN的特征提取模块，增强模型 每个密集模块都由5层卷积网络通过跳跃 特征提取能力，通过去除特征提取模块中的批量 连接组成，并增加残差缩放将残差乘以0~1之间 归一化(batch norm,BN层减少计算复杂度，并 的常数，然后将它们添加到主传输路径上来保证 在残差块连接处增加残差缩放来稳定训练过程。 训练的稳定性，其结构如图6所示。本文采用的 在特征提取模块中，本文采用23个RRDB作 缩放因子为01。在每个密集块中最后的卷积层 为主要组成，每一个RRDB内部都包含3个密集 紧连着一个恒定的缩放层，当使用大量滤波器 模块(dense block)来代替SRGAN中由两个3×3 时，这些缩放层极大地稳定了训练过程。在密集 的卷积层、BN层和ReLU激活层组成的基础块， 块中，前4层卷积层后都接有激活函数Leaky- 通过密集模块间的密集的连接，增加层数的同时 RLU层，最后一层只有一个卷积层。通过密集 增加层与层之间的连接，从而增强模型的特征提 连接的结构用更短跳跃连接的方式有效地保障了 取能力，特征提取模块的具体结构如图5所示。 各层之间的信息传递，对于每一层来说，它的输2 本文方法 2.1 网络结构设计 针对机载遥感图像超分辨率重建过程中存在 的问题，本文提出一种基于 WGAN 的机载遥感图 像超分辨率重建模型。模型以生成对抗网络为主 体，分别对生成器和判别器做出改进，整体结构 如图 4 所示。整个网络由生成器部分和判别器部 分组成：先由生成器网络生成重建的高分辨率图 像；再将生成的重建图像与真实图像同时输入判 别器网络，由判别器进行判别是真实图像还是重 建图像。若判别器能够分辨出重建图像，则证明 图像重建质量不佳，此时反馈给生成器继续进行 训练；若判别器不能分辨出重建图像与真实图 像，则证明生成器已完成训练。 生成器 判别器 输入 图像 重建 图像 密集(I) 真实 图像 卷积 卷积 真实 图像 重建 图像 卷 积 密集剩余残差块 RRDB 上 采 RRDB RRDB 样 ×β ×β ×β ×β 密集(1024) Leaky ReLU Leaky ReLU Leaky ReLU 密集 模块 密集 模块 密集 模块 批量归一化 图 4 网络整体结构 Fig. 4 Overall network structure 2.1.1 生成器网络的设计 在生成器部分，先由卷积层提取载遥感图像 浅层的特征信息并传递给上采样层；再由特征提 取模块进行深层特征的提取和传输；最后经过非 线性映射、上采样等操作对图像进行重建。 在生成器网络结构的设计上，本文采用密集 剩余残差块 (residual-in-residual dense block， RRDB) 代替 SRGAN 的特征提取模块，增强模型 特征提取能力，通过去除特征提取模块中的批量 归一化 (batch norm，BN)[13] 层减少计算复杂度，并 在残差块连接处增加残差缩放来稳定训练过程。 3×3 在特征提取模块中，本文采用 23 个 RRDB 作 为主要组成，每一个 RRDB 内部都包含 3 个密集 模块 (dense block) 来代替 SRGAN 中由两个 的卷积层、BN 层和 ReLU 激活层组成的基础块， 通过密集模块间的密集的连接，增加层数的同时 增加层与层之间的连接，从而增强模型的特征提 取能力，特征提取模块的具体结构如图 5 所示。 密集剩余残差块 RRDB RRDB RRDB 密集 模块 密集 模块 密集 ×β ×β ×β 模块 ×β 图 5 特征提取模块 Fig. 5 Feature extraction block 每个密集模块都由 5 层卷积网络通过跳跃 连接组成，并增加残差缩放将残差乘以 0~1 之间 的常数，然后将它们添加到主传输路径上来保证 训练的稳定性，其结构如图 6 所示。本文采用的 缩放因子为 0.1。在每个密集块中最后的卷积层 紧连着一个恒定的缩放层，当使用大量滤波器 时，这些缩放层极大地稳定了训练过程。在密集 块中，前 4 层卷积层后都接有激活函数 Leaky￾ReLU[14] 层，最后一层只有一个卷积层。通过密集 连接的结构用更短跳跃连接的方式有效地保障了 各层之间的信息传递，对于每一层来说，它的输 第 1 期 毕晓君，等：基于生成对抗网络的机载遥感图像超分辨率重建 ·77·