·78· 智能系统学报 第15卷 入都由之前每一层的特征图组成，并将自己的所 间的欧氏距离；中表示在VGG19网络内在第i 有特征图作为下一层的输出。 个最大池化层之前通过第j个卷积层（激活之 后)所获得的特征映射：W,和H表示VGG网络 Dense 特征图的尺寸。 由于WGAN的加入，对抗损失作为生成器损 失的重要组成，可以表示为 图6密集模块 LGen =-Ex-F,[fw(x)] Fig.6 Dense block 对应的判别器损失为 批量归一化在卷积神经网络中具有重要作 LD Ex-r,[f.(x)]-Ex-P,[f.() 用，不仅可以加速网络收敛速度，易于训练深层 为了更好地训练模型，最终取得更好的重建 网络，还可以防止网络过拟合。但是，2017年， 效果，本文设置的具体实验超参数为：生成器和 Lim等通过实验证明，在图像SR重建领域中， 判别器的学习率均为0.0001，迭代次数为40万 网络结构中加入批量归一化层并不能得到良好的 次，在5万次后学习率衰减，batchsize为16，优化 结果，反而会使得训练速度缓慢且不稳定，甚至 算法选择RMSProp, 最后发散。因此，为了训练稳定性和一致性，在 2.3评价指标的选取 设计生成器网络结构时，本文方法去除了传统密 本文选择在图像超分辨率重建上最常用的峰 集块和残差网络中的批量归一化层，在RRDB中 值信噪比(PSNR)来对重建图像进行对比和评 直接将卷积层与激活函数LeakyReLU相连，提高 价。PSNR的本质是计算原始图像与重建图像像 模型泛化能力，减少计算复杂度和内存使用。 素点之间的误差，从而衡量二者之间的相似情 2.1.2判别器网络的设计 况。其计算方法为 在判别器部分，生成器的输出即重建出的机 PSNR=10xlg (2-1)2 载遥感图像，和真实图像同时作为判别器的输 MSE 入，进入判别器网络，通过判别模块对图像进行 式中：n为每个采样值的比特数，峰值信噪比的单 判别，最终通过两个密集层预测输入的为真实图 位为dB,其值越大，表明原始图像与重建图像像 像还是重建图像，再反馈给生成器。 素点间误差越小，重建效果越好。MSE代表均方 在判别器网络结构的设计上，为了解决原始 误差，对于一个大小为M×N的图像，其计算公式为 GAN训练困难、生成样本缺乏多样性的问题，本 文采用WGAN对判别器进行优化，并去除SR- MSE= 22- GAN判别器最末层的Sigmoid层。判别网络包 M×N 含8个卷积层，使用LeakyRelu作为激活函数，随 式中：I和分别为原始图像与重建图像中像素 着网络层数加深，特征个数从64增加到512，特 点坐标为（位，）处的像素值。 征尺寸不断减小。 3实验与结果分析 2.2损失函数与超参数设置 为了实现对于机载遥感图像的清晰重建，根据 3.1数据集与实验环境 本文提出的网络结构，选取在生成对抗网络上常用 为了验证本文方法的有效性和先进性，选择机 的感知损失作为代价函数对生成器损失进行优化。 载遥感图像开放数据集NWPU-RESISC4516)和 在生成对抗网络中，感知损失(perceptual loss)是由 UCMerced LandUsel71进行实验。NWPU- 内容损失和对抗损失共同决定的，其形式为 RESISC45机载遥感图像数据集，包含45个不同场 Lpercep=Lcontent+10Lcen 景下的机载遥感图像，包括飞机、港口、湖泊、高速 式中：Lcontent为内容损失，Lcm为对抗损失。内容 公路、商业区等场景，每类图像有700张，共31500 损失可被表示为 张图像，图像大小为256×256，随机选择每类56张 1 图像共2520张图像组成训练集，1500张组成测试 集。UCMerced LandUse遥感数据集是从USGS国 (Ga,(H))2 家地图“市区图像”集合中的大图像中提取的，涵盖 式中：Lvcc表示在特征提取时，选取了VGG19 了21类土地资源遥感图像，每类100张，共2100 网络的RLU激活层为内容损失，该损失可以视 张，我们将这2100张图像作为另一组测试集用于 为重建图像G(IH)的特征表示与真实图像H 实验的验证。本文采用的实验环境设置如表1所示。入都由之前每一层的特征图组成，并将自己的所 有特征图作为下一层的输出。 Dense block Conv LReLU Conv LReLU Conv LReLU Conv Conv LReLU 图 6 密集模块 Fig. 6 Dense block 批量归一化在卷积神经网络中具有重要作 用，不仅可以加速网络收敛速度，易于训练深层 网络，还可以防止网络过拟合。但是，2017 年 ， Lim 等 [15] 通过实验证明，在图像 SR 重建领域中， 网络结构中加入批量归一化层并不能得到良好的 结果，反而会使得训练速度缓慢且不稳定，甚至 最后发散。因此，为了训练稳定性和一致性，在 设计生成器网络结构时，本文方法去除了传统密 集块和残差网络中的批量归一化层，在 RRDB 中 直接将卷积层与激活函数 LeakyReLU 相连，提高 模型泛化能力，减少计算复杂度和内存使用。 2.1.2 判别器网络的设计 在判别器部分，生成器的输出即重建出的机 载遥感图像，和真实图像同时作为判别器的输 入，进入判别器网络，通过判别模块对图像进行 判别，最终通过两个密集层预测输入的为真实图 像还是重建图像，再反馈给生成器。 在判别器网络结构的设计上，为了解决原始 GAN 训练困难、生成样本缺乏多样性的问题，本 文采用 WGAN 对判别器进行优化，并去除 SR￾GAN 判别器最末层的 Sigmoid 层。判别网络包 含 8 个卷积层，使用 LeakyRelu 作为激活函数，随 着网络层数加深，特征个数从 64 增加到 512，特 征尺寸不断减小。 2.2 损失函数与超参数设置 为了实现对于机载遥感图像的清晰重建，根据 本文提出的网络结构，选取在生成对抗网络上常用 的感知损失作为代价函数对生成器损失进行优化。 在生成对抗网络中，感知损失 (perceptual loss) 是由 内容损失和对抗损失共同决定的，其形式为 Lpercep = Lcontent +10−3LGen 式中： Lcontent 为内容损失， LGen 为对抗损失。内容 损失可被表示为 Lcontent = LVGG/i, j = 1 Wi, jHi, j ∑Wi, j x=1 ∑Hi, j y=1 (ϕi, j(I HR)x,y− ϕi, j(GθG (I HR))x,y) 2 LVGG/i, j GθG (I HR) I HR 式中： 表示在特征提取时，选取了 VGG19 网络的 ReLU 激活层为内容损失，该损失可以视 为重建图像 的特征表示与真实图像 ϕi, j i j Wi, j Hi, j 间的欧氏距离； 表示在 VGG19 网络内在第 个最大池化层之前通过第 个卷积层 (激活之 后) 所获得的特征映射； 和 表示 VGG 网络 特征图的尺寸。 由于 WGAN 的加入，对抗损失作为生成器损 失的重要组成，可以表示为 LGen = −Ex∼Pg [fw(x)] 对应的判别器损失为 LD = Ex∼Pg [fw(x)]− Ex∼Pr [fw(x)] 为了更好地训练模型，最终取得更好的重建 效果，本文设置的具体实验超参数为：生成器和 判别器的学习率均为 0.000 1，迭代次数为 40 万 次，在 5 万次后学习率衰减，batchsize 为 16，优化 算法选择 RMSProp。 2.3 评价指标的选取 本文选择在图像超分辨率重建上最常用的峰 值信噪比 (PSNR) 来对重建图像进行对比和评 价。PSNR 的本质是计算原始图像与重建图像像 素点之间的误差，从而衡量二者之间的相似情 况。其计算方法为 PSNR = 10×lg[ (2n −1)2 MSE ] n MSE M ×N 式中： 为每个采样值的比特数，峰值信噪比的单 位为 dB，其值越大，表明原始图像与重建图像像 素点间误差越小，重建效果越好。 代表均方 误差，对于一个大小为 的图像，其计算公式为 MSE = ∑M i=1 ∑N j=1 (Ii j − I ′ i j) M ×N Ii j Ii j ′ (i, j) 式中： 和 分别为原始图像与重建图像中像素 点坐标为 处的像素值。 3 实验与结果分析 3.1 数据集与实验环境 为了验证本文方法的有效性和先进性，选择机 载遥感图像开放数据集 NWPU-RESISC45[16] 和 UCMerced_LandUse [ 1 7 ] 进行实验。NWPU￾RESISC45 机载遥感图像数据集，包含 45 个不同场 景下的机载遥感图像，包括飞机、港口、湖泊、高速 公路、商业区等场景，每类图像有 700 张，共 31 500 张图像，图像大小为 256×256，随机选择每类 56 张 图像共 2 520 张图像组成训练集，1 500 张组成测试 集。UCMerced_LandUse 遥感数据集是从 USGS 国 家地图“市区图像”集合中的大图像中提取的，涵盖 了 21 类土地资源遥感图像，每类 100 张，共 2 100 张，我们将这 2 100 张图像作为另一组测试集用于 实验的验证。本文采用的实验环境设置如表 1 所示。 ·78· 智 能 系 统 学 报 第 15 卷