第2期 王凡超，等：基于广泛激活深度残差网络的图像超分辨率重建 ·441· 诊疗、卫星遥感等应用领域中愈发重要，但环境 本文的主要贡献包括以下方面： 和噪声等因素的干扰，导致图像出现质量低或者 1)使用权重归一化代替批量归一化，提高了 细节的纹理信息缺乏等问题。图像超分辨率 学习率和训练、测试准确率； (super resolution,.SR),特别单图像超分辨率(single 2)使用预训练的深度模型提取微活前的特征 image super-resolution,SISR),几十年来受到广泛 得到感知损失，通过构建的图像与真实图像计算 关注。单图像超分辨率为了通过技术手段将低分 对抗损失，并结合图像的像素损失，构建了新损 辨率(Iow-resolution,.LR)图像重新构建为高分辨 失函数； 率(high-resolution,HR)图像，使其具有良好的高 3)使用全局跳跃连接避免梯度消失的问题， 频、纹理和边缘信息。经过几十年发展，图像超 促进梯度的反向传播，从而加快训练过程： 分辨率逐渐被分为基于插值-)、基于重建和基 4)实验证明了本文提出的损失函数改进在不 于学习的三大类。 同数据集上可以取得更好的评价指标，在主观视 基于插值和重建超分辨率算法属于传统算 觉效果也有所提高： 法，都运用经典的数学模型算法，但随着放大因 5)本文提供了高倍重建任务中优化损失函 子的增大，这两种算法提供的用于重新构建高 数、调整残差块等新的研究方向。 分辨率图像的细节信息资源不足的弊端逐渐显 1相关工作 露，使得这些传统算法很难达到重建高频信息的 目的。 11超分辨率网络 深度学习高速发展以来，图像重建领域也 从超分辨率卷积神经网络(SRCNN)首次提 始使用深度学习模型来完成特定任务。2014年， 出端到端卷积神经网络作为新的映射方式开始， Dong等o最先将卷积神经网络应用到图像超分 超分辨率与卷积神经网络模型越来越密切。 辨率任务上，提出了超分辨率卷积神经网络(su- 1.1.1上采样 per-resolution convolutional neural network,SR- 超分辨率卷积神经网络(SRCNN)对图像进 CNN)模型，该模型进行端到端的图像对训练，在 行上采样，在高分辨率特征空间上计算卷积导致 当时大大提高了重建效果，同时也开辟了超分辨 其效率是低分辨率空间的S2倍(S为放大因子). 率技术的新时代。2016年，Kim等m将超分辨率 因此效率低下。另一个有效的替代方案是子像素 任务与残差思想进行结合，提出了使用非常深的 卷积l(sub-pixel convolution),该卷积比反卷积层 卷积网络超分辨率(super--resolution using very deep 引入更少的伪像误差。 convolution network,VDSR)模型，同时将网络的 1.1.2标准化 深度增加到了20层，证明了深层网络能提取出更 从3层的超分辨率卷积神经网络O(SRCNN) 多的特征，取得更好的重建效果。Lim等⑧通过 到l60层的多尺度超分辨率网络[(multi-.scale 对残差结构的改进，提出增强型深度超分辨率网 deep super-resolution,,MDSR),图像超分辨率网络 (enhanced deep super-resolution network, 越来越深人，训练变得更加困难。批量归一化 EDSR)模型，通过移除批规范化处理(batch nor- (batch normalization,BN)在许多任务中能解决训 malization,.BN)操作，增加层数，提取更多特征， 练困难的问题，例如SRResNet"2l(super--esoution 从而获得更满意的结果。 residual network)中使用了批量归一化。 针对上述模型中存在的对不同层的图像信息 BN通过再次校准中间特征的均值和方差来 使用率不足等问题，本文提出了融合感知损失的 解决训练深度神经网络时内部协变量偏移的问 广泛激活的深度残差网络的超分辨率模型 题。简单来说，如果忽略BN中可学习参数的重 (widely-activated deep residual network for super-res- 新缩放，那么训练期间可用训练小批量的均值和 olution combining perceptual loss,.PWDSR),通过已 方差对每一层的特征进行归一化： 训练的VGG模型o提取激活前的特征，使用激 t=X8-Eg[x8] (1) 活前的特征会克服两个缺点：第一，深层网络中 VVarg [x8]+s 激活后得到的稀疏特征能够提供的监督效果非常 式中：x是当前训练批次的特征，它是一个较小 弱，影响性能；第二，激活后的特征会使得重建后 的值用来避免零除。然后将一阶和二阶统计信息 的图像与真实图像在亮度上有所差异。融合感知 更新为全局统计信息： 损失更着眼于纹理而不是目标物体。 E[x←-EB[xs] (2)诊疗、卫星遥感等应用领域中愈发重要，但环境 和噪声等因素的干扰，导致图像出现质量低或者 细节的纹理信息缺乏等问题[1]。图像超分辨率 (super resolution, SR)，特别单图像超分辨率 (single image super-resolution, SISR)，几十年来受到广泛 关注。单图像超分辨率为了通过技术手段将低分 辨率 (low-resolution, LR) 图像重新构建为高分辨 率 (high-resolution, HR) 图像，使其具有良好的高 频、纹理和边缘信息。经过几十年发展，图像超 分辨率逐渐被分为基于插值[2-3] 、基于重建[4] 和基 于学习[5] 三大类。 基于插值和重建超分辨率算法属于传统算 法，都运用经典的数学模型算法，但随着放大因 子的增大，这两种算法提供的用于重新构建高 分辨率图像的细节信息资源不足的弊端逐渐显 露，使得这些传统算法很难达到重建高频信息的 目的。 深度学习高速发展以来，图像重建领域也开 始使用深度学习模型来完成特定任务。2014 年， Dong 等 [6] 最先将卷积神经网络应用到图像超分 辨率任务上，提出了超分辨率卷积神经网络 (su￾per-resolution convolutional neural network，SR￾CNN) 模型，该模型进行端到端的图像对训练，在 当时大大提高了重建效果，同时也开辟了超分辨 率技术的新时代。2016 年，Kim 等 [7] 将超分辨率 任务与残差思想进行结合，提出了使用非常深的 卷积网络超分辨率 (super-resolution using very deep convolution network, VDSR) 模型，同时将网络的 深度增加到了 20 层，证明了深层网络能提取出更 多的特征，取得更好的重建效果。Lim 等 [8] 通过 对残差结构的改进，提出增强型深度超分辨率网 络 (enhanced deep super-resolution network, EDSR) 模型，通过移除批规范化处理[9] (batch nor￾malization, BN) 操作，增加层数，提取更多特征， 从而获得更满意的结果。 针对上述模型中存在的对不同层的图像信息 使用率不足等问题，本文提出了融合感知损失的 广泛激活的深度残差网络的超分辨率模 型 (widely-activated deep residual network for super-res￾olution combining perceptual loss, PWDSR)，通过已 训练的 VGG 模型[10] 提取激活前的特征，使用激 活前的特征会克服两个缺点：第一，深层网络中， 激活后得到的稀疏特征能够提供的监督效果非常 弱，影响性能；第二，激活后的特征会使得重建后 的图像与真实图像在亮度上有所差异。融合感知 损失更着眼于纹理而不是目标物体。 本文的主要贡献包括以下方面： 1) 使用权重归一化代替批量归一化，提高了 学习率和训练、测试准确率; 2) 使用预训练的深度模型提取激活前的特征 得到感知损失，通过构建的图像与真实图像计算 对抗损失，并结合图像的像素损失，构建了新损 失函数; 3) 使用全局跳跃连接避免梯度消失的问题， 促进梯度的反向传播，从而加快训练过程； 4) 实验证明了本文提出的损失函数改进在不 同数据集上可以取得更好的评价指标，在主观视 觉效果也有所提高； 5) 本文提供了高倍重建任务中优化损失函 数、调整残差块等新的研究方向。 1 相关工作 1.1 超分辨率网络 从超分辨率卷积神经网络[6] (SRCNN) 首次提 出端到端卷积神经网络作为新的映射方式开始， 超分辨率与卷积神经网络模型越来越密切。 1.1.1 上采样 超分辨率卷积神经网络[6] (SRCNN) 对图像进 行上采样，在高分辨率特征空间上计算卷积导致 其效率是低分辨率空间的 S 2 倍 (S 为放大因子)， 因此效率低下。另一个有效的替代方案是子像素 卷积[11] (sub-pixel convolution)，该卷积比反卷积层 引入更少的伪像误差。 1.1.2 标准化 从 3 层的超分辨率卷积神经网络[6] (SRCNN) 到 160 层的多尺度超分辨率网络[8] (multi-scale deep super-resolution, MDSR)，图像超分辨率网络 越来越深入，训练变得更加困难。批量归一化[9] (batch normalization, BN) 在许多任务中能解决训 练困难的问题，例如 SRResNet[12] (super-resolution residual network) 中使用了批量归一化。 BN 通过再次校准中间特征的均值和方差来 解决训练深度神经网络时内部协变量偏移的问 题。简单来说，如果忽略 BN 中可学习参数的重 新缩放，那么训练期间可用训练小批量的均值和 方差对每一层的特征进行归一化： xˆ = xB −EB [xB] √ VarB [xB]+ε (1) 式中：xB 是当前训练批次的特征，它是一个较小 的值用来避免零除。然后将一阶和二阶统计信息 更新为全局统计信息： E[x] ← EB [xB] (2) 第 2 期 王凡超，等：基于广泛激活深度残差网络的图像超分辨率重建 ·441·