第4期 李亚飞，等：基于卷积神经网络的遥感图像分类研究 ·551· 到广泛的应用。然而这些算法都属于浅层学习算 种基于卷积神经网络(CNN)的遥感图像分类方 法m,很难有效地表达复杂函数，缺少对复杂样本 法。针对单源特征无法提供更多有效信息的问 的适应性，并且分类器模型的参数无法估计或估 题，本文设计了一种多源多特征融合方法，该方 计不准确，导致分类效果不理想⑧。 法将遥感图像的光谱特征、纹理特征、空间结构 2006年，加拿大多伦多大学教授，机器学习 特征等按空间维度以向量或矩阵的形式进行融 领域的泰斗Hinton和他的学生Salakhutdinov在 合，并以融合的特征训练卷积神经网络模型。实 《科学》上发表了一篇文章，掀起了深度学习在 验结果表明：该融合方法能使CNN模型学习到更 学术界和工业界的浪潮。深度学习是通过建立一 抽象、更具代表性的高层特征，有效提高了分类 种类似人脑分层的模型结构，对输入信息逐层进 精度，获得最优的分类效果。 行特征提取，层级越深，提取的特征越抽象复杂， 称为深度神经网络(deep neural networks,DNN)Io。 1卷积神经网络简介 如今，深度学习作为机器学习的一个重要分支， 已在图像识别、语音识别和自然语言处理等领域 卷积神经网络作为深度学习的一种典型模 取得了巨大的成功。 型，是一种多层神经网络结构。它主要由输入层、 目前，国内将深度神经网络应用到遥感图像 卷积层、下采样层（池化层）、全连接层和输出层 分类中的研究工作相对较少。因此，本文提出 组成。如图1所示。 A 卷积层 下采样层 卷积层 下采样层 全连接层 全连接层 输出层 图1卷积神经网络示意 Fig.1 Schematic diagram of CNN 输入层用于接收原始图像，卷积层用于提取 前向传播，实现样本从输入层到输出层的特征学 图像的特征并减少噪声的影响。假设输入的原始 习；2)反向传播，依据损失函数L(W,b)计算出输出 图像为X,Y表示第层的特征图，则Y。=X。假设 值与期望值之间的误差，又称为“残差，并根据 Y是第层卷积层，则 梯度下降法调整网络参数。目前CNN中使用广 Y,=f(W:·Y-1+b) (1) 泛的损失函数为交叉嫡(cross-entropy,CE)损失函 式中：W,表示第i层卷积核的权重；运算符·表示 数，其计算公式为 W,与第i-1层的特征图进行卷积操作；b表示第层 的偏置向量；∫为非线性激活函数，通常采用 L(W,b)=CE(W,b)=- 1:=1ogp(4) 1 ReLU函数，ReLU表达式为 式中：为第个训练样本的期望值，为第个训练 f(x)= J0,x<0 (2) 样本第个类别的预测概率，C为训练样本的总类 x,x≥0 别数，N为训练样本的总数。 下采样层紧跟卷积层之后，基于图像的局部 卷积神经网络的训练目标是通过梯度下降法 相关性对特征图进行降维，同时保持特征的尺度 最小化网络的损失函数LW,b)。在整个训练过程 不变性。假设Y,为下采样层特征图，则 中，经过前向传播计算损失值，然后通过梯度下 Y:=subsample(Y-1) (3) 降进行反向传播，逐层更新每一层的训练参数 池化方式一般有两种，最大池化(max pool- W和b。参数更新公式定义为 ing)和平均池化(mean pooling). 经过多个卷积层和下采样层的交替连接，全 w=用-0 (5) 连接层对提取的特征进一步降维，最后输出层依 aL(W,b) 据全连接层提取的特征向量输出样本对应的标签。 bi=bi-n ab; (6) 卷积神经网络分类过程主要是网络的训练过 式中：为网络学习率，用来控制损失值反向传播 程，相当于人脑的学习过程。分为两个阶段，1) 的强度。到广泛的应用。然而这些算法都属于浅层学习算 法 [7] ，很难有效地表达复杂函数，缺少对复杂样本 的适应性，并且分类器模型的参数无法估计或估 计不准确，导致分类效果不理想[8]。 2006 年，加拿大多伦多大学教授，机器学习 领域的泰斗 Hinton[9]和他的学生 Salakhutdinov 在 《科学》上发表了一篇文章，掀起了深度学习在 学术界和工业界的浪潮。深度学习是通过建立一 种类似人脑分层的模型结构，对输入信息逐层进 行特征提取，层级越深，提取的特征越抽象复杂， 称为深度神经网络 (deep neural networks，DNN)[10]。 如今，深度学习作为机器学习的一个重要分支， 已在图像识别、语音识别和自然语言处理等领域 取得了巨大的成功[11-13]。 目前，国内将深度神经网络应用到遥感图像 分类中的研究工作相对较少。因此，本文提出一 种基于卷积神经网络 (CNN) 的遥感图像分类方 法。针对单源特征无法提供更多有效信息的问 题，本文设计了一种多源多特征融合方法，该方 法将遥感图像的光谱特征、纹理特征、空间结构 特征等按空间维度以向量或矩阵的形式进行融 合，并以融合的特征训练卷积神经网络模型。实 验结果表明：该融合方法能使 CNN 模型学习到更 抽象、更具代表性的高层特征，有效提高了分类 精度，获得最优的分类效果。 1 卷积神经网络简介 卷积神经网络作为深度学习的一种典型模 型，是一种多层神经网络结构。它主要由输入层、 卷积层、下采样层 (池化层)、全连接层和输出层 组成。如图 1 所示。 X Yi i Y0 = X Yi i 输入层用于接收原始图像，卷积层用于提取 图像的特征并减少噪声的影响。假设输入的原始 图像为 ， 表示第 层的特征图，则 。假设 是第 层卷积层，则 Yi = f(Wi ·Yi−1 + bi) (1) Wi i Wi i−1 bi i f 式中： 表示第 层卷积核的权重；运算符·表示 与第 层的特征图进行卷积操作； 表示第 层 的偏置向量； 为非线性激活函数，通常采 用 ReLU 函数，ReLU 表达式为 f(x) = { 0, x < 0 x, x ⩾ 0 (2) Yi 下采样层紧跟卷积层之后，基于图像的局部 相关性对特征图进行降维，同时保持特征的尺度 不变性。假设 为下采样层特征图，则 Yi = subsample(Yi−1) (3) 池化方式一般有两种，最大池化 (max pool￾ing) 和平均池化 (mean pooling)。 经过多个卷积层和下采样层的交替连接，全 连接层对提取的特征进一步降维，最后输出层依 据全连接层提取的特征向量输出样本对应的标签。 卷积神经网络分类过程主要是网络的训练过 程，相当于人脑的学习过程。分为两个阶段，1) L(W, b) 前向传播，实现样本从输入层到输出层的特征学 习；2) 反向传播，依据损失函数 计算出输出 值与期望值之间的误差，又称为“残差” [14] ，并根据 梯度下降法调整网络参数。目前 CNN 中使用广 泛的损失函数为交叉熵 (cross-entropy，CE) 损失函 数，其计算公式为 L(W, b) = CE(W, b) = − ∑N i=1 ∑C j=1 1{yˆi = j}log p j i (4) yˆi i p j i i j C N 式中： 为第 个训练样本的期望值， 为第 个训练 样本第 个类别的预测概率， 为训练样本的总类 别数， 为训练样本的总数。 L(W, b) W b 卷积神经网络的训练目标是通过梯度下降法 最小化网络的损失函数 。在整个训练过程 中，经过前向传播计算损失值，然后通过梯度下 降进行反向传播，逐层更新每一层的训练参数 和 。参数更新公式定义为 Wi = Wi −η ∂L(W, b) ∂Wi (5) bi = bi −η ∂L(W, b) ∂bi (6) 式中： η 为网络学习率，用来控制损失值反向传播 的强度。 A 输入层 卷积层 下采样层 卷积层 下采样层 全连接层 全连接层 输出层 图 1 卷积神经网络示意 Fig. 1 Schematic diagram of CNN 第 4 期 李亚飞，等：基于卷积神经网络的遥感图像分类研究 ·551·