肖晶等：基于深度卷积神经网络的地磁导航方向适配性分析 ·1587· 的大小决定了神经元感受区域的范围，较小的卷积核 因此，本文基于任务驱动法分析参数与实际问题需求 无法提取有效的局部特征，而较大的卷积核又无法描 之间的关系，选取最符合问题要求的参数，并利用混合 述高度复杂的信息.本文在大量实验的基础上选取本 粒子群算法(hybrid particle swarm optimization,HP- 层卷积核的大小为3×3，卷积后得到大小为18×18 $0)算法，通过设置合理的目标函数实现各个参数的 的特征图.由于每个卷积核只能提取到某一类特征， 优选，提高卷积神经网络的分类精度.优化方法的原 本文同时利用6个卷积核对输入图像进行卷积，得到 理如图3. 6种不同的特征图. 如图，卷积神经网络的参数优化方法主要包括两 (3)S2层：子采样层，对C1层输出的特征图进行 部分：粒子群的更新搜索和不同参数条件下代价函数 降采样，一般缩放因子取2时就能取得较好的效果. 的求取.本文以不同参数训练后卷积神经网络对测试 大小为18×18的特征图通过2×2的子采样后得到 集的错分率（式(6）)为代价函数，所选的卷积神经网 大小为9×9的特征图.这意味着C1层特征图上的 络训练参数应能使测试集的错分率最低. 4个像素合并成S2层输出图像上的一个像素.常见 的子采样的方法有最大值合并、平均值合并及随机 N(PredictionC =@n RealC =@ 合并，本文采取随机合并方法.此外，降采样层只是 ∑N(PredictionC=w,) 在C1层特征图的基础上进行降采样，不改变特征图 的数目. 100%(i≠j). (6) (4)C3层：卷积层，对S2层输出的特征图进行特 其中，N(PredictionC=w,nRealC=o,)表示样本类别 征提取.过程与C1层相似，不同的是本层取16个大 为w,而错将其分类为o,的样本数，N(RealC=w,)为实 小为2×2的卷积核完成特征提取，得到16个大小为8 际样本类别为ω，的数目. ×8的特征图. 开始 (5)S4层：降采样层，对C3输出的特征图降采样， 产生粒子群 将粒子赋值给CNN的 缩放因子为2.与S2层原理类似，降采样后得到16个 学习率和惯性系数 大小为4×4的特征图 粒子群更新 初始化CNN和网络训练 (6)F5层：全连接层，再次对特征进行映射.S4层 共有16×4×4=256个神经元，每个神经元与F5层的 网路测试，求测试集的 一个神经元连接，若设置F5层所含神经元数目为30， 满足终止条件 代价函数值 则S4层到F5层的连接可以视为将S4层的特征图映 是1 射为30个256维的特征向量. 结束 (7)输出层：给出地磁导航方向适配性分析的结 图3基于混合粒子群算法的卷积神经网络参数优化原理图 论.本文以“适合匹配”和“不适合匹配”对地磁方向 Fig.3 Parameters optimization schematic diagram of CNN based on 适配性进行划分，因此本层只设1个神经元，作为深度 the HPSO algorithm 神经网络的最终输出，当输出为1时表示“适合匹 配”，为0时表示“不适合匹配”. 这里随机选取800个磁场方向适配特征图作为卷 卷积神经网络的学习训练分为两个阶段：预训练 积神经网络参数优化时的训练集，另取100个特征图 与微调5-).第一个阶段为从底层至顶层的非监督学 作为测试集，完成卷积神经网络训练参数的优选。混 习，通过最小化重构误差获得待识别图像的隐层表示， 合粒子群算法的参数设置如下：学习率的搜索范围为 进而实现深度网络的初始化：第二个阶段为从顶层至 [0.1,3],惯性系数的搜索范围为[0,0.95]，种群规 底层的监督学习，通过带标签数据集的训练，误差自顶 模为15和30次迭代过程中代价函数的变化如图4 向下传播，对网络进行微调.由于深度网络的初始化 所示。 是通过学习输入数据的结构特征得到，而非随机设置， 可见，仅通过两次迭代，测试集的错分代价函数值 因此该初值更接近全局最优，可以取得更好的效果. 就由32%降低到了6%，说明了卷积神经网络训练参 此外，卷积神经网络通过感受区域和权值共享机制有 数优选方法的有效性，此时，学习率α=0.7896，惯性 效减少了网络需要训练的参数的个数，提高了网络的 系数n=0.3961. 运行效率. 至此，用于地磁导航方向适配性分析的卷积神经 2.2卷积神经网络的参数设置 网络得以确定，通过大量训练集进行网络学习和训练 卷积神经网络的学习效果不仅与网络的结构有 后即可用于方向适配性的分析，以下通过仿真实验进 关，还与学习过程中的学习率、惯性系数等参数相关. 行验证肖 晶等: 基于深度卷积神经网络的地磁导航方向适配性分析 的大小决定了神经元感受区域的范围,较小的卷积核 无法提取有效的局部特征,而较大的卷积核又无法描 述高度复杂的信息. 本文在大量实验的基础上选取本 层卷积核的大小为 3 伊 3,卷积后得到大小为 18 伊 18 的特征图. 由于每个卷积核只能提取到某一类特征, 本文同时利用 6 个卷积核对输入图像进行卷积,得到 6 种不同的特征图. (3)S2 层:子采样层,对 C1 层输出的特征图进行 降采样,一般缩放因子取 2 时就能取得较好的效果. 大小为 18 伊 18 的特征图通过 2 伊 2 的子采样后得到 大小为 9 伊 9 的特征图. 这意味着 C1 层特征图上的 4 个像素合并成 S2 层输出图像上的一个像素. 常见 的子采样的方法有最大值合并、平均值合并及随机 合并,本文采取随机合并方法. 此外,降采样层只是 在 C1 层特征图的基础上进行降采样,不改变特征图 的数目. (4)C3 层:卷积层,对 S2 层输出的特征图进行特 征提取. 过程与 C1 层相似,不同的是本层取 16 个大 小为 2 伊 2 的卷积核完成特征提取,得到 16 个大小为 8 伊 8 的特征图. (5)S4 层:降采样层,对 C3 输出的特征图降采样, 缩放因子为 2. 与 S2 层原理类似,降采样后得到 16 个 大小为 4 伊 4 的特征图. (6)F5 层:全连接层,再次对特征进行映射. S4 层 共有 16 伊 4 伊 4 = 256 个神经元,每个神经元与 F5 层的 一个神经元连接,若设置 F5 层所含神经元数目为 30, 则 S4 层到 F5 层的连接可以视为将 S4 层的特征图映 射为 30 个 256 维的特征向量. (7)输出层:给出地磁导航方向适配性分析的结 论. 本文以“适合匹配冶 和“不适合匹配冶 对地磁方向 适配性进行划分,因此本层只设 1 个神经元,作为深度 神经网络的最终输出,当输出为 1 时表示“ 适合匹 配冶,为 0 时表示“不适合匹配冶. 卷积神经网络的学习训练分为两个阶段:预训练 与微调[15鄄鄄16] . 第一个阶段为从底层至顶层的非监督学 习,通过最小化重构误差获得待识别图像的隐层表示, 进而实现深度网络的初始化;第二个阶段为从顶层至 底层的监督学习,通过带标签数据集的训练,误差自顶 向下传播,对网络进行微调. 由于深度网络的初始化 是通过学习输入数据的结构特征得到,而非随机设置, 因此该初值更接近全局最优,可以取得更好的效果. 此外,卷积神经网络通过感受区域和权值共享机制有 效减少了网络需要训练的参数的个数,提高了网络的 运行效率. 2郾 2 卷积神经网络的参数设置 卷积神经网络的学习效果不仅与网络的结构有 关,还与学习过程中的学习率、惯性系数等参数相关. 因此,本文基于任务驱动法分析参数与实际问题需求 之间的关系,选取最符合问题要求的参数,并利用混合 粒子群算法( hybrid particle swarm optimization, HP鄄 SO)算法,通过设置合理的目标函数实现各个参数的 优选,提高卷积神经网络的分类精度. 优化方法的原 理如图 3. 如图,卷积神经网络的参数优化方法主要包括两 部分:粒子群的更新搜索和不同参数条件下代价函数 的求取. 本文以不同参数训练后卷积神经网络对测试 集的错分率(式(6))为代价函数,所选的卷积神经网 络训练参数应能使测试集的错分率最低. J = 移 2 i = 1 移 2 j = 1 N(PredictionC = 棕j 疑 RealC = 棕i) 移 2 i = 1 N(PredictionC = 棕i) 伊 100% (i屹j). (6) 其中,N( PredictionC = 棕j疑RealC = 棕i ) 表示样本类别 为 棕i而错将其分类为 棕j的样本数,N(RealC = 棕i)为实 际样本类别为 棕i的数目. 图 3 基于混合粒子群算法的卷积神经网络参数优化原理图 Fig. 3 Parameters optimization schematic diagram of CNN based on the HPSO algorithm 这里随机选取 800 个磁场方向适配特征图作为卷 积神经网络参数优化时的训练集,另取 100 个特征图 作为测试集,完成卷积神经网络训练参数的优选. 混 合粒子群算法的参数设置如下:学习率的搜索范围为 [0郾 1, 3],惯性系数的搜索范围为[0, 0郾 95],种群规 模为 15 和 30 次迭代过程中代价函数的变化如图 4 所示。 可见,仅通过两次迭代,测试集的错分代价函数值 就由 32% 降低到了 6% ,说明了卷积神经网络训练参 数优选方法的有效性,此时,学习率 琢 = 0郾 7896,惯性 系数 浊 = 0郾 3961. 至此,用于地磁导航方向适配性分析的卷积神经 网络得以确定,通过大量训练集进行网络学习和训练 后即可用于方向适配性的分析,以下通过仿真实验进 行验证. ·1587·