·800· 智能系统学报 第15卷 3深度神经网络模型 输入层向量x包含平纵断面参数，是29维 的向量： 深度神经网络是一种常见的神经网络，它具 卷积层11×3的卷积核，随机初始化参数； 有深度的网络层数，每个神经层之间完全连接。 池化层1采样窗口为2×2，步长设置为1： 根据万有逼近定理)，如果网络的隐藏层包含足 卷积层21×5的卷积核，随机初始化参数； 够多的神经元，那么深度神经网络能以任意精度 池化层2采样窗口为3×3，步长设置为1； 逼近任意连续函数。由于深度神经网络具有很强 的表达能力4,24因而可用于求取平纵断面参数 全连接层128个神经元，激活函数为ReLU; 回归层采用实际侵限值与预测值的均方误 与侵限值之间的关系。 差作为损失函数。 3.1神经网络构建 卷积神经网络结构如图9所示。 3.1.1全连接神经网络模型的构建 深度神经网络是一种自上而下的监督学习模 卷积层1池化层1卷积层2池化层2全连接层回归层 型1，通过带标签的数据训练，误差自下向上传 输 输，对网络中的参数进行微调。首先初始化所有 值 网络层的权值和偏置，采用矩阵乘法得到第 n-1层的结果，将第n-1层的输出作为第n层的 输入，计算第n层，由此得到输出层的计算结果 图9卷积神经网络结构 O,计算0与真实标签0的偏导，更新第n层的权 Fig.9 Convolution neural network structure 值与偏置，计算第n层的偏导，继续更新第n-1层 3.2 训练数据及方法 的权值与偏置，由此可以得到各层更新后的参数。 原始的设计线路参数是已知的，对每个参数 本文搭建的深度网络模型如图8所示。 设定可调节的范围，在设定的范围内随机生成 100000组线路参数，即可得到输入数据集。每组 数据集对应一组线路参数，采用上述侵限值的计 算方法，计算每组数据集对应的侵限值之和，即 可得到输出数据集。将数据集的70%用于训练 深度神经网络，余下的30%作为测试集进行测试。 在训练过程中，神经网络的线性输出与真实 输人层隐含层1隐含层2隐含层3输出层 标签采用最小二乘法计算损失，误差BP优化器 图8深度神经网络结构 采用Adam优化器1，初始学习率为0.1。为了减 Fig.8 Deep neural network structure 小过拟合，在训练中每层神经元drop out比率设 图8参数设置具体如下： 置为0.25，当迭代次数达到设定值且损失值收敛 输入层向量x包含平纵断面参数，是29维 后停止训练。 的向量； 33优化线路参数 隐藏层132个神经元，激活函数为RLU: 当神经网络的损失值收敛后，说明神经网络 隐藏层264个神经元，激活函数为ReLU: 通过权值以及偏置的更新能够逼近平纵断面参数 隐藏层3128个神经元，激活函数为ReLU: 与侵限值之间的函数关系。提取神经网络中最终 输出层将隐含层3的输出结果经过线性变 的权值与偏置，将其设为常数，并且将设计线路 换，得到输出Oo 参数设置为变量，采用梯度下降法求得最优线 3.1.2卷积神经网络模型的构建 路参数。具体步骤如下： 卷积神经网络(convolutional neural network 1)提取神经网络参数w~w4、b~b4,将其设为 CNN)是深度学习领域具有代表性的神经网络， 常量； 在图像处理以及其他领域取得了突破性的进展。 2)将原始线路参数F(21,22)设置为变量； 其中的权值共享、池化等技术，克服了一般神经 3)定义侵限值为((F(21,22)w1+b1)w2+b2)w3+ 网络的过拟合问题，使得卷积神经网络在测试集 b3)w4+b4; 上有着优秀的表现。本文结合地铁调线调坡中的 4)反向求导； 问题，采用卷积神经网络学习设计线路与侵限值 5)更新线路参数，得到F(21,2): 之间的函数关系，网络模型的搭建具体如下： 6)重复步骤3)5)，直至侵限值收敛，最终结3 深度神经网络模型 深度神经网络是一种常见的神经网络，它具 有深度的网络层数，每个神经层之间完全连接。 根据万有逼近定理[13] ，如果网络的隐藏层包含足 够多的神经元，那么深度神经网络能以任意精度 逼近任意连续函数。由于深度神经网络具有很强 的表达能力[14, 24-26] ，因而可用于求取平纵断面参数 与侵限值之间的关系。 3.1 神经网络构建 3.1.1 全连接神经网络模型的构建 O ′ 深度神经网络是一种自上而下的监督学习模 型 [15] ，通过带标签的数据训练，误差自下向上传 输，对网络中的参数进行微调。首先初始化所有 网络层的权值和偏置，采用矩阵乘法得到 第 n−1 层的结果，将第 n−1 层的输出作为第 n 层的 输入，计算第 n 层，由此得到输出层的计算结果 O，计算 O 与真实标签 的偏导，更新第 n 层的权 值与偏置，计算第 n 层的偏导，继续更新第 n−1 层 的权值与偏置，由此可以得到各层更新后的参数。 本文搭建的深度网络模型如图 8 所示。 输入层 隐含层 1 隐含层 2 隐含层 3 输出层 x1 xj xM θ1l θ2l θ3l θ1i θ2i θ3i θ1q θ2p θ3r ϕ ϕ ϕ ϕ ϕ ϕ ϕ ϕ ϕ Ol Ok OL al ak aL ψ ψ ψ wki wti wbi wci ... ... ... ... ... ... ... ... ... ... 图 8 深度神经网络结构 Fig. 8 Deep neural network structure 图 8 参数设置具体如下： 输入层 向量 xj 包含平纵断面参数，是 29 维 的向量； 隐藏层 1 32 个神经元，激活函数为 ReLU； 隐藏层 2 64 个神经元，激活函数为 ReLU； 隐藏层 3 128 个神经元，激活函数为 ReLU； 输出层 将隐含层 3 的输出结果经过线性变 换，得到输出 Ok。 3.1.2 卷积神经网络模型的构建 卷积神经网络（convolutional neural network, CNN）是深度学习领域具有代表性的神经网络， 在图像处理以及其他领域取得了突破性的进展。 其中的权值共享、池化等技术，克服了一般神经 网络的过拟合问题，使得卷积神经网络在测试集 上有着优秀的表现。本文结合地铁调线调坡中的 问题，采用卷积神经网络学习设计线路与侵限值 之间的函数关系，网络模型的搭建具体如下： 输入层 向量 xj 包含平纵断面参数，是 29 维 的向量； 卷积层 1 1×3 的卷积核，随机初始化参数； 池化层 1 采样窗口为 2×2，步长设置为 1； 卷积层 2 1×5 的卷积核，随机初始化参数； 池化层 2 采样窗口为 3×3，步长设置为 1； 全连接层 128 个神经元，激活函数为 ReLU； 回归层 采用实际侵限值与预测值的均方误 差作为损失函数。 卷积神经网络结构如图 9 所示。 侵 限 值 向 量 卷积层 1 池化层 1 卷积层 2 池化层 2 全连接层 回归层 输 入 向 量 图 9 卷积神经网络结构 Fig. 9 Convolution neural network structure 3.2 训练数据及方法 原始的设计线路参数是已知的，对每个参数 设定可调节的范围，在设定的范围内随机生成 100 000 组线路参数，即可得到输入数据集。每组 数据集对应一组线路参数，采用上述侵限值的计 算方法，计算每组数据集对应的侵限值之和，即 可得到输出数据集。将数据集的 70% 用于训练 深度神经网络，余下的 30% 作为测试集进行测试。 在训练过程中，神经网络的线性输出与真实 标签采用最小二乘法计算损失，误差 BP 优化器 采用 Adam 优化器[16] ，初始学习率为 0.1。为了减 小过拟合，在训练中每层神经元 drop out 比率设 置为 0.25，当迭代次数达到设定值且损失值收敛 后停止训练。 3.3 优化线路参数 当神经网络的损失值收敛后，说明神经网络 通过权值以及偏置的更新能够逼近平纵断面参数 与侵限值之间的函数关系。提取神经网络中最终 的权值与偏置，将其设为常数，并且将设计线路 参数设置为变量，采用梯度下降法[23] 求得最优线 路参数。具体步骤如下： 1) 提取神经网络参数 w1~w4、b1~b4，将其设为 常量； 2) 将原始线路参数 F(Ω1 ,Ω2 ) 设置为变量； w1 b1 w2 b2 w3 b3 w4 b4 3) 定义侵限值为 (((F(Ω1 ,Ω2 ) + ) + ) + ) + ； 4) 反向求导； F ′ 5) 更新线路参数，得到 (Ω1 ,Ω2 )； 6) 重复步骤 3)~ 5)，直至侵限值收敛，最终结 ·800· 智 能 系 统 学 报 第 15 卷