·642. 智能系统学报 第12卷 序特征的数据无能为力。为了解决输入之间前后 若训练样本中包含T个时刻的数据，则递归神 关联的问题，多层前馈神经网络的隐含层不仅需要 经网络将展开成一个包含T个隐含层的前馈神经 接收当前的输入，也要接收上一时刻的输出，由此 网络。理论上来说，递归神经网络可以处理任意长 产生了递归神经网络。 度的序列数据，但是当处理无限长的序列数据时， 1.2递归神经网络 展开的多层前馈神经网络也是无限层的。因此，在 为了克服前馈神经网络无法处理序列数据的 实际应用中通常只假设当前状态与之前有限个状 问题，递归神经网络将隐含层之间的节点相互连 态相关，以降低复杂度。与传统的前馈神经网络不 接，使得隐含层的输入不仅仅是当前时刻输入层的 同的是，展开的递归神经网络有如下特点。 输出还包括了上一时刻隐含层的输出。通过这种 1)每个隐含层的输入都由两部分组成，即对应 方式，递归神经网络可以将当前时刻以前的信息记 时刻输入层的输出和上一时刻隐含层的输出。而 忆在网络之中1。如图2所示，递归神经网络与前 传统前馈神经网络的输入只能是上一层（隐含层或 馈神经网络的结构大致相同，不同之处在于隐含层 输入层)的输出。 之间的连接关系，即增加了隐含层间的权重W。。 2)如图3所示，展开的递归神经网络相同位置 的参数W、b,、W2b2、W是共享的，而传统前馈神 经网络则是非共享的，这也大大地降低了网络所要 学习的参数。 3)对于递归神经网络，每一个时刻都会给出一 个输出，但是并不是必要的，只有t时刻的输出y,才 是模型的预测结果，其余的输出结果都保存在了隐 图2递归神经网络 含层中。 Fig.2 Recurrent neural networks 1.3递归神经网络用于风暴潮增水预测 若Ldn隐含层包含m个神经元，则W。为m× 风暴潮增水数据是一维的时间序列，基于递归 m维的权重矩阵。递归神经网络的传播过程可以用 神经网络进行预报的具体做法如下。 式(2)表示： 假设样本数据为d={d,d2,…,d},利用前k h,=f(Wix Wih-1+b) 个数据作为特征预测下一个数据，则可以组成训练 y =f(Wih,+b2) (2) 样本X和标签y: 式中：W,表示输入层和隐含层之间的连接权重： X={x1,2,…,x-k}= W2表示隐含层和输出层之间的连接权重；b,和b2 {d1,4,…,d4},{d2,4,…d},…,{dr4,d-1…,d-}} 分别表示隐含层和输出层的偏置；x,、h,和y,分别 y={y1,y2,…yr-}={d+1,ds+2,…,dr} 表示第t时刻网络的输入、隐含层输出和网络的输 一般假设当前状态只和前1个状态有关，因此 出；h,表示第t-1时刻隐含层的输出。激活函数一 再将X和y进一步按照状态数目分割，制作最终的 般是双曲正切函数或者Relu函数。 训练样本和相应标签夕。利用和y即可对递归 此外，递归神经网络还可以展开成相对应的多 神经网络进行训练。同理，预测时，按照上述步骤 层前馈神经网络，从而可以使用BPTT(back- 制作测试样本，输入到递归神经网络中获得预测 propagation through time)算法[2o]进行训练，展开过 值，由此实现风暴潮增水预测。 程如图3所示。 递归神经网络 多层前馈神经网路 ={{x1x2,…,x},{x2,x3,…,x1+1},… {xr-s-+1,xr-k-42,…,xr-4}} w.b w b. y={{y1y2,…y},{y2y3,…y+},… W {yr-k-41Jr-k-142,…yr-k} 展开 hidden 2 实验结果 W b 本文的实验数据集是潍坊水站从2008~2014 年记录的风暴潮增水过程数据。每个增水过程共 图3递归神经网络展开过程 历时3天，每隔1记录1个水位数据，总计72个 Fig.3 The unfolding of recurrent neural networks 数据。图4展示了2008年里的2个增水过程。序特征的数据无能为力。 为了解决输入之间前后 关联的问题，多层前馈神经网络的隐含层不仅需要 接收当前的输入，也要接收上一时刻的输出，由此 产生了递归神经网络。 １．２ 递归神经网络 为了克服前馈神经网络无法处理序列数据的 问题，递归神经网络将隐含层之间的节点相互连 接，使得隐含层的输入不仅仅是当前时刻输入层的 输出还包括了上一时刻隐含层的输出。 通过这种 方式，递归神经网络可以将当前时刻以前的信息记 忆在网络之中［１９］ 。 如图 ２ 所示，递归神经网络与前 馈神经网络的结构大致相同，不同之处在于隐含层 之间的连接关系，即增加了隐含层间的权重 Ｗｈ 。 图 ２ 递归神经网络 Ｆｉｇ．２ Ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ 若 Ｌｈｉｄｄｅｎ 隐含层包含 ｍ 个神经元，则 Ｗｈ 为 ｍ × ｍ 维的权重矩阵。 递归神经网络的传播过程可以用 式（２）表示： ｈｔ ＝ ｆ Ｗ Ｔ １ ｘ ＋ Ｗ Ｔ ｈｈｔ－１ ＋ ｂ１ ( ) ｙ ＝ ｆ Ｗ Ｔ ２ｈｔ ＋ ｂ２ ( ) （２） 式中： Ｗ１ 表示输入层和隐含层之间的连接权重； Ｗ２ 表示隐含层和输出层之间的连接权重； ｂ１ 和 ｂ２ 分别表示隐含层和输出层的偏置；ｘｔ、ｈｔ 和 ｙｔ 分别 表示第 ｔ 时刻网络的输入、隐含层输出和网络的输 出；ｈｔ－１表示第 ｔ－１ 时刻隐含层的输出。 激活函数一 般是双曲正切函数或者 Ｒｅｌｕ 函数。 此外，递归神经网络还可以展开成相对应的多 层前 馈 神 经 网 络， 从 而 可 以 使 用 ＢＰＴＴ （ ｂａｃｋ⁃ ｐｒｏｐａｇａｔｉｏｎ ｔｈｒｏｕｇｈ ｔｉｍｅ） 算法［２０］ 进行训练，展开过 程如图 ３ 所示。 图 ３ 递归神经网络展开过程 Ｆｉｇ．３ Ｔｈｅ ｕｎｆｏｌｄｉｎｇ ｏｆ ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ 若训练样本中包含 Ｔ 个时刻的数据，则递归神 经网络将展开成一个包含 Ｔ 个隐含层的前馈神经 网络。 理论上来说，递归神经网络可以处理任意长 度的序列数据，但是当处理无限长的序列数据时， 展开的多层前馈神经网络也是无限层的。 因此，在 实际应用中通常只假设当前状态与之前有限个状 态相关，以降低复杂度。 与传统的前馈神经网络不 同的是，展开的递归神经网络有如下特点。 １）每个隐含层的输入都由两部分组成，即对应 时刻输入层的输出和上一时刻隐含层的输出。 而 传统前馈神经网络的输入只能是上一层（隐含层或 输入层）的输出。 ２）如图 ３ 所示，展开的递归神经网络相同位置 的参数 Ｗ１ 、ｂ１ 、Ｗ２ 、ｂ２ 、Ｗｈ 是共享的，而传统前馈神 经网络则是非共享的，这也大大地降低了网络所要 学习的参数。 ３）对于递归神经网络，每一个时刻都会给出一 个输出，但是并不是必要的，只有 ｔ 时刻的输出 ｙｔ 才 是模型的预测结果，其余的输出结果都保存在了隐 含层中。 １．３ 递归神经网络用于风暴潮增水预测 风暴潮增水数据是一维的时间序列，基于递归 神经网络进行预报的具体做法如下。 假设样本数据为 ｄ ＝ ｄ１ ，ｄ２ ，…，ｄＴ { } ，利用前 ｋ 个数据作为特征预测下一个数据，则可以组成训练 样本 Ｘ 和标签 ｙ： Ｘ ＝ ｘ１ ，ｘ２ ，…，ｘＴ－ｋ { } ＝ ｄ１，ｄ２，…，ｄｋ { } ， ｄ２，ｄ３，…，ｄｋ＋１ { } ，…， ｄＴ－ｋ，ｄＴ－ｋ＋１，…，ｄＴ－１ { { } } ｙ ＝ ｙ１ ，ｙ２ ，…，ｙＴ－ｋ { } ＝ ｄｋ＋１ ，ｄｋ＋２ ，…，ｄＴ { } 一般假设当前状态只和前 ｌ 个状态有关，因此 再将 Ｘ 和 ｙ 进一步按照状态数目分割，制作最终的 训练样本 Ｘ＾ 和相应标签 ＾ｙ。 利用 Ｘ＾ 和 ＾ｙ 即可对递归 神经网络进行训练。 同理，预测时，按照上述步骤 制作测试样本，输入到递归神经网络中获得预测 值，由此实现风暴潮增水预测。 Ｘ＾ ＝ ｛｛ｘ１ ，ｘ２ ，…，ｘｌ｝，｛ｘ２ ，ｘ３ ，…，ｘｌ＋１ ｝，…， ｛ｘＴ－ｋ－ｌ＋１ ，ｘＴ－ｋ－ｌ＋２ ，…，ｘＴ－ｋ｝｝ ＾ｙ ＝ ｛｛ｙ１ ，ｙ２ ，…，ｙｌ｝，｛ｙ２ ，ｙ３ ，…，ｙｌ＋１ ｝，…， ｛ｙＴ－ｋ－ｌ＋１ ，ｙＴ－ｋ－ｌ＋２ ，…，ｙＴ－ｋ｝｝ ２ 实验结果 本文的实验数据集是潍坊水站从 ２００８ ～ ２０１４ 年记录的风暴潮增水过程数据。 每个增水过程共 历时 ３ 天，每隔 １ ｈ 记录 １ 个水位数据，总计 ７２ 个 数据。 图 ４ 展示了 ２００８ 年里的 ２ 个增水过程。 ·６４２· 智 能 系 统 学 报 第 １２ 卷