·76· 北京科技大学学报 1999年第1期 模型的阶次，且需要根据时序的特性，如，非线 h层节点的输出为： 性、周期性等选择相应的模型类别，计算起 [fU.() h≥2 来十分繁琐.在本文中，采用ATNN(Adaptive 0.0 (5) Time-Delay Neural Network)来建立过程的预 h=1 测模型，ATNN是在TDNN(Time-Delay Neural 其中，f为Sigmoed函数，O.()表示t时刻网络的 Network)的基础上发展起来的.TDNN在前馈 第j个输人. 网络的连接权中引人了时间延迟，因而具有一定 ATNN就是由图1所示的“延迟块"构成的， 的动态特性，已被成功地用于语音识别.但是， 设有一个3层ATNN,其输人节点、隐含节点、输 TDNN需通过试探法预先设定网络的延迟，且网 出节点数分别为3,4,3，则网络的结构如图2所 络延迟在整个训练过程中是不可调的，这样就有 示. 可能造成所选的网络与所给时间的不匹配，从而 输人层 隐含层 输出层 降低了网络的性能.ATNN克服了TDNN的局限 →延迟块 性，其网络权值和时间延迟在训练过程中均可实iput-○一→延迟块 output 时进行调节，因而可更好反映变化的时序，具有 延迟块 更强的动态特性， input.2+○- 延迟块 ◆output 2.1ATNN的结构 input3-○- 延迟块 ATNN2个神经元间的连接形式如图1所 延迟块 ○output 示： 围2ATNN网络结构图 2.2学习算法 在本文中，网络的学习算法采用批处理方 W 式，其误差函数定义如下： T2.A-1 EL W亚声 JEL (d.0-0()2 (6) 'h 式中，L。表示输出层的节点集合，M为序列的长 m.h-】 W.un.h 度，d(,0(分别为输出层节点j在时刻的期 延迟块 望输出与实际输出.网络的权值修正、延时修正 图1ATNN神经元连接结构图 均采用自适应变长梯度下降法，设： 图1中，2个神经元间的连接部分称为“延迟 O8 块"(Delay Block),网络h-l层的节点i通过 △wn《内=-内awe内肉 (7) n+I条连接线与h层的节点j相连，与BP网络相 E (8) 比，它在原有连接权W,0A-的基础上，增加了具 △Tn《内=-Ym肉‘aTm因 有互相独立时间延迟TmA-:及连接权WmA-的n 其中，k为递归次数 条连接线.网络h层的任一节点的输人等于h一1 nmA（=mAk-1)+△nm（因 (9) 层各节点的输出经延迟后的加权和，设t时刻， YmA=Ym.A(k-1)+△ymA因 (10) h-1层的节点i的输出为0A-(④，h层节点j的 △刀mA(内=E:·aA(·nmA(k-1) (11) 输人为L(),i,j间的延迟连接数为Nn-1则 △ymA(=E2'PmA()·Ym4k-1) (12) I(0,O4-1(④间的关系为： 其中，ee,为[0,1的常数，一般取e1e2=0.2~ Nina-t 0=∑mA-1·0--TA-) 0.3,mA（PmA()定义为： e-,m-0 OE E 13) (m=0时，TmA-1=0) (4) 1内=s8amn内-） 式中，L-1为h-1层的节点集合，TmA-,为节 E 点，时间第m个连接的时间延迟，形mA-为节点 P内=sg(a7内a7nk- (14) i间第m个连接的连接权. 由(7)~(14)，参数修正公式如下：北 京 科 技 大 学 学 报 ，， 年 第 期 ︸ 、产 ︺、 、了 一 模 型 的 阶 次 ， 且 需 要 根 据 时 序 的 特 性 ， 如 ， 非 线 性 、 周 期 性 等 选 择 相 应 的 模 型 类 别 ， 计 算 起 来 十 分 繁 琐 在 本 文 中 ， 采 用 而 一 盯 ‘ 来 建 立 过 程 的 预 测 模 型 ， 是 在 如 一 的 基 础 上 发 展 起 来 的 在 前 馈 网络 的连 接 权 中引 人 了 时 间延 迟 ， 因而具有 一 定 的动 态 特 性 ， 已 被 成 功 地 用 于语 音 识 别 但 是 ， 需 通 过 试 探法 预 先 设定 网络 的延 迟 ， 且 网 络延 迟 在 整 个 训 练过程 中是 不 可 调 的 ， 这 样 就有 可 能造 成 所 选 的 网 络 与所 给 时 间的不 匹 配 ， 从而 降低 了 网络 的性 能 克服 了 的局 限 性 ， 其 网络 权值 和 时 间延 迟 在 训 练过 程 中均 可 实 时进 行 调 节 ， 因 而 可 更 好 反 映 变 化 的 时 序 ， 具 有 更强 的动态特性 的结构 个 神 经 元 间 的 连 接 形 式 如 图 所 不 层 节， 的输 出为 仁认 ， 。 ， ” 一 ， 。 ” 七 其 中， 为 函数 ， 。 表示 ，时刻 网络 的 第 个输人 就是 由图 所示 的 “ 延 迟 块 ” 构成 的 ， 设有 一 个 层 ， 其 输人 节 点 、 隐含 节 点 、 输 出节 点 数分别 为 ， ， ， 则 网 络 的结构如 图 所 示 输人层 隐含层 输出层 山 几 一 爪 ， 。 一 聪 、 一 ， 圈 网络结构图 学 习算法 在 本 文 中 ， 网 络 的 学 习 算 法 采 用 批 处 理 方 式 ， 其 误差 函 数定义 如 下 一 全 ， 掌妙 ， 一 嵘 延迟块 图 神经元连接结构图 图 中 ， 个神经元 间 的连接部 分称 为 “ 延 迟 块 ” ， 网 络 一 层 的 节 点 通 过 条连 接线 与 层 的节点 相 连 ， 与 网络相 比 ， 它在 原有连接权 代 。 ， 。 一 ，， 的基础 上 ， 增加 了具 有互相 独立 时 间延 迟 东 ， 一 及 连接权 气 一 的 。 条连接线 网络 层 的任一 节点 的输人等于 一 层 各 节 点 的 输 出 经 延 迟 后 的 加 权 和 设 时 刻 ， 一 层 的节点 的输 出为 ， ， ， 层 节点 的 输 人 为毛 ， ， 间 的 延 迟 连 接 数 为 戈 ， 一 ， 则 毛 ， 。 · 口 ， 一 ， 间的 关系 为 式 中 ， 。 表 示 输 出层 的 节 点集 合 ， 为 序列 的 长 度 ， 陈水 ， 从 分别为输 出层节点 在 时刻 的期 望 输 出 与 实 际输 出 网 络 的权值 修正 、 延 时修 正 均采用 自适应变 长梯度乍降法 ， 乙 气 。 一 殊 ， 设 气 。 刁气 ， 乙聪 。 。 二 一 标 其 中 ， 为递 归次数 毛 。 竹 一 ， ‘艺 工 卜 一 气 ， 一 ， · 艺 ， 一 ， 一 乱 ， 一 聪 ， 殊 ， 一 △愁 ， 艺俪 ， 。 际 ， 一 △猛 乙蛛 仄 一 “ · 栋 ， 仄 · 殊 一 △ 。 ， 一 “ · · 瑞 一 其 中 ， ￡ ，， ￡ 为 ， 的 常 数 ， 一 般 取 ￡ ， ￡ 一 ， 栋 ， ， 际 。 定 义 为 时 ， 聪 ， 。 一 式 电 。 一 ， 为 一 层 的 节 点 集 合 ， 爪 ， 一 ，为 节 点 ，间第 个连接 的时间延 迟 ， 气 ， 。 一 为节 点 ， 间第 个连接 的连接权 、 ， ‘ 一 碳箭 耐旨 〕 ‘，， 气 一 ‘ 一‘ 碳箭 端旨 ， 由 一 ， 参数修正公式如下