8.6.2 325 8.6.3小结 86.4练 8.7 通过时间反向传播 327 8.7.1 循环神经网络的梯度分析·。·············· 8.7.2 通过时间反向传播的细节 8.7.3 小结 332 8.7.4 练习 332 9现代循环神经网络 333 9.1门控循环单元(GRU) 9.11门控隐状态 91.2 从零开始实现 。，，,，。。。。，，，，，。。。。。，，,，，，。。。。,，，，。。。。 337 9.1.3 339 9.14 小结 9.1.5 练习 348 9.2 长短期记忆网络（红STM) 340 9.2.1门控记忆元. 92.2 从零开始实现 349 9.2.3 346 924 小结 347 9.2.5练习 347 9.3 深度循环神经网路 931 函数依赖关系 9.3.2 简洁实现 349 9.3.3 训练与预测.. 349 9.3.4 小结 9.35 练习 9.4 双向循环神经网络 9.4.1 隐马尔可夫模型中的动态规划。····。··。·。······。··· 9.4.2 双向模型 3 9.4.3 双向循环神经网络的错误应用 35 9.4.4 小结 356 045左可 9.5 机器翻译与数据集 ”” 9.5.1 357 9.5.2 词元化 9.5.3 词表 360 9.5.4 360 9.5.5 训练模型 9.5.6 小结 362 9.5. 练习 6 + 8.6.2 训练与预测 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 325 8.6.3 ⼩结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 326 8.6.4 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 327 8.7 通过时间反向传播 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 327 8.7.1 循环神经⽹络的梯度分析 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 327 8.7.2 通过时间反向传播的细节 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 330 8.7.3 ⼩结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 332 8.7.4 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 332 9 现代循环神经⽹络 333 9.1 ⻔控循环单元（GRU） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 333 9.1.1 ⻔控隐状态 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 334 9.1.2 从零开始实现 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 337 9.1.3 简洁实现 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 339 9.1.4 ⼩结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 340 9.1.5 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 340 9.2 ⻓短期记忆⽹络（LSTM） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 340 9.2.1 ⻔控记忆元 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 340 9.2.2 从零开始实现 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 344 9.2.3 简洁实现 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 346 9.2.4 ⼩结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 347 9.2.5 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 347 9.3 深度循环神经⽹络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 348 9.3.1 函数依赖关系 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 348 9.3.2 简洁实现 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 349 9.3.3 训练与预测 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 349 9.3.4 ⼩结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 350 9.3.5 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 350 9.4 双向循环神经⽹络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 350 9.4.1 隐⻢尔可夫模型中的动态规划 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 351 9.4.2 双向模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 353 9.4.3 双向循环神经⽹络的错误应⽤ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 355 9.4.4 ⼩结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 356 9.4.5 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 356 9.5 机器翻译与数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 356 9.5.1 下载和预处理数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 357 9.5.2 词元化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 358 9.5.3 词表 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 360 9.5.4 加载数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 360 9.5.5 训练模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 361 9.5.6 ⼩结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 362 9.5.7 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 362 x