7.7.6 小结 285 7.7.7 练 285 8循环神经网络 287 序列模 8.1.1 统计江具…………… 288 8.12 训练 8.1.3 293 2 8.1.5 练 8.2 文本须处理 82.1 296 读取数据集 2 8.2.2 词元化… 297 8.2.3 词表 82.4 整合所有功能 208 8.2.5 小结 300 8.2.6 练习 301 8.3 语言模型和数据集 301 8.3.1 学习语言模型 83.2 马尔可夫模型与n元语法 0 8.33 自然语言统计 303 8.3.4 读取长序列数 306 8.3.5 小结 。。 3 8.3.6 练习 8.4 循环神经 8.4.1 310 8.4.2 有隐状态的循环神经网路 84.3 基于循环神经网络的字符级语 言模型 8.4.4 N&度(Perplexity 3 8.4.5 小结 31 84.6 练习 315 8.5 循环神经网络的从零开始实现···。·。。。························ 315 851 独热编码， 85.2 初始化模型参数 6 8.5.3 6 8.5.4 流 梯度裁剪 8.5.6 8.5.7 小结 。 323 8.5.8练习 8.6 循环神经网络的简洁实现 8.6.1 空7.7.6 ⼩结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 285 7.7.7 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 285 8 循环神经⽹络 287 8.1 序列模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 288 8.1.1 统计⼯具 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 288 8.1.2 训练 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 291 8.1.3 预测 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 293 8.1.4 ⼩结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 295 8.1.5 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 296 8.2 ⽂本预处理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 296 8.2.1 读取数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 296 8.2.2 词元化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 297 8.2.3 词表 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 298 8.2.4 整合所有功能 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 300 8.2.5 ⼩结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 300 8.2.6 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 301 8.3 语⾔模型和数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 301 8.3.1 学习语⾔模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 301 8.3.2 ⻢尔可夫模型与n元语法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 302 8.3.3 ⾃然语⾔统计 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 303 8.3.4 读取⻓序列数据 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 306 8.3.5 ⼩结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 309 8.3.6 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 309 8.4 循环神经⽹络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 310 8.4.1 ⽆隐状态的神经⽹络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 310 8.4.2 有隐状态的循环神经⽹络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 311 8.4.3 基于循环神经⽹络的字符级语⾔模型 . . . . . . . . . . . . . . . . . . . . . . . . . . 313 8.4.4 困惑度（Perplexity） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 313 8.4.5 ⼩结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 314 8.4.6 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 315 8.5 循环神经⽹络的从零开始实现 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 315 8.5.1 独热编码 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 315 8.5.2 初始化模型参数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 316 8.5.3 循环神经⽹络模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 316 8.5.4 预测 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 318 8.5.5 梯度裁剪 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 318 8.5.6 训练 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 319 8.5.7 ⼩结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 323 8.5.8 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 323 8.6 循环神经⽹络的简洁实现 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 323 8.6.1 定义模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 324 ix