9.6 编码器解码器架构 363 绾码界 解码器 。。。。…4…4。。。。…4…++4·。。…+44·。。。。4………·。。 9.6.3 364 9.6.4 小结 9.6.5 练习 9.7 序列到序列学习(seq2seq) 66 9.7.1编累 97.2 解码器 9.7.3 369 9.7.4 训练 9.7.5 须测 373 9.7.6 374 9.7.7 小结 375 9.7.8练习 375 9.8 束搜索 3 9.8.1 9.8.2 穷举搜索 束搜索 377 9.8.4 小结 379 9.8.5 练习 379 10注意力机制 381 10.1注意力 101.1 生物学中的注意力提示 382 10.1.3注意力的可视化 10.1.4 小结 10.1.5练习 386 10.2注意力汇聚：Nadaraya-Watson核回归 10.21 生成数据集…… 10.2.2 387 10)3北参款注音力汀聚 10.2.4带参数注意力汇聚 390 10.2.5小 39 1026练习 10.3注意力评分函数.· 394 3 10.3.2加性注意力. 。 10.3.3缩放点积注意力 397 10.34 小结 399 1035练习，。。。。，，，，，，，，，，。，，，。，，。，。，，，，，，，，，，，，，。，。 xi9.6 编码器-解码器架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 363 9.6.1 编码器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 363 9.6.2 解码器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 364 9.6.3 合并编码器和解码器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 364 9.6.4 ⼩结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 365 9.6.5 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 365 9.7 序列到序列学习（seq2seq） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 365 9.7.1 编码器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 366 9.7.2 解码器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 368 9.7.3 损失函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 369 9.7.4 训练 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 371 9.7.5 预测 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 373 9.7.6 预测序列的评估 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 374 9.7.7 ⼩结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 375 9.7.8 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 375 9.8 束搜索 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 376 9.8.1 贪⼼搜索 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 376 9.8.2 穷举搜索 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 377 9.8.3 束搜索 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 377 9.8.4 ⼩结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 379 9.8.5 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 379 10 注意⼒机制 381 10.1 注意⼒提⽰ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 382 10.1.1 ⽣物学中的注意⼒提⽰ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 382 10.1.2 查询、键和值 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 383 10.1.3 注意⼒的可视化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 384 10.1.4 ⼩结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 385 10.1.5 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 386 10.2 注意⼒汇聚：Nadaraya-Watson 核回归 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 386 10.2.1 ⽣成数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 386 10.2.2 平均汇聚 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 387 10.2.3 ⾮参数注意⼒汇聚 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 387 10.2.4 带参数注意⼒汇聚 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 390 10.2.5 ⼩结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 393 10.2.6 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 393 10.3 注意⼒评分函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 394 10.3.1 掩蔽softmax操作 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 395 10.3.2 加性注意⼒ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 396 10.3.3 缩放点积注意⼒ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 397 10.3.4 ⼩结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 399 10.3.5 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 399 xi