广东工业大学：《机器学习》课程教学资源（PPT讲稿）第16讲 现代循环神经网络（编码器解码器，Seq2seq模型，束搜索）

动手学深度学习 23.编码器解码器，Seq2seg模型，束搜索 中文教材：zh.d21ai 英文教材：w.d2Lai 教学视频：https://courses.d2L.ai/berkeley-stat-157 units/seq2seq.html D2L.ai

动手学深度学习 23. 编码器解码器，Seq2seq模型，束搜索 中文教材：zh.d2l.ai 英文教材：www.d2l.ai 教学视频：https://courses.d2l.ai/berkeley-stat-157/units/seq2seq.html

概要 ·编码器-解码器(Encoder-Decoder) 。 Seq2seq模型 。 束搜索(Beam Search) ·贪婪搜索(Greedy Search) ·穷举搜索(Exhaustive Search) 束搜索 D2L.ai

概要 • 编码器 - 解码器 (Encoder - Decoder) • Seq2seq 模型 • 束搜索（Beam Search） • 贪婪搜索（Greedy Search） • 穷举搜索（Exhaustive Search） • 束搜索

编码器-解码器 (Encoder Decoder)

编码器 - 解码器 (Encoder - Decoder)

重新思考CNN 。 编码器(Encoder): 将输入编码为中间 解码器 Output layer Softmax分类器 表示（特征) Layer L-1 ·解码器(Decoder）: 编码器 特征提取器 将特征解码为输出 Layer 1 D2L.ai

• 编码器(Encoder) ： 将输入编码为中间 表示（特征） • 解码器(Decoder) ： 将特征解码为输出 } 特征提取器 Softmax分类器 { 解码器 编码器 重新思考 CNN

重新思考RNN 编码器(Encoder)): 将输入编码为中间 Dense 解码器 表示（特征) LSTM 编码器 。1 解码器(Decoder）: Embedding 将特征解码为输出 this movie is great D2L.ai

重新思考 RNN } 解码器 编码器 • 编码器 (Encoder) ： 将输入编码为中间 表示（特征） • 解码器(Decoder) ： 将特征解码为输出

编码器-解码器架构 ·模型分为两部分 ·编码器(Encoder)加工输入 。 解码器(Decoder）生成输出 Input Encoder State Decoder Output Input D2L.ai

编码器 - 解码器架构 • 模型分为两部分 • 编码器 (Encoder) 加工输入 • 解码器 (Decoder) 生成输出

编码器Class class Encoder(nn.Block): definit_(self,**kwargs): super(Encoder,self)._init_(**kwargs) def forward(self,X): raise NotImplementedError D2L.ai

编码器 Class

解码器Class ·使用编码器输出和任何其他信息创建状态 class Decoder(nn.Block): def_init_(self,**kwargs): super(Decoder,self).__init_(**kwargs) def init_state(self,enc_outputs,*args): raise NotImplementedError def forward(self,X,state): raise NotImplementedError D2L.ai

解码器 Class • 使用编码器输出和任何其他信息创建状态

编码器-解码器Class class EncoderDecoder(nn.Block): definit_(self,encoder,decoder,**kwargs): super(EncoderDecoder,self).__init_(**kwargs) self.encoder encoder self.decoder decoder def forward(self,enc_X,dec_X,*args): enc_outputs self.encoder(enc_X) dec_state self.decoder.init_state(enc_outputs,*args) return self.decoder(dec_X,dec_state) D2L.ai

编码器-解码器 Class

ATGATGTGGTAA TACTAGAGCATT ↓ DNA Coding stand Seq2seq ATGATCTCGTAA 模型 RNA TACTAGAGCA TT DNA Template strand Ramary AUGAOCUCGUAA transcvipt (RNA) D2L.ai

Seq2seq 模型