438 工程科学学报，第43卷，第3期 0 (a) --E3D1 1.0 (b) -E3D1 0 ■-E4D1 -■-E4D1 ★-E5D1 E5D1 50 DE3D1 0.8 B部 DE4D 0.6 0.4 10 ◆4w与 0.2 0 5 10 15 20 25 30 0 5 10 15 20 25 30 Epoch Epoch 100 16.0 --F31 E3D1 (c) (d) 15.5 80 ★ -E5D1 一DE3D1 15.0 上3) ■-DE4D1 量-DE4D1 一。 -DE5D1 14.5 DE5D1 14.0 0 13.5 13.0 0 5 1015 20 30 0 10152025 30 Epoch Epoch 图5基线模型实验曲线图.(a)初始训练损失值曲线图：(b)迁移学习损失值曲线图：(c)初始训练错误率曲线图：(d)迁移学习错误率曲线图 Fig.5 Curves of the baseline model:(a)loss curve on initial training stage:(b)loss curve on transfer learning stage;(c)prediction error rate curve on initial training stage;(d)prediction error rate curve on transfer leaming stage 80 (a) E4D1 (b) -F4D1 E4D2 0.6 -DE4D2 DE4D2 % 0.4 0.3 20 0.2 10 15 20 25 30 0 10 15 20 25 30 Epoch Epoch 100 (c) 14.0 (d) 80 13 30 60 國 12 0 12.0 11.5 20 11.0 0 5 1015 20 25 30 0 1015 30 25 30 Epoch Epoch 图6DL-T实验曲线图.()不同声学模型初始训练损失值曲线图：(b)不同声学模型迁移学习损失值曲线图：(c)不同声学模型初始训练错误率 曲线图：(d)不同声学模型迁移学习错误率曲线图 Fig.6 Curves of the DenseNet-LSTM-Transducer:(a)loss curve of different acoustic models on initial training stage,(b)loss curve of different acoustic models on transfer learning stage;(c)prediction error rate curve of different acoustic models on initial training stage,(d)prediction error rate curve of different acoustic models on transfer learning stage 初始训练阶段损失值曲线与错误率曲线，图5(b) 增加，声学模型逐渐趋于收敛，损失值最终收敛到 和5(d)分别表示迁移学习阶段损失值曲线与错误 一个固定范围内：(2)在初始训练阶段，DL-T收敛 率曲线 速度相较于RNN-T更快；在重训练阶段，RNN-T 从图5(a)及5(b)可看出：(1)随着迭代次数的 声学模型损失值减小至0.25左右，DL-T可减小初始训练阶段损失值曲线与错误率曲线，图 5（b） 和 5（d）分别表示迁移学习阶段损失值曲线与错误 率曲线. 从图 5（a）及 5（b）可看出：（1）随着迭代次数的 增加，声学模型逐渐趋于收敛，损失值最终收敛到 一个固定范围内；（2）在初始训练阶段，DL–T 收敛 速度相较于 RNN–T 更快；在重训练阶段，RNN–T 声学模型损失值减小至 0.25 左右，DL–T 可减小 70 60 50 40 30 1.0 0.8 0.4 0.6 0.2 100 16.0 15.5 15.0 14.5 14.0 13.5 13.0 80 40 60 20 20 10 0 0 5 10 15 Epoch 20 25 30 0 5 10 15 Epoch 20 25 30 0 5 10 15 Epoch 20 25 30 0 5 10 15 Epoch 20 25 30 Training loss Re-training loss Training CER/ % Re-training CER/ % E3D1 E4D1 E5D1 DE3D1 DE4D1 DE5D1 E3D1 E4D1 E5D1 DE3D1 DE4D1 DE5D1 E3D1 E4D1 E5D1 DE3D1 DE4D1 DE5D1 E3D1 E4D1 E5D1 DE3D1 DE4D1 DE5D1 (a) (b) (c) (d) 图 5    基线模型实验曲线图. （a）初始训练损失值曲线图；（b）迁移学习损失值曲线图；（c）初始训练错误率曲线图；（d）迁移学习错误率曲线图 Fig.5    Curves of the baseline model:(a) loss curve on initial training stage; (b) loss curve on transfer learning stage; (c) prediction error rate curve on initial training stage; (d) prediction error rate curve on transfer learning stage 0 5 10 15 Epoch 20 25 30 0 5 10 15 Epoch 20 25 30 Training loss Re-training loss 80 60 40 20 0 0.6 0.4 0.5 0.3 0.2 0 5 10 15 Epoch 20 25 30 Training CER/ % 80 100 60 40 20 0 5 10 15 Epoch 20 25 30 Re-training CER/ %13.5 14.0 13.0 11.5 12.0 12.5 11.0 E4D1 E4D2 DE4D2 E4D1 E4D2 DE4D2 E4D1 E4D2 DE4D2 E4D1 E4D2 DE4D2 (a) (b) (c) (d) 图 6    DL–T 实验曲线图. （a）不同声学模型初始训练损失值曲线图；（b）不同声学模型迁移学习损失值曲线图；（c）不同声学模型初始训练错误率 曲线图；（d）不同声学模型迁移学习错误率曲线图 Fig.6    Curves of the DenseNet–LSTM–Transducer: (a) loss curve of different acoustic models on initial training stage; (b) loss curve of different acoustic models on transfer learning stage; (c) prediction error rate curve of different acoustic models on initial training stage; (d) prediction error rate curve of different acoustic models on transfer learning stage · 438 · 工程科学学报，第 43 卷，第 3 期