·826· 智能系统学报 第14卷 3.1.3实验结果与分析 类的数目；FN(false negative)表示正类被预测为 评价指标采用准确率、召回率和F值。这 负数的数目。 3个指标广泛用于信息检索和统计学分类领域， 本文将包装标注语料按照6：2：2的比例切分 用于评估结果质量。准确率、召回率和F值定义如下： 为训练集、验证集和测试集，分别使用LSTM TP CRF模型、BiLSTM-CRF模型和BiLSTM-CNN P= ×100% (TP+FP) CRFs模型对迁移和非迁移方法进行对比实验。 TP R= ×100% (5) 1)反馈值K的选取实验 (TP+FN) 2xPXR 分别使用LSTM-CRF、BiLSTM-CRF和BiL F= P+R STM-CNN-CRFs3组模型进行语义迁移学习，识 式中：TP(true positive)表示正类且被预测为正类 别包装领域实体，所获得的识别效果随K值的变 的数目；FP(false positive)表示负类且被预测为正 化情况如表8所示。 表8识别结果随K值的变化情况 Table 8 The experimental results changed with K 参数 K=0 K=100 K=200 K=300 K=400 K=500 K=600 K=700 59.36 60.01 61.94 64.34 65.16 65.34 64.74 64.45 LSTM-CRF R 43.19 52.45 52.15 57.20 58.34 57.81 57.10 56.39 R 50.00 55.98 56.61 60.56 61.56 61.34 60.68 60.15 60.51 60.55 61.12 67.69 68.15 67.41 67.53 66.97 BiLSTM-CRF R 45.28 55.78 56.59 59.28 59.28 59.00 58.22 59.07 51.80 58.07 58.77 63.21 63.41 62.92 62.53 62.78 P 65.28 68.27 71.96 71.03 71.42 70.96 71.43 70.28 BiLSTM-CNN-CRFs R 46.37 75.06 70.27 71.57 72.20 72.99 71.57 70.96 54.22 71.50 71.11 71.30 71.81 71.96 71.50 70.62 各模型识别结果如图5~图7所示。 0.8 P 实验结果表明，3组模型的P、R和F值，均先 R F 随着K值的增大呈上升趋势，当达到某一特定值 0.7 时反而呈下降趋势，LSTM-CRF和BiLSTM- 0.6 CRF模型在K=400时F值达到最大，而BiLSTM- CNN-CRFs模型在K=500时F值达到最大。证明 0.5 了随着迁移语义知识的增加，提高了模型的识别 率。但随着领域新闻数据与通用新闻数据样本语 0.4 00 200300400500600700 义距离的增大，准确率、召回率和F值反而开始 下降。这是由于随着语义距离的增大，通用新闻 图6LSTM-CRF识别结果 数据与领域新闻数据语义相关性降低，此时引入 Fig.6 LSTM-CRF results 0.8 0.8r P +R 0.7 是一F 0.7 P 0.6 0.6 晋R F 0.5 0.5 0.4 00200300400500600700 “100200300400500600700 K 图5 BiLSTM-CNN-CRFs识别结果 图7 BiLSTM-CRF识别结果 Fig.5 BiLSTM-CNN-CRFs results Fig.7 BiLSTM-CRF results3.1.3 实验结果与分析 评价指标采用准确率、召回率和 F 值。这 3 个指标广泛用于信息检索和统计学分类领域， 用于评估结果质量。准确率、召回率和F值定义如下：    P = TP (TP+FP) ×100% R = TP (TP+FN) ×100% F = 2×P×R P+R (5) 式中：TP（true positive）表示正类且被预测为正类 的数目；FP（false positive）表示负类且被预测为正 类的数目；FN（false negative）表示正类被预测为 负数的数目。 本文将包装标注语料按照 6:2:2 的比例切分 为训练集、验证集和测试集，分别使用 LSTM￾CRF 模型、BiLSTM-CRF 模型和 BiLSTM-CNN￾CRFs 模型对迁移和非迁移方法进行对比实验。 1) 反馈值 K 的选取实验 分别使用 LSTM-CRF、BiLSTM-CRF 和 BiL￾STM-CNN-CRFs 3 组模型进行语义迁移学习，识 别包装领域实体，所获得的识别效果随 K 值的变 化情况如表 8 所示。 表 8 识别结果随 K 值的变化情况 Table 8 The experimental results changed with K 参数 K=0 K=100 K=200 K=300 K=400 K=500 K=600 K=700 LSTM-CRF P 59.36 60.01 61.94 64.34 65.16 65.34 64.74 64.45 R 43.19 52.45 52.15 57.20 58.34 57.81 57.10 56.39 F 50.00 55.98 56.61 60.56 61.56 61.34 60.68 60.15 BiLSTM-CRF P 60.51 60.55 61.12 67.69 68.15 67.41 67.53 66.97 R 45.28 55.78 56.59 59.28 59.28 59.00 58.22 59.07 F 51.80 58.07 58.77 63.21 63.41 62.92 62.53 62.78 BiLSTM-CNN-CRFs P 65.28 68.27 71.96 71.03 71.42 70.96 71.43 70.28 R 46.37 75.06 70.27 71.57 72.20 72.99 71.57 70.96 F 54.22 71.50 71.11 71.30 71.81 71.96 71.50 70.62 各模型识别结果如图 5~图 7 所示。 实验结果表明，3 组模型的 P、R 和 F 值，均先 随着 K 值的增大呈上升趋势，当达到某一特定值 时反而呈下降趋势， LSTM-CRF 和 BiLSTM￾CRF 模型在 K=400 时 F 值达到最大，而 BiLSTM￾CNN-CRFs 模型在 K=500 时 F 值达到最大。证明 了随着迁移语义知识的增加，提高了模型的识别 率。但随着领域新闻数据与通用新闻数据样本语 义距离的增大，准确率、召回率和 F 值反而开始 下降。这是由于随着语义距离的增大，通用新闻 数据与领域新闻数据语义相关性降低，此时引入 0.8 0.7 0.6 0.5 0.4 100 K 200 300 400 500 600 700 P R F 图 5 BiLSTM-CNN-CRFs 识别结果 Fig. 5 BiLSTM-CNN-CRFs results 0.8 0.7 0.6 0.5 0.4 100 K 200 300 400 500 600 700 P R F 图 6 LSTM-CRF 识别结果 Fig. 6 LSTM-CRF results 0.8 0.7 0.6 0.5 0.4 100 200 300 400 500 600 700 K P R F 图 7 BiLSTM-CRF 识别结果 Fig. 7 BiLSTM-CRF results ·826· 智 能 系 统 学 报 第 14 卷