第3期 张勇，等：用于关系抽取的注意力图长短时记忆神经网络 ·523· 的情况，该模型设置了分段注意力层来进行这种 0.6。这主要因为，相比基于顺序结构的神经网络 信息的提取，给出了分段注意力LSTM模型。 模型，AGLSTM可以同时捕捉文本中顺序结构和 8)实体感知注意力LSTM模型(EA-LSTM)2: 依赖结构信息。 结合了实体感知注意力和潜在实体类型，该模型 与基于依赖结构的神经网络模型Tree-LSTM 给出了一种新的端到端的神经网络模型。 和GCN相比，AGLSTM模型的F,值分别提高了 9)图卷积神经网络模型(GCN):该模型提出 5.1和3.5。这表明，在捕获复杂语法特性模式、建 了一种以路径为中心的剪枝策略。结合图卷积网 立句子长期依赖关系模型方面，AGLSTM的能力 络，在最大限度保留有关内容的同时，GCN能从 要优于两种对比算法。与AGGCN模型相比， 树中删除无关信息，进一步提高关系抽取的性能。 AGLSTM模型的F,值提高了2.4。这说明， 10)注意力导向图卷积神经网络模型(AG- AGLSTM在满足捕获句子结构信息的同时，也能 GCN):该模型给出了一种基于注意力机制的软 很好地捕获上下文的时序信息。另外，在精确率 修剪策略，并采用图卷积进行建模。 P上，本文所提AGLSTM模型的结果也要明显高 在上述10种对比方法中，LR与SVM是基于 于其他模型。综上可见，相比于其他对比算法， 机器学习的模型：BiLSTM+Att、PA-LSTM、SDP AGLSTM模型是一种极具竞争力的关系抽取方法。 LSTM、SA-LSTM和EA-LSTM隶属于基于顺序 3.5.2数据集SemEval2010task8 结构的神经网络模型：Tree-LSTM、GCN与AG- 将AGLSTM模型与多种典型对比算法用于 GCN为基于依赖结构的神经网络模型。本文通过 该数据集，表3给出了它们所得的F指标值。一 与这3大类模型进行对比，验证所提模型的有效性。 方面，F,指标是对精确率P和召回率R的统一融 3.5结果分析 合，可以更为全面地反映算法的性能：另一方面， 3.5.1数据集TACRED 相关对比文献仅仅给出了该数据集的F,值。鉴 表2展示了AGLSTM和对比算法处理该数 于此，本文也只使用F值作为评价指标。 据时得到的3个性能指标值。可以看出：与基于 表3 SemEval数据集实验结果 机器学习的模型LR相比，在3个指标(P、R和 Table 3 Experimental results on SemEval F,)上，所提AGLSTM模型都获得了最优的指标 模型 F 值。特别地，AGLSTM所得R和F,值明显高于LR SVM 82.2 所得值。 CNN+Att 84.1 表2 TACRED数据集实验结果 BILSTM+Att 84.0 Table 2 Experimental results on TACRED % SDP-LSTM 83.7 模型 PA-LSTM R 82.7 F LR 73.5 49.9 59.4 SPTree 84.4 PA-LSTM 65.7 64.5 65.1 C-GCN 84.8 SDP-LSTM 66.3 52.7 58.7 AGLSTM(ours) 85.3 SA-LSTM 68.1 65.7 66.9 相比TACRED数据集，SemEval数据集的样 Tree-LSTM 66.0 59.2 62.4 本规模较小，共有10717条数据。通过表3可知， GCN 69.8 59.0 64.0 所提AGLSTM模型在小规模数据集SemEval上 AGGCN 69.9 60.9 65.1 也能取得较好的效果。与基于机器学习的模型 AGLSTM(ours) 74.0 62.2 67.5 SVM相比，7种基于神经网络模型的抽取算法都 与3种基于顺序结构的神经网络模型(PA- 获得了较好的F,值。这说明，复杂语义信息的提 LSTM、SDP-LSTM和SA-LSTM)相比，AGLSTM 取对语言模型的建立有很大帮助，也对关系抽取 获得了明显优于3种算法的P指标值。以PA- 的结果产生了很大影响，而神经网络模型更适合 LSTM为例.AGLSTM的P指标值提升了8.3：在 进行语义信息的建模。与基于顺序结构的神经网 召回率R指标上，SA-LSTM和PA-LSTM的结果 络模型(CNN+Att、Bilstm+At、SDP-LSTM和PA- 要好于本文所提模型AGLSTM。然而，从综合指 LSTM)相比，AGLSTM所得F,值分别提高了 标F,值来看，AGLSTM的结果要明显优于3种算 1.2、1.3、1.6和2.6；与基于依赖结构的神经网络模 法。相对PA-LSTM、SDP-LSTM和SA-LSTM, 型SPTree和GCN相比，AGLSTM模型的F,值分 AGLSTM的F,指标值分别提升了2.4、8.8和 别提高了0.9和0.5。这主要因为，相比这些对比的情况，该模型设置了分段注意力层来进行这种 信息的提取，给出了分段注意力 LSTM 模型。 8) 实体感知注意力 LSTM 模型 (EA-LSTM)[26] ： 结合了实体感知注意力和潜在实体类型，该模型 给出了一种新的端到端的神经网络模型。 9) 图卷积神经网络模型 (GCN)[8] ：该模型提出 了一种以路径为中心的剪枝策略。结合图卷积网 络，在最大限度保留有关内容的同时，GCN 能从 树中删除无关信息，进一步提高关系抽取的性能。 10) 注意力导向图卷积神经网络模型 (AG￾GCN)[10] ：该模型给出了一种基于注意力机制的软 修剪策略，并采用图卷积进行建模。 在上述 10 种对比方法中，LR 与 SVM 是基于 机器学习的模型；BiLSTM+Att、PA-LSTM、SDP￾LSTM、SA-LSTM 和 EA-LSTM 隶属于基于顺序 结构的神经网络模型；Tree-LSTM、GCN 与 AG￾GCN 为基于依赖结构的神经网络模型。本文通过 与这 3 大类模型进行对比，验证所提模型的有效性。 3.5 结果分析 3.5.1 数据集 TACRED 表 2 展示了 AGLSTM 和对比算法处理该数 据时得到的 3 个性能指标值。可以看出：与基于 机器学习的模型 LR 相比，在 3 个指标 (P、R 和 F1 ) 上，所提 AGLSTM 模型都获得了最优的指标 值。特别地，AGLSTM 所得 R 和 F1 值明显高于 LR 所得值。 表 2 TACRED 数据集实验结果 Table 2 Experimental results on TACRED % 模型 P R F1 LR 73.5 49.9 59.4 PA-LSTM 65.7 64.5 65.1 SDP-LSTM 66.3 52.7 58.7 SA-LSTM 68.1 65.7 66.9 Tree-LSTM 66.0 59.2 62.4 GCN 69.8 59.0 64.0 AGGCN 69.9 60.9 65.1 AGLSTM(ours) 74.0 62.2 67.5 与 3 种基于顺序结构的神经网络模型 (PA￾LSTM、SDP-LSTM 和 SA-LSTM) 相比，AGLSTM 获得了明显优于 3 种算法的 P 指标值。以 PA￾LSTM 为例，AGLSTM 的 P 指标值提升了 8.3；在 召回率 R 指标上，SA-LSTM 和 PA-LSTM 的结果 要好于本文所提模型 AGLSTM。然而，从综合指 标 F1 值来看，AGLSTM 的结果要明显优于 3 种算 法。相对 PA-LSTM、SDP-LSTM 和 SA-LSTM， AGLSTM 的 F1 指标值分别提升了 2.4、8.8 和 0.6。这主要因为，相比基于顺序结构的神经网络 模型，AGLSTM 可以同时捕捉文本中顺序结构和 依赖结构信息。 与基于依赖结构的神经网络模型 Tree-LSTM 和 GCN 相比，AGLSTM 模型的 F1 值分别提高了 5.1 和 3.5。这表明，在捕获复杂语法特性模式、建 立句子长期依赖关系模型方面，AGLSTM 的能力 要优于两种对比算法。与 AGGCN 模型相比， AGLSTM 模 型 的 F1 值提高 了 2.4。这说明， AGLSTM 在满足捕获句子结构信息的同时，也能 很好地捕获上下文的时序信息。另外，在精确率 P 上，本文所提 AGLSTM 模型的结果也要明显高 于其他模型。综上可见，相比于其他对比算法， AGLSTM 模型是一种极具竞争力的关系抽取方法。 3.5.2 数据集 SemEval 2010 task 8 将 AGLSTM 模型与多种典型对比算法用于 该数据集，表 3 给出了它们所得的 F1 指标值。一 方面，F1 指标是对精确率 P 和召回率 R 的统一融 合，可以更为全面地反映算法的性能；另一方面， 相关对比文献仅仅给出了该数据集的 F1 值。鉴 于此，本文也只使用 F1 值作为评价指标。 表 3 SemEval 数据集实验结果 Table 3 Experimental results on SemEval % 模型 F1 SVM 82.2 CNN+Att 84.1 BILSTM+Att 84.0 SDP-LSTM 83.7 PA-LSTM 82.7 SPTree 84.4 C-GCN 84.8 AGLSTM(ours) 85.3 相比 TACRED 数据集，SemEval 数据集的样 本规模较小，共有 10 717 条数据。通过表 3 可知， 所提 AGLSTM 模型在小规模数据集 SemEval 上 也能取得较好的效果。与基于机器学习的模型 SVM 相比，7 种基于神经网络模型的抽取算法都 获得了较好的 F1 值。这说明，复杂语义信息的提 取对语言模型的建立有很大帮助，也对关系抽取 的结果产生了很大影响，而神经网络模型更适合 进行语义信息的建模。与基于顺序结构的神经网 络模型 (CNN+Att、Bilstm+Att、SDP-LSTM 和 PA￾LSTM) 相比，AGLSTM 所得 F1 值分别提高了 1.2、1.3、1.6 和 2.6；与基于依赖结构的神经网络模 型 SPTree 和 GCN 相比，AGLSTM 模型的 F1 值分 别提高了 0.9 和 0.5。这主要因为，相比这些对比 第 3 期 张勇，等：用于关系抽取的注意力图长短时记忆神经网络 ·523·