第3期 张勇，等：用于关系抽取的注意力图长短时记忆神经网络 ·525· 75 business..”的可视化结果。 70 图7中4个子图分别对应4个注意力机制的 头。本文通过全连接构建完整的句子结构，因此 65 每个单词对句子中所有单词均有一个权重，图7 60 ·AGLSTM 中颜色的深浅代表关系权重的高低，即单词之间 C-GCN 相关性的强弱。可以看出，图7中对角线的颜色 -◆-LSTM SDP-LSTM 普遍较深，说明每个单词对应自己的权重最大； PA-LSTM 50 “Countrywide”和“Angelo Mozilo”是一对实体 20 3040 50 60 70 句子长度词 对，“Countrywide”是一个机构名，它的权重主要 集中在“CEO”和“article”等相近的词上；“Angelo 图6句子长度分析结果 Fig.6 Results of the sentence length analysis Mozilo”是一个人名，它的注意权重主要集中在 3.8可视化分析 “CEO”、“was”和“mocking'”等表现人物特征的词 本节通过对模型中使用的注意力机制进行可 上。实际上，这些词对“Countrywide'”和“Angelo 视化分析，说明所提模型更具可解释性。注意力 Mozilo'”之间关系“org:top_members/,employees' 机制的可视化显示了句中每个单词对于其他词的 有很重要的预测作用。因此这些词学习到的注意 重要程度，可以通过注意力机制来获得更丰富的 力权重较大，颜色较深：其他单词对于句子结构 词汇表征。图7展示了句子'In an August2004 信息的建模也起着一定的作用，不能完全忽略， Fortune article,Countrywide CEO Angelo Mozilo 其颜色较浅。这些都表明，模型使用的注意力机 was mocking WaMu for its stumbles in the mortage 制可以更好地建模句子的全局结构信息。 August 0.405 0.400 article 0.400 article 0.395 0.395 8 0.390 mg 0.390 m for for 0.385 stumbles 0.385 stumbles 0.380 mortgage 0.380 business business (a)注意力头数=l (b)注意力头数=2 0 兰u s=是0尖9 0.3975 Aug 0.3975 0.3950 04 0.3950 0.3925 0.3925 0.3900 0.3900 0.3875 m 0.3875 0.3850 stumble 0.3850 0.3825 stumbles 0.3825 0.3800 business business 0.3800 (c)注意力头数=3 (d注意力头数=4 图7注意力机制可视化分析 Fig.7 Visual analysis of the attention mechanisms50 55 60 65 70 75 20 30 40 50 60 70 句子长度/词 AGLSTM C-GCN LSTM SDP-LSTM PA-LSTM F1/% 图 6 句子长度分析结果 Fig. 6 Results of the sentence length analysis 3.8 可视化分析 本节通过对模型中使用的注意力机制进行可 视化分析，说明所提模型更具可解释性。注意力 机制的可视化显示了句中每个单词对于其他词的 重要程度，可以通过注意力机制来获得更丰富的 词汇表征。图 7 展示了句子“In an August 2004 Fortune article, Countrywide CEO Angelo Mozilo was mocking WaMu for its stumbles in the mortage business.”的可视化结果。 图 7 中 4 个子图分别对应 4 个注意力机制的 头。本文通过全连接构建完整的句子结构，因此 每个单词对句子中所有单词均有一个权重，图 7 中颜色的深浅代表关系权重的高低，即单词之间 相关性的强弱。可以看出，图 7 中对角线的颜色 普遍较深，说明每个单词对应自己的权重最大； “Countrywide”和“Angelo Mozilo”是一对实体 对，“Countrywide”是一个机构名，它的权重主要 集中在“CEO”和“article”等相近的词上；“Angelo Mozilo”是一个人名，它的注意权重主要集中在 “CEO”、“was”和“mocking”等表现人物特征的词 上。实际上，这些词对“Countrywide”和“Angelo Mozilo”之间关系“org:top_members/ employees” 有很重要的预测作用。因此这些词学习到的注意 力权重较大，颜色较深；其他单词对于句子结构 信息的建模也起着一定的作用，不能完全忽略， 其颜色较浅。这些都表明，模型使用的注意力机 制可以更好地建模句子的全局结构信息。 0.405 0.400 0.395 0.390 0.385 0.380 (a) 注意力头数=1 (c) 注意力头数=3 0.400 0.395 0.390 0.385 0.380 (b) 注意力头数=2 0.390 0 0.392 5 0.395 0 0.397 5 0.387 5 0.385 0 0.382 5 0.380 0 In an August 2004 Fortune article Countrywide CEO Angelo Mozilo was mocking WaMu for its in the stumbles mortgage business , . In an August 2004 Fortune article Countrywide CEO Angelo Mozilo was mocking WaMu for its in the stumbles mortgage business , . In an August 2004 Fortune article Countrywide CEO Angelo Mozilo was mocking WaMu for its in the stumbles mortgage business , . In an August 2004 Fortune article Countrywide CEO Angelo Mozilo was mocking WaMu for its in the stumbles mortgage business , . In an August 2004 Fortune article , Countrywide CEO Angelo Mozilo was mocking WaMu for its stumbles in the mortgage business . In an August 2004 Fortune article , Countrywide CEO Angelo Mozilo was mocking WaMu for its stumbles in the mortgage business . In an August 2004 Fortune article , Countrywide CEO Angelo Mozilo was mocking WaMu for its stumbles in the mortgage business . In an August 2004 Fortune article , Countrywide CEO Angelo Mozilo was mocking WaMu for its stumbles in the mortgage business . (d) 注意力头数=4 0.390 0 0.392 5 0.395 0 0.397 5 0.387 5 0.385 0 0.382 5 0.380 0 图 7 注意力机制可视化分析 Fig. 7 Visual analysis of the attention mechanisms 第 3 期 张勇，等：用于关系抽取的注意力图长短时记忆神经网络 ·525·