第16卷第3期 智能系统学报 Vol.16 No.3 2021年5月 CAAI Transactions on Intelligent Systems May 2021 D0L:10.11992tis.202008036 用于关系抽取的注意力图长短时记忆神经网络 张勇，高大林，巩敦卫，陶一凡 (中国矿业大学信息与控制工程学院，江苏徐州221116) 摘要：关系抽取是信息获取中一项关键技术。句子结构树能够捕获单词之间的长距离依赖关系，已被广泛用 于关系抽取任务中。但是，现有方法存在过度依赖句子结构树本身信息而忽略外部信息的不足。本文提出一 种新型的图神经网络模型，即注意力图长短时记忆神经网络(attention graph long short term memory neural net- wok,AGLSTM)。该模型采用一种软修剪策略自动学习对关系抽取有用的句子结构信息；通过引入注意力机 制，结合句法图信息学习句子的结构特征；并设计一种新型的图长短时记忆神经网络，使得模型能够更好地融 合句法图信息和句子的时序信息。与10种典型的关系抽取方法进行对比，实验验证了该模型的优异性能。 关键词：关系抽取：句子结构树；句法图；图神经网络；注意力图长短时记忆神经网络：软修剪策略；注意力机 制；长短时记忆神经网络 中图分类号：TP311文献标志码：A文章编号：1673-4785(2021)03-0518-10 中文引用格式：张勇，高大林，巩敦卫，等.用于关系抽取的注意力图长短时记忆神经网络.智能系统学报，2021,16(3)： 518-527. 英文引用格式：ZHANG Yong,GAO Dalin,.GONG Dunwei,.etal.Attention graph long short-term memory neural network for re- lation extractionJ.CAAI transactions on intelligent systems,2021,16(3):518-527. Attention graph long short-term memory neural network for relation extraction ZHANG Yong,GAO Dalin,GONG Dunwei,TAO Yifan (School of Information and Control Engineering,China University of Mining and Technology,Xuzhou 221116,China) Abstract:Relation extraction is a key technology in information acquisition.The sentence structure tree that can cap- ture long-distance dependencies between words has been widely used in relational extraction tasks.However,existing methods still have the disadvantage of relying too much on the information of sentence structure tree and ignoring ex- ternal information.This paper proposes a new graph neural network structure,namely the attention graph long short term memory neural network(AGLSTM).The model adopts a soft pruning strategy to automatically learn sentence structure information useful for relation extraction tasks;then the attention mechanism is introduced and combined with the syntactic graph information to learn the structural features of the sentence;And designed a new type of graph long short term memory neural network to better fuse syntactic graph information and sentence timing information.Com- pared with 10 typical relational extraction methods,experiments verify the excellent performance of the proposed method. Keywords:relation extraction;sentence structure tree;syntactic diagram;graph neural network;AGLSTM;soft prun- ing strategy;attention mechanism:LSTM 关系抽取是信息抽取的一个重要组成部分， 序列模型和依赖关系模型。序列模型主要针对单 已被成功用于医学知识发现山、知识图谱构建 词序列进行建模)，而依赖关系模型则是以句法 和问答推理间等诸多自然语言处理问题。关系抽 依存关系树为基础，构建依赖关系模型”。已有 取是指从非结构化的文本中抽取出实体对之间的 研究表明，相对序列模型而言，依赖关系模型可 三元组信息。 以利用句法依存树提取出句子中隐藏的非局部语 现有关系抽取模型或方法可大体分为2类： 法关系8叨，进而建立句内长距离的依赖关系。然 收稿日期：2020-08-30. 而，在生成句法依存树时，它常依赖句法结构规 基金项目：国家重点研发计划项目(2020YFB1708200):科技部 科技创新2030重大项目(2020AAA0107300). 则对句子结构进行修剪。这种基于规则的修剪策 通信作者：高大林.E-mail:1367963012@qq.com 略可能会删除句子结构所包含的重要隐式信息。DOI: 10.11992/tis.202008036 用于关系抽取的注意力图长短时记忆神经网络 张勇，高大林，巩敦卫，陶一凡 （中国矿业大学 信息与控制工程学院，江苏 徐州 221116） 摘 要：关系抽取是信息获取中一项关键技术。句子结构树能够捕获单词之间的长距离依赖关系，已被广泛用 于关系抽取任务中。但是，现有方法存在过度依赖句子结构树本身信息而忽略外部信息的不足。本文提出一 种新型的图神经网络模型，即注意力图长短时记忆神经网络 (attention graph long short term memory neural net￾work, AGLSTM)。该模型采用一种软修剪策略自动学习对关系抽取有用的句子结构信息；通过引入注意力机 制，结合句法图信息学习句子的结构特征；并设计一种新型的图长短时记忆神经网络，使得模型能够更好地融 合句法图信息和句子的时序信息。与 10 种典型的关系抽取方法进行对比，实验验证了该模型的优异性能。 关键词：关系抽取；句子结构树；句法图；图神经网络；注意力图长短时记忆神经网络；软修剪策略；注意力机 制；长短时记忆神经网络 中图分类号：TP311 文献标志码：A 文章编号：1673−4785(2021)03−0518−10 中文引用格式：张勇, 高大林, 巩敦卫, 等. 用于关系抽取的注意力图长短时记忆神经网络 [J]. 智能系统学报, 2021, 16(3): 518–527. 英文引用格式：ZHANG Yong, GAO Dalin, GONG Dunwei, et al. Attention graph long short-term memory neural network for re￾lation extraction[J]. CAAI transactions on intelligent systems, 2021, 16(3): 518–527. Attention graph long short-term memory neural network for relation extraction ZHANG Yong，GAO Dalin，GONG Dunwei，TAO Yifan (School of Information and Control Engineering, China University of Mining and Technology, Xuzhou 221116, China) Abstract: Relation extraction is a key technology in information acquisition. The sentence structure tree that can cap￾ture long-distance dependencies between words has been widely used in relational extraction tasks. However, existing methods still have the disadvantage of relying too much on the information of sentence structure tree and ignoring ex￾ternal information. This paper proposes a new graph neural network structure, namely the attention graph long short term memory neural network (AGLSTM). The model adopts a soft pruning strategy to automatically learn sentence structure information useful for relation extraction tasks; then the attention mechanism is introduced and combined with the syntactic graph information to learn the structural features of the sentence; And designed a new type of graph long short term memory neural network to better fuse syntactic graph information and sentence timing information. Com￾pared with 10 typical relational extraction methods, experiments verify the excellent performance of the proposed method. Keywords: relation extraction; sentence structure tree; syntactic diagram; graph neural network; AGLSTM; soft prun￾ing strategy; attention mechanism; LSTM 关系抽取是信息抽取的一个重要组成部分， 已被成功用于医学知识发现[1] 、知识图谱构建[2] 和问答推理[3] 等诸多自然语言处理问题。关系抽 取是指从非结构化的文本中抽取出实体对之间的 三元组信息。 现有关系抽取模型或方法可大体分为 2 类： 序列模型和依赖关系模型。序列模型主要针对单 词序列进行建模[4-5] ，而依赖关系模型则是以句法 依存关系树为基础，构建依赖关系模型[6-7]。已有 研究表明，相对序列模型而言，依赖关系模型可 以利用句法依存树提取出句子中隐藏的非局部语 法关系[8-9] ，进而建立句内长距离的依赖关系。然 而，在生成句法依存树时，它常依赖句法结构规 则对句子结构进行修剪。这种基于规则的修剪策 略可能会删除句子结构所包含的重要隐式信息。 收稿日期：2020−08−30. 基金项目：国家重点研发计划项目 (2020YFB1708200)；科技部 科技创新 2030 重大项目 (2020AAA0107300). 通信作者：高大林. E-mail：1367963012@qq.com. 第 16 卷第 3 期 智 能 系 统 学 报 Vol.16 No.3 2021 年 5 月 CAAI Transactions on Intelligent Systems May 2021