【自然语言处理与理解】融合多层次特征的中文语义角色标注

第15卷第1期 智能系统学报 Vol.15 No.1 2020年1月 CAAI Transactions on Intelligent Systems Jan.2020 D0L:10.11992tis.201910012 融合多层次特征的中文语义角色标注 王一成2，万福成'，马宁 (1.西北民族大学中国民族语言文字信息技术教育部重点实验室，甘肃兰州730030：2.西北民族大学甘肃省 民族语言智能处理重点实验室，甘肃兰州730030) 摘要：随着人工智能和中文信息处理技术的迅猛发展，自然语言处理相关研究已逐步深入到语义理解层次 上，而中文语义角色标注则是语义理解领域的核心技术。在统计机器学习仍占主流的中文信息处理领域，传统 的标注方法对句子的句法及语义的解析程度依赖较大，因而标注准确率受限较大，已无法满足当前需求。针对 上述问题，对基于Bi-LSTM的中文语义角色标注基础模型进行了改进研究，在模型后处理阶段结合了Mx pooling技术，训练时融入了词法和句式等多层次的语言学特征，以实现对原有标注模型的深入改进。通过多 组实验论证，结合语言学辅助分析，提出针对性的改进方法从而使模型标注准确率得到了显著提升，证明了结 合Max pooling技术的Bi-LSTM语义角色标注模型中融入相关语言学特征能够改进模型标注效果。 关键词：自然语言处理；语义角色标注；深度学习；Bi-LSTM;语言学特征；后处理层；Max pooling 中图分类号：TP391文献标志码：A文章编号：1673-4785(2020)01-0107-07 中文引用格式：王一成，万福成，马宁.融合多层次特征的中文语义角色标注.智能系统学报，2020,15(1)：107-113. 英文引用格式：WANG Yicheng,.WAN Fucheng,MA Ning.Chinese semantic role labeling with multi--level linguistic featuresJ,. CAAI transactions on intelligent systems,2020,15(1):107-113. Chinese semantic role labeling with multi-level linguistic features WANG Yicheng'2,WAN Fucheng',MA Ning? (1.Key Laboratory of China's Ethnic Languages and Information Technology of Ministry of Education,Northwest Minzu University, Lanzhou,Gansu 730030,China;2.Key Laboratory of China's Ethnic Languages and Intelligent Processing of Gansu Province,North- west Minzu University,Lanzhou,Gansu 730030,China) Abstract:With the rapid development of artificial intelligence and Chinese information processing technology,studies re- lating to natural language processing have reached the level of semantic understanding gradually,while Chinese Semantic Role Labeling is the key technology in the semantic understanding field.Traditional tagging methods depend heavily on the parsing degree of sentence syntax and semantics,so the accuracy of tagging is limited.Aiming at the above problems,this paper improves the basic model of Chinese Semantic Role Labeling based on Bi-LSTM.To solve the above problem,the Max pooling technology is combined in the post-processing stage of the model,and multi-level linguistic features such as lexical item and sentence pattern are integrated into the training to further improve the original annotation model.Through a number of experimental demonstrations,combined with linguistic assistant analysis,targeted improvement methods are pro- posed to improve the accuracy of model annotation.It is proved that the Bi-LSTM semantic role labeling model combined with Max pooling technology can improve the effect of model annotation by incorporating relevant linguistic features. Keywords:natural language processing;semantic role labeling;deep learning;Bi-LSTM;linguistic characteristics; post-processing layer;Max pooling 语义角色标注(semantic role labeling,.SRL)是大程度上优化了现有的语言信息处理系统的性 自然语言处理的重要技术，这一技术的出现在很 能。与深层语义分析相比，语义角色标注具有问 收稿日期：2019-10-11. 题清晰，标注简便，易于呈现等特点，在信息检 基金项目：国家自然科学基金项目(61602387,61762076). 通信作者：万福成.E-mail:wanfucheng@l26.com. 索、问答系统、机器翻译等多种自然语言处理领

DOI: 10.11992/tis.201910012 融合多层次特征的中文语义角色标注 王一成1,2，万福成1 ，马宁2 （1. 西北民族大学 中国民族语言文字信息技术教育部重点实验室，甘肃 兰州 730030; 2. 西北民族大学 甘肃省 民族语言智能处理重点实验室，甘肃 兰州 730030） 摘 要：随着人工智能和中文信息处理技术的迅猛发展，自然语言处理相关研究已逐步深入到语义理解层次 上，而中文语义角色标注则是语义理解领域的核心技术。在统计机器学习仍占主流的中文信息处理领域，传统 的标注方法对句子的句法及语义的解析程度依赖较大，因而标注准确率受限较大，已无法满足当前需求。针对 上述问题，对基于 Bi-LSTM 的中文语义角色标注基础模型进行了改进研究，在模型后处理阶段结合了 Max pooling 技术，训练时融入了词法和句式等多层次的语言学特征，以实现对原有标注模型的深入改进。通过多 组实验论证，结合语言学辅助分析，提出针对性的改进方法从而使模型标注准确率得到了显著提升，证明了结 合 Max pooling 技术的 Bi-LSTM 语义角色标注模型中融入相关语言学特征能够改进模型标注效果。 关键词：自然语言处理；语义角色标注；深度学习；Bi-LSTM；语言学特征；后处理层；Max pooling 中图分类号：TP391 文献标志码：A 文章编号：1673−4785(2020)01−0107−07 中文引用格式：王一成, 万福成, 马宁. 融合多层次特征的中文语义角色标注 [J]. 智能系统学报, 2020, 15(1): 107–113. 英文引用格式：WANG Yicheng, WAN Fucheng, MA Ning. Chinese semantic role labeling with multi-level linguistic features[J]. CAAI transactions on intelligent systems, 2020, 15(1): 107–113. Chinese semantic role labeling with multi-level linguistic features WANG Yicheng1,2 ，WAN Fucheng1 ，MA Ning2 (1. Key Laboratory of China's Ethnic Languages and Information Technology of Ministry of Education, Northwest Minzu University, Lanzhou, Gansu 730030, China; 2. Key Laboratory of China's Ethnic Languages and Intelligent Processing of Gansu Province, North￾west Minzu University, Lanzhou, Gansu 730030, China) Abstract: With the rapid development of artificial intelligence and Chinese information processing technology, studies re￾lating to natural language processing have reached the level of semantic understanding gradually, while Chinese Semantic Role Labeling is the key technology in the semantic understanding field. Traditional tagging methods depend heavily on the parsing degree of sentence syntax and semantics, so the accuracy of tagging is limited. Aiming at the above problems, this paper improves the basic model of Chinese Semantic Role Labeling based on Bi-LSTM. To solve the above problem, the Max pooling technology is combined in the post-processing stage of the model, and multi-level linguistic features such as lexical item and sentence pattern are integrated into the training to further improve the original annotation model. Through a number of experimental demonstrations, combined with linguistic assistant analysis, targeted improvement methods are pro￾posed to improve the accuracy of model annotation. It is proved that the Bi-LSTM semantic role labeling model combined with Max pooling technology can improve the effect of model annotation by incorporating relevant linguistic features. Keywords: natural language processing; semantic role labeling; deep learning; Bi-LSTM; linguistic characteristics; post-processing layer; Max pooling 语义角色标注 (semantic role labeling, SRL) 是 自然语言处理的重要技术，这一技术的出现在很 大程度上优化了现有的语言信息处理系统的性 能。与深层语义分析相比，语义角色标注具有问 题清晰，标注简便，易于呈现等特点，在信息检 索、问答系统、机器翻译等多种自然语言处理领 收稿日期：2019−10−11. 基金项目：国家自然科学基金项目 (61602387，61762076). 通信作者：万福成. E-mail：wanfucheng@126.com. 第 15 卷第 1 期 智 能 系 统 学 报 Vol.15 No.1 2020 年 1 月 CAAI Transactions on Intelligent Systems Jan. 2020

·108· 智能系统学报 第15卷 域具有广阔的应用前景，并对今后进行深层语义 汉语方面，经过10余年的发展，语义角色标 分析以及篇章理解的研究具有重要意义。 注在序列标注模型的实用方面取得了显著的进 近几年来，由于计算机技术与中文信息处理 展。在CoNLL2004大会中，首次将语义角色标 技术的快速发展，两种技术实现了高度的融 注确立为主题，并在浅层句法分析理论基础上开 合。在中文句法、语义处理方面不断取得新的 展。于江德等结合英文语义角色标注研究实 突破性进展，中文语义角色标注已成为承上启 现了以短语或命名实体作为标注单元，利用条件 下的关键技术，对其准确率的要求也随之提高， 随机场模型进行语义角色的标注；随着近年来， 增加了深入研究语义角色标注技术的必要性。 深度学习不断在自然语言处理领域拔得头筹，王 经过10余年的发展，中文语义角色标注取得了 臻等12]在2014年尝试将多层网络结构的深度 一系列的进展，尤其是基于机器学习方法的研 学习模型应用于中文语义角色的识别和分类，虽 究更是进展颇多。目前深度学习在语音识别领 然其实验效果与传统机器学习标注相比仍有较大 域的应用取得了巨大成功，该技术在文字信息 差距，但该研究为深度学习算法应用于该领域提 处理领域的应用成为的一大研究热点。本文根 供了借鉴。在此基础上，该团队于2015年再次尝 据已有语义角色序列标注的研究现状，提出一 试将双向循环神经网络算法应用于该领域，该方 种基于深度学习的中文语义角色标注改进方 法避免了大量的复杂特征提取，同时能够较好地 法，对现有基础特征进行选择性扩充，添加多层 利用标注序列中的信息。为解决多层神经网络带 次语言学特征进行对比分析，经过多组对照测 来的信息传递不畅以及网络层过多导致梯度消失/ 试达到准确率的提升，以期对语义角色标注研 爆炸问题，王明轩等)提出在多层LSTM模型单 究提供借鉴。 元内部设置信息连通的“直梯单元”，使标注信息 语义角色标注是当前语义分析处理中切实可 能够快速地在不同层之间传递，而李天时等利 行的一种实践方案，随着统计机器学习方法在 用外部记忆单元构造出一个轻量级的单层RNN 然语言处理领域异军突起，很多大规模且具有语 模型，该轻量级模型具有训练简便、标注效率高 义信息的语料资源被建立，大大加快了基于特征 等优点，但准确率却接近多层次网络模型。杨耀 学习的语义角色标注方法的实用化步伐。在基于 文)则在神经网络模型中引人词的分布表征和 机器学习的英文语义角色标注研究方面，Prand- Dropout惩罚机制，极大地缓解了神经网络模型过 han等-将支持向量机的机器学习方法应用于语 度拟合的问题，明显提升了系统的标注性能。在 义角色标注中，获得了较好的效果；Blunsom)将 基于规则的语义角色标注方面11也进展显著。 更先进的机器学习模型一最大熵马尔可夫模 本研究也借鉴了相关文献[19-22]的模型构建方 型引入该领域，取得较好标注结果：Cohn等则 法，因篇幅有限，不详细介绍。 首次成功地将条件随机场应用到语义角色标注 总体来说，由于可供训练的中文语义角色标 中；随着近两年人工智能的兴起，深度学习方法 注的语料资源还比较有限，另外汉语本身所带来 开始应用于该领域，Collobert等)将深度神经网 的一些不同与英语的特点（例如，汉语的目标动 络运用于框架语义角色标注，该方法减缓了传统 词不容易确定；汉语自动分析的基础模块，如分 机器学习方法应对复杂特征的人工干预力度，取 词、词性标注、句法分析等限制；等等)，导致中文 得了理想的标注结果。随后，多层的神经网络也 语义角色标注的发展要相对曲折一些，因此中文 开始引入该领域，Socher等采用神经网络单元 语义角色的标注性能还有很大可提升空间。 与树结构编码器结合的方式进行标注，Yin等 1模型构建 m则直接使用多层CNN模型进行标注。此类方 法带来两大问题，一是模型层数增多，加重了梯 语义角色标注模型构建的主体思路是在一定 度消失/爆炸的问题，二是不同层的神经网络单元 规模的语料库中人工标出各种施事、受事、结果、 需要学习不同层的语义知识，导致模型冗余。由 方式等语义角色，运用深度学习方法从已标注完 于LSTM模型能够有效的改善梯度消失等问题， 成的大规模语料中进行数据训练，通过提取各类 因此，Zhou等81采用LSTM(long short-term 语义角色在不同句子中的概率规则，对新语料中 memory)模型9进行语义角色标注，在模型训练 各语义角色进行概率最大的预估标注。对于标注 过程中加入少量的词法特征，获得了相对理想的 模型来说，角色识别和角色分类是核心步骤，因 实验结果。 此本文采用双向长短记忆网络(Bi-directional long

域具有广阔的应用前景，并对今后进行深层语义 分析以及篇章理解的研究具有重要意义。 近几年来，由于计算机技术与中文信息处理 技术的快速发展，两种技术实现了高度的融 合。在中文句法、语义处理方面不断取得新的 突破性进展，中文语义角色标注已成为承上启 下的关键技术，对其准确率的要求也随之提高， 增加了深入研究语义角色标注技术的必要性。 经过 10 余年的发展，中文语义角色标注取得了 一系列的进展，尤其是基于机器学习方法的研 究更是进展颇多。目前深度学习在语音识别领 域的应用取得了巨大成功，该技术在文字信息 处理领域的应用成为的一大研究热点。本文根 据已有语义角色序列标注的研究现状，提出一 种基于深度学习的中文语义角色标注改进方 法，对现有基础特征进行选择性扩充，添加多层 次语言学特征进行对比分析，经过多组对照测 试达到准确率的提升，以期对语义角色标注研 究提供借鉴。 语义角色标注是当前语义分析处理中切实可 行的一种实践方案，随着统计机器学习方法在自 然语言处理领域异军突起，很多大规模且具有语 义信息的语料资源被建立，大大加快了基于特征 学习的语义角色标注方法的实用化步伐。在基于 机器学习的英文语义角色标注研究方面，Prand￾han 等 [1-2] 将支持向量机的机器学习方法应用于语 义角色标注中，获得了较好的效果；Blunsom[3] 将 更先进的机器学习模型−最大熵马尔可夫模 型引入该领域，取得较好标注结果；Cohn 等 [4] 则 首次成功地将条件随机场应用到语义角色标注 中；随着近两年人工智能的兴起，深度学习方法 开始应用于该领域，Collobert 等 [5] 将深度神经网 络运用于框架语义角色标注，该方法减缓了传统 机器学习方法应对复杂特征的人工干预力度，取 得了理想的标注结果。随后，多层的神经网络也 开始引入该领域，Socher 等 [6] 采用神经网络单元 与树结构编码器结合的方式进行标注，Yin 等 [7] 则直接使用多层 CNN 模型进行标注。此类方 法带来两大问题，一是模型层数增多，加重了梯 度消失/爆炸的问题，二是不同层的神经网络单元 需要学习不同层的语义知识，导致模型冗余。由 于 LSTM 模型能够有效的改善梯度消失等问题， 因此，Zhou 等 [ 8 ] 采用 LSTM (long short-term memory) 模型[9] 进行语义角色标注，在模型训练 过程中加入少量的词法特征，获得了相对理想的 实验结果。 汉语方面，经过 10 余年的发展，语义角色标 注在序列标注模型的实用方面取得了显著的进 展。在 CoNLL 2004 大会中，首次将语义角色标 注确立为主题，并在浅层句法分析理论基础上开 展。于江德等[10] 结合英文语义角色标注研究实 现了以短语或命名实体作为标注单元，利用条件 随机场模型进行语义角色的标注；随着近年来， 深度学习不断在自然语言处理领域拔得头筹，王 臻等[11-12] 在 2014 年尝试将多层网络结构的深度 学习模型应用于中文语义角色的识别和分类，虽 然其实验效果与传统机器学习标注相比仍有较大 差距，但该研究为深度学习算法应用于该领域提 供了借鉴。在此基础上，该团队于 2015 年再次尝 试将双向循环神经网络算法应用于该领域，该方 法避免了大量的复杂特征提取，同时能够较好地 利用标注序列中的信息。为解决多层神经网络带 来的信息传递不畅以及网络层过多导致梯度消失/ 爆炸问题，王明轩等[13] 提出在多层 LSTM 模型单 元内部设置信息连通的“直梯单元”，使标注信息 能够快速地在不同层之间传递，而李天时等[14] 利 用外部记忆单元构造出一个轻量级的单层 RNN 模型，该轻量级模型具有训练简便、标注效率高 等优点，但准确率却接近多层次网络模型。杨耀 文 [15] 则在神经网络模型中引入词的分布表征和 Dropout 惩罚机制，极大地缓解了神经网络模型过 度拟合的问题，明显提升了系统的标注性能。在 基于规则的语义角色标注方面[17-18] 也进展显著。 本研究也借鉴了相关文献 [19-22] 的模型构建方 法，因篇幅有限，不详细介绍。 总体来说，由于可供训练的中文语义角色标 注的语料资源还比较有限，另外汉语本身所带来 的一些不同与英语的特点 (例如，汉语的目标动 词不容易确定；汉语自动分析的基础模块，如分 词、词性标注、句法分析等限制；等等)，导致中文 语义角色标注的发展要相对曲折一些，因此中文 语义角色的标注性能还有很大可提升空间。 1 模型构建 语义角色标注模型构建的主体思路是在一定 规模的语料库中人工标出各种施事、受事、结果、 方式等语义角色，运用深度学习方法从已标注完 成的大规模语料中进行数据训练，通过提取各类 语义角色在不同句子中的概率规则，对新语料中 各语义角色进行概率最大的预估标注。对于标注 模型来说，角色识别和角色分类是核心步骤，因 此本文采用双向长短记忆网络 (Bi-directional long ·108· 智 能 系 统 学 报 第 15 卷

第1期 王一成，等：融合多层次特征的中文语义角色标注 ·109· short-term memory,Bi-LSTM)算法从Embedding层 理，初始序列片段句将以词向量的形式进入Bi- 获取角色识别和角色分类的核心高阶特征，通过 LSTM层网络： 添加多种语言学特征使得原有模型的序列标注性 输出层 能得到进一步提升。 1.1理论方法 后处理层 本方法采用词序列标注的标记策略，使用神 经网络分类器对句子中各类语义角色同时进行识 Forward LSTM LSTMALSTM Bi-LSTM层 别和标注。在后处理阶段，利用CNN中的池化层 Backward- LSTMLSTM LSTM 对特征进行采样，剔除冗余的特征信息。预测了 预处理层 可匹配的全部语义角色后，采用简单的后处理规 则去识别找不到匹配的语义角色成分，保留预测 我 昨因 吃了火锅 输出层 概率最高的语义角色。 图1 融合多层次语言学特征的语义角色标注模型架构图 在标注模型选取上，本文主要考虑了当前主 Fig.1 Semantic role labeling model architecture diagram 流基于深度学习的序列标注模型—B-LSTM模 incorporating multi-level linguistic features 型。LSTM是基于循环神经网络(recurrent neural 1.2.2Bi-LSTM层 net-work,RNN)的一种改进模型，该神经网络模型 Bi-LSTM层的基本思想是将一段训练句子同 具备超强的非线性拟合能力，模型训练时将实例 步加入到向前和向后两个循环神经网络(RNN) 通过高阶、高纬度异度空间的复杂非线性变换， 中，并且这两个RNN训练出的单元同时指向一 映射得到一个低维的序列模型。相较于传统的机 个Max pooling层接口。这种双向结构能够给 器学习模型，无法灵活的添加自定义特征，对于 Max pooling层提供输入句子中每一个词较为充 复杂语料中出现的语义角色不完全可分情况标注 分的上下文相关信息。其LSTM层的网络框架如 性能较差，无法充分考虑序列内元素之间的相关 图2所示。其中，时序1对应的当前输入词为X, 信息等劣势，由于LSTM设计特性，其极大地改 细胞状态为C,隐含层状态为，。其训练过程可 善了传统机器学习方法的不足，能够较好地兼顾 理解为通过遗忘和记忆单元处理当前时序状态下 元素在序列中前后的顺序关系，非常适合建模复 的新元素信息，将影响因子较大的信息保留并传 杂的非线性序列数据，如文本数据。综合考虑以 递给下一时序状态的细胞，过滤影响因子较小的 上因素，将采用Bi-LSTM模型进行研究，实现标 信息，并输出该时序状态下的隐含层状态，。依 注性能的更大提升。 次迭代后，就可得到与句子序列相对应的隐含层 1.2标注模型 融合多层次语言学特征的语义角色标注模 时序状态{ho,h,…,hnl}o 型采取通用的标记方法，采用最大池化法(Max pooling)的Bi-LSTM标注模型将问题转化成以词 为基本标注单元的词序列标注问题，融入多类型 X 语言学特征，构建深度学习标注模型进行自动标 arctan arctan B 注训练，之后选取参照语言学特征进行对比研 究。本模型主要由预处理层、Bi-LSTM层和后处 理层架构组成，其模型主体架构如图1所示。 1.2.1预处理层 在输入层送入一段序列后，经过预处理层将 图2LSTM层的网络框架示意图 序列内的每一个词映射表示成所对应的词向量， Fig.2 Schematic diagram of the network framework of 并送入Bi-LSTM层。假设输人句A包含n个词， the LSTM layer A={x1,2,…,xm},x代表输入句中第i个词，利用词 Bi-LSTM是由向前推算(Forward pass)与向 向量矩阵E来获得词向量。v”表示词汇大小。 后推算(Backward pass))双向组合而成，其对于语 通过式(1)，可以将一个词x,转变为词向量e 义角色标注任务中普遍存在的上下文信息具有较 ei=Ewv (1) 好的兼顾。第ⅰ个词的隐含层状态由前向隐含层 式中：是向量v”的绝对值距离。通过以上预处 ,与后向隐含层进行异或得到，如式(2)：

short-term memory, Bi-LSTM) 算法从 Embedding 层 获取角色识别和角色分类的核心高阶特征，通过 添加多种语言学特征使得原有模型的序列标注性 能得到进一步提升。 1.1 理论方法 本方法采用词序列标注的标记策略，使用神 经网络分类器对句子中各类语义角色同时进行识 别和标注。在后处理阶段，利用 CNN 中的池化层 对特征进行采样，剔除冗余的特征信息。预测了 可匹配的全部语义角色后，采用简单的后处理规 则去识别找不到匹配的语义角色成分，保留预测 概率最高的语义角色。 在标注模型选取上，本文主要考虑了当前主 流基于深度学习的序列标注模型−Bi-LSTM 模 型。LSTM 是基于循环神经网络 (recurrent neural net-work, RNN) 的一种改进模型，该神经网络模型 具备超强的非线性拟合能力，模型训练时将实例 通过高阶、高纬度异度空间的复杂非线性变换， 映射得到一个低维的序列模型。相较于传统的机 器学习模型，无法灵活的添加自定义特征，对于 复杂语料中出现的语义角色不完全可分情况标注 性能较差，无法充分考虑序列内元素之间的相关 信息等劣势，由于 LSTM 设计特性，其极大地改 善了传统机器学习方法的不足，能够较好地兼顾 元素在序列中前后的顺序关系，非常适合建模复 杂的非线性序列数据，如文本数据。综合考虑以 上因素，将采用 Bi-LSTM 模型进行研究，实现标 注性能的更大提升。 1.2 标注模型 融合多层次语言学特征的语义角色标注模 型采取通用的标记方法，采用最大池化法 (Max pooling) 的 Bi-LSTM 标注模型将问题转化成以词 为基本标注单元的词序列标注问题，融入多类型 语言学特征，构建深度学习标注模型进行自动标 注训练，之后选取参照语言学特征进行对比研 究。本模型主要由预处理层、Bi-LSTM 层和后处 理层架构组成，其模型主体架构如图 1 所示。 1.2.1 预处理层 在输入层送入一段序列后，经过预处理层将 序列内的每一个词映射表示成所对应的词向量， 并送入 Bi-LSTM 层。假设输入句 A 包含 n 个词， A={x1 ,x2 ,…,xn}, xi 代表输入句中第 i 个词，利用词 向量矩阵 Ew 来获得词向量。v w 表示词汇大小。 通过式 (1)，可以将一个词 xi 转变为词向量 ei : ei = Ewv i (1) 式中：v i 是向量 v w 的绝对值距离。通过以上预处 理，初始序列片段句将以词向量的形式进入 Bi￾LSTM 层网络。 我 昨天 火锅 施事 时间 核心 成分 受事 LSTM LSTM LSTM ……. 吃 了 输出层 预处理层 Bi-LSTM层 输出层 后处理层 Forward Backward LSTM LSTM LSTM LSTM LSTM 图 1 融合多层次语言学特征的语义角色标注模型架构图 Fig. 1 Semantic role labeling model architecture diagram incorporating multi-level linguistic features 1.2.2 Bi-LSTM 层 Bi-LSTM 层的基本思想是将一段训练句子同 步加入到向前和向后两个循环神经网络 (RNN) 中，并且这两个 RNN 训练出的单元同时指向一 个 Max pooling 层接口。这种双向结构能够给 Max pooling 层提供输入句子中每一个词较为充 分的上下文相关信息。其 LSTM 层的网络框架如 图 2 所示。其中，时序 t 对应的当前输入词为 Xt， 细胞状态为 Ct，隐含层状态为 ht。其训练过程可 理解为通过遗忘和记忆单元处理当前时序状态下 的新元素信息，将影响因子较大的信息保留并传 递给下一时序状态的细胞，过滤影响因子较小的 信息，并输出该时序状态下的隐含层状态 ht。依 次迭代后，就可得到与句子序列相对应的隐含层 时序状态{h0 ,h1 ,…, hn-1}。 arctan A X X X + arctan A A B б ht-1 ht ht+1 Xt-1 Xt Xt+1 图 2 LSTM 层的网络框架示意图 Fig. 2 Schematic diagram of the network framework of the LSTM layer ⃗h1 ← h1 Bi-LSTM 是由向前推算 (Forward pass) 与向 后推算 (Backward pass) 双向组合而成，其对于语 义角色标注任务中普遍存在的上下文信息具有较 好的兼顾。第 i 个词的隐含层状态由前向隐含层 与后向隐含层 进行异或得到，如式 (2)： 第 1 期 王一成，等：融合多层次特征的中文语义角色标注 ·109·

·110· 智能系统学报 第15卷 么=匠® (2) 选用面向新闻领域的清华大学依存句法树库语 12.3后处理层 料作为原始语料，在此基础上进行加工，参照宾 大中文树库的短语句法信息标注标准，实现了中 在语义角色标注过程中，句子序列内部的特 文语义角色标注语料库的构建。在构建语义角 征位置信息至关重要，比如施事一般位于句首、 色标注语料库的过程中，除了保留谓词划分、语 受事位于句尾、核心成分介于二者之间等，这些 义角色识别等传统语义角色标注语料库构建方 特征的位置信息对于角色识别及分类非常重要。 面的要求外，还融人了词法、句法等相关语言学 而Max pooling技术的优势则在于：l)标注序列中 特征。 主要特征出现的位置在经过模型训练后仍可保持 本实验构建的语料库题材是新闻语料，语义 特征位置信息和旋转不变。2)在神经网络模型训 描述全面且颗粒度适中。经过筛选，共得到语料 练中可用来减少网络参数，降低模型复杂度，减 22000句，其中训练语料20000句，测试语料2000 少训练的迭代次数。3)对特征进行池化操作时， 句。语料库中主要语义角色统计数据如表1所示。 能够显著减少各滤波器的参数个数以及固定特征 向量对应的神经元个数。因此，本模型在后处理 表1主要语义角色出现频数统计 Table 1 Frequency statistics of the main semantic roles 层引入Max pooling技术。其特征向量与神经元 映射关系如图3所示。 语义角色 频数 语义角色 频数 核心谓词 21981 时间 2997 施事 8188 连接 11288 受事 10692 介词 8621 线索向量组 程度 4074 方位 3539 处所 3651 原因 372 Max pooling 词性粗颗粒度的序列标注语料构建具体过程 如图4所示，从原始语料中抽取一个句子序列，可 图3特征向量与神经元映射示意图 以看到其中含有多列特征，需要对这些标注信息 Fig.3 Schematic diagram of eigenvectors and neuron 进行筛选。 mapping 1我们我们「π一6施事 1我们r施事 2实验 2今天今天tt -6时间 2今天t时间 3还 还 dd-6评论 3还d* 目前LSTM模型在序列标注的文本信息处理 4没有没有vV 。6谓词 4没有v谓词 任务中取得了良好的效果，该方法不仅克服了原 5彻底 彻底aad-6程度 5彻底a程度 6解决解决vⅴ-0核心成分 6解决v核心成分 始卷积神经网络模型因不考虑句子序列内词序关 7腐败腐敗 aan一8限定 7腐败a* 系导致的句子向量表示与原始句子语义相冲突， 8问题问题nn一6受事 8问题n受事 而且可显著提升了长句式中元素初始部分的记忆 图4词性粗颗粒度语料构建示意图 能力。 Fig.4 Schematic diagram of corpus construction of part- 本实验首先以公开的中文句法标注语料为基 of-speech coarseness 础，确定本实验使用的标记集，筛选并构建序列 2.2模型参数 标注的中文语义角色标注语料库作为实验语料； 本实验使用Bi-LSTM模型提取句子序列的 然后调整语料的格式，构建并训练基于Bi-LSTM 特征属性，将Bi-LSTM的隐藏层输出并做最大池 的SRL模型；在初始标注模型的基础上通过修改 化，得到所有可能的标注结果Y。将Y输入后处 或添加多组新特征，逐步对原始模型进行改进训 理层的判别函数中，判别后输出最大概率的标注 练，最后进行模型测评，分析对比得出相关结论。 结果Y。其标注模型的实验流程如图5所示。 2.1语料选取 实验中各个参数设置如下：dropout值为l,元 在中文语义角色标注语料方面，由于缺乏不 素向量的维度大小为50，学习率为30%，学习速 同领域的大规模训练语料，导致在领域适应问题 度下降梯度为0.1，学习速度指数最大下降次数 上，各类型语义角色标注方法未有较好的突破， 为4，隐含层神经元的个数为50，标注序列最大词 因此本研究仅考虑单一领域的标注问题。实验 汇数为50

hi = [ −→hi ⊕ ←−hi ] (2) 1.2.3 后处理层 在语义角色标注过程中，句子序列内部的特 征位置信息至关重要，比如施事一般位于句首、 受事位于句尾、核心成分介于二者之间等，这些 特征的位置信息对于角色识别及分类非常重要。 而 Max pooling 技术的优势则在于：1) 标注序列中 主要特征出现的位置在经过模型训练后仍可保持 特征位置信息和旋转不变。2) 在神经网络模型训 练中可用来减少网络参数，降低模型复杂度，减 少训练的迭代次数。3) 对特征进行池化操作时， 能够显著减少各滤波器的参数个数以及固定特征 向量对应的神经元个数。因此，本模型在后处理 层引入 Max pooling 技术。其特征向量与神经元 映射关系如图 3 所示。 线索向量组 Max pooling 图 3 特征向量与神经元映射示意图 Fig. 3 Schematic diagram of eigenvectors and neuron mapping 2 实验 目前 LSTM 模型在序列标注的文本信息处理 任务中取得了良好的效果，该方法不仅克服了原 始卷积神经网络模型因不考虑句子序列内词序关 系导致的句子向量表示与原始句子语义相冲突， 而且可显著提升了长句式中元素初始部分的记忆 能力。 本实验首先以公开的中文句法标注语料为基 础，确定本实验使用的标记集，筛选并构建序列 标注的中文语义角色标注语料库作为实验语料； 然后调整语料的格式，构建并训练基于 Bi-LSTM 的 SRL 模型；在初始标注模型的基础上通过修改 或添加多组新特征，逐步对原始模型进行改进训 练，最后进行模型测评，分析对比得出相关结论。 2.1 语料选取 在中文语义角色标注语料方面，由于缺乏不 同领域的大规模训练语料，导致在领域适应问题 上，各类型语义角色标注方法未有较好的突破， 因此本研究仅考虑单一领域的标注问题。实验 选用面向新闻领域的清华大学依存句法树库语 料作为原始语料，在此基础上进行加工，参照宾 大中文树库的短语句法信息标注标准，实现了中 文语义角色标注语料库的构建。在构建语义角 色标注语料库的过程中，除了保留谓词划分、语 义角色识别等传统语义角色标注语料库构建方 面的要求外，还融入了词法、句法等相关语言学 特征。 本实验构建的语料库题材是新闻语料，语义 描述全面且颗粒度适中。经过筛选，共得到语料 22 000 句，其中训练语料 20 000 句，测试语料 2 000 句。语料库中主要语义角色统计数据如表 1 所示。 表 1 主要语义角色出现频数统计 Table 1 Frequency statistics of the main semantic roles 语义角色 频数 语义角色 频数 核心谓词 21 981 时间 2 997 施事 8 188 连接 11 288 受事 10 692 介词 8 621 程度 4 074 方位 3 539 处所 3 651 原因 372 词性粗颗粒度的序列标注语料构建具体过程 如图 4 所示，从原始语料中抽取一个句子序列，可 以看到其中含有多列特征，需要对这些标注信息 进行筛选。 1 我们 我们 r rr _ 6 施事 1 我们 r 施事 2 今天 今天 t t _ 6 时间 2 今天 t 时间 3 还 还 d d _ 6 评论 3 还 d * 4 没有 没有 v v _ 6 谓词 4 没有 v 谓词 5 彻底 彻底 a ad _ 6 程度 5 彻底 a 程度 6 解决 解决 v v _ 0 核心成分 6 解决 v 核心成分 7 腐败 腐败 a an _ 8 限定 7 腐败 a * 8 问题 问题 n n _ 6 受事 8 问题 n 受事 图 4 词性粗颗粒度语料构建示意图 Fig. 4 Schematic diagram of corpus construction of part￾of-speech coarseness 2.2 模型参数 本实验使用 Bi-LSTM 模型提取句子序列的 特征属性，将 Bi-LSTM 的隐藏层输出并做最大池 化，得到所有可能的标注结果 Y *。将 Y *输入后处 理层的判别函数中，判别后输出最大概率的标注 结果 Y。其标注模型的实验流程如图 5 所示。 实验中各个参数设置如下：dropout 值为 1，元 素向量的维度大小为 50，学习率为 30%，学习速 度下降梯度为 0.1，学习速度指数最大下降次数 为 4，隐含层神经元的个数为 50，标注序列最大词 汇数为 50。 ·110· 智 能 系 统 学 报 第 15 卷

第1期 王一成，等：融合多层次特征的中文语义角色标注 ·111 长句子中核心成分的标注出错率较高。因此，实 原始语料 训练 验设想融入长句和短句的句式判别来进一步探 语料库 模型训练 讨，通过句式判别程序在语料库中添加句式判别 剔除筛选 格式标准化 型 特征列，其中句式特征的阈值设定如表4所示。 测试 通过模型训练和测试，其测试结果对比如表5所示。 语料库 标注测试 表4句式阈值判别表 图5基于Bi-LSTM模型的实验流程图 Table 4 Sentence threshold judgment table Fig.5 Experimental flow chart based on Bi-LSTM model 句式类型 元素个数 2.3实验对比 短句 X≤5 实验1本实验对比基线LSTM、Bi-LSTM、 中句 6≤X≤10 Bi-LSTM+Max pooling3种模型对同一的语义角 色标注语料进行模型训练及测试，模型测试结果 长句 11≤X≤15 对比如表2所示。 超长句 X15 表2各模型在实验中取得的最优结果 表5融入句式特征的标注结果对比 Table 2 the best results obtained by each model in the ex- Table 5 Comparison of labeling results with sentence fea- periment tures 模型 词准确率%句子准确率% 准确率 融入句式特征 对照组 基线LSTM 53.95 8.34 词标注准确率/% 82.96 80.14 Bi-LSTM 65.24 13.72 核心成分准确率% 77.81 74.53 Bi-LSMT Max pooling 78.75 18.25 句子的准确率% 22.14 20.10 实验以LSTM模型作为参考模型，在相同语 实验结果表明：对于训练语料中出现的语义 料情况下，通过对比3种模型的词准确率和句准 相似、句式一致的短句非核心成分与长句核心成 确率指标，同时对标注处理中效果较差的部分进 分的标注准确率有一定程度的提升。 行修改，表明Bi-LSTM+Max pooling技术相结合 将得到的实验最终结果与前人的语义角色标 的模型标注性能最佳。因此，实验2、3将在Bi- 注最好结果进行对比如表6所示。 LSTM+Max pooling模型的基础上进行。 表6最终实验结果与前人结果对比 实验2在Bi-LSTM+Max pooling模型的基 Table 6 the final experimental result is compared with the 础上，修改语料中的词性特征，使其采取粗-细颗 previous results 粒度的划分方式，保持其他特征相同，分别进行 实验团队 总体准确率/% 3组模型训练的对照实验，模型测试结果对比如表3 Pradhan 77.30 所示。通过3组不同词性颗粒特征的实验结果对 Zhou图 81.07 比表明，不同词性颗粒特征对模型标注的准确率 本文方法 82.96 有较大影响，词性细颗粒度的标注结果最佳。 表3不同词颗粒特征标注结果对比 2.4 实验分析 Table 3 Comparison of labeling results of different word 本实验是对深度学习的中文语义角色标注模 granularity features 型的一次改进尝试，构建的语料中既含有大量动 准确率 粗颗粒度细颗粒度粗-细颗粒度 词性谓词的句子，同时也包含大量名词性谓词的 词标注准确率% 78.96 80.14 77.54 句子，接近真实的语言环境。实验1验证了不同 核心成分准确率% 73.81 74.53 71.63 种类的CNN模型对标注准确率的影响较大，选取 句子的准确率% 合适的标注模型至关重要。融合Max pooling技 18.25 20.10 17.58 术的Bi-LSTM模型不仅克服了传统CNN模型不 实验3通过融入句式特征，探索能否进一 考虑句子序列内词序关系导致的句子向量表示与 步提升标注性能。 原始句子语义相冲突，而且可以显著提升长句式 在对实验2的测试结果中错误句分析时发 中元素初始部分的记忆能力。为了验证不同词性 现：短句子中的非核心成分标注出错率较高，而 颗粒度与标注准确率相关性的假设，遂进行了粗

原始语料 训练 语料库 测试 语料库 剔除筛选 格式标准化 模型训练 模 型 标注测试 图 5 基于 Bi-LSTM 模型的实验流程图 Fig. 5 Experimental flow chart based on Bi-LSTM model 2.3 实验对比 实验 1 本实验对比基线 LSTM、Bi-LSTM、 Bi-LSTM + Max pooling 3 种模型对同一的语义角 色标注语料进行模型训练及测试，模型测试结果 对比如表 2 所示。 表 2 各模型在实验中取得的最优结果 Table 2 the best results obtained by each model in the ex￾periment 模型 词准确率/% 句子准确率/% 基线LSTM 53.95 8.34 Bi-LSTM 65.24 13.72 Bi-LSMT + Max pooling 78.75 18.25 实验以 LSTM 模型作为参考模型，在相同语 料情况下，通过对比 3 种模型的词准确率和句准 确率指标，同时对标注处理中效果较差的部分进 行修改，表明 Bi-LSTM + Max pooling 技术相结合 的模型标注性能最佳。因此，实验 2、3 将在 Bi￾LSTM + Max pooling 模型的基础上进行。 实验 2 在 Bi-LSTM + Max pooling 模型的基 础上，修改语料中的词性特征，使其采取粗−细颗 粒度的划分方式，保持其他特征相同，分别进行 3 组模型训练的对照实验，模型测试结果对比如表 3 所示。通过 3 组不同词性颗粒特征的实验结果对 比表明，不同词性颗粒特征对模型标注的准确率 有较大影响，词性细颗粒度的标注结果最佳。 表 3 不同词颗粒特征标注结果对比 Table 3 Comparison of labeling results of different word granularity features 准确率 粗颗粒度 细颗粒度 粗−细颗粒度 词标注准确率/% 78.96 80.14 77.54 核心成分准确率/% 73.81 74.53 71.63 句子的准确率/% 18.25 20.10 17.58 实验 3 通过融入句式特征，探索能否进一 步提升标注性能。 在对实验 2 的测试结果中错误句分析时发 现：短句子中的非核心成分标注出错率较高，而 长句子中核心成分的标注出错率较高。因此，实 验设想融入长句和短句的句式判别来进一步探 讨，通过句式判别程序在语料库中添加句式判别 特征列，其中句式特征的阈值设定如表 4 所示。 通过模型训练和测试，其测试结果对比如表 5 所示。 表 4 句式阈值判别表 Table 4 Sentence threshold judgment table 句式类型 元素个数 短句 X≤5 中句 6≤X≤10 长句 11≤X≤15 超长句 X>15 表 5 融入句式特征的标注结果对比 Table 5 Comparison of labeling results with sentence fea￾tures 准确率 融入句式特征 对照组 词标注准确率/% 82.96 80.14 核心成分准确率/% 77.81 74.53 句子的准确率/% 22.14 20.10 实验结果表明：对于训练语料中出现的语义 相似、句式一致的短句非核心成分与长句核心成 分的标注准确率有一定程度的提升。 将得到的实验最终结果与前人的语义角色标 注最好结果进行对比如表 6 所示。 表 6 最终实验结果与前人结果对比 Table 6 the final experimental result is compared with the previous results 实验团队 总体准确率/% Pradhan[16] 77.30 Zhou[8] 81.07 本文方法 82.96 2.4 实验分析 本实验是对深度学习的中文语义角色标注模 型的一次改进尝试，构建的语料中既含有大量动 词性谓词的句子，同时也包含大量名词性谓词的 句子，接近真实的语言环境。实验 1 验证了不同 种类的 CNN 模型对标注准确率的影响较大，选取 合适的标注模型至关重要。融合 Max pooling 技 术的 Bi-LSTM 模型不仅克服了传统 CNN 模型不 考虑句子序列内词序关系导致的句子向量表示与 原始句子语义相冲突，而且可以显著提升长句式 中元素初始部分的记忆能力。为了验证不同词性 颗粒度与标注准确率相关性的假设，遂进行了粗 第 1 期 王一成，等：融合多层次特征的中文语义角色标注 ·111·

·112· 智能系统学报 第15卷 颗粒度、细颗粒度、粗-细颗粒度3组对照实验， 参考文献： 实验结果表明：不同粗细的词性颗粒度对标注准 确率有一定影响，细颗粒度要比粗颗粒度的训练 [1]PRADHAN S,HACIOGLU K,KRUGLER V,et al.Sup- 模型有更好的标注结果，但当尝试将粗、细颗粒 port vector learning for semantic argument 度组合训练时，模型标注性能却不升反降。对比 classification[J].Machine Learning Journal,2005, 60(1/2/3):11-39. 模型训练日志发现，随着词性颗粒度的复杂化， [2]PRADHAN S,WARD W,HACIOGLU K,MARTIN J,et 语义角色标签数量呈指数递增，标签数量的增多 al.Semantic role labeling using different syntactic 将直接反映于特征个数的增加，而特征个数过多 views[C]//Proceedings of the 43rd Annual Meeting on As- 随之带来模型收敛速度变差。测试结果的分析表 sociation for Computational Linguistics.Stroudsburg, 明：)训练模型生成过程中出现了大量冗余或无 USA,2005:581-588 关特征。2)因词性粗细颗粒度的不同，模型在标 [3]BLUNSOM P.Maximum entropy markov models for se- 注人名、组织机构名等命名实体时产生了切分歧 mantic role labelling[C]//Proceedings of Australasian Lan- 义。从侧面说明，对于线性序列分类标注来说， guage Technology Workshop 2004.Sydney,Australia, 并非特征越详细越好，特征过多，容易导致信息 2004:109-116 冗余，增加系统负担，拖累模型的整体标注准确 [4]COHN T,BLUNSOM P.Semantic role labelling with tree 率。对其标注结果进行错误分析，发现在句型相 conditional random fields[C]//Proceedings of the 9th Con- 似的情况下，其短句中非核心成分以及长句中的 ference on Computational Natural Language Learning. 核心成分出错率较高，进而猜想通过添加长短句 Ann Arbor,Michigan,2005:169-172. 标签，来提升句式及语义相似序列的标注准确 [5]COLLOBERT R.WESTON J.A unified architecture for 率。实验3则验证了这一猜想，通过增加句式阈 natural language processing:deep neural networks with 值特征，使得模型对长短句出错率较高部分的标 multitask learning[C]//Proceedings of the 25th Inter-na- 注准确率有了不同程度的提升。 tional Conference on Machine Learning.New York,USA, 2008:160-167. 实验表明.每融人一个新特征都会对实验结 [6]SOCHER R.HUANG E H.PENNINGTON J.et al.Dy- 果产生不同程度的影响。此外，模型进行标注预 namic pooling and unfolding recursive autoencoders for 测时，可能会产生一些意料之外的预测结果（如 paraphrase detection[C]//Proceedings of the Advances in 多个核心成分、超越边界、依赖边交叉等)。针对 Neural Information Processing Systems.Granada,Spain, 这些问题的解决将是我们下一步任务的改进 2011:801-809 重点。 [7]YIN W P,SCHUTZE H.Convolutional neural network for 3结束语 paraphrase identification[C]//Proceedings of 2015 Confer- ence of the North American Chapter of the Association for 语义角色凭借其展示简明、易于标注、应用 Computational Linguistics:Human Language Technolo- 广泛等特点，使其作为连接句法与语义层的研究 gies.Denver,USA,2015:901-911. 关键点。本文在基于Bi-LSTM的中文语义角色 [8]ZHOU J,XU W.End-to-end learning of semantic role la- 标注模型构建时，结合了Max pooling技术，模型 beling using recurrent neural networks[C]//Proceedings of 训练时尝试融入多类别的语言学特征，相较于卷 the 53rd Annual Meeting of the Association for Computa- 积神经网络的语义角色标注基线方法，该方法是 tional Linguistics and the 7th International Joint Confer- ence on Natural Language Processing.Beijing,China, 对传统神经网络标注方法的深度改进。实验结果 2015:1127-1137 表明，在Bi-LSTM模型中融入CNN的Max pool- [9]HOCHREITER S,SCHMIDHUBER J.Long short-term ing技术能够有效提升标注准确率。此外，通过针 memory[J].Neural computation,1997,9(8):1735-1780. 对性的添加新特征，证实了对模型标注性能有一 [10]于江德，樊孝忠，庞文博，等.基于条件随机场的语义角 定提升作用。在接下来的研究工作中，我们将重 色标注.东南大学学报，2007,23(3)361-364 点探究在模型中融入能够体现结构化的高阶特 YU Jiangde,FAN Xiaozhong,PANG Wenbo,et al.Se- 征，并将其与基于机器学习的线性序列标注进行 mantic role labeling based on conditional random field[J]. 组合，制定细化的角色判别规则以及引人语义相 Journal of southeast university,2007,23(3):361-364. 似度计算等深入处理，使模型能够更好、更快地 [11]WANG Zhen,JIANG Tingsong,CHANG Baobao,et al. 识别语义角色，从而获得模型性能更大提升。 Chinese semantic role labeling with bidirectional recur-

颗粒度、细颗粒度、粗−细颗粒度 3 组对照实验， 实验结果表明：不同粗细的词性颗粒度对标注准 确率有一定影响，细颗粒度要比粗颗粒度的训练 模型有更好的标注结果，但当尝试将粗、细颗粒 度组合训练时，模型标注性能却不升反降。对比 模型训练日志发现，随着词性颗粒度的复杂化， 语义角色标签数量呈指数递增，标签数量的增多 将直接反映于特征个数的增加，而特征个数过多 随之带来模型收敛速度变差。测试结果的分析表 明：1) 训练模型生成过程中出现了大量冗余或无 关特征。2) 因词性粗细颗粒度的不同，模型在标 注人名、组织机构名等命名实体时产生了切分歧 义。从侧面说明，对于线性序列分类标注来说， 并非特征越详细越好，特征过多，容易导致信息 冗余，增加系统负担，拖累模型的整体标注准确 率。对其标注结果进行错误分析，发现在句型相 似的情况下，其短句中非核心成分以及长句中的 核心成分出错率较高，进而猜想通过添加长短句 标签，来提升句式及语义相似序列的标注准确 率。实验 3 则验证了这一猜想，通过增加句式阈 值特征，使得模型对长短句出错率较高部分的标 注准确率有了不同程度的提升。 实验表明，每融入一个新特征都会对实验结 果产生不同程度的影响。此外，模型进行标注预 测时，可能会产生一些意料之外的预测结果 (如 多个核心成分、超越边界、依赖边交叉等)。针对 这些问题的解决将是我们下一步任务的改进 重点。 3 结束语 语义角色凭借其展示简明、易于标注、应用 广泛等特点，使其作为连接句法与语义层的研究 关键点。本文在基于 Bi-LSTM 的中文语义角色 标注模型构建时，结合了 Max pooling 技术，模型 训练时尝试融入多类别的语言学特征，相较于卷 积神经网络的语义角色标注基线方法，该方法是 对传统神经网络标注方法的深度改进。实验结果 表明，在 Bi-LSTM 模型中融入 CNN 的 Max pool￾ing 技术能够有效提升标注准确率。此外，通过针 对性的添加新特征，证实了对模型标注性能有一 定提升作用。在接下来的研究工作中，我们将重 点探究在模型中融入能够体现结构化的高阶特 征，并将其与基于机器学习的线性序列标注进行 组合，制定细化的角色判别规则以及引入语义相 似度计算等深入处理，使模型能够更好、更快地 识别语义角色，从而获得模型性能更大提升。 参考文献： PRADHAN S, HACIOGLU K, KRUGLER V, et al. Sup￾port vector learning for semantic argument classification[J]. Machine Learning Journal, 2005, 60(1/2/3): 11–39. [1] PRADHAN S, WARD W, HACIOGLU K, MARTIN J, et al. Semantic role labeling using different syntactic views[C]//Proceedings of the 43rd Annual Meeting on As￾sociation for Computational Linguistics. Stroudsburg, USA, 2005: 581–588. [2] BLUNSOM P. Maximum entropy markov models for se￾mantic role labelling[C]//Proceedings of Australasian Lan￾guage Technology Workshop 2004. Sydney, Australia, 2004: 109–116. [3] COHN T, BLUNSOM P. Semantic role labelling with tree conditional random fields[C]//Proceedings of the 9th Con￾ference on Computational Natural Language Learning. Ann Arbor, Michigan, 2005: 169–172. [4] COLLOBERT R, WESTON J. A unified architecture for natural language processing: deep neural networks with multitask learning[C]//Proceedings of the 25th Inter- na￾tional Conference on Machine Learning. New York, USA, 2008: 160–167. [5] SOCHER R, HUANG E H, PENNINGTON J, et al. Dy￾namic pooling and unfolding recursive autoencoders for paraphrase detection[C]//Proceedings of the Advances in Neural Information Processing Systems. Granada, Spain, 2011: 801–809. [6] YIN W P, SCHÜTZE H. Convolutional neural network for paraphrase identification[C]//Proceedings of 2015 Confer￾ence of the North American Chapter of the Association for Computational Linguistics: Human Language Technolo￾gies. Denver, USA, 2015: 901–911. [7] ZHOU J, XU W. End-to-end learning of semantic role la￾beling using recurrent neural networks[C]//Proceedings of the 53rd Annual Meeting of the Association for Computa￾tional Linguistics and the 7th International Joint Confer￾ence on Natural Language Processing. Beijing, China, 2015: 1127–1137. [8] HOCHREITER S, SCHMIDHUBER J. Long short-term memory[J]. Neural computation, 1997, 9(8): 1735–1780. [9] 于江德, 樊孝忠, 庞文博, 等. 基于条件随机场的语义角 色标注 [J]. 东南大学学报, 2007, 23(3): 361–364. YU Jiangde, FAN Xiaozhong, PANG Wenbo, et al. Se￾mantic role labeling based on conditional random field[J]. Journal of southeast university, 2007, 23(3): 361–364. [10] WANG Zhen, JIANG Tingsong, CHANG Baobao, et al. Chinese semantic role labeling with bidirectional recur- [11] ·112· 智 能 系 统 学 报 第 15 卷

第1期 王一成，等：融合多层次特征的中文语义角色标注 ·113 rent neural networks[C]//Proceedings of 2015 Confer- 35(08):73-78 ence on Empirical Methods in Natural Language Pro- XIE Xianzhang,WANG Zhaokai,LI Yaxing,et al.Cross- cessing,2015:1626-1631. domain semantic information retrieval based on convolu- [12]王臻，常宝宝，穗志方.基于分层输出神经网铬的汉语 tional neural network[J].Computer applications and soft- 语义角色标注).中文信息学报，2014,28(6)：56-61. ware2018,35(08):73-78. WANG Zhen,CHANG Baobao,SUI Zhifang.Chinese [20]王策，万福成，于洪志，等.基于Bi-LSTM和Max Pool- semantic role labeling based on neural network with op- ing的答案句抽取技术[).吉林大学学报（信息科学版）， timized output layer[J].Journal of Chinese information 2019,37(4):390-398 processing,.2014,28(6):56-61. WANG Ce,WAN Fucheng,YU Hongzhi,et al.Answer [13】]王明轩，刘群.基于深度神经网络的语义角色标注)。 sentence extraction technology based on Bi-LSTM and 中文信息学报，2018,32(2)：50-57 Max Pooling[J].Journal of jilin university(information WANG Mingxuan,LIU Qun.A simple and effective deep science edition),2019,37(4):390-398. model for semantic role labeling[J].Journal of Chinese in- [21]WANG Y C.WAN F C,MA N,et al.Research on formation processing,2018,32(2):50-57. chinese semantic role labeling with hierarchical syntactic [14]李天时，李琦，王文辉，等.基于外部记忆单元和语义角 clues[C]//Proceedings of the 3rd International Confer- 色知识的文本复述判别模型[，中文信息学报，2017， ence on Economics and Management,Education,Human- 31(6:33-40. ities and Social Sciences.Suzhou.China,2019:190-196. LI Tianshi,LI Qi,WANG Wenhui,et al.Paraphrase iden- [22]万福成.基于改进混沌分区算法的模糊信息抽取).计 tification with external memory and SRL knowledge[J]. 算机应用研究，2019,36(10少：2952-2954.2970 Journal of Chinese information processing,2017,31(6): 33-40. WAN Fucheng.Fuzzy information extraction based on [15]杨耀文.基于神经网络模型的汉语框架语义角色识 improved chaotic partition algorithm[J].Application re- 别D].山西大学，2016 search of computers,2019,36(10:2952-2954.2970. YANG Yaowen.Identification of Chinese FrameNet se- 作者简介： mantic role based on neural networds model[D].Shanxi 王一成，硕士研究生，主要研究方 University,2016. 向为自然语言处理、自动问答。 [16]Sameer Pradhan,Kadri Hacioglu,Wayne Ward,et al.Se- mantic role chunking combining complementary syntact- ic views[C]//Proceedings of the Conference on Computa- tional Natural Language Learning,2005:217-220. [17刀]何保荣，邱立坤，孙盼盼.基于句式与句模对应规则的 语义角色标注[.中文信息学报，2018,32(4)：59-65 万福成，副教授，主要研究方向为 HE Baorong,QIU Likun,SUN Panpan.Semantic role la- 自然语言处理、机器翻译、信息抽取 自动问答。主持和参与国家级、省部 beling based on correspondence rules between syntactic 级项目10余项。获得专利及软件著 pattern and semantic pattern of sentencesfJ].Journal of 作权10余项。出版著作4部，发表学 Chinese information processing,2018,32(4):59-65. 术论文20余篇。 [18]杨凤玲，周俏丽，蔡东风，等.结合短语结构句法的语义 角色标注).中文信息学报，2018,32(6：1-11. YANG Fengling,ZHOU Qiaoli,CAI Dongfeng,et al.Se- 马宁，教授，主要研究方向为自然 语言处理、计算机应用。主持及参与 mantic role labeling combined with phrase structure pras- 国家自然科学基金项目3项。出版学 ing[J].Journal of Chinese information processing,2018, 术著作1部，发表学术论文40余篇。 32(6:1-11 [19]谢先章，王兆凯，李亚星，等.基于卷积神经网络的跨领 域语义信息检索研究[刀.计算机应用与软件，2018

rent neural networks[C]//Proceedings of 2015 Confer￾ence on Empirical Methods in Natural Language Pro￾cessing, 2015: 1626–1631. 王臻, 常宝宝, 穗志方. 基于分层输出神经网络的汉语 语义角色标注 [J]. 中文信息学报, 2014, 28(6): 56–61. WANG Zhen, CHANG Baobao, SUI Zhifang. Chinese semantic role labeling based on neural network with op￾timized output layer[J]. Journal of Chinese information processing, 2014, 28(6): 56–61. [12] 王明轩, 刘群. 基于深度神经网络的语义角色标注 [J]. 中文信息学报, 2018, 32(2): 50–57. WANG Mingxuan, LIU Qun. A simple and effective deep model for semantic role labeling[J]. Journal of Chinese in￾formation processing, 2018, 32(2): 50–57. [13] 李天时, 李琦, 王文辉, 等. 基于外部记忆单元和语义角 色知识的文本复述判别模型 [J]. 中文信息学报, 2017, 31(6): 33–40. LI Tianshi, LI Qi, WANG Wenhui, et al. Paraphrase iden￾tification with external memory and SRL knowledge[J]. Journal of Chinese information processing, 2017, 31(6): 33–40. [14] 杨耀文. 基于神经网络模型的汉语框架语义角色识 别 [D]. 山西大学, 2016. YANG Yaowen. Identification of Chinese FrameNet se￾mantic role based on neural networds model[D]. Shanxi University, 2016. [15] Sameer Pradhan, Kadri Hacioglu, Wayne Ward, et al. Se￾mantic role chunking combining complementary syntact￾ic views[C]//Proceedings of the Conference on Computa￾tional Natural Language Learning, 2005:217–220. [16] 何保荣, 邱立坤, 孙盼盼. 基于句式与句模对应规则的 语义角色标注 [J]. 中文信息学报, 2018, 32(4): 59–65. HE Baorong, QIU Likun, SUN Panpan. Semantic role la￾beling based on correspondence rules between syntactic pattern and semantic pattern of sentences[J]. Journal of Chinese information processing, 2018, 32(4): 59–65. [17] 杨凤玲, 周俏丽, 蔡东风, 等. 结合短语结构句法的语义 角色标注 [J]. 中文信息学报, 2018, 32(6): 1–11. YANG Fengling, ZHOU Qiaoli, CAI Dongfeng, et al. Se￾mantic role labeling combined with phrase structure pras￾ing[J]. Journal of Chinese information processing, 2018, 32(6): 1–11. [18] 谢先章, 王兆凯, 李亚星, 等. 基于卷积神经网络的跨领 域语义信息检索研究 [J]. 计算机应用与软件, 2018, [19] 35(08): 73–78. XIE Xianzhang, WANG Zhaokai, LI Yaxing, et al. Cross￾domain semantic information retrieval based on convolu￾tional neural network[J]. Computer applications and soft￾ware, 2018, 35(08): 73–78. 王策, 万福成, 于洪志, 等. 基于 Bi-LSTM 和 Max Pool￾ing 的答案句抽取技术 [J]. 吉林大学学报(信息科学版), 2019, 37(4): 390–398. WANG Ce, WAN Fucheng, YU Hongzhi, et al. Answer sentence extraction technology based on Bi-LSTM and Max Pooling[J]. Journal of jilin university(information science edition), 2019, 37(4): 390–398. [20] WANG Y C, WAN F C, MA N, et al. Research on chinese semantic role labeling with hierarchical syntactic clues[C]//Proceedings of the 3rd International Confer￾ence on Economics and Management, Education, Human￾ities and Social Sciences. Suzhou, China, 2019: 190–196. [21] 万福成. 基于改进混沌分区算法的模糊信息抽取 [J]. 计 算机应用研究, 2019, 36(10): 2952–2954, 2970. WAN Fucheng. Fuzzy information extraction based on improved chaotic partition algorithm[J]. Application re￾search of computers, 2019, 36(10): 2952–2954, 2970. [22] 作者简介： 王一成，硕士研究生，主要研究方 向为自然语言处理、自动问答。 万福成，副教授，主要研究方向为 自然语言处理、机器翻译、信息抽取、 自动问答。主持和参与国家级、省部 级项目 10 余项。获得专利及软件著 作权 10 余项。出版著作 4 部，发表学 术论文 20 余篇。 马宁，教授，主要研究方向为自然 语言处理、计算机应用。主持及参与 国家自然科学基金项目 3 项。出版学 术著作 1 部，发表学术论文 40 余篇。 第 1 期 王一成，等：融合多层次特征的中文语义角色标注 ·113·