·112· 智能系统学报 第15卷 颗粒度、细颗粒度、粗-细颗粒度3组对照实验， 参考文献： 实验结果表明：不同粗细的词性颗粒度对标注准 确率有一定影响，细颗粒度要比粗颗粒度的训练 [1]PRADHAN S,HACIOGLU K,KRUGLER V,et al.Sup- 模型有更好的标注结果，但当尝试将粗、细颗粒 port vector learning for semantic argument 度组合训练时，模型标注性能却不升反降。对比 classification[J].Machine Learning Journal,2005, 60(1/2/3):11-39. 模型训练日志发现，随着词性颗粒度的复杂化， [2]PRADHAN S,WARD W,HACIOGLU K,MARTIN J,et 语义角色标签数量呈指数递增，标签数量的增多 al.Semantic role labeling using different syntactic 将直接反映于特征个数的增加，而特征个数过多 views[C]//Proceedings of the 43rd Annual Meeting on As- 随之带来模型收敛速度变差。测试结果的分析表 sociation for Computational Linguistics.Stroudsburg, 明：)训练模型生成过程中出现了大量冗余或无 USA,2005:581-588 关特征。2)因词性粗细颗粒度的不同，模型在标 [3]BLUNSOM P.Maximum entropy markov models for se- 注人名、组织机构名等命名实体时产生了切分歧 mantic role labelling[C]//Proceedings of Australasian Lan- 义。从侧面说明，对于线性序列分类标注来说， guage Technology Workshop 2004.Sydney,Australia, 并非特征越详细越好，特征过多，容易导致信息 2004:109-116 冗余，增加系统负担，拖累模型的整体标注准确 [4]COHN T,BLUNSOM P.Semantic role labelling with tree 率。对其标注结果进行错误分析，发现在句型相 conditional random fields[C]//Proceedings of the 9th Con- 似的情况下，其短句中非核心成分以及长句中的 ference on Computational Natural Language Learning. 核心成分出错率较高，进而猜想通过添加长短句 Ann Arbor,Michigan,2005:169-172. 标签，来提升句式及语义相似序列的标注准确 [5]COLLOBERT R.WESTON J.A unified architecture for 率。实验3则验证了这一猜想，通过增加句式阈 natural language processing:deep neural networks with 值特征，使得模型对长短句出错率较高部分的标 multitask learning[C]//Proceedings of the 25th Inter-na- 注准确率有了不同程度的提升。 tional Conference on Machine Learning.New York,USA, 2008:160-167. 实验表明.每融人一个新特征都会对实验结 [6]SOCHER R.HUANG E H.PENNINGTON J.et al.Dy- 果产生不同程度的影响。此外，模型进行标注预 namic pooling and unfolding recursive autoencoders for 测时，可能会产生一些意料之外的预测结果（如 paraphrase detection[C]//Proceedings of the Advances in 多个核心成分、超越边界、依赖边交叉等)。针对 Neural Information Processing Systems.Granada,Spain, 这些问题的解决将是我们下一步任务的改进 2011:801-809 重点。 [7]YIN W P,SCHUTZE H.Convolutional neural network for 3结束语 paraphrase identification[C]//Proceedings of 2015 Confer- ence of the North American Chapter of the Association for 语义角色凭借其展示简明、易于标注、应用 Computational Linguistics:Human Language Technolo- 广泛等特点，使其作为连接句法与语义层的研究 gies.Denver,USA,2015:901-911. 关键点。本文在基于Bi-LSTM的中文语义角色 [8]ZHOU J,XU W.End-to-end learning of semantic role la- 标注模型构建时，结合了Max pooling技术，模型 beling using recurrent neural networks[C]//Proceedings of 训练时尝试融入多类别的语言学特征，相较于卷 the 53rd Annual Meeting of the Association for Computa- 积神经网络的语义角色标注基线方法，该方法是 tional Linguistics and the 7th International Joint Confer- ence on Natural Language Processing.Beijing,China, 对传统神经网络标注方法的深度改进。实验结果 2015:1127-1137 表明，在Bi-LSTM模型中融入CNN的Max pool- [9]HOCHREITER S,SCHMIDHUBER J.Long short-term ing技术能够有效提升标注准确率。此外，通过针 memory[J].Neural computation,1997,9(8):1735-1780. 对性的添加新特征，证实了对模型标注性能有一 [10]于江德，樊孝忠，庞文博，等.基于条件随机场的语义角 定提升作用。在接下来的研究工作中，我们将重 色标注.东南大学学报，2007,23(3)361-364 点探究在模型中融入能够体现结构化的高阶特 YU Jiangde,FAN Xiaozhong,PANG Wenbo,et al.Se- 征，并将其与基于机器学习的线性序列标注进行 mantic role labeling based on conditional random field[J]. 组合，制定细化的角色判别规则以及引人语义相 Journal of southeast university,2007,23(3):361-364. 似度计算等深入处理，使模型能够更好、更快地 [11]WANG Zhen,JIANG Tingsong,CHANG Baobao,et al. 识别语义角色，从而获得模型性能更大提升。 Chinese semantic role labeling with bidirectional recur-颗粒度、细颗粒度、粗−细颗粒度 3 组对照实验， 实验结果表明：不同粗细的词性颗粒度对标注准 确率有一定影响，细颗粒度要比粗颗粒度的训练 模型有更好的标注结果，但当尝试将粗、细颗粒 度组合训练时，模型标注性能却不升反降。对比 模型训练日志发现，随着词性颗粒度的复杂化， 语义角色标签数量呈指数递增，标签数量的增多 将直接反映于特征个数的增加，而特征个数过多 随之带来模型收敛速度变差。测试结果的分析表 明：1) 训练模型生成过程中出现了大量冗余或无 关特征。2) 因词性粗细颗粒度的不同，模型在标 注人名、组织机构名等命名实体时产生了切分歧 义。从侧面说明，对于线性序列分类标注来说， 并非特征越详细越好，特征过多，容易导致信息 冗余，增加系统负担，拖累模型的整体标注准确 率。对其标注结果进行错误分析，发现在句型相 似的情况下，其短句中非核心成分以及长句中的 核心成分出错率较高，进而猜想通过添加长短句 标签，来提升句式及语义相似序列的标注准确 率。实验 3 则验证了这一猜想，通过增加句式阈 值特征，使得模型对长短句出错率较高部分的标 注准确率有了不同程度的提升。 实验表明，每融入一个新特征都会对实验结 果产生不同程度的影响。此外，模型进行标注预 测时，可能会产生一些意料之外的预测结果 (如 多个核心成分、超越边界、依赖边交叉等)。针对 这些问题的解决将是我们下一步任务的改进 重点。 3 结束语 语义角色凭借其展示简明、易于标注、应用 广泛等特点，使其作为连接句法与语义层的研究 关键点。本文在基于 Bi-LSTM 的中文语义角色 标注模型构建时，结合了 Max pooling 技术，模型 训练时尝试融入多类别的语言学特征，相较于卷 积神经网络的语义角色标注基线方法，该方法是 对传统神经网络标注方法的深度改进。实验结果 表明，在 Bi-LSTM 模型中融入 CNN 的 Max pool￾ing 技术能够有效提升标注准确率。此外，通过针 对性的添加新特征，证实了对模型标注性能有一 定提升作用。在接下来的研究工作中，我们将重 点探究在模型中融入能够体现结构化的高阶特 征，并将其与基于机器学习的线性序列标注进行 组合，制定细化的角色判别规则以及引入语义相 似度计算等深入处理，使模型能够更好、更快地 识别语义角色，从而获得模型性能更大提升。 参考文献： PRADHAN S, HACIOGLU K, KRUGLER V, et al. Sup￾port vector learning for semantic argument classification[J]. Machine Learning Journal, 2005, 60(1/2/3): 11–39. [1] PRADHAN S, WARD W, HACIOGLU K, MARTIN J, et al. Semantic role labeling using different syntactic views[C]//Proceedings of the 43rd Annual Meeting on As￾sociation for Computational Linguistics. Stroudsburg, USA, 2005: 581–588. [2] BLUNSOM P. Maximum entropy markov models for se￾mantic role labelling[C]//Proceedings of Australasian Lan￾guage Technology Workshop 2004. Sydney, Australia, 2004: 109–116. [3] COHN T, BLUNSOM P. Semantic role labelling with tree conditional random fields[C]//Proceedings of the 9th Con￾ference on Computational Natural Language Learning. Ann Arbor, Michigan, 2005: 169–172. [4] COLLOBERT R, WESTON J. A unified architecture for natural language processing: deep neural networks with multitask learning[C]//Proceedings of the 25th Inter- na￾tional Conference on Machine Learning. New York, USA, 2008: 160–167. [5] SOCHER R, HUANG E H, PENNINGTON J, et al. Dy￾namic pooling and unfolding recursive autoencoders for paraphrase detection[C]//Proceedings of the Advances in Neural Information Processing Systems. Granada, Spain, 2011: 801–809. [6] YIN W P, SCHÜTZE H. Convolutional neural network for paraphrase identification[C]//Proceedings of 2015 Confer￾ence of the North American Chapter of the Association for Computational Linguistics: Human Language Technolo￾gies. Denver, USA, 2015: 901–911. [7] ZHOU J, XU W. End-to-end learning of semantic role la￾beling using recurrent neural networks[C]//Proceedings of the 53rd Annual Meeting of the Association for Computa￾tional Linguistics and the 7th International Joint Confer￾ence on Natural Language Processing. Beijing, China, 2015: 1127–1137. [8] HOCHREITER S, SCHMIDHUBER J. Long short-term memory[J]. Neural computation, 1997, 9(8): 1735–1780. [9] 于江德, 樊孝忠, 庞文博, 等. 基于条件随机场的语义角 色标注 [J]. 东南大学学报, 2007, 23(3): 361–364. YU Jiangde, FAN Xiaozhong, PANG Wenbo, et al. Se￾mantic role labeling based on conditional random field[J]. Journal of southeast university, 2007, 23(3): 361–364. [10] WANG Zhen, JIANG Tingsong, CHANG Baobao, et al. Chinese semantic role labeling with bidirectional recur- [11] ·112· 智 能 系 统 学 报 第 15 卷