第4期 毛明毅，等：加人自注意力机制的BERT命名实体识别模型 ·779· 识别[.清华大学学报（自然科学版），2019,59(6)： [25]HE H,SUN X.F-Score driven max margin neural net- 461-467 work for named entity recognition in Chinese social me- LI Mingyang,KONG Fang.Combined self-attention dia[Cl//Proceedings of the 15th Conference of the mechanism for named entity recognition in social European Chapter of the Association for Computational media[J].Journal of Tsinghua university (science and Linguistics.Valencia,Spain,2017:713-718. technology edition),2019,59(6):461-467. 作者简介： [18]CAO P,CHEN Y,LIU K,et al.Adversarial transfer 毛明毅，副教授，博士，中国人工 learning for Chinese named entity recognition with self- 智能学会高级会员，主要研究方向为 attention mechanism[C]//Conference on Empirical Meth- 人工智能基础理论、泛逻辑学，主持和 ods in Natural Language Processing.Brussels,Belgium, 参与国家自然基金项目和北京市自然 2018:182-192 科学基金项目及其他纵向课题8项 [19]PETERS M E.RUDER S.SMITH N A.et al.To tune or 主持横向课题10余项，获专利授权和 not to tune?Adapting pretrained representations to di- 软件著作权10余项，获得全国竞赛 verse tasks.[Cl//Proceedings of the 4th Workshop on Rep- “优秀指导教师”等多种荣誉。发表学术论文50余篇，出版 resentation Llearning for NLP.Florence,Italy,2019: 专著2部。 7-14. 吴晨，硕土研究生，主要研究方向 [20]DEVLIN J,CHANG M,LEE K,et al.BERT:pre-train- 为人工智能基础、智能机器人、自然语 ing of deep bidirectional transformers for language under- 言理解。 standing[J].Computation and language,2018(10): 1810-4805. [21]YANG Z,DAI Z,YANG Y,et al.XLNet:generalized autoregressive pretraining for language understanding[C]// Neural Information Processing Systems.Vancouver, 钟义信，教授，博士生导师，发展 Canada.2019:5753-5763. 中世界工程技术科学院院士，中国人 [22]HOCHREITER S,SCHMIDHUBER J.Long short-term 工智能学会原理事长，现任国际信息 memory[J].Neural computation,1997,9(8):1735-1780. 研究学会中国分会主席，北京邮电大 [23]LAFFERTY J.MCCALLUM A.PEREIRA F.et al.Con- 学-格分维人工智能联合实验室学术 委员会主任，主要研究方向为通信理 ditional random fields:probabilistic models for segment- 论、信息科学、人工智能。主持国家级 ing and labeling sequence data[C]//International Confer- 和省部级项目数十项。先后提出和建立“全信息理论“全信 ence on Machine Learning.San Francisco,USA,2001: 息自然语言理解理论“机制主义人工智能统一理论”以及 282-289 “机器知行学”理论，发现和总结了“信息转换与智能创生定 [24]VASWANI A.SHAZEER N.PARMAR N.et al.Atten- 律”，先后获得“有突出贡献的归国留学人员”、“全国优秀教 tion is all you need[C]//Proceedings of the 31st Annual 师”等称号：获得首届吴文俊科学技术成就奖和首届中国电 Conference on Neural Information Processing Systems. 子学会信息理论杰出贡献奖。发表学术论文500余篇，出版 Long Beach,USA.,2017:5998-6008. 学术专著18部。识别 [J]. 清华大学学报(自然科学版), 2019, 59(6): 461–467. LI Mingyang, KONG Fang. Combined self-attention mechanism for named entity recognition in social media[J]. Journal of Tsinghua university (science and technology edition), 2019, 59(6): 461–467. CAO P, CHEN Y, LIU K, et al. Adversarial transfer learning for Chinese named entity recognition with self￾attention mechanism[C]//Conference on Empirical Meth￾ods in Natural Language Processing. Brussels, Belgium, 2018: 182−192. [18] PETERS M E, RUDER S, SMITH N A, et al. To tune or not to tune? Adapting pretrained representations to di￾verse tasks.[C]//Proceedings of the 4th Workshop on Rep￾resentation Llearning for NLP. Florence, Italy, 2019: 7−14. [19] DEVLIN J, CHANG M, LEE K, et al. BERT: pre-train￾ing of deep bidirectional transformers for language under￾standing[J]. Computation and language, 2018(10): 1810–4805. [20] YANG Z, DAI Z, YANG Y, et al. XLNet: generalized autoregressive pretraining for language understanding[C]// Neural Information Processing Systems. Vancouver, Canada, 2019: 5753−5763. [21] HOCHREITER S, SCHMIDHUBER J. Long short-term memory[J]. Neural computation, 1997, 9(8): 1735–1780. [22] LAFFERTY J, MCCALLUM A, PEREIRA F, et al. Con￾ditional random fields: probabilistic models for segment￾ing and labeling sequence data[C]//International Confer￾ence on Machine Learning. San Francisco, USA, 2001: 282−289. [23] VASWANI A, SHAZEER N, PARMAR N, et al. Atten￾tion is all you need[C]//Proceedings of the 31st Annual Conference on Neural Information Processing Systems. Long Beach, USA, 2017: 5998−6008. [24] HE H, SUN X. F-Score driven max margin neural net￾work for named entity recognition in Chinese social me￾dia[C]// Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics. Valencia, Spain, 2017: 713−718. [25] 作者简介： 毛明毅，副教授，博士，中国人工 智能学会高级会员，主要研究方向为 人工智能基础理论、泛逻辑学，主持和 参与国家自然基金项目和北京市自然 科学基金项目及其他纵向课题 8 项， 主持横向课题 10 余项，获专利授权和 软件著作权 10 余项，获得全国竞赛 “优秀指导教师”等多种荣誉。发表学术论文 50 余篇，出版 专著 2 部。 吴晨，硕士研究生，主要研究方向 为人工智能基础、智能机器人、自然语 言理解。 钟义信，教授，博士生导师，发展 中世界工程技术科学院院士，中国人 工智能学会原理事长，现任国际信息 研究学会中国分会主席，北京邮电大 学−格分维人工智能联合实验室学术 委员会主任，主要研究方向为通信理 论、信息科学、人工智能。主持国家级 和省部级项目数十项。先后提出和建立“全信息理论”“全信 息自然语言理解理论”“机制主义人工智能统一理论”以及 “机器知行学”理论，发现和总结了“信息转换与智能创生定 律”，先后获得“有突出贡献的归国留学人员”、“全国优秀教 师”等称号；获得首届吴文俊科学技术成就奖和首届中国电 子学会信息理论杰出贡献奖。发表学术论文 500 余篇，出版 学术专著 18 部。 第 4 期 毛明毅，等：加入自注意力机制的 BERT 命名实体识别模型 ·779·