巩敦卫等：融合多特征嵌入与注意力机制的中文电子病历命名实体识别 1195· 表4注意力机制对不同特征嵌入的影响 100 8.9 ▣IFRAC 98.2 Tra rmer-CRF Table 4 Performance of NER with attention 98 07 97.5□BiLSTM-CRF 96.8 Model P1% R/% F1/% 96.4 Font embedding-BiLSTM-Att-CRF 92.46 93.12 92.68 94.9 94.7 Char embedding-BiLSTM-Att-CRF 93.41 93.56 93.49 94 Word embedding-BiLSTM-Att-CRF 9636 96.18 96.21 CW embedding-BiLSTM-Att-CRF 96.52 96.18 96.45 CWF embedding-BiLSTM-Att-CRF 97.21 97.83 97.54 88 历实体是有效且必要的.此外，通过对比图2所示 Diseases Sympton Bodies Drugs Test Entity class 的变换器条件随机场(Transformer-CRF)、BiLSTM- 图2不同算法的F1值 CRF、MFBAC算法的FI值可知，本文所提算法对 Fig.2 Comparison on the F1 values of different NER models 5类医疗实体的识别率均取得最好性能.字符和 单词的联合编码可以为与身体部位相关的实体 验的对比分析，表明输入表示层引入多种特征是 提供丰富信息，确保该类实体的识别性能；对于存 必要的，在双向LSTM与CRF层中间引入注意力 在较多嵌套的检查和操作类实体，其他算法不能 机制，能有效兼顾序列文本的局部特征，显著提升 提取足够有效的特征，而MFBAC算法通过引人注 所提NER算法性能，同时不显著增加计算代价 意力机制解决了该问题.为进一步分析所提算法 基于该思想，在未来工作中将深入挖掘不同特征 的识别效率，统计不同识别算法的平均加载时间 的重要性，并引入半监督学习和迁移学习方法，解 和平均测试时间，如表5所示.可见，本文所提算 决中文电子病历中标签样本少等问题 法的模型加载速度和测试时间虽稍劣于基于注 参考文献 意力机制的双向记忆神经网络与条件随机场 (Attention-BiLSTM-CRF)、双向门控循环神经网络 [1]Tang G Q,Gao D Q,Ruan T,et al.Clinical electronic medical 与条件随机场(BiGRU-CRF)和BiLSTM-CRF,但是 record named entity recognition incorporating language model. Comput Sci,.2020,47(3):211 其识别性能却显著优于后者. (唐国强，高大启，阮彤，等.融人语言模型和注意力机制的临床 表5不同算法的性能对比 电子病历命名实体识别.计算机科学，2020,47(3)：211) [2] Topol E J.High-performance medicine:The convergence of Table 5 Comparison of the performance of different NER models human and artificial intelligence.Nat Med,2019,25(1):44 Model R/ F1/Loading Testing % % time/s time/s [3]He J,Baxter S L,Xu J,et al.The practical implementation of Transformer 85.46863285.68 4.33 12.6 artificial intelligence technologies in medicine.Nat Med,2019, BiGRU-CRF 85.8786.2386.14 2.95 9.4 25(1):30 BiLSTM-CRF 88.6187.4395.16 3.21 9.81 [4]Li B,Kang X D,Zhang H L,et al.Named entity recognition in Chinese electronic medical records using transformer-CRF. Attention-BiLSTM-CRF 94.52 96.18 96.45 3.56 10.56 Comput Eng4ppl,2020,56(5):153 Transformer-CRF 95.3294.62 94.14 5.32 13.57 (李博，康晓东，张华丽，等.采用Transformer-CRF的中文电子病 MFBAC 97.2197.8397.544.34 11.68 历命名实体识别.计算机工程与应用，2020,56(5)：153) [5] Luo L,Yang Z H,Yang P,et al.An attention-based BiLSTM-CRF 4结论 approach to document-level chemical named entity recognition. Bioinformatics,2018,34(8):1381 针对中文电子病历文本，提出一种融合多特 [6] Xu K,Yang Z G,Kang PP,et al.Document-level attention-based 征嵌入与注意力机制的命名实体识别算法.该算 BiLSTM-CRF incorporating disease dictionary for disease named entity recognition.Comput Biol Med,2019,108:122 法根据中文电子病历的特点，在输入表示层集成 [7] Yang J F,Yu Q B,Guan Y,et al.An overview of research on 了字词和字符形状等多种特征嵌人，并通过引入 electronic medical record oriented named entity recognition and 注意力机制，对双向LSTM各个隐含层的编码信 entity relation extraction.Acta Autom Sin,2014,40(8):1537 息进行权值分配.针对中文电子病历文本的5类 (杨锦锋，于秋滨，关毅，等.电子病历命名实体识别和实体关系 实体，基于开源和自建糖尿病数据集，通过三组实 抽取研究综述.自动化学报，2014,40(8)：1537)历实体是有效且必要的. 此外，通过对比图 2 所示 的变换器条件随机场（Transformer-CRF）、BiLSTM￾CRF、MFBAC 算法的 F1 值可知，本文所提算法对 5 类医疗实体的识别率均取得最好性能. 字符和 单词的联合编码可以为与身体部位相关的实体 提供丰富信息，确保该类实体的识别性能；对于存 在较多嵌套的检查和操作类实体，其他算法不能 提取足够有效的特征，而 MFBAC 算法通过引入注 意力机制解决了该问题. 为进一步分析所提算法 的识别效率，统计不同识别算法的平均加载时间 和平均测试时间，如表 5 所示. 可见，本文所提算 法的模型加载速度和测试时间虽稍劣于基于注 意力机制的双向记忆神经网络与条件随机场 （Attention-BiLSTM-CRF）、双向门控循环神经网络 与条件随机场（BiGRU-CRF）和 BiLSTM-CRF，但是 其识别性能却显著优于后者. 表 5 不同算法的性能对比 Table 5   Comparison of the performance of different NER models Model P/ % R/ % F1/ % Loading time/s Testing time/s Transformer 85.46 86.32 85.68 4.33 12.6 BiGRU-CRF 85.87 86.23 86.14 2.95 9.4 BiLSTM-CRF 88.61 87.43 95.16 3.21 9.81 Attention-BiLSTM-CRF 94.52 96.18 96.45 3.56 10.56 Transformer-CRF 95.32 94.62 94.14 5.32 13.57 MFBAC 97.21 97.83 97.54 4.34 11.68 4    结论 针对中文电子病历文本，提出一种融合多特 征嵌入与注意力机制的命名实体识别算法. 该算 法根据中文电子病历的特点，在输入表示层集成 了字词和字符形状等多种特征嵌入，并通过引入 注意力机制，对双向 LSTM 各个隐含层的编码信 息进行权值分配. 针对中文电子病历文本的 5 类 实体，基于开源和自建糖尿病数据集，通过三组实 验的对比分析，表明输入表示层引入多种特征是 必要的，在双向 LSTM 与 CRF 层中间引入注意力 机制，能有效兼顾序列文本的局部特征，显著提升 所提 NER 算法性能，同时不显著增加计算代价. 基于该思想，在未来工作中将深入挖掘不同特征 的重要性，并引入半监督学习和迁移学习方法，解 决中文电子病历中标签样本少等问题. 参    考    文    献 Tang  G  Q,  Gao  D  Q,  Ruan  T,  et  al.  Clinical  electronic  medical record  named  entity  recognition  incorporating  language  model. Comput Sci, 2020, 47（3）: 211 （唐国强, 高大启, 阮彤, 等. 融入语言模型和注意力机制的临床 电子病历命名实体识别. 计算机科学, 2020, 47（3）：211） [1] Topol  E  J.  High-performance  medicine:  The  convergence  of human and artificial intelligence. Nat Med, 2019, 25（1）: 44 [2] He  J,  Baxter  S  L,  Xu  J,  et  al.  The  practical  implementation  of artificial  intelligence  technologies  in  medicine. Nat Med,  2019, 25（1）: 30 [3] Li  B,  Kang  X  D,  Zhang  H  L,  et  al.  Named  entity  recognition  in Chinese  electronic  medical  records  using  transformer-CRF. Comput Eng Appl, 2020, 56（5）: 153 （李博, 康晓东, 张华丽, 等. 采用Transformer-CRF的中文电子病 历命名实体识别. 计算机工程与应用, 2020, 56（5）：153） [4] Luo L, Yang Z H, Yang P, et al. An attention-based BiLSTM-CRF approach  to  document-level  chemical  named  entity  recognition. Bioinformatics, 2018, 34（8）: 1381 [5] Xu K, Yang Z G, Kang P P, et al. Document-level attention-based BiLSTM-CRF incorporating disease dictionary for disease named entity recognition. Comput Biol Med, 2019, 108: 122 [6] Yang  J  F,  Yu  Q  B,  Guan  Y,  et  al.  An  overview  of  research  on electronic  medical  record  oriented  named  entity  recognition  and entity relation extraction. Acta Autom Sin, 2014, 40（8）: 1537 （杨锦锋, 于秋滨, 关毅, 等. 电子病历命名实体识别和实体关系 抽取研究综述. 自动化学报, 2014, 40（8）：1537） [7] 表 4    注意力机制对不同特征嵌入的影响 Table 4    Performance of NER with attention Model P/% R/% F1/% Font embedding-BiLSTM-Att-CRF 92.46 93.12 92.68 Char embedding-BiLSTM-Att-CRF 93.41 93.56 93.49 Word embedding-BiLSTM-Att-CRF 96.36 96.18 96.21 CW embedding -BiLSTM-Att-CRF 96.52 96.18 96.45 CWF embedding -BiLSTM-Att-CRF 97.21 97.83 97.54 97.4 92.8 94.9 98.2 94.7 92.7 98.9 95.9 97.5 96.8 92.5 94.6 96.4 94.8 95.8 Diseases Sympton Bodies Drugs Test Entity class 88 90 92 94 96 98 100 F1/ % MFBAC Transformer-CRF BiLSTM-CRF 图 2    不同算法的 F1 值 Fig.2    Comparison on the F1 values of different NER models 巩敦卫等： 融合多特征嵌入与注意力机制的中文电子病历命名实体识别 · 1195 ·