龚乐君等：基于领域词典与CF双层标注的中文电子病历实体识别 473· 表3CRF对比实验结果 100 99.06 95.74 98.75 98.23 90 Table 3 Comparison experiment results of CRF % 81.27 80 79.12 Model Marco-P Marco-R Marco-F1 70 67.82 60 Baseline(Single-layer CRF) 83.3 68.1 68.1 50 DLAM 96.7 97.7 97.2 40 30 表4 BiLSTM-Attention-CRF对比实验结果 2 10 Table 4 Comparison experiment results of BiL.STM-Attention-CRF 01 Diseases Symptoms Drugs Operations Different characters embedding Marco-P Marco-R Marco-F1 Category of clinical entity ■DLAM■BiLSTM-Attention-CRF Randomly initializes embedding 69.52 69.70 69.38 50-dimension embedding 53.42 54.31 53.74 图3DLAM与BiLSTM-Attention-CRF实体级别召回率对比 Fig.3 DLAM and BiLSTM-Attention-CRF recall comparison on entity 150-dimension embedding 73.43 77.85 75.54 300-dimension embedding 55.3661.03 57.88 CRF与DLAM识别效果相差最大的是药品实体 这是因为药品名大多较生僻，其构词方式与病历 嵌入维度过小，会导致丢失隐含的语义信息：字嵌 中其他部分的自由文本相差较大，深度神经网络 入维度过大，则会带来噪音字嵌入维度应如何设 很难学到其上下文关系.而领域词典中一旦登录 置与训练语料的大小、语料的语言特点有关 了某种药品，就能够很好的识别出来.对于呼吸科 值得注意的是，深度神经网络相比单层CRF能 病历，常见药品出现的频率高，作用相似的药品其 明显提高医疗实体的召回率 名称构词方式也类似，因此识别效果较好 以150维字嵌入的结果作为BiLSTM-Attention- 本文还对DLAM识别结果中的错例进行了进 CF进行中文医疗实体识别的最好结果，从实体 一步的分析.DLAM对四类实体的识别效果趋于 级别以精确率P和召回率R作为标准，比较DLAM 稳定，因长实体缺少部分构词成分而造成的错例 模型与BiLSTM-Attention-.CRF的识别效果.如 主要存在于疾病实体和症状实体中，具体表现在 图2，图3所示 对长实体中的修饰成分识别效果不佳.例如，“间 9943 96.55 99.01 100 97.69 变性B细胞非霍奇金淋巴瘤”仅能识别出“非霍奇 90 金淋巴瘤”，“肋以下呈大片状致密影”被识别为 80 78.63 73.38 72.32 0 69.39 “大片状致密影”.修饰成分中的器官指向通常携 带了重要的医疗信息，目前DLAM仍会丢失部分 50 40 此类信息.值得注意的是，DLAM通过结合机器学 习自动学习文本上下文特征的能力，能容错医疗 20 文本中的错别字，如成功识别“腹不（部）平软” 10 0 此外，如表5所示对比了DLAM与文献[27]中 Diseases Symptoms Drugs Operations Category of clinical entity 基于多特征融合的CRF以及以字嵌入和分割信息 DLAM BiLSTM-Attention-CRF 作为BiLSTM-CRF输人特征的医疗实体识别方 图2DLAM与BiLSTM-Attention-CRF实体级别精确率对比 法.由于两项研究都是基于自标注语料完成的，导 Fig.2 DLAM and BiLSTM-Attention-CRF precision comparison on 致单纯的结果对比并无意义.但文献[27刀中为了 entity 达到较好的识别效果，融合了如词袋、词性、位置 由图2，图3可看出，虽然关于通用语料的研 等多项特征；而DLAM在CRF阶段仅使用上下文 究表明：采用了注意力机制的深度神经网络对句 特征，主要是通过第一层预标注来获取更多的语 间的长期依赖有较好学习能力2但在具体的专 义隐含信息 业领域中，BiLSTM-Attention-CRF仍然难以学到复 4结论 杂的专业特征.而DLAM采用领域词典预标注的 方式很好地解决了这一问题 本文针对中文电子病历文本复合实体较多、 本文识别的四类实体中，BiLSTM-Attention- 实体长度较长、句子成分缺失严重、实体边界不嵌入维度过小，会导致丢失隐含的语义信息；字嵌 入维度过大，则会带来噪音. 字嵌入维度应如何设 置与训练语料的大小、语料的语言特点有关. 值得注意的是，深度神经网络相比单层 CRF 能 明显提高医疗实体的召回率. 以 150 维字嵌入的结果作为 BiLSTM-Attention￾CRF 进行中文医疗实体识别的最好结果，从实体 级别以精确率 P 和召回率 R 作为标准，比较 DLAM 模 型 与 BiLSTM-Attention-CRF 的 识 别 效 果 . 如 图 2，图 3 所示. 由图 2，图 3 可看出，虽然关于通用语料的研 究表明：采用了注意力机制的深度神经网络对句 间的长期依赖有较好学习能力[25] . 但在具体的专 业领域中，BiLSTM-Attention-CRF 仍然难以学到复 杂的专业特征. 而 DLAM 采用领域词典预标注的 方式很好地解决了这一问题. 本文识别的四类实体中 ， BiLSTM-Attention￾CRF 与 DLAM 识别效果相差最大的是药品实体. 这是因为药品名大多较生僻，其构词方式与病历 中其他部分的自由文本相差较大，深度神经网络 很难学到其上下文关系. 而领域词典中一旦登录 了某种药品，就能够很好的识别出来. 对于呼吸科 病历，常见药品出现的频率高，作用相似的药品其 名称构词方式也类似，因此识别效果较好. 本文还对 DLAM 识别结果中的错例进行了进 一步的分析. DLAM 对四类实体的识别效果趋于 稳定. 因长实体缺少部分构词成分而造成的错例 主要存在于疾病实体和症状实体中，具体表现在 对长实体中的修饰成分识别效果不佳. 例如，“间 变性 B 细胞非霍奇金淋巴瘤”仅能识别出“非霍奇 金淋巴瘤”，“肋以下呈大片状致密影”被识别为 “大片状致密影”. 修饰成分中的器官指向通常携 带了重要的医疗信息，目前 DLAM 仍会丢失部分 此类信息. 值得注意的是，DLAM 通过结合机器学 习自动学习文本上下文特征的能力，能容错医疗 文本中的错别字，如成功识别“腹不（部）平软”. 此外，如表 5 所示对比了 DLAM 与文献 [27] 中 基于多特征融合的 CRF 以及以字嵌入和分割信息 作为 BiLSTM-CRF 输入特征的医疗实体识别方 法. 由于两项研究都是基于自标注语料完成的，导 致单纯的结果对比并无意义. 但文献 [27] 中为了 达到较好的识别效果，融合了如词袋、词性、位置 等多项特征；而 DLAM 在 CRF 阶段仅使用上下文 特征，主要是通过第一层预标注来获取更多的语 义隐含信息. 4    结论 本文针对中文电子病历文本复合实体较多、 实体长度较长、句子成分缺失严重、实体边界不 表 3    CRF 对比实验结果 Table 3    Comparison experiment results of CRF % Model Marco-P Marco-R Marco-F1 Baseline（Single-layer CRF） 83.3 68.1 68.1 DLAM 96.7 97.7 97.2 表 4    BiLSTM-Attention-CRF 对比实验结果 Table 4    Comparison experiment results of BiLSTM-Attention-CRF % Different characters embedding Marco-P Marco-R Marco-F1 Randomly initializes embedding 69.52 69.70 69.38 50-dimension embedding 53.42 54.31 53.74 150-dimension embedding 73.43 77.85 75.54 300-dimension embedding 55.36 61.03 57.88 100 Precision/% 90 80 70 60 50 40 30 20 10 0 Diseases Symptoms Category of clinical entity Drugs Operations DLAM BiLSTM-Attention-CRF 99.43 96.55 99.01 97.69 78.63 69.39 73.38 72.32 图 2    DLAM 与 BiLSTM-Attention-CRF 实体级别精确率对比 Fig.2     DLAM  and  BiLSTM-Attention-CRF  precision  comparison  on entity 100 99.06 81.27 95.74 79.12 98.75 67.82 98.23 83.2 Recall/% 90 80 70 60 50 40 30 20 10 0 Diseases Symptoms Category of clinical entity Drugs Operations DLAM BiLSTM-Attention-CRF 图 3    DLAM 与 BiLSTM-Attention-CRF 实体级别召回率对比 Fig.3    DLAM and BiLSTM-Attention-CRF recall comparison on entity 龚乐君等： 基于领域词典与 CRF 双层标注的中文电子病历实体识别 · 473 ·