张德政等：基于ALBERT与双向GRU的中医脏腑定位模型 1187 表2训练过程中的参数 的基于ALBERT预训练模型相比于Word2Vec的 Table 2 Parameters in the training process 表示方式，能更好地完成文本表征任务，F1值相比 Parameter name Parameter value 提升了0.0183.将方法4与方法2、方法3相比，本 Max seg lenth 128 文提出的模型比多层感知机(MLP classifier,.No.2) GRU units 128 模型和决策树(Decision tree classifier,.No.3)方法 Dropout 0.4 F1值分别提升了0.0934和0.1325，均有大幅提升 Leaming_rate 1×10 表4的对比实验结果表明，相比于使用BERT预训 Epochs 10 练模型，采用ALBERT预训练模型的方法FI值提 Batch size 128 升了0.0002，且在测试集上预测时间有了明显减 少，模型参数大幅减少，模型体积缩小为原来的近 式中，TP,表示将类别i中正例预测为正例的数目； 十分之一 TN;表示将类别i中负例预测为负例的数目；P:表 通过表5消融实验可以看出，使用ALBERT 示将类别i中负例预测为正例的数目：FN,表示将 预训练模型后不增加Bi-GRU层，最终在测试集上 类别i中正例预测为负例的数目 的F1值为0.7508.与之相比，在ALBERT层后加 3.4实验对比与分析 入Bi-GRU层的模型F1值提升了0.0505.通过该 为了验证本文提出的脏腑定位模型对于实验 消融实验，可以得出在本文的脏腑定位模型中加 的有效性，采用多种模型与本文模型进行对比，如 入Bi-GRU层确实有效捕捉了上下文信息，生成了 表3和表4所示，并为了验证本文提出模型的有效 高层语义表示，有效提升模型效果 性进行了消融实验，如表5所示 4总结与展望 表3多标签分类对比实验结果 针对中医中的脏腑定位方法，本文提出了一 Table 3 Comparative experimental results of multiple label 种基于ALBERT和Bi-GRU的多标签文本分类模 classification 型.该模型采用ALBERT表示作为输人，通过Bi- No. Method Precision Recall F1-value GRU有效地捕捉上下文信息生成高层次的文本 1 Word2Vec+Bi-GRU 0.8015 0.7653 0.7830 语义信息表示，之后再对高层次信息表示进行分 2 MLP Classifier 0.7091 0.7067 0.7079 类.该方法从医案数据的角度对中医的脏腑定位 Decision Tree Classifier 0.6744 0.6633 0.6688 方法的探索，相较于决策树、感知机等模型℉1值 ALBERT+Bi-GRU 0.8301 0.7745 0.8013 有较大的提升，使用的ALBERT向量化表示方式 与Word2Vec相比有很大的提升，相比于BERT方 表4BERT与ALBERT对比实验结果 法，一定程度上缩短了预测时间，并大幅缩减了 Table 4 Comparative experimental results of BERT and ALBERT 模型体积.在未来的工作中，将在进一步提升模 Model Id Method Precision Recall F1-value Time/s parameters/ 型效果的基础上，考虑融入更多中医中脏腑定位 MB 的知识，将知识图谱中的知识融入到脏腑定位模 1 BERT+Bi- 0.82530.77830.801199.8219 363.3 GRU 型中，进行融合知识的脏腑辨证.探索在中医知 2 ALBERT+Bi- 0.83010.77450.801384.7045 37.3 识的约束下更准确地进行中医证素的推理工作， GRU 在提高模型效果的同时也为模型加入更多的可 解释性 表5多标签分类消融实验结果 Table 5 Ablation experiment multiple label classification results 部 考文献 Method Precision Recall F1-value [1]Xu Q.Mining the Syndrome Factor Distribution of AECOPD by ALBERT 0.7711 0.7315 0.7508 the Attribution Model Built by Directed Graph [Dissertation] ALBERT+Bi-GRU 0.8301 0.7745 0.8013 Chengdu:Chengdu University of TCM,2017 (许强.基于有向图的证素归因模型挖掘AECOPD的证素分布 在表3对比实验中可以看出，方法1与方法 规律学位论文].成都：成都中医药大学，2017) 4相比，在其他条件完全相同的情况下，本文提出 [2] Yin D,Zhou L,Zhou Y M,et al.Study on design of graph searchTPi TNi FPi FNi 式中， 表示将类别 i 中正例预测为正例的数目； 表示将类别 i 中负例预测为负例的数目； 表 示将类别 i 中负例预测为正例的数目； 表示将 类别 i 中正例预测为负例的数目. 3.4    实验对比与分析 为了验证本文提出的脏腑定位模型对于实验 的有效性，采用多种模型与本文模型进行对比，如 表 3 和表 4 所示，并为了验证本文提出模型的有效 性进行了消融实验，如表 5 所示. 表 3 多标签分类对比实验结果 Table  3    Comparative  experimental  results  of  multiple  label classification No. Method Precision Recall F1-value 1 Word2Vec+Bi-GRU 0.8015 0.7653 0.7830 2 MLP Classifier 0.7091 0.7067 0.7079 3 Decision Tree Classifier 0.6744 0.6633 0.6688 4 ALBERT+Bi-GRU 0.8301 0.7745 0.8013 表 4  BERT 与 ALBERT 对比实验结果 Table 4   Comparative experimental results of BERT and ALBERT Id Method Precision Recall F1-value Time/s Model_ parameters/ MB 1 BERT+Bi￾GRU 0.8253 0.7783 0.8011 99.8219 363.3 2 ALBERT+Bi￾GRU 0.8301 0.7745 0.8013 84.7045 37.3 表 5 多标签分类消融实验结果 Table 5   Ablation experiment multiple label classification results Method Precision Recall F1-value ALBERT 0.7711 0.7315 0.7508 ALBERT+Bi-GRU 0.8301 0.7745 0.8013 在表 3 对比实验中可以看出，方法 1 与方法 4 相比，在其他条件完全相同的情况下，本文提出 的基于 ALBERT 预训练模型相比于 Word2Vec 的 表示方式，能更好地完成文本表征任务，F1 值相比 提升了 0.0183. 将方法 4 与方法 2、方法 3 相比，本 文提出的模型比多层感知机（MLP classifier，No.2） 模型和决策树（ Decision tree classifier， No.3）方法 F1 值分别提升了 0.0934 和 0.1325，均有大幅提升. 表 4 的对比实验结果表明，相比于使用 BERT 预训 练模型，采用 ALBERT 预训练模型的方法 F1 值提 升了 0.0002，且在测试集上预测时间有了明显减 少，模型参数大幅减少，模型体积缩小为原来的近 十分之一. 通过表 5 消融实验可以看出，使用 ALBERT 预训练模型后不增加 Bi-GRU 层，最终在测试集上 的 F1 值为 0.7508. 与之相比，在 ALBERT 层后加 入 Bi-GRU 层的模型 F1 值提升了 0.0505. 通过该 消融实验，可以得出在本文的脏腑定位模型中加 入 Bi-GRU 层确实有效捕捉了上下文信息，生成了 高层语义表示，有效提升模型效果. 4    总结与展望 针对中医中的脏腑定位方法，本文提出了一 种基于 ALBERT 和 Bi-GRU 的多标签文本分类模 型. 该模型采用 ALBERT 表示作为输入，通过 Bi￾GRU 有效地捕捉上下文信息生成高层次的文本 语义信息表示，之后再对高层次信息表示进行分 类. 该方法从医案数据的角度对中医的脏腑定位 方法的探索，相较于决策树、感知机等模型 F1 值 有较大的提升. 使用的 ALBERT 向量化表示方式 与 Word2Vec 相比有很大的提升，相比于 BERT 方 法，一定程度上缩短了预测时间，并大幅缩减了 模型体积. 在未来的工作中，将在进一步提升模 型效果的基础上，考虑融入更多中医中脏腑定位 的知识，将知识图谱中的知识融入到脏腑定位模 型中，进行融合知识的脏腑辨证. 探索在中医知 识的约束下更准确地进行中医证素的推理工作， 在提高模型效果的同时也为模型加入更多的可 解释性. 参    考    文    献 Xu  Q. Mining the Syndrome Factor Distribution of AECOPD by the Attribution Model Built by Directed Graph [Dissertation]. Chengdu: Chengdu University of TCM, 2017 （ 许强. 基于有向图的证素归因模型挖掘AECOPD的证素分布 规律[学位论文]. 成都: 成都中医药大学, 2017） [1] [2] Yin D, Zhou L, Zhou Y M, et al. Study on design of graph search 表 2    训练过程中的参数 Table 2    Parameters in the training process Parameter name Parameter value Max_seq_lenth 128 GRU_units 128 Dropout 0.4 Learning_rate 1×10−4 Epochs 10 Batch_size 128 张德政等： 基于 ALBERT 与双向 GRU 的中医脏腑定位模型 · 1187 ·