工程科学学报.第43卷.第9期：1182-1189.2021年9月 Chinese Journal of Engineering,Vol.43,No.9:1182-1189,September 2021 https://doi.org/10.13374/j.issn2095-9389.2021.01.13.002;http://cje.ustb.edu.cn 基于ALBERT与双向GRU的中医脏腑定位模型 张德政12)，范欣欣1,2，谢永红2)四，蒋彦钊2) 1)北京科技大学计算机与通信工程学院，北京1000832)材料领域知识工程北京市重点实验室，北京100083 ☒通信作者，E-mail:xieyh@ustb.edu.cn 摘要脏腑定位，即明确病变所在的脏腑，是中医脏腑辨证的重要阶段.本文旨在通过神经网络模型搭建中医脏腑定位模 型，输入症状文本信息，输出对应的病变脏腑标签，为实现中医辅助诊疗的脏腑辨证提供支持.将中医的脏腑定位问题建模 为自然语言处理中的多标签文本分类问题，基于中医的医案数据，提出一种基于预训练模型ALBERT和双向门控循环单元 (B-GRU)的脏腑定位模型.对比实验和消融实验的结果表明，本文提出的方法在中医脏腑定位的问题上相比于多层感知机 模型、决策树模型具有更高的准确性，与Word2Vc文本表示方法相比，本文使用的ALBERT预训练模型的文本表示方法有 效提升了模型的准确率.在模型参数上，ALBERT预训练模型相比BERT模型降低了模型参数量，有效减小了模型大小.最 终，本文提出的脏腑定位模型在测试集上F1值达到了0.8013. 关键词多标签文本分类：ALBERT:门控循环单元：脏腑定位：中医 分类号TP391.1 Localization model of traditional Chinese medicine Zang-fu based on ALBERT and Bi- GRU ZHANG De-zheng2,FAN Xin-xin2),XIE Yong-hong2,JIANG Yan-zhao2 1)School of Computer and Communication Engineering.University of Science and Technology Beijing,Beijing 100083,China 2)Beijing Key Laboratory of Knowledge Engineering for Materials Science,Beijing 100083,China Corresponding author,E-mail:xieyh@ustb.edu.cn ABSTRACT The rapid development of artificial intelligence (Al)has injected new vitality into various industries and provided new ideas for the development of traditional Chinese medicine(TCM).The combination of Al and TCM provides more technical support for TCM auxiliary diagnosis and treatment.In the history of TCM,many methods of syndrome differentiation have been observed,among which the differentiation of Zang-fu organs is one of the important methods.The purpose of this paper is to provide support for the localization of Zang-fu in TCM through AI technology.Localization of Zang-fu organs is a method of determining the location of lesions in such organs and is an important stage in the differentiation of Zang-fu organs in TCM.In this paper,the localization model of TCM Zang-fu organs through the neural network model was established.Through the input of symptom text information,the corresponding Zang-fu label for a lesion could be output to provide support for the realization of Zang-fu syndrome differentiation in TCM-assisted diagnosis and treatment.In this paper,the localization of Zang-fu organs was abstracted as multi-label text classification in natural language processing.Using the medical record data of TCM,a Zang-fu localization model based on pretraining models a lite BERT(ALBERT)and bidirectional gated recurrent unit(Bi-GRU)was proposed.Comparison and ablation experiments finally show that the proposed method is more accurate than multilayer perceptron and the decision tree.Moreover,using an ALBERT pretraining model for text representation effectively improves the accuracy of the localization model.In terms of model parameters,the ALBERT 收稿日期：2021-01-13 基金项目：国家重点研发计划云计算和大数据专项资助项目(2017YFB1002304)基于 ALBERT 与双向 GRU 的中医脏腑定位模型 张德政1,2)，范欣欣1,2)，谢永红1,2) 苣，蒋彦钊1,2) 1) 北京科技大学计算机与通信工程学院，北京 100083    2) 材料领域知识工程北京市重点实验室，北京 100083 苣通信作者，E-mail: xieyh@ustb.edu.cn 摘    要    脏腑定位，即明确病变所在的脏腑，是中医脏腑辨证的重要阶段. 本文旨在通过神经网络模型搭建中医脏腑定位模 型，输入症状文本信息，输出对应的病变脏腑标签，为实现中医辅助诊疗的脏腑辨证提供支持. 将中医的脏腑定位问题建模 为自然语言处理中的多标签文本分类问题，基于中医的医案数据，提出一种基于预训练模型 ALBERT 和双向门控循环单元 （Bi-GRU）的脏腑定位模型. 对比实验和消融实验的结果表明，本文提出的方法在中医脏腑定位的问题上相比于多层感知机 模型、决策树模型具有更高的准确性，与 Word2Vec 文本表示方法相比，本文使用的 ALBERT 预训练模型的文本表示方法有 效提升了模型的准确率. 在模型参数上，ALBERT 预训练模型相比 BERT 模型降低了模型参数量，有效减小了模型大小. 最 终，本文提出的脏腑定位模型在测试集上 F1 值达到了 0.8013. 关键词    多标签文本分类；ALBERT；门控循环单元；脏腑定位；中医 分类号    TP391.1 Localization model of traditional Chinese medicine Zang-fu based on ALBERT and Bi￾GRU ZHANG De-zheng1,2) ，FAN Xin-xin1,2) ，XIE Yong-hong1,2) 苣 ，JIANG Yan-zhao1,2) 1) School of Computer and Communication Engineering, University of Science and Technology Beijing, Beijing 100083, China 2) Beijing Key Laboratory of Knowledge Engineering for Materials Science, Beijing 100083, China 苣 Corresponding author, E-mail: xieyh@ustb.edu.cn ABSTRACT    The rapid development of artificial intelligence (AI) has injected new vitality into various industries and provided new ideas for the development of traditional Chinese medicine (TCM). The combination of AI and TCM provides more technical support for TCM auxiliary diagnosis and treatment. In the history of TCM, many methods of syndrome differentiation have been observed, among which the differentiation of Zang-fu organs is one of the important methods. The purpose of this paper is to provide support for the localization  of  Zang-fu  in  TCM  through  AI  technology.  Localization  of  Zang-fu  organs  is  a  method  of  determining  the  location  of lesions in such organs and is an important stage in the differentiation of Zang-fu organs in TCM. In this paper, the localization model of TCM  Zang-fu  organs  through  the  neural  network  model  was  established.  Through  the  input  of  symptom  text  information,  the corresponding Zang-fu label for a lesion could be output to provide support for the realization of Zang-fu syndrome differentiation in TCM-assisted diagnosis and treatment. In this paper, the localization of Zang-fu organs was abstracted as multi-label text classification in natural language processing. Using the medical record data of TCM, a Zang-fu localization model based on pretraining models a lite BERT (ALBERT) and bidirectional gated recurrent unit (Bi-GRU) was proposed. Comparison and ablation experiments finally show that the proposed method is more accurate than multilayer perceptron and the decision tree. Moreover, using an ALBERT pretraining model for text representation effectively improves the accuracy of the localization model. In terms of model parameters, the ALBERT 收稿日期: 2021−01−13 基金项目: 国家重点研发计划云计算和大数据专项资助项目（2017YFB1002304） 工程科学学报，第 43 卷，第 9 期：1182−1189，2021 年 9 月 Chinese Journal of Engineering, Vol. 43, No. 9: 1182−1189, September 2021 https://doi.org/10.13374/j.issn2095-9389.2021.01.13.002; http://cje.ustb.edu.cn