张德政等：基于ALBERT与双向GRU的中医脏腑定位模型 ·1183 pretraining model greatly reduces the number of model parameters compared with the BERT model and effectively reduces the model size.Finally,the F1-value of the Zang-fu localization model proposed in this paper reaches 0.8013 on the test set,which provided certain support for the TCM auxiliary diagnosis and treatment. KEY WORDS multi-label text classification:ALBERT:GRU:localization of Zang-fu:traditional Chinese medicine(TCM) 人工智能技术的快速发展为各个行业注入了 提供了新的方法，多标签文本分类即为其中的重 新的活力，也为中医学的发展提供了新的思路.随 要方法.多标签文本分类是指一个样本可以属于 着人工智能与中医的结合，也为中医的辅助诊疗 多个类别（或标签）.比如一条症状同时与“肾”和 提供了更多可能.中医学在历史上形成了多种辨 “肝”两个标签关联，即该症状表现与“肾”和“肝” 证方法，其中脏腑辨证是根据脏腑的生理功能，病 两个脏腑相关.有研究人员从聚类的角度对文本 理表现，对疾病证候进行归纳，借以推究病机，判 进行多标签分类，申超波等图提出了一种基于标 断病变的部位、性质、正邪盛衰情况的一种辨证 签聚类的标签幂集方法，通过改进平衡k-means聚 方法，是辨证体系中的重要组成部分.当某一脏腑 类来发现训练集中潜在的重要标签集合，并用于 发生病变时，反映出的临床症状也各不相同，且依 形成新的训练集进行多标签分类.黄志强例对基 据脏腑辨证特点，一个症状可涉及多个脏腑，所以 于k-means的多标签分类及标签补全算法进行了 本文将中医中的脏腑定位问题抽象为自然语言处 研究 理领域的多标签文本分类问题，将医案数据中的 在基于神经网络对文本特征进行提取表示方 症状类文本信息作为输入，将具体病变脏腑作为 面，研究人员也进行了大量研究.李德玉等提 多标签文本分类问题中的标签. 出一种基于标签特征的卷积神经网络(CNN)情绪 多标签分类方法，使用Word2Vec进行词向量表 1研究现状 示，然后利用标签特征来强化文本情绪和标签之 在中医的辨证推理方面，已经有大量研究人 间的联系，融合入CNN模型对文本情绪进行深层 员进行过相关研究.许强山通过对经典证素辨证 次的表示和多标签分类.Joulin等基于浅层神 体系相关内容的总结，分析经典证素辨证体系存 经网络设计出了文本分类工具FastText..易士翔等2， 在的不足，并基于有向图这种数据结构重新对证 在中文突发事件数据集上验证了双向LSTM模型 素概念进行定义，对证素内容进行分类，并重新对 在文本表征中的有效性.Chen等]在获得文本的 辨证医理模型进行构建.尹丹等回采用领域本体 整体语义(Text feature vector)后，将文本整体语义 七步法构建中医经方知识图谱，并通过Cypher设 输入到一个递归神经网络(RNN)的序列中作为初 计一种模拟人联想思维进行检索的经方知识检索 始值，每一时刻输入是上一时刻的输出，将卷积神 框架.刘超等)基于BP神经网络方法，建立冠状 经网络和递归神经网络进行集成应用，以获得全 动脉临界病变患者证候要素及其常见组合的中医 局和局部文本语义.Yogatama等w针对文本分类 辨证诊断模型.褚娜在中医辨证的现状研究和 问题构建了基于LSTM(Long short-term memory, 相关智能算法的基础上，提出适合于中医辨证的 长短期记忆网络)的生成模型和判别模型.wang 理论方法和系统实施方案.杨开明阿将85例糖尿 提出了中断递归神经网络(DRNN),将位置不变性 病患者结合C4.5决策树算法建立了中医辨证决策 引入RNN中.该网络通过限制RNN中的信息流 树，提取出糖尿病的8种中医证候分类规则.周璐 的距离，将每个时间步长的隐藏状态限制为表示 等将C4.5决策树、随机森林、支持向量机、BP 当前位置附近的单词.Kiml6提出TextCNN,将卷 神经网络算法进行融合，最终得到一种复合结构 积神经网络应用到文本分类任务，利用多个不同 的智能化辨证选方模型.舒鑫等基于神经网络 大小的kernel提取句子中的关键信息，这种方法类 构建了AS气虚证预测模型，并展现出了良好的 似于多窗口大小的-gram,能够更好地捕捉局部 准确率.在此类方法中，尚未充分使用运用文本的 相关性 高层语义信息，可以尝试在此类方法基础上融入 在对多标签文本分类效果的提升过程中，输 高层语义信息进行效果提升 入高质量的文本表征对模型效果有巨大的作用 自然语言处理技术的发展为中医的辨证论治 基于大规模语料库的预训练模型已经成为自然语pretraining model greatly reduces the number of model parameters compared with the BERT model and effectively reduces the model size. Finally, the F1-value of the Zang-fu localization model proposed in this paper reaches 0.8013 on the test set, which provided certain support for the TCM auxiliary diagnosis and treatment. KEY WORDS    multi-label text classification；ALBERT；GRU；localization of Zang-fu；traditional Chinese medicine (TCM) 人工智能技术的快速发展为各个行业注入了 新的活力，也为中医学的发展提供了新的思路. 随 着人工智能与中医的结合，也为中医的辅助诊疗 提供了更多可能. 中医学在历史上形成了多种辨 证方法，其中脏腑辨证是根据脏腑的生理功能，病 理表现，对疾病证候进行归纳，借以推究病机，判 断病变的部位、性质、正邪盛衰情况的一种辨证 方法，是辨证体系中的重要组成部分. 当某一脏腑 发生病变时，反映出的临床症状也各不相同，且依 据脏腑辨证特点，一个症状可涉及多个脏腑，所以 本文将中医中的脏腑定位问题抽象为自然语言处 理领域的多标签文本分类问题，将医案数据中的 症状类文本信息作为输入，将具体病变脏腑作为 多标签文本分类问题中的标签. 1    研究现状 在中医的辨证推理方面，已经有大量研究人 员进行过相关研究. 许强[1] 通过对经典证素辨证 体系相关内容的总结，分析经典证素辨证体系存 在的不足，并基于有向图这种数据结构重新对证 素概念进行定义，对证素内容进行分类，并重新对 辨证医理模型进行构建. 尹丹等[2] 采用领域本体 七步法构建中医经方知识图谱，并通过 Cypher 设 计一种模拟人联想思维进行检索的经方知识检索 框架. 刘超等[3] 基于 BP 神经网络方法，建立冠状 动脉临界病变患者证候要素及其常见组合的中医 辨证诊断模型. 褚娜[4] 在中医辨证的现状研究和 相关智能算法的基础上，提出适合于中医辨证的 理论方法和系统实施方案. 杨开明[5] 将 85 例糖尿 病患者结合 C4.5 决策树算法建立了中医辨证决策 树，提取出糖尿病的 8 种中医证候分类规则. 周璐 等[6] 将 C4.5 决策树、随机森林、支持向量机、BP 神经网络算法进行融合，最终得到一种复合结构 的智能化辨证选方模型. 舒鑫等[7] 基于神经网络 构建了 AIS 气虚证预测模型，并展现出了良好的 准确率. 在此类方法中，尚未充分使用运用文本的 高层语义信息，可以尝试在此类方法基础上融入 高层语义信息进行效果提升. 自然语言处理技术的发展为中医的辨证论治 提供了新的方法，多标签文本分类即为其中的重 要方法. 多标签文本分类是指一个样本可以属于 多个类别（或标签）. 比如一条症状同时与“肾”和 “肝”两个标签关联，即该症状表现与“肾”和“肝” 两个脏腑相关. 有研究人员从聚类的角度对文本 进行多标签分类，申超波等[8] 提出了一种基于标 签聚类的标签幂集方法，通过改进平衡 k-means 聚 类来发现训练集中潜在的重要标签集合，并用于 形成新的训练集进行多标签分类. 黄志强[9] 对基 于 k-means 的多标签分类及标签补全算法进行了 研究. 在基于神经网络对文本特征进行提取表示方 面，研究人员也进行了大量研究. 李德玉等[10] 提 出一种基于标签特征的卷积神经网络（CNN）情绪 多标签分类方法，使用 Word2Vec 进行词向量表 示，然后利用标签特征来强化文本情绪和标签之 间的联系，融合入 CNN 模型对文本情绪进行深层 次的表示和多标签分类. Joulin 等[11] 基于浅层神 经网络设计出了文本分类工具 FastText. 易士翔等[12] 在中文突发事件数据集上验证了双向 LSTM 模型 在文本表征中的有效性. Chen 等[13] 在获得文本的 整体语义 (Text feature vector) 后，将文本整体语义 输入到一个递归神经网络（RNN）的序列中作为初 始值，每一时刻输入是上一时刻的输出，将卷积神 经网络和递归神经网络进行集成应用，以获得全 局和局部文本语义. Yogatama 等[14] 针对文本分类 问题构建了基 于 LSTM（ Long  short-term  memory， 长短期记忆网络）的生成模型和判别模型. Wang[15] 提出了中断递归神经网络（DRNN），将位置不变性 引入 RNN 中. 该网络通过限制 RNN 中的信息流 的距离，将每个时间步长的隐藏状态限制为表示 当前位置附近的单词. Kim[16] 提出 TextCNN，将卷 积神经网络应用到文本分类任务，利用多个不同 大小的 kernel 提取句子中的关键信息，这种方法类 似于多窗口大小的 n-gram，能够更好地捕捉局部 相关性. 在对多标签文本分类效果的提升过程中，输 入高质量的文本表征对模型效果有巨大的作用. 基于大规模语料库的预训练模型已经成为自然语 张德政等： 基于 ALBERT 与双向 GRU 的中医脏腑定位模型 · 1183 ·