第15卷第3期 智能系统学报 Vol.15 No.3 2020年5月 CAAI Transactions on Intelligent Systems May 2020 D0L:10.11992tis.201811015 融合迁移学习和神经网络的皮肤病诊断方法 商显震，韩萌，王少峰，贾涛，许冠英 (北方民族大学计算机科学与工程学院，宁夏银川750021) 摘要：针对医学特征对患者病情发展的时间顺序无法有效表达，医学特征构建工作耗费大量人工成本，以及 皮肤病数据样本数量较少等问题，提出了融合迁移学习和神经网络的皮肤病轴助诊断方法。该方法将T©xtL STM(long short term memory neural network for text),TextCNN(convolutional neural network for text)RCNN(re- current convolutional neural networks for text classification)等3种基于神经网络的文本分类模型应用于皮肤病辅助 诊断，同时融入迁移学习技术，能够在一定程度上将皮肤病专业书籍中的理论知识迁移到诊断模型中。在皮肤 病多分类实验中，本文方法的正确率优于对比方法；在皮肤病二分类实验中，本文方法的召回率优于对比方 法。迁移学习对实验结果的积极影响率高于75%。 关键词：皮肤病诊断：神经网络：迁移学习；文本分类：卷积神经网络：循环神经网络：长短期记忆网络：辅助诊断 中图分类号：TP391.1文献标志码：A文章编号：1673-4785(2020)03-0452-08 中文引用格式：商显震，韩萌，王少峰，等.融合迁移学习和神经网络的皮肤病诊断方法J.智能系统学报，2020,15(3)： 452-459. 英文引用格式：SHANG Xianzhen,,HAN Meng,WANG Shaofeng,etal.A skin diseases diagnosis method combining transfer learn- ing and neural networks J.CAAI transactions on intelligent systems,2020,15(3):452-459. A skin diseases diagnosis method combining transfer learning and neural networks SHANG Xianzhen,HAN Meng,WANG Shaofeng,JIA Tao,XU Guanying (School of Computer Science and Engineering,North Minzu University,Yinchuan 750021,China) Abstract:To address the problems that medical features can not effectively express the chronological order of a patient' s condition,feature construction incurs high labor costs,and the number of diagnosed cases of skin diseases is relatively low,this study proposes binary classification and multi-classification diagnostic methods based on neural network and transfer learning of multisource data for diagnosing skin diseases.The text classification model based on three neural network models,namely,TextLSTM(long short term memory neural network for text),TextCNN(convolutional neural network for text),and RCNN(recurrent convolutional neural networks for text classification),is applied to dermatologic- al auxiliary diagnosis.At the same time,the method incorporates transfer learning,which can transfer theoretical know- ledge of skin diseases obtained from books to the diagnostic models to a certain degree.Results show that the accuracy rate of the multi-classification diagnostic method is higher than that of the binary classification diagnostic method.By contrast,the recall rate of the binary classification diagnostic method is higher than that of the multi-classification dia- gnostic method.Thus,transfer learning has a positive effect on more than 75%of the experimental results. Keywords:skin disease diagnosis;neural network;transfer learning;text classification;convolutional neural network; recurrent neural network;long short term memory neural network;auxiliary diagnosis 皮肤病是一种常见病和多发病山，不但使患 收稿日期：2018-11-21. 基金项目：国家自然科学基金项目(6156300I):宁夏自然科学 者承受生理的病痛，而且给患者的社会生活造成 基金项目NZ17115):计算机应用技术宁夏回族自治 许多负面影响。针对皮肤病的诊断方法的相关研 区重点学科项目(PY1703). 通信作者：韩萌.E-mail:2003051@nun.edu.cn 究具有重要的意义。现有的很多疾病诊断方法
DOI: 10.11992/tis.201811015 融合迁移学习和神经网络的皮肤病诊断方法 商显震，韩萌，王少峰，贾涛，许冠英 （北方民族大学 计算机科学与工程学院，宁夏 银川 750021） 摘 要：针对医学特征对患者病情发展的时间顺序无法有效表达，医学特征构建工作耗费大量人工成本，以及 皮肤病数据样本数量较少等问题，提出了融合迁移学习和神经网络的皮肤病辅助诊断方法。该方法将 TextLSTM(long short term memory neural network for text)、TextCNN(convolutional neural network for text) 以及 RCNN(recurrent convolutional neural networks for text classification) 等 3 种基于神经网络的文本分类模型应用于皮肤病辅助 诊断，同时融入迁移学习技术，能够在一定程度上将皮肤病专业书籍中的理论知识迁移到诊断模型中。在皮肤 病多分类实验中，本文方法的正确率优于对比方法；在皮肤病二分类实验中，本文方法的召回率优于对比方 法。迁移学习对实验结果的积极影响率高于 75%。 关键词：皮肤病诊断；神经网络；迁移学习；文本分类；卷积神经网络；循环神经网络；长短期记忆网络；辅助诊断 中图分类号：TP391.1 文献标志码：A 文章编号：1673−4785(2020)03−0452−08 中文引用格式：商显震, 韩萌, 王少峰, 等. 融合迁移学习和神经网络的皮肤病诊断方法 [J]. 智能系统学报, 2020, 15(3): 452–459. 英文引用格式：SHANG Xianzhen, HAN Meng, WANG Shaofeng, et al. A skin diseases diagnosis method combining transfer learning and neural networks[J]. CAAI transactions on intelligent systems, 2020, 15(3): 452–459. A skin diseases diagnosis method combining transfer learning and neural networks SHANG Xianzhen，HAN Meng，WANG Shaofeng，JIA Tao，XU Guanying (School of Computer Science and Engineering, North Minzu University, Yinchuan 750021, China) Abstract: To address the problems that medical features can not effectively express the chronological order of a patient’ s condition, feature construction incurs high labor costs, and the number of diagnosed cases of skin diseases is relatively low, this study proposes binary classification and multi-classification diagnostic methods based on neural network and transfer learning of multisource data for diagnosing skin diseases. The text classification model based on three neural network models, namely, TextLSTM(long short term memory neural network for text), TextCNN(convolutional neural network for text), and RCNN(recurrent convolutional neural networks for text classification), is applied to dermatological auxiliary diagnosis. At the same time, the method incorporates transfer learning, which can transfer theoretical knowledge of skin diseases obtained from books to the diagnostic models to a certain degree. Results show that the accuracy rate of the multi-classification diagnostic method is higher than that of the binary classification diagnostic method. By contrast, the recall rate of the binary classification diagnostic method is higher than that of the multi-classification diagnostic method. Thus, transfer learning has a positive effect on more than 75% of the experimental results. Keywords: skin disease diagnosis; neural network; transfer learning; text classification; convolutional neural network; recurrent neural network; long short term memory neural network; auxiliary diagnosis 皮肤病是一种常见病和多发病[1] ，不但使患 者承受生理的病痛，而且给患者的社会生活造成 许多负面影响。针对皮肤病的诊断方法的相关研 究具有重要的意义。现有的很多疾病诊断方法[2-4] 收稿日期：2018−11−21. 基金项目：国家自然科学基金项目 (61563001)；宁夏自然科学 基金项目 (NZ17115)；计算机应用技术宁夏回族自治 区重点学科项目 (PY1703). 通信作者：韩萌. E-mail: 2003051@nun.edu.cn. 第 15 卷第 3 期 智 能 系 统 学 报 Vol.15 No.3 2020 年 5 月 CAAI Transactions on Intelligent Systems May 2020
第3期 商显震，等：融合迁移学习和神经网络的皮肤病诊断方法 ·453· 一般先抽取病例中的医学特征，将一个病例表示 院合作采用神经网络方法对皮肤镜图像和临床皮 为其所具有医学特征的集合，然后将该病例转化 损图像进行自动分类，该方法使用GoogLeNetIn- 为向量数据，如{0,1，…，1}。若该病例具有特征空 ception-v3作为其分类网络，实验表明该方法在多 间（由所有医学特征组成）中的某个特征，则该病 个分类任务上达到了与专业皮肤科医生相当甚至 例数据在该特征对应维的值为“1”，若该病例不具 更好的水平。 有某特征，则为“0”。然后使用朴素贝叶斯、支持 2)其他疾病辅助诊断的相关工作：文献[8]提 向量机等分类算法训练诊断模型。这些疾病诊断 出一种基于卷积神经网络的阿尔茨海默病识别方 方法具有以下3个缺点：1)传统机器学习算法对 法，该方法对大脑海马体图像使用卷积神经网络 复杂函数的表达能力有限：2)使用这些模型前需 进行训练和识别，将同一个对象的图像识别结果 要进行特征构建，这项工作耗费大量人工成本； 用于对该对象的联合诊断，其平均识别准确率达 3)基于医学特征的机器学习诊断方法难以表达皮 到88.02%；文献[9]研究使用样本过滤方法解决 肤病临床表现的时间顺序性，例如，带状疱疹的 医学数据集中的样本不平衡问题，从而提高了卷 典型症状为患者首先出现皮肤疼痛，经过数天的 积神经网络的性能；文献[10]提出了一种基于卷 病情发展，疼痛部位出现疱疹。这种特有的病情 积神经网络的乳糜泻诊断方法，该方法在十二指 发展顺序能够有效帮助医生进行确诊。随着神经 肠的内窥镜图像上训练卷积神经网络，然后使用 网络模型的不断发展，其在文本分类领域得到了 softmax分类器和线性支持向量机进行分类，取得 广泛应用。基于神经网络的文本分类模型具有 了良好的分类效果；文献[11]构建了多个三维卷 以下优点：1)模型可以自动提取文本特征，同时 积神经网络，从大脑的局部图像中学习各种特 训练特征与类别标签之间的关系：2)通过增加人 征，从而对阿尔茨海默病进行分类诊断；CHE 工神经元的层数和每层的神经元数量，模型能够 Zhengping等a在KDD2015上提出一种基于医学 表达复杂函数；3)基于神经网络的文本分类模型 先验知识的深度人工神经网络特征提取框架，该 能够考虑上下文信息，在疾病诊断应用中能够考 框架利用医学本体来训练神经网络，从而发现人 虑患者病情发展的时间顺序。因此，本文研究如 体生理系统与临床检测指标中的关系；文献[13] 何使用基于神经网络的文本分类模型在文本形式 提出一种基于神经网络技术的建模方法，该方法 的病例数据上构建高效、准确的皮肤病诊断模 能够预测人的心理疾病；文献[14]使用神经网络 型。使用基于神经网络的文本分类模型对皮肤病 对人的头痛进行建模分析；文献[15]首次使用神 进行诊断的过程可以抽象为对文本形式的病例进 经网络在临床数据的时间序列中自动学习特征， 行分类的过程，类别标签为皮肤病的具体病种。 这些特征对病例的聚类和分类都有较强的可解 神经网络模型的训练对数据量要求较高。由于对 释性。 患者的隐私保护等原因，本文能够获得的皮肤病 综上所述，许多专家学者使用神经网络模型 数据量较为有限。因此，本文提出了融合迁移学 进行医学图像的分类研究，从而辅助疾病诊断， 习和神经网络的皮肤病辅助诊断方法，借助迁移 而对医学文本分类的相关研究较少。 学习将皮肤病专业书籍中的理论知识迁移到神经 2相关文本分类模型介绍 网络模型中，以训练出高效、准确的皮肤病诊断 模型。 2.1 TextCNN Yoon Kim等提出了基于卷积神经网络的 1疾病辅助诊断相关研究工作 文本分类模型(convolutional neural network for text, 神经网络模型在皮肤病和其他疾病的诊断应 TextCNN),该模型在文本分类任务中取得了不错 用中均取得了一定的研究成果。 的成绩。TextCNN结构如图1所示，输入层将文 1)皮肤病辅助诊断的相关工作：文献[6)]提出 本数据传入到模型，Embedding层将文本数据转 了一种基于卷积神经网络的皮肤镜图像分类方 化为词向量，卷积层（使用3个卷积核）提取数据 法，其梯度下降损失函数由分割损失和分类损失 特征，K-MaxPooling层(3个卷积核对应3个池化 2部分组成，使单个网络结合分割样本和分类样 层)提取特征矩阵局部最大的K个值，拼接层将 本2方面的信息，同时提高了模型在分割和分类 3个特征向量进行拼接，全连接层对特征进行降 任务上的表现，该方法在国际烧伤学会皮肤镜图 维，分类器层使用softmax分类器进行分类预测。 像数据集上表现出比传统方法更高的鲁棒性和准 2.2 TextLSTM 确度；斯坦福大学人工智能实验室与斯坦福医学 长短期记忆网络(long short term memory
{0,1,··· ,1} 一般先抽取病例中的医学特征，将一个病例表示 为其所具有医学特征的集合，然后将该病例转化 为向量数据，如 。若该病例具有特征空 间 (由所有医学特征组成) 中的某个特征，则该病 例数据在该特征对应维的值为“1”，若该病例不具 有某特征，则为“0”。然后使用朴素贝叶斯、支持 向量机等分类算法训练诊断模型。这些疾病诊断 方法具有以下 3 个缺点：1) 传统机器学习算法对 复杂函数的表达能力有限；2) 使用这些模型前需 要进行特征构建，这项工作耗费大量人工成本； 3) 基于医学特征的机器学习诊断方法难以表达皮 肤病临床表现的时间顺序性，例如，带状疱疹的 典型症状为患者首先出现皮肤疼痛，经过数天的 病情发展，疼痛部位出现疱疹。这种特有的病情 发展顺序能够有效帮助医生进行确诊。随着神经 网络模型的不断发展，其在文本分类领域得到了 广泛应用[5]。基于神经网络的文本分类模型具有 以下优点：1) 模型可以自动提取文本特征，同时 训练特征与类别标签之间的关系；2) 通过增加人 工神经元的层数和每层的神经元数量，模型能够 表达复杂函数；3) 基于神经网络的文本分类模型 能够考虑上下文信息，在疾病诊断应用中能够考 虑患者病情发展的时间顺序。因此，本文研究如 何使用基于神经网络的文本分类模型在文本形式 的病例数据上构建高效、准确的皮肤病诊断模 型。使用基于神经网络的文本分类模型对皮肤病 进行诊断的过程可以抽象为对文本形式的病例进 行分类的过程，类别标签为皮肤病的具体病种。 神经网络模型的训练对数据量要求较高。由于对 患者的隐私保护等原因，本文能够获得的皮肤病 数据量较为有限。因此，本文提出了融合迁移学 习和神经网络的皮肤病辅助诊断方法，借助迁移 学习将皮肤病专业书籍中的理论知识迁移到神经 网络模型中，以训练出高效、准确的皮肤病诊断 模型。 1 疾病辅助诊断相关研究工作 神经网络模型在皮肤病和其他疾病的诊断应 用中均取得了一定的研究成果。 1) 皮肤病辅助诊断的相关工作：文献 [6] 提出 了一种基于卷积神经网络的皮肤镜图像分类方 法，其梯度下降损失函数由分割损失和分类损失 2 部分组成，使单个网络结合分割样本和分类样 本 2 方面的信息，同时提高了模型在分割和分类 任务上的表现，该方法在国际烧伤学会皮肤镜图 像数据集上表现出比传统方法更高的鲁棒性和准 确度；斯坦福大学人工智能实验室与斯坦福医学 院合作采用神经网络方法对皮肤镜图像和临床皮 损图像进行自动分类[7] ，该方法使用 GoogLeNetInception-v3 作为其分类网络，实验表明该方法在多 个分类任务上达到了与专业皮肤科医生相当甚至 更好的水平。 2) 其他疾病辅助诊断的相关工作：文献 [8] 提 出一种基于卷积神经网络的阿尔茨海默病识别方 法，该方法对大脑海马体图像使用卷积神经网络 进行训练和识别，将同一个对象的图像识别结果 用于对该对象的联合诊断，其平均识别准确率达 到 88.02%；文献 [9] 研究使用样本过滤方法解决 医学数据集中的样本不平衡问题，从而提高了卷 积神经网络的性能；文献 [10] 提出了一种基于卷 积神经网络的乳糜泻诊断方法，该方法在十二指 肠的内窥镜图像上训练卷积神经网络，然后使用 softmax 分类器和线性支持向量机进行分类，取得 了良好的分类效果；文献 [11] 构建了多个三维卷 积神经网络，从大脑的局部图像中学习各种特 征，从而对阿尔茨海默病进行分类诊断；CHE Zhengping 等 [12] 在 KDD2015 上提出一种基于医学 先验知识的深度人工神经网络特征提取框架，该 框架利用医学本体来训练神经网络，从而发现人 体生理系统与临床检测指标中的关系；文献 [13] 提出一种基于神经网络技术的建模方法，该方法 能够预测人的心理疾病；文献 [14] 使用神经网络 对人的头痛进行建模分析；文献 [15] 首次使用神 经网络在临床数据的时间序列中自动学习特征， 这些特征对病例的聚类和分类都有较强的可解 释性。 综上所述，许多专家学者使用神经网络模型 进行医学图像的分类研究，从而辅助疾病诊断， 而对医学文本分类的相关研究较少。 2 相关文本分类模型介绍 2.1 TextCNN Yoon Kim 等 [16] 提出了基于卷积神经网络的 文本分类模型 (convolutional neural network for text, TextCNN)，该模型在文本分类任务中取得了不错 的成绩。TextCNN 结构如图 1 所示，输入层将文 本数据传入到模型，Embedding 层将文本数据转 化为词向量，卷积层 (使用 3 个卷积核) 提取数据 特征，K-MaxPooling 层 (3 个卷积核对应 3 个池化 层) 提取特征矩阵局部最大的 K 个值，拼接层将 3 个特征向量进行拼接，全连接层对特征进行降 维，分类器层使用 softmax 分类器进行分类预测。 2.2 TextLSTM 长短期记忆网络[16] (long short term memory 第 3 期 商显震，等：融合迁移学习和神经网络的皮肤病诊断方法 ·453·
·454· 智能系统学报 第15卷 neural network,LSTM)是循环神经网络l(recur-. 3 一种新的皮肤病辅助诊断方法 rent neural network,RNN)的一种变体，能够保存 长时间间隔的输入信息。基于长短期记忆网络的 3.1多源数据迁移学习 文本分类模型(long short term memory neural net- 迁移学习是一种举一反三的能力，让机器在 work for text,.TextLSTM)通常采用双向长短期记 处理新领域（目标域）的问题时能够根据已有领 忆网络(Bi directional long short term memory neur- 域（源域）的模型和少量的数据快速训练出适合 al network,Bi-LSTM)进行构建。TextLSTM结构 新场景的模型。根据源域和目标域中是否含有带 如图2所示，双向LSTM层主要负责提取文本向 标签样本、源域和目标域是否相同以及源域和目 量及其上下文的特征，其他层的作用与TextCNN 标域的任务是否相同可分为归纳式迁移学习、直 对应层作用相同。 推式迁移学习和无监督迁移学习9。近年来，迁 卷积层 移学习已经引起了广泛的关注02。 本文方法在训练诊断模型过程中分为2个步 K-MaxPooling层 骤。1)构建基于深度学习的分类诊断模型，在源 的 域数据集上训练源域诊断模型，并保存源域诊断 输 卷积层 食 ippaqw K-MaxPooling)层 全连接层 分类器层 模型；2)加载已保存的源域模型，然后将其在目 标域数据集中进行训练，继而获得目标域模型 卷积层 (皮肤病诊断模型)。源域数据集为基于皮肤病专 业书籍《皮肤性病学（第6版）》构建的虚拟数据 K-MaxPooling层 集。目标域数据集为真实的皮肤病数据集。 图1 TextCNN结构 《皮肤性病学（第6版）》具有专业的皮肤病 Fig.1 TextCNN structure 理论知识与准确的皮肤病描述语言。因此，基于 该书构建的皮肤病虚拟数据集具有如下特点： 1)具有专业的皮肤病理论知识；2)与目标域属于 输入层 全连接层 分类器层 相同的专业理论体系；3)与皮肤病真实数据集具 有相同的特征空间。但是，虚拟数据集与真实数 据集不满足独立同分布条件，在迁移学习理论中 图2 TextLSTM结构 属于直推式迁移。 Fig.2 TextLSTM structure 基于皮肤病专业书籍的虚拟数据集构建方法 2.3 RCNN 分为5个步骤。1)对《皮肤性病学（第6版）》中 LaiS等8在20l5年提出了基于循环神经网 的各种皮肤病理论知识进行抽取和整理。皮肤病 络和卷积神经网络的文本分类模型(recurrent con- 理论知识由“概念”、“病因”、“发病原理”、“临床 volutional neural networks for text classification, 表现”、“实验室检查”、“诊断与鉴别诊断”以及 RCNN)。双向循环神经网(Bi directional recur- “预防和治疗”等部分组成：2)按照“主述”、“现病 rent neural network,Bi-RNN)比基于窗口的神经网 史”、“体格检查”等要素，将整理好的皮肤病理论 络噪声小，能够最大化地提取文本上下文信息。 知识进行对应填写，构建每种皮肤病的“标准病例 RCNN结构如图3所示，双向RNN层主要负责提 模板”；3)对每种皮肤病的标准病例模板中各项 取文本向量及其上下文特征，拼接层将双向RNN 内容进行合理划分，可根据“，”、“。”以及知识连 层提取的向量进行拼接。 接紧密性进行划分，将每个模块划分为多个短 句；4)在一种皮肤病标准病例模板的每一项内容 中，以随机的方式无放回地抽取数量为该项内容 输人层 NN[IY 拼接层 卷积层 全连接层 分类器层 短句总数50%的短句，将所得短句组合成一个虚 拟病例，重复执行本步可获得大量该病种的虚拟 病例：5)对每种皮肤病均重复步骤4)，可获得大 图3 RCNN结构 量虚拟病例。通过该方法获得的虚拟数据集即为 Fig.3 RCNN structure 源域数据集，用于训练源域模型
neural network，LSTM) 是循环神经网络[17] (recurrent neural network，RNN) 的一种变体，能够保存 长时间间隔的输入信息。基于长短期记忆网络的 文本分类模型 (long short term memory neural network for text, TextLSTM) 通常采用双向长短期记 忆网络 (Bi directional long short term memory neural network, Bi-LSTM) 进行构建。TextLSTM 结构 如图 2 所示，双向 LSTM 层主要负责提取文本向 量及其上下文的特征，其他层的作用与 TextCNN 对应层作用相同。 卷积层 Embedding 层 K-MaxPooling层 卷积层 K-MaxPooling层 卷积层 输入层 全连接层 分类器层 K-MaxPooling层 图 1 TextCNN 结构 Fig. 1 TextCNN structure 双向LSTM 层 Embedding 输入层 层 K-MaxPooling 层 全连接层 分类器层 图 2 TextLSTM 结构 Fig. 2 TextLSTM structure 2.3 RCNN Lai S 等 [18] 在 2015 年提出了基于循环神经网 络和卷积神经网络的文本分类模型 (recurrent convolutional neural networks for text classification， RCNN)。双向循环神经网络 (Bi directional recurrent neural network, Bi-RNN) 比基于窗口的神经网 络噪声小，能够最大化地提取文本上下文信息。 RCNN 结构如图 3 所示，双向 RNN 层主要负责提 取文本向量及其上下文特征，拼接层将双向 RNN 层提取的向量进行拼接。 Embedding 层 K-MaxPooling 层 全连接层 拼接层 卷积层 分类器层 输入层 双向RNN 层 图 3 RCNN 结构 Fig. 3 RCNN structure 3 一种新的皮肤病辅助诊断方法 3.1 多源数据迁移学习 迁移学习是一种举一反三的能力，让机器在 处理新领域 (目标域) 的问题时能够根据已有领 域 (源域) 的模型和少量的数据快速训练出适合 新场景的模型。根据源域和目标域中是否含有带 标签样本、源域和目标域是否相同以及源域和目 标域的任务是否相同可分为归纳式迁移学习、直 推式迁移学习和无监督迁移学习[19]。近年来，迁 移学习已经引起了广泛的关注[20-21]。 本文方法在训练诊断模型过程中分为 2 个步 骤。1) 构建基于深度学习的分类诊断模型，在源 域数据集上训练源域诊断模型，并保存源域诊断 模型；2) 加载已保存的源域模型，然后将其在目 标域数据集中进行训练，继而获得目标域模型 (皮肤病诊断模型)。源域数据集为基于皮肤病专 业书籍《皮肤性病学 (第 6 版)》构建的虚拟数据 集。目标域数据集为真实的皮肤病数据集。 《皮肤性病学 (第 6 版)》具有专业的皮肤病 理论知识与准确的皮肤病描述语言。因此，基于 该书构建的皮肤病虚拟数据集具有如下特点： 1) 具有专业的皮肤病理论知识；2) 与目标域属于 相同的专业理论体系；3) 与皮肤病真实数据集具 有相同的特征空间。但是，虚拟数据集与真实数 据集不满足独立同分布条件，在迁移学习理论中 属于直推式迁移。 基于皮肤病专业书籍的虚拟数据集构建方法 分为 5 个步骤。1) 对《皮肤性病学 (第 6 版)》中 的各种皮肤病理论知识进行抽取和整理。皮肤病 理论知识由“概念”、“病因”、“发病原理”、“临床 表现”、“实验室检查”、“诊断与鉴别诊断”以及 “预防和治疗”等部分组成；2) 按照“主述”、“现病 史”、“体格检查”等要素，将整理好的皮肤病理论 知识进行对应填写，构建每种皮肤病的“标准病例 模板”；3) 对每种皮肤病的标准病例模板中各项 内容进行合理划分，可根据“，”、“。”以及知识连 接紧密性进行划分，将每个模块划分为多个短 句；4) 在一种皮肤病标准病例模板的每一项内容 中，以随机的方式无放回地抽取数量为该项内容 短句总数 50% 的短句，将所得短句组合成一个虚 拟病例，重复执行本步可获得大量该病种的虚拟 病例；5) 对每种皮肤病均重复步骤 4），可获得大 量虚拟病例。通过该方法获得的虚拟数据集即为 源域数据集，用于训练源域模型。 ·454· 智 能 系 统 学 报 第 15 卷
第3期 商显震，等：融合迁移学习和神经网络的皮肤病诊断方法 ·455· 3.2皮肤病辅助诊断方法 诊断模型构建方法 为避免其他机器学习方法无法有效表达病情 输入预训练数据集De={(),(22),…, 发展的时间顺序、难以构建复杂函数模型以及繁 (xyn)》,其中x∈X二R";片∈{c1,c2,…,cm},m为疾 重的特征工程等缺点，同时针对皮肤病数据小样 病标签总个数；皮肤病数据集D={(x1,y),(2,2),…, 本问题，本文提出了融合迁移学习和神经网络的 (xn,yn)h,其中x∈X≤R,y∈{c,c2,…,cmlo 皮肤病辅助诊断方法(method based on transfer 输出皮肤病诊断模型F。 learning and neural networks for classification,TLNN). 源模型训练：使用基于神经网络的文本分类 1)模型构建 模型在预训练数据集De上训练皮肤病诊断模型 皮肤病诊断模型构建流程如图4所示。首 Model(,ie{TextLSTM,TextCNN,RCNN,并保存 先，对皮肤病专业书籍进行知识抽取和整理，获 模型Model(x)的参数，如式(I)所示，PreTrain( 得皮肤病的相关知识；然后，使用虚拟数据集构 表示预训练过程。 建方法，建立皮肤病虚拟数据集，即为源域数据 Model t (x)=PreTrain(Dose) (1) 集；接下来，在虚拟数据集上预训练TextLSTM、 真实数据训练：使用预训练获得的模型 TextCNN以及RCNN3个神经网络文本分类模 Model(w)(ie [TextLSTM,TextCNN,RCNN)的模型 型，即为源模型；最后，使用迁移学习技术，将源 参数，在皮肤病数据集D上训练皮肤病分类预测 模型在皮肤病真实数据集上继续训练，获得最终 模型Mode@(x)为 的皮肤病诊断模型。 Model(x)=Train(Model(x),D) (2) 皮肤病 专业书籍 模型融合： ①使用TextCNN、TextLSTM以及RCNN模 皮肤病 型依次执行步骤①、②，获得3个皮肤病诊断模 相关知识 型FTexLSTM(x)、FTexICNN()以及FRCNN()。 ②通过概论等权重融合方式将多个皮肤病 皮肤病 诊断模型组合为一个皮肤病诊断模型为 虚拟数据集 Fj(x)=(FTexCNN (x),FTeXLSTM(x).FRCNN(x)}(3) 2)诊断 TextCNN TextLSTM RCNN 源模型 源模型 源模型 给定一个未知皮肤病标签集合的病例样本， 诊断其可能的皮肤病标签集合，实现方法如下： TextCNN TextLSTM RCNN ①给定待预测样本x: 诊断模型 诊断断型 诊断模型 ②根据诊断器FeCw()、FTexLLSTM()以及 FRcw(x),得到3个m维向量，分别为TexLSTM 皮肤病 诊断模型 TextCNN以及RCNN诊断模型对样本x进行分类 预测的结果，向量第j维表示样本x属于皮肤病 图4皮肤病诊断模型构建流程 标签c的概率，如式(4)(6)所示： Fig.4 Process of building diagnostic model for skin dis- eases PTexLSTM=FTeXILSTM (x) (4) 算法1详细叙述了融合迁移学习和神经网络 PTEXICNN =FTeXICNN (X) (5) 的皮肤病诊断模型构建方法，如步骤①~②所 PRCNN FRONN (X) (6) 示。预训练数据集Dpe为虚拟数据集，数据集中 ③对于待预测样本x,3个基础诊断器给出了 的任意一个数据x,为生成的虚拟病例样本；皮肤 3个向量，采用等概率加权融合的方式可以确定 病数据集D为真实数据集，数据集中的任意一个 出最终诊断器F给出的概率P,如式(7)所示。 数据x,为真实病例样本。算法分为3个步骤：1)进 向量中值最大一维j所对应的疾病标签c即为样 行源模型训练；2)进行真实数据训练；3)进行模 本x的诊断结果。 型融合，获得最终的皮肤病诊断模型。 1 算法1融合迁移学习和神经网络的皮肤病 P.=F()=PRC+PrNNPTICNN (7)
3.2 皮肤病辅助诊断方法 为避免其他机器学习方法无法有效表达病情 发展的时间顺序、难以构建复杂函数模型以及繁 重的特征工程等缺点，同时针对皮肤病数据小样 本问题，本文提出了融合迁移学习和神经网络的 皮肤病辅助诊断方法 (method based on transfer learning and neural networks for classification，TLNN)。 1) 模型构建 皮肤病诊断模型构建流程如图 4 所示。首 先，对皮肤病专业书籍进行知识抽取和整理，获 得皮肤病的相关知识；然后，使用虚拟数据集构 建方法，建立皮肤病虚拟数据集，即为源域数据 集；接下来，在虚拟数据集上预训练 TextLSTM、 TextCNN 以及 RCNN 3 个神经网络文本分类模 型，即为源模型；最后，使用迁移学习技术，将源 模型在皮肤病真实数据集上继续训练，获得最终 的皮肤病诊断模型。 皮肤病 专业书籍 皮肤病 相关知识 皮肤病 虚拟数据集 TextCNN 源模型 TextCNN 诊断模型 皮肤病 诊断模型 TextLSTM 源模型 RCNN 源模型 RCNN 诊断模型 TextLSTM 诊断断型 图 4 皮肤病诊断模型构建流程 Fig. 4 Process of building diagnostic model for skin diseases 算法 1 详细叙述了融合迁移学习和神经网络 的皮肤病诊断模型构建方法，如步骤①~②所 示。预训练数据集 Dpre 为虚拟数据集，数据集中 的任意一个数据 xi 为生成的虚拟病例样本；皮肤 病数据集 D 为真实数据集，数据集中的任意一个 数据 xi 为真实病例样本。算法分为 3 个步骤：1）进 行源模型训练；2）进行真实数据训练；3）进行模 型融合，获得最终的皮肤病诊断模型。 算法 1 融合迁移学习和神经网络的皮肤病 诊断模型构建方法 Dpre = {(x1, y1),(x2, y2),··· , (xn, yn)} xi ∈ X ⊆ R n yi ∈ {c1, c2,··· , cm} D = {(x1, y1),(x2, y2),··· , (xn, yn)} xi ∈ X ⊆ R n yi ∈ {c1, c2,··· , cm} 输入 预训练数据集 ，其中 ； ， m 为疾 病标签总个数；皮肤病数据集 ，其中 ， 。 输出 皮肤病诊断模型 F。 Model(i) pre (x) i ∈ {TextLSTM,TextCNN,RCNN} Model(i) pre (x) PreTrain() 源模型训练：使用基于神经网络的文本分类 模型在预训练数据集 Dpre 上训练皮肤病诊断模型 ， ，并保存 模型 的参数，如式 (1) 所示， 表示预训练过程。 Model(i) pre (x) = PreTrain( Dpre) (1) Model(i) pre (x) (i ∈ {TextLSTM,TextCNN,RCNN}) Model (i) (x) 真实数据训练：使用预训练获得的模型 的模型 参数，在皮肤病数据集 D 上训练皮肤病分类预测 模型 为 Model(i) (x) = Train( Model(i) pre (x),D ) (2) 模型融合： FTextLSTM (x) FTextCNN (x) FRCNN (x) ① 使用 TextCNN、TextLSTM 以及 RCNN 模 型依次执行步骤①、②，获得 3 个皮肤病诊断模 型 、 以及 。 ② 通过概论等权重融合方式将多个皮肤病 诊断模型组合为一个皮肤病诊断模型为 Fj(x) = {FTextCNN (x),FTextLSTM (x),FRCNN (x)} (3) 2) 诊断 给定一个未知皮肤病标签集合的病例样本， 诊断其可能的皮肤病标签集合，实现方法如下： ① 给定待预测样本 x； FTextCNN (x) FTextLSTM (x) FRCNN (x) ②根据诊断器 、 以 及 ，得到 3 个 m 维向量，分别为 TexLSTM、 TextCNN 以及 RCNN 诊断模型对样本 x 进行分类 预测的结果，向量第 j 维表示样本 x 属于皮肤病 标签 cj 的概率，如式 (4)~(6) 所示： PTextLSTM = FTextLSTM (x) (4) PTextCNN = FTextCNN (x) (5) PRCNN = FRCNN (x) (6) ③ 对于待预测样本 x，3 个基础诊断器给出了 3 个向量，采用等概率加权融合的方式可以确定 出最终诊断器 F 给出的概率 Px，如式 (7) 所示。 向量中值最大一维 j 所对应的疾病标签 cj 即为样 本 x 的诊断结果。 Px∈cj = Fj(x) = 1 3 PRCNN + 1 3 PTextRNN + 1 3 PTextCNN (7) 第 3 期 商显震，等：融合迁移学习和神经网络的皮肤病诊断方法 ·455·
·456· 智能系统学报 第15卷 4 实验结果与分析 正确率(Accuracy)对模型在多分类数据集上的表 现进行评价，T表示被正确分类的样本数量、N表 本文将融合迁移学习和神经网络的皮肤病诊 示样本总数，正确率使用式(10)进行计算。 断方法与其他文本分类方法在皮肤病二分类与多 TP 分类数据集上进行了对比实验，对比方法有 Precision TP+EP (8) TextCNN、TextLSTM以及RCNN等。 TP 文本形式病例数据全部来自“爱爱医医学网 Recall TP+FN (9) 病例中心”(https:/bingli.iiyi.com/)。皮肤病二分类 T 数据集如表1所示，“接触性皮炎”二分类数据集 Accuracy=N (10) 中，正样本数量为22，表示患有接触性皮炎的病 多种分类方法在皮肤病二分类数据集上的准 例样本，负样本是在其他皮肤病病例中随机抽取 确率如表3所示，召回率如表4所示，使用迁移学 的与正样本数量相同的病例样本。本文使用7个 习后的准曲率和召回率如表5、6所示。未使用迁 皮肤病二分类数据集进行融合迁移学习与神经网 移学习技术时，TextLSTM在1种皮肤病上准确率 络的皮肤病诊断方法实验，这7个皮肤病二分类 最高，在0种皮肤病上召回率最高；TextCNN在 数据集分别为：接触性皮炎、带状疱疹、过敏性紫 5种皮肤病上准确率最高，在4种皮肤病上召回 癜、红斑狼疮、荨麻疹、湿疹以及银翘病。皮肤病 率最高；RCNN在1种皮肤病上准确率最高，在 多分类数据集如表2所示，该数据集的样本数量 3种皮肤病上召回率最高。使用迁移学习技术 为178，皮肤病类别标签数量为7。本文实验结果 后，TextCNN在4种皮肤病上准确率最高，RCNN 均为10次重复实验结果的平均值。 在2中皮肤病上准确率最高。 表1皮肤病二分类数据集 表3：皮肤病二分类数据集上的准确率 Table 1 Binary classification data sets of skin diseases Table 3 Precision on the data sets of skin diseases for 数据集 样本数量 正样本数量 binary classification 号 接触性皮炎 44 22 数据集 TextLSTM TextCNN RCNN FMNN 带状疱疹 78 39 接触性皮炎 31.82 25.56 64.58 68.61 过敏性紫藏 56 28 带状疱疹 64.63 24.74 49.20 80.11 红斑狼疮 56 28 过敏性紫镀 67.42 70.20 51.14 51.67 荨麻疹 40 20 红斑狼疮 54.00 87.22 86.03 96.00 湿疹 42 21 荨麻疹 36.06 56.86 23.32 22.50 银翘病 40 20 湿疹 63.44 74.89 33.75 62.14 表2皮肤病多分类数据集 银翘病 56.14 83.33 82.92 70.00 Table 2 Multiple classification data set of skin diseases 数据集 样本数量 标签数量 表4皮肤病二分类数据集上的召回率 皮肤病 178 7 Table 4 Recall rate on the data sets of skin diseases for binary classification % 本文采用准确率(Precision)和召回率(Recall) 数据集 TextLSTM TextCNN RCNN FMNN 2个指标对模型在二分类数据集上的表现进行评 接触性皮炎 56.36 23.11 64.50 93.33 价。本文根据样本的预测标签值和原始标签值将 带状疱疹 样本进行划分：TP表示预测模型结果为正样本， 76.26 35.19 88.00 87.77 真实标签为正样本的样本个数；FP表示预测模型 过敏性紫癜 65.84 81.43 68.57 80.00 结果为正样本，真实标签为负样本的样本个数； 红斑狼疮 60.06 81.67 96.00 96.00 TN表示预测模型结果为负样本，真实标签为负 荨麻疹 45.15 90.00 37.50 60.00 样本的样本个数；FN表示预测模型结果为负样 湿疹 46.45 73.33 41.25 70.00 本，真实标签为正样本的样本个数。本文采用的 银翘病 76.36 96.00 83.17 62.14 精确率、召回率分别如式(8)、（⑨）计算。本文采用
4 实验结果与分析 本文将融合迁移学习和神经网络的皮肤病诊 断方法与其他文本分类方法在皮肤病二分类与多 分类数据集上进行了对比实验，对比方法 有 TextCNN、TextLSTM 以及 RCNN 等。 文本形式病例数据全部来自“爱爱医医学网- 病例中心”(https://bingli.iiyi.com/)。皮肤病二分类 数据集如表 1 所示，“接触性皮炎”二分类数据集 中，正样本数量为 22，表示患有接触性皮炎的病 例样本，负样本是在其他皮肤病病例中随机抽取 的与正样本数量相同的病例样本。本文使用 7 个 皮肤病二分类数据集进行融合迁移学习与神经网 络的皮肤病诊断方法实验，这 7 个皮肤病二分类 数据集分别为：接触性皮炎、带状疱疹、过敏性紫 癜、红斑狼疮、荨麻疹、湿疹以及银翘病。皮肤病 多分类数据集如表 2 所示，该数据集的样本数量 为 178，皮肤病类别标签数量为 7。本文实验结果 均为 10 次重复实验结果的平均值。 表 1 皮肤病二分类数据集 Table 1 Binary classification data sets of skin diseases 数据集 样本数量 正样本数量 接触性皮炎 44 22 带状疱疹 78 39 过敏性紫癜 56 28 红斑狼疮 56 28 荨麻疹 40 20 湿疹 42 21 银翘病 40 20 表 2 皮肤病多分类数据集 Table 2 Multiple classification data set of skin diseases 数据集 样本数量 标签数量 皮肤病 178 7 本文采用准确率 (Precision) 和召回率 (Recall) 2 个指标对模型在二分类数据集上的表现进行评 价。本文根据样本的预测标签值和原始标签值将 样本进行划分：TP 表示预测模型结果为正样本， 真实标签为正样本的样本个数；FP 表示预测模型 结果为正样本，真实标签为负样本的样本个数； TN 表示预测模型结果为负样本，真实标签为负 样本的样本个数；FN 表示预测模型结果为负样 本，真实标签为正样本的样本个数。本文采用的 精确率、召回率分别如式 (8)、(9) 计算。本文采用 正确率 (Accuracy) 对模型在多分类数据集上的表 现进行评价，T 表示被正确分类的样本数量、N 表 示样本总数，正确率使用式 (10) 进行计算。 Precision = TP TP+FP (8) Recall = TP TP+FN (9) Accuracy = T N (10) 多种分类方法在皮肤病二分类数据集上的准 确率如表 3 所示，召回率如表 4 所示，使用迁移学 习后的准曲率和召回率如表 5、6 所示。未使用迁 移学习技术时，TextLSTM 在 1 种皮肤病上准确率 最高，在 0 种皮肤病上召回率最高；TextCNN 在 5 种皮肤病上准确率最高，在 4 种皮肤病上召回 率最高；RCNN 在 1 种皮肤病上准确率最高，在 3 种皮肤病上召回率最高。使用迁移学习技术 后，TextCNN 在 4 种皮肤病上准确率最高，RCNN 在 2 中皮肤病上准确率最高。 表 3 皮肤病二分类数据集上的准确率 Table 3 Precision on the data sets of skin diseases for binary classification % 数据集 TextLSTM TextCNN RCNN FMNN 接触性皮炎 31.82 25.56 64.58 68.61 带状疱疹 64.63 24.74 49.20 80.11 过敏性紫癜 67.42 70.20 51.14 51.67 红斑狼疮 54.00 87.22 86.03 96.00 荨麻疹 36.06 56.86 23.32 22.50 湿疹 63.44 74.89 33.75 62.14 银翘病 56.14 83.33 82.92 70.00 表 4 皮肤病二分类数据集上的召回率 Table 4 Recall rate on the data sets of skin diseases for binary classification % 数据集 TextLSTM TextCNN RCNN FMNN 接触性皮炎 56.36 23.11 64.50 93.33 带状疱疹 76.26 35.19 88.00 87.77 过敏性紫癜 65.84 81.43 68.57 80.00 红斑狼疮 60.06 81.67 96.00 96.00 荨麻疹 45.15 90.00 37.50 60.00 湿疹 46.45 73.33 41.25 70.00 银翘病 76.36 96.00 83.17 62.14 ·456· 智 能 系 统 学 报 第 15 卷
第3期 商显震，等：融合迁移学习和神经网络的皮肤病诊断方法 ·457· 表5皮肤病二分类数据集上的准确率（使用迁移学习） 弦相似度结合的方法(TICS)以及随机森林 Table 5 Precision rate on the data sets of skin diseases (RF)进行实验。4种对比方法在二分类任务上的 for binary classification (add the using of transfer learning) % 准确率和召回率分别如表8、9所示，在多分类任 务上的正确率如表10所示。对比表5和表8 数据集 TextLSTM TextCNN RCNN TLNN 可知，在二分类实验中，本文方法的准确率在6种 接触性皮炎 41.47 90.28 81.57 44.44 皮肤病上高于4种对比方法；对比表6和表9可 带状疱疹 83.43 63.80 59.99 93.14 知，在二分类实验中，本文方法的召回率在7种皮 过敏性紫藏 60.82 87.55 81.95 86.00 肤病上高于4种对比方法；对比表7和表10可 红斑狼疮 知，在多分类实验中，本文方法的正确率高于4种 60.00 82.92 82.19 71.55 非神经网络文本分类方法。 荨麻疹 9.94 47.57 87.00 58.67 湿疹 表7皮肤病多分类数据集上的正确率 64.33 76.00 63.33 81.95 Table 7 Accuracy on skin diseases data set for mul- 银翘病 69.95 89.33 96.67 63.84 tiple classification oo 分类方法 正确率 正确率（融入迁移学习） 表6：皮肤病二分类数据集上的召回率（使用迁移学习） Table 6 Recall rate on the data sets of skin diseases for TextLSTM 41.67 52.50 binary classification (add the using of transfer TextCNN 79.04 81.13 learning) % RCNN 63.19 83.33 数据集 TextLSTM TextCNN RCNN TLNN NN/TLNN 71.94 84.17 接触性皮炎 76.33 83.33 77.83 96.00 带状疱疹 79.03 71.90 96.02 74.60 表8皮肤病二分类数据集上的准确率（传统分类方法） 过敏性紫藏 78.48 91.11 87.78 93.14 Table 8 Precision rate on the data sets of skin diseases 红斑狼疮 for binary classification (traditional classifica- 60.01 96.67 97.50 98.00 tion methods) 荨麻疹 23.33 70.00 85.00 60.00 数据集 NB DT KNN TICS 湿疹 61.16 83.00 62.33 77.67 接触性皮炎 59.63 58.13 55.27 51.46 银翘病 73.50 96.00 82.66 93.75 带状疱疹 59.55 49.72 50.29 60.89 在不使用迁移学习的情况下，神经网络模型 过敏性紫癜 62.36 57.32 47.43 49.78 等权重融合方法(fusion method of neural network, 红斑狼疮 60.33 61.58 50.62 42.35 FMNN)在7种皮肤病中的3种皮肤病上准确率 荨麻疹 54.05 57.55 42.92 44.67 最高，仅次于TextCNN;在2种皮肤病上召回率最 高，仅次于TextCNN。在使用迁移学习的情况 湿疹 55.49 59.33 49.31 51.25 下，TLNN方法在2种皮肤病上准确率最高，仅次 银翘病 58.52 42.41 49.57 52.05 于TextCNN;在3种皮肤病上召回率最高，为最优 表9 模型。迁移学习的使用对7个皮肤病二分类数据 皮肤病二分类数据集上的召回率（传统分类方法） Table 9 Recall rate on the data sets of skin diseases for 集和4种实验方法共28个准确率中的22个产生 binary classification (traditional classification 了积极影响，积极影响率为78.57%：对21个召回 methods) % 率产生了积极影响，积极影响率为75.00%。 数据集 NB DT KNN TICS 本文方法在皮肤病多分类数据集上的正确率 接触性皮炎 61.33 55.17 59.89 57.55 如表7所示。在皮肤病多分类实验中，迁移学习 对4种方法的正确率均产生了积极影响，最高可 带状疱疹 61.51 60.80 55.20 63.87 提升20.14%。本文提出的TLNN方法正确率最 过敏性紫癜 55.81 59.05 54.47 44.02 高，为84.17%，比第2名方法RCNN高0.84%。 红斑狼疮 63.43 60.36 53.25 59.02 为证明本文方法相对于非神经网络文本分类 荨麻疹 61.33 57.05 55.74 47.71 方法的优越性，本文使用空间模型对皮肤病文本 湿疹 64.50 62.75 49.00 51.44 病例数据进行形式化，然后通过朴素贝叶斯 银翘病 54.17 NB)、决策树(DT)、K最邻近(KNN)、TF-IDF与余 61.78 63.16 58.14
表 5 皮肤病二分类数据集上的准确率 (使用迁移学习) Table 5 Precision rate on the data sets of skin diseases for binary classification (add the using of transfer learning) % 数据集 TextLSTM TextCNN RCNN TLNN 接触性皮炎 41.47 90.28 81.57 44.44 带状疱疹 83.43 63.80 59.99 93.14 过敏性紫癜 60.82 87.55 81.95 86.00 红斑狼疮 60.00 82.92 82.19 71.55 荨麻疹 9.94 47.57 87.00 58.67 湿疹 64.33 76.00 63.33 81.95 银翘病 69.95 89.33 96.67 63.84 表 6 皮肤病二分类数据集上的召回率 (使用迁移学习) Table 6 Recall rate on the data sets of skin diseases for binary classification (add the using of transfer learning) % 数据集 TextLSTM TextCNN RCNN TLNN 接触性皮炎 76.33 83.33 77.83 96.00 带状疱疹 79.03 71.90 96.02 74.60 过敏性紫癜 78.48 91.11 87.78 93.14 红斑狼疮 60.01 96.67 97.50 98.00 荨麻疹 23.33 70.00 85.00 60.00 湿疹 61.16 83.00 62.33 77.67 银翘病 73.50 96.00 82.66 93.75 在不使用迁移学习的情况下，神经网络模型 等权重融合方法 (fusion method of neural network, FMNN) 在 7 种皮肤病中的 3 种皮肤病上准确率 最高，仅次于 TextCNN；在 2 种皮肤病上召回率最 高，仅次于 TextCNN。在使用迁移学习的情况 下，TLNN 方法在 2 种皮肤病上准确率最高，仅次 于 TextCNN；在 3 种皮肤病上召回率最高，为最优 模型。迁移学习的使用对 7 个皮肤病二分类数据 集和 4 种实验方法共 28 个准确率中的 22 个产生 了积极影响，积极影响率为 78.57%；对 21 个召回 率产生了积极影响，积极影响率为 75.00%。 本文方法在皮肤病多分类数据集上的正确率 如表 7 所示。在皮肤病多分类实验中，迁移学习 对 4 种方法的正确率均产生了积极影响，最高可 提升 20.14%。本文提出的 TLNN 方法正确率最 高，为 84.17%，比第 2 名方法 RCNN 高 0.84%。 为证明本文方法相对于非神经网络文本分类 方法的优越性，本文使用空间模型对皮肤病文本 病例数据进行形式化，然后通过朴素贝叶 斯 (NB)、决策树 (DT)、K 最邻近 (KNN)、TF-IDF 与余 弦相似度结合的方 法 (TICS ) 以及随机森 林 (RF) 进行实验。4 种对比方法在二分类任务上的 准确率和召回率分别如表 8、9 所示，在多分类任 务上的正确率如表 10 所示。对比表 5 和表 8 可知，在二分类实验中，本文方法的准确率在 6 种 皮肤病上高于 4 种对比方法；对比表 6 和表 9 可 知，在二分类实验中，本文方法的召回率在 7 种皮 肤病上高于 4 种对比方法；对比表 7 和表 10 可 知，在多分类实验中，本文方法的正确率高于 4 种 非神经网络文本分类方法。 表 7 皮肤病多分类数据集上的正确率 Table 7 Accuracy on skin diseases data set for multiple classification % 分类方法 正确率 正确率(融入迁移学习) TextLSTM 41.67 52.50 TextCNN 79.04 81.13 RCNN 63.19 83.33 NN/TLNN 71.94 84.17 表 8 皮肤病二分类数据集上的准确率 (传统分类方法) Table 8 Precision rate on the data sets of skin diseases for binary classification (traditional classification methods) % 数据集 NB DT KNN TICS 接触性皮炎 59.63 58.13 55.27 51.46 带状疱疹 59.55 49.72 50.29 60.89 过敏性紫癜 62.36 57.32 47.43 49.78 红斑狼疮 60.33 61.58 50.62 42.35 荨麻疹 54.05 57.55 42.92 44.67 湿疹 55.49 59.33 49.31 51.25 银翘病 58.52 42.41 49.57 52.05 表 9 皮肤病二分类数据集上的召回率 (传统分类方法) Table 9 Recall rate on the data sets of skin diseases for binary classification (traditional classification methods) % 数据集 NB DT KNN TICS 接触性皮炎 61.33 55.17 59.89 57.55 带状疱疹 61.51 60.80 55.20 63.87 过敏性紫癜 55.81 59.05 54.47 44.02 红斑狼疮 63.43 60.36 53.25 59.02 荨麻疹 61.33 57.05 55.74 47.71 湿疹 64.50 62.75 49.00 51.44 银翘病 61.78 63.16 54.17 58.14 第 3 期 商显震，等：融合迁移学习和神经网络的皮肤病诊断方法 ·457·
·458· 智能系统学报 第15卷 表10皮肤病多分类数据集上的正确率（传统分类方法） cer,2018,142(2):357-368 Table 10 Recall rate on the data sets of skin diseases [3]SAYIN R,KESKIN S,HAMAMCI M.Evaluation of sev- for binary classification (traditional classific- eral classification methods in carpal tunnel syndrome[J]. ation methods) % The journal of the Pakistan medical association,2017, 分类方法 NB RF KNN TICS 67(11):16541657. 正确率 61.84 64.06 55.19 54.42 [4]EL BAKRAWY L M.Grey wolf optimization and naive Bayes classifier incorporation for heart disease 在皮肤病二分类数据集上，本文提出融合迁 diagnosis[J].Australian journal of basic and applied sci- 移学习和神经网络的皮肤病辅助诊断方法的召回 ences..2017,11(7):6470. 率优于TextLSTM、TextCNN、RCNN3种神经网 [5]LIU Jingzhou,CHANG Weicheng,WU Yuexin,et al. 络文本分类方法，以及NB、DT、KNN、TICS4种 Deep learning for extreme multi-label text classification 方法；准确率仅次于TextCNN。在皮肤病多分类 [C]//Proceedings of the 40th International ACM SIGIR 数据集上，本文方法的正确率优于对比方法。迁 Conference on Research and Development in Information 移学习的使用将皮肤病专业书籍中的理论知识有 Retrieval.Shinjuku,Japan,2017:115-124. 效地迁移到了诊断模型中，对实验结果产生了积 [6]王诗琪，刘洁，朱晨雨.皮肤科医师与深度卷积神经网络 极影响。在二分类实验中，迁移学习的积极影响 诊断色素痣和脂溢性角化病皮肤镜图像比较).中华皮 率高于75%，在多分类实验中，迁移学习的积极 肤科杂志，2018,51(7)：486-489. 影响率为100%。 WAMG S Q,LIU J,ZHU C Y.Comparison of diagnostic performance of dermatologists versus deep convolutional 5结束语 neural network for dermoscopic images of pigmented nevus and seborrheic keratosis[J].Chinese journal of der- 本文提出了融合迁移学习和神经网络的皮肤 matology,2018,51(7):486-489 病辅助诊断方法，针对传统机器学习算法对复杂 [7]ESTEVA A,KUPREL B,NOVOA R A,et al.Dermatolo- 函数的表达能力有限，特征构建工作耗费大量人 gist-level classification of skin cancer with deep neural net- 工成本，以及基于医学特征的机器学习诊断方法 works[J.Nature,2017,542(7639:115-118. 难以表达皮肤病临床表现的时间顺序性等问题进 [8]林伟铭，高钦泉，杜民.卷积神经网络诊断阿尔兹海默症 行了改进，根据皮肤病书籍知识构建的虚拟数据 的方法).计算机应用，2017,37(12)：3504-3508. 集预训练神经网络模型，使用迁移学习技术将书 LIN Weiming,GAO Qinquan,DU Min.Convolutional 籍中的皮肤病知识迁移到皮肤病诊断模型中，在 neural network based method for diagnosis of Alzheimer's 皮肤病数据集上继续训练皮肤病诊断模型。本文 disease[J].Journal of computer applications,2017,37(12): 使用皮肤病数据集进行实验，通过与基于神经网 35043508. 络的文本分类方法TextLSTM、TextCNN、RCNN [9]DOU Qi,CHEN Hao,JIN Yueming,et al.Automated pul- monary nodule detection via 3D ConvNets with online 以及非神经网络文本分类方法NB、DT、RF、 sample filtering and hybrid-loss residual learning[C]//Pro- KNN、TICS进行对比，本文方法取得了较好的实 ceedings of the 20th International Conference on Medical 验效果。 Image Computing and Computer-Assisted Intervention. 参考文献： Quebec City,Canada,2017:630-638. [10]WIMMER G.VECSEI A.UHL A.CNN transfer learn- [1]尤艳明，李邻峰.北京市海淀区社区人群常见皮肤病流 ing for the automated diagnosis of celiac disease[Cl/Pro- 行病学调查及风险因素分析).中国皮肤性病学杂志， ceedings of the 2016 Sixth International Conference on 2011,25(6:459-461 Image Processing Theory,Tools and Applications.Oulu, YOU Y M.LI L F.The prevalence of skin diseases in a Finland,2016:1-6. community of beijing and analysis of risk factors[J].The [11]CHENG Danni,LIU Manhua,FU Jianliang,et al.Classi- Chinese journal of dermatovenereology,2011,25(6): fication of MR brain images by combination of multi- 459-461 CNNs for AD diagnosis[C]//Proceedings of the SPIE [2]JIANG Weiqin,SHEN Yifei,DING Yongfeng,et al.A na- 10420,Ninth International Conference on Digital Image ive Bayes algorithm for tissue origin diagnosis (TOD- Processing.Hong Kong,China,2017:1042042. Bayes)of synchronous multifocal tumors in the hepatobili- [12]CHE Zhengping,KALE D,LI Wenzhe,et al.Deep com- ary and pancreatic system[J].International journal of can- putational Phenotyping[Cl//Proceedings of the 21th ACM
表 10 皮肤病多分类数据集上的正确率 (传统分类方法) Table 10 Recall rate on the data sets of skin diseases for binary classification (traditional classification methods) % 分类方法 NB RF KNN TICS 正确率 61.84 64.06 55.19 54.42 在皮肤病二分类数据集上，本文提出融合迁 移学习和神经网络的皮肤病辅助诊断方法的召回 率优于 TextLSTM、TextCNN、RCNN 3 种神经网 络文本分类方法，以及 NB、DT、KNN、TICS 4 种 方法；准确率仅次于 TextCNN。在皮肤病多分类 数据集上，本文方法的正确率优于对比方法。迁 移学习的使用将皮肤病专业书籍中的理论知识有 效地迁移到了诊断模型中，对实验结果产生了积 极影响。在二分类实验中，迁移学习的积极影响 率高于 75%，在多分类实验中，迁移学习的积极 影响率为 100%。 5 结束语 本文提出了融合迁移学习和神经网络的皮肤 病辅助诊断方法，针对传统机器学习算法对复杂 函数的表达能力有限，特征构建工作耗费大量人 工成本，以及基于医学特征的机器学习诊断方法 难以表达皮肤病临床表现的时间顺序性等问题进 行了改进，根据皮肤病书籍知识构建的虚拟数据 集预训练神经网络模型，使用迁移学习技术将书 籍中的皮肤病知识迁移到皮肤病诊断模型中，在 皮肤病数据集上继续训练皮肤病诊断模型。本文 使用皮肤病数据集进行实验，通过与基于神经网 络的文本分类方法 TextLSTM、TextCNN、RCNN 以及非神经网络文本分类方 法 NB、 DT、 RF、 KNN、TICS 进行对比，本文方法取得了较好的实 验效果。 参考文献： 尤艳明, 李邻峰. 北京市海淀区社区人群常见皮肤病流 行病学调查及风险因素分析 [J]. 中国皮肤性病学杂志, 2011, 25(6): 459–461. YOU Y M, LI L F. The prevalence of skin diseases in a community of beijing and analysis of risk factors[J]. The Chinese journal of dermatovenereology, 2011, 25(6): 459–461. [1] JIANG Weiqin, SHEN Yifei, DING Yongfeng, et al. A naive Bayes algorithm for tissue origin diagnosis (TODBayes) of synchronous multifocal tumors in the hepatobiliary and pancreatic system[J]. International journal of can- [2] cer, 2018, 142(2): 357–368. SAYIN R, KESKIN S, HAMAMCI M. Evaluation of several classification methods in carpal tunnel syndrome[J]. The journal of the Pakistan medical association, 2017, 67(11): 1654–1657. [3] EL BAKRAWY L M. Grey wolf optimization and naive Bayes classifier incorporation for heart disease diagnosis[J]. Australian journal of basic and applied sciences, 2017, 11(7): 64–70. [4] LIU Jingzhou, CHANG Weicheng, WU Yuexin, et al. Deep learning for extreme multi-label text classification [C]//Proceedings of the 40th International ACM SIGIR Conference on Research and Development in Information Retrieval. Shinjuku, Japan, 2017: 115–124. [5] 王诗琪, 刘洁, 朱晨雨. 皮肤科医师与深度卷积神经网络 诊断色素痣和脂溢性角化病皮肤镜图像比较 [J]. 中华皮 肤科杂志, 2018, 51(7): 486–489. WAMG S Q, LIU J, ZHU C Y. Comparison of diagnostic performance of dermatologists versus deep convolutional neural network for dermoscopic images of pigmented nevus and seborrheic keratosis[J]. Chinese journal of dermatology, 2018, 51(7): 486–489. [6] ESTEVA A, KUPREL B, NOVOA R A, et al. Dermatologist-level classification of skin cancer with deep neural networks[J]. Nature, 2017, 542(7639): 115–118. [7] 林伟铭, 高钦泉, 杜民. 卷积神经网络诊断阿尔兹海默症 的方法 [J]. 计算机应用, 2017, 37(12): 3504–3508. LIN Weiming, GAO Qinquan, DU Min. Convolutional neural network based method for diagnosis of Alzheimer's disease[J]. Journal of computer applications, 2017, 37(12): 3504–3508. [8] DOU Qi, CHEN Hao, JIN Yueming, et al. Automated pulmonary nodule detection via 3D ConvNets with online sample filtering and hybrid-loss residual learning[C]//Proceedings of the 20th International Conference on Medical Image Computing and Computer-Assisted Intervention. Quebec City, Canada, 2017: 630–638. [9] WIMMER G, VÉCSEI A, UHL A. CNN transfer learning for the automated diagnosis of celiac disease[C]//Proceedings of the 2016 Sixth International Conference on Image Processing Theory, Tools and Applications. Oulu, Finland, 2016: 1–6. [10] CHENG Danni, LIU Manhua, FU Jianliang, et al. Classification of MR brain images by combination of multiCNNs for AD diagnosis[C]//Proceedings of the SPIE 10420, Ninth International Conference on Digital Image Processing. Hong Kong, China, 2017: 1042042. [11] CHE Zhengping, KALE D, LI Wenzhe, et al. Deep computational Phenotyping[C]//Proceedings of the 21th ACM [12] ·458· 智 能 系 统 学 报 第 15 卷
第3期 商显震，等：融合迁移学习和神经网络的皮肤病诊断方法 ·459· SIGKDD International Conference on Knowledge Dis- 26(126-39 covery and Data Mining.Australia,2015:507-516. [20]PAN S J,YANG Q.A survey on transfer learning[J]. [13]DABEK F D,CABAN J J.A neural network based mod- IEEE transactions on knowledge and data engineering, el for predicting psychological conditions[C]//Proceed- 2010.22(10少：1345-1359. ings of 8th International Conference on Brain Informatics [21]WEI Fengmei,ZHANG Jianpei,CHU Yan,et al.FSFP: and Health.London,UK,2015:252-261. transfer learning from long texts to the short[J].Applied [14]RUGHANI A I,DUMONT T M,LU Zhenyu,et al.Use mathematics information sciences,2014,8(4): of an artificial neural network to predict head injury out- come:clinical article[J].Journal of neurosurgery,2010, 2033-2040. 113(3):585-590 作者简介： [15]LASKO T A,DENNY J C,LEVY M A.Computational 商显震，硕士研究生，主要研究方 phenotype discovery using unsupervised feature learning 向为数据挖掘、机器学习。 over noisy,sparse,and irregular clinical data[J.PLoS one,2013,8(6):e6634L. [16]KIM Y.Convolutional neural networks for sentence clas- sification[C]//In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP),2014:1746-1751. 韩萌，副教授，博土，主要研究方 [17]HOPFIELD J J.Neural networks and physical systems 向为数据挖掘、机器学习。主持国家 with emergent collective computational abilities[J].Pro- 自然科学基金、宁夏自然科学基金 等多个基金项目。发表学术论文30 ceedings of the national academy of sciences of the 余篇。 United States of America,1982,79(8):2554-2558. [18]LAI Siwei,XU Liheng,LIU Kang,et al.Recurrent con- volutional neural networks for text classification[C]//Pro- ceedings of the Twenty-Ninth AAAI Conference on Arti- 王少峰，硕士研究生，主要研究方 ficial Intelligence.Austin,USA,2015:2267-2273. 向为数据挖掘。 [19]庄福振，罗平，何清，等.迁移学习研究进展).软件学 报，2015,26(1)：26-39 ZHUANG Fuzhen,LUO Ping,HE Qing,et al.Survey on transfer learning research[J].Journal of software,2015
SIGKDD International Conference on Knowledge Discovery and Data Mining. Australia, 2015: 507–516. DABEK F D, CABAN J J. A neural network based model for predicting psychological conditions[C]//Proceedings of 8th International Conference on Brain Informatics and Health. London, UK, 2015: 252–261. [13] RUGHANI A I, DUMONT T M, LU Zhenyu, et al. Use of an artificial neural network to predict head injury outcome: clinical article[J]. Journal of neurosurgery, 2010, 113(3): 585–590. [14] LASKO T A, DENNY J C, LEVY M A. Computational phenotype discovery using unsupervised feature learning over noisy, sparse, and irregular clinical data[J]. PLoS one, 2013, 8(6): e66341. [15] KIM Y. Convolutional neural networks for sentence classification[C]//In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), 2014: 1746–1751. [16] HOPFIELD J J. Neural networks and physical systems with emergent collective computational abilities[J]. Proceedings of the national academy of sciences of the United States of America, 1982, 79(8): 2554–2558. [17] LAI Siwei, XU Liheng, LIU Kang, et al. Recurrent convolutional neural networks for text classification[C]//Proceedings of the Twenty-Ninth AAAI Conference on Artificial Intelligence. Austin, USA, 2015: 2267–2273. [18] 庄福振, 罗平, 何清, 等. 迁移学习研究进展 [J]. 软件学 报, 2015, 26(1): 26–39. ZHUANG Fuzhen, LUO Ping, HE Qing, et al. Survey on transfer learning research[J]. Journal of software, 2015, [19] 26(1): 26–39. PAN S J, YANG Q. A survey on transfer learning[J]. IEEE transactions on knowledge and data engineering, 2010, 22(10): 1345–1359. [20] WEI Fengmei, ZHANG Jianpei, CHU Yan, et al. FSFP: transfer learning from long texts to the short[J]. Applied mathematics & information sciences, 2014, 8(4): 2033–2040. [21] 作者简介： 商显震，硕士研究生，主要研究方 向为数据挖掘、机器学习。 韩萌，副教授，博士，主要研究方 向为数据挖掘、机器学习。主持国家 自然科学基金、宁夏自然科学基金 等多个基金项目。发表学术论文 30 余篇。 王少峰，硕士研究生，主要研究方 向为数据挖掘。 第 3 期 商显震，等：融合迁移学习和神经网络的皮肤病诊断方法 ·459·