第3期 商显震，等：融合迁移学习和神经网络的皮肤病诊断方法 ·455· 3.2皮肤病辅助诊断方法 诊断模型构建方法 为避免其他机器学习方法无法有效表达病情 输入预训练数据集De={(),(22),…, 发展的时间顺序、难以构建复杂函数模型以及繁 (xyn)》,其中x∈X二R";片∈{c1,c2,…,cm},m为疾 重的特征工程等缺点，同时针对皮肤病数据小样 病标签总个数；皮肤病数据集D={(x1,y),(2,2),…, 本问题，本文提出了融合迁移学习和神经网络的 (xn,yn)h,其中x∈X≤R,y∈{c,c2,…,cmlo 皮肤病辅助诊断方法(method based on transfer 输出皮肤病诊断模型F。 learning and neural networks for classification,TLNN). 源模型训练：使用基于神经网络的文本分类 1)模型构建 模型在预训练数据集De上训练皮肤病诊断模型 皮肤病诊断模型构建流程如图4所示。首 Model(,ie{TextLSTM,TextCNN,RCNN,并保存 先，对皮肤病专业书籍进行知识抽取和整理，获 模型Model(x)的参数，如式(I)所示，PreTrain( 得皮肤病的相关知识；然后，使用虚拟数据集构 表示预训练过程。 建方法，建立皮肤病虚拟数据集，即为源域数据 Model t (x)=PreTrain(Dose) (1) 集；接下来，在虚拟数据集上预训练TextLSTM、 真实数据训练：使用预训练获得的模型 TextCNN以及RCNN3个神经网络文本分类模 Model(w)(ie [TextLSTM,TextCNN,RCNN)的模型 型，即为源模型；最后，使用迁移学习技术，将源 参数，在皮肤病数据集D上训练皮肤病分类预测 模型在皮肤病真实数据集上继续训练，获得最终 模型Mode@(x)为 的皮肤病诊断模型。 Model(x)=Train(Model(x),D) (2) 皮肤病 专业书籍 模型融合： ①使用TextCNN、TextLSTM以及RCNN模 皮肤病 型依次执行步骤①、②，获得3个皮肤病诊断模 相关知识 型FTexLSTM(x)、FTexICNN()以及FRCNN()。 ②通过概论等权重融合方式将多个皮肤病 皮肤病 诊断模型组合为一个皮肤病诊断模型为 虚拟数据集 Fj(x)=(FTexCNN (x),FTeXLSTM(x).FRCNN(x)}(3) 2)诊断 TextCNN TextLSTM RCNN 源模型 源模型 源模型 给定一个未知皮肤病标签集合的病例样本， 诊断其可能的皮肤病标签集合，实现方法如下： TextCNN TextLSTM RCNN ①给定待预测样本x: 诊断模型 诊断断型 诊断模型 ②根据诊断器FeCw()、FTexLLSTM()以及 FRcw(x),得到3个m维向量，分别为TexLSTM 皮肤病 诊断模型 TextCNN以及RCNN诊断模型对样本x进行分类 预测的结果，向量第j维表示样本x属于皮肤病 图4皮肤病诊断模型构建流程 标签c的概率，如式(4)(6)所示： Fig.4 Process of building diagnostic model for skin dis- eases PTexLSTM=FTeXILSTM (x) (4) 算法1详细叙述了融合迁移学习和神经网络 PTEXICNN =FTeXICNN (X) (5) 的皮肤病诊断模型构建方法，如步骤①~②所 PRCNN FRONN (X) (6) 示。预训练数据集Dpe为虚拟数据集，数据集中 ③对于待预测样本x,3个基础诊断器给出了 的任意一个数据x,为生成的虚拟病例样本；皮肤 3个向量，采用等概率加权融合的方式可以确定 病数据集D为真实数据集，数据集中的任意一个 出最终诊断器F给出的概率P,如式(7)所示。 数据x,为真实病例样本。算法分为3个步骤：1)进 向量中值最大一维j所对应的疾病标签c即为样 行源模型训练；2)进行真实数据训练；3)进行模 本x的诊断结果。 型融合，获得最终的皮肤病诊断模型。 1 算法1融合迁移学习和神经网络的皮肤病 P.=F()=PRC+PrNNPTICNN (7)3.2 皮肤病辅助诊断方法 为避免其他机器学习方法无法有效表达病情 发展的时间顺序、难以构建复杂函数模型以及繁 重的特征工程等缺点，同时针对皮肤病数据小样 本问题，本文提出了融合迁移学习和神经网络的 皮肤病辅助诊断方法 (method based on transfer learning and neural networks for classification，TLNN)。 1) 模型构建 皮肤病诊断模型构建流程如图 4 所示。首 先，对皮肤病专业书籍进行知识抽取和整理，获 得皮肤病的相关知识；然后，使用虚拟数据集构 建方法，建立皮肤病虚拟数据集，即为源域数据 集；接下来，在虚拟数据集上预训练 TextLSTM、 TextCNN 以及 RCNN 3 个神经网络文本分类模 型，即为源模型；最后，使用迁移学习技术，将源 模型在皮肤病真实数据集上继续训练，获得最终 的皮肤病诊断模型。 皮肤病 专业书籍 皮肤病 相关知识 皮肤病 虚拟数据集 TextCNN 源模型 TextCNN 诊断模型 皮肤病 诊断模型 TextLSTM 源模型 RCNN 源模型 RCNN 诊断模型 TextLSTM 诊断断型 图 4 皮肤病诊断模型构建流程 Fig. 4 Process of building diagnostic model for skin dis￾eases 算法 1 详细叙述了融合迁移学习和神经网络 的皮肤病诊断模型构建方法，如步骤①~②所 示。预训练数据集 Dpre 为虚拟数据集，数据集中 的任意一个数据 xi 为生成的虚拟病例样本；皮肤 病数据集 D 为真实数据集，数据集中的任意一个 数据 xi 为真实病例样本。算法分为 3 个步骤：1）进 行源模型训练；2）进行真实数据训练；3）进行模 型融合，获得最终的皮肤病诊断模型。 算法 1 融合迁移学习和神经网络的皮肤病 诊断模型构建方法 Dpre = {(x1, y1),(x2, y2),··· , (xn, yn)} xi ∈ X ⊆ R n yi ∈ {c1, c2,··· , cm} D = {(x1, y1),(x2, y2),··· , (xn, yn)} xi ∈ X ⊆ R n yi ∈ {c1, c2,··· , cm} 输入 预训练数据集 ，其中 ； ， m 为疾 病标签总个数；皮肤病数据集 ，其中 ， 。 输出 皮肤病诊断模型 F。 Model(i) pre (x) i ∈ {TextLSTM,TextCNN,RCNN} Model(i) pre (x) PreTrain() 源模型训练：使用基于神经网络的文本分类 模型在预训练数据集 Dpre 上训练皮肤病诊断模型 ， ，并保存 模型 的参数，如式 (1) 所示， 表示预训练过程。 Model(i) pre (x) = PreTrain( Dpre) (1) Model(i) pre (x) (i ∈ {TextLSTM,TextCNN,RCNN}) Model (i) (x) 真实数据训练：使用预训练获得的模型 的模型 参数，在皮肤病数据集 D 上训练皮肤病分类预测 模型 为 Model(i) (x) = Train( Model(i) pre (x),D ) (2) 模型融合： FTextLSTM (x) FTextCNN (x) FRCNN (x) ① 使用 TextCNN、TextLSTM 以及 RCNN 模 型依次执行步骤①、②，获得 3 个皮肤病诊断模 型 、 以及 。 ② 通过概论等权重融合方式将多个皮肤病 诊断模型组合为一个皮肤病诊断模型为 Fj(x) = {FTextCNN (x),FTextLSTM (x),FRCNN (x)} (3) 2) 诊断 给定一个未知皮肤病标签集合的病例样本， 诊断其可能的皮肤病标签集合，实现方法如下： ① 给定待预测样本 x； FTextCNN (x) FTextLSTM (x) FRCNN (x) ②根据诊断器 、 以 及 ，得到 3 个 m 维向量，分别为 TexLSTM、 TextCNN 以及 RCNN 诊断模型对样本 x 进行分类 预测的结果，向量第 j 维表示样本 x 属于皮肤病 标签 cj 的概率，如式 (4)~(6) 所示： PTextLSTM = FTextLSTM (x) (4) PTextCNN = FTextCNN (x) (5) PRCNN = FRCNN (x) (6) ③ 对于待预测样本 x，3 个基础诊断器给出了 3 个向量，采用等概率加权融合的方式可以确定 出最终诊断器 F 给出的概率 Px，如式 (7) 所示。 向量中值最大一维 j 所对应的疾病标签 cj 即为样 本 x 的诊断结果。 Px∈cj = Fj(x) = 1 3 PRCNN + 1 3 PTextRNN + 1 3 PTextCNN (7) 第 3 期 商显震，等：融合迁移学习和神经网络的皮肤病诊断方法 ·455·