·1198 工程科学学报，第43卷，第9期 为了对图像分类，研究人员提出了卷积神经 的特征聚合网络，在一次检查中自动整合从多个 网络(CNN).CNN通常用于分析视觉图像，它将图 图像中提取的特征，利用结节的不同视图来提高 像的每个像素作为特征，是一种类似于人工神经 超声图像中对恶性结节的识别性能2).为了提高 网络的深度学习模型或多层感知器.第一代 多模态PET-CT中互补信息的融合，Kumar等提出 CNN是由LeCun于1998年提出的LeNet!.LeNet是 了一种新的监督卷积神经网络来学习融合互补信 为了解决手写数字的识别任务而提出的，是早期 息，用于多模态医学图像分析阿，它通过融合两幅 CNN中最具代表性的结构之一，此后，CNN最基 图像以实现更好的检测和分割.Joyseeree等提出 本的体系结构被确定为卷积层、池化层和全连接 了一种基于Riesz和深度学习特征融合的新方法， 层.在2012年，Krizhevsky提出了AlexNet!卷积 对肺部CT图像的病变类型进行识别27虽然，这 神经网络，并提出新的激活函数(RLU)、局部响 些基于特征融合的方法显示出了在医学图像分 应归一化(LRN)、DropOut和数据增强方法以提高 类、检测和分割任务上的优越性，但是，这些方法 网络的泛化能力.AlexNet赢得了ILSVRC20l2] 仍然没有利用到除医疗图像外的其他信息，例如 的第一名，从此，CNN受到了研究界的广泛关注 Wang等2只是融合多张图像特征，Joyseeree等7 在AlexNet之后，出现了许多优秀的CNN模型，这 是将卷积神经网络提取的图像特征与基于图像设 些CNN主要有三个发展方向：(a)更深：网络层 计的特征融合 更深，代表网络是VggNet!、ResNet!;(b)模块 而智能辅助诊断中经常需要结合临床症状与 化：模块化网络结构，代表网络是GoogleNet!61、 其他影像检查数据来进行综合诊断，为此，本文提 Inceptionv2、Inceptionv3l图和Inceptionv4;(c)更 出了一种医疗辅助诊断方法，将图像特征与数值 快：适用于移动设备的轻量级网络模型，代表 特征（如临床诊断信息）相结合，利用融合的特征 网络是SqueezeNet!o、MobileNet!、ShuffleNet!2 来确定患者的病情.本文提出的方法不仅可以充 MobileNetv2lI、ShuffleNetv22和MobileNetv3l. 分利用患者的病例信息，从而能够实现更准确的 在医学领域，为了更高效、更方便地诊断患者 分类；还可以同时处理不同类型的数据，从而达到 的病情，图像分类已经得到了广泛关注.Li等提出 同时判断多种疾病的效果，在一定程度上节省了 了一种基于注意的卷积神经网络(AG-CNN)用于 医学分析的时间，提高医学诊断的效率.该方法为 青光眼检测6Yang等提出了一种用于乳腺癌组 基于深度学习的自动医疗辅助诊断方法提出了新 织病理学图像分类的注意力引导卷积神经网络)] 的研究思路 Xu等提出了一种用于检测肺结节性恶性肿瘤的 1方法 卷积神经网络(MSCS-DeepLN)I阁.Mobiny等提 出了一种有效的胶粪网络变体(Caps net)作为 为了降低医学领域中自动医学辅助诊断系统 CNN的替代例Zhou等基于先验知识，提取相应 的误判概率，本文提出了一种新的诊断方法.该方 的特征对白内障进行分类2o.Wang等提供一种创 法将从图像中提取的特征与无法从图像中获取的 新的3D卷积网络，用于自动乳腺超声检测癌症， 其他特征相结合，利用融合的数据来确定患者是 以加快检查速度，同时获得较高的检测准确率2四 否患有某种疾病.实验表明，提出的方法可以减少 在Lu等的研究中，提出了一种新的基于深度学习 医学分析的时间，提高诊断准确率.基于提出的方 的CAD系统，以特定任务的先验知识为指导，用 法，本文设计了一个数据融合深度学习模型，该模 于超声图像中结节的自动检测和分类四Yao等 型由数据融合层和分类层两部分组成，模型的结 使用深度学习方法对宫颈细胞进行异常检测21 构如图1所示 众所周知，当医生诊断患者的病情时，不仅观察患 1.1数据融合层 者的图像信息（如CT图像），而且会结合忠者的临 数据融合层由特征提取模块和特征融合模块 床诊断信息做出最终决定.但是，目前医学领域的 两部分组成.特征提取模块的作用是利用卷积神 图像分类问题仅将图像放入卷积神经网络中来获 经网络提取图像特征，将输入的图像转换为特征 得诊断结果，并没有使用到临床诊断信息.为了提 向量.特征提取模型可以基于任何CNN网络（如 高医学图像分类准确率，一些研究引进特征融合 ResNet,.VGG,ShuffleNet等)，由于ShuffleNetv2属 技术.Zeng等基于空间特征融合，实现了颅内动 于轻量化网络，能够达到速度和准确度的均衡， 脉瘤的自动诊断P.Wang等提出了一种基于注意 因此本文把ShuffleNetv2作为特征提取模块的骨为了对图像分类，研究人员提出了卷积神经 网络 (CNN). CNN 通常用于分析视觉图像，它将图 像的每个像素作为特征，是一种类似于人工神经 网络的深度学习模型或多层感知器 . 第 一 代 CNN 是由LeCun 于1998 年提出的LeNet[1] . LeNet 是 为了解决手写数字的识别任务而提出的，是早期 CNN 中最具代表性的结构之一. 此后，CNN 最基 本的体系结构被确定为卷积层、池化层和全连接 层. 在 2012 年 ，Krizhevsky 提出了 AlexNet[2] 卷积 神经网络，并提出新的激活函数 (ReLU)、局部响 应归一化 (LRN)、DropOut 和数据增强方法以提高 网络的泛化能力. AlexNet 赢得了 ILSVRC2012[3] 的第一名，从此，CNN 受到了研究界的广泛关注. 在 AlexNet 之后，出现了许多优秀的 CNN 模型，这 些 CNN 主要有三个发展方向：（ a）更深：网络层 更深 ，代表网络 是 VggNet[4]、 ResNet[5] ； （ b）模块 化 ：模块化网络结构 ，代表网络 是 GoogleNet[6]、 Inceptionv2[7]、 Inceptionv3[8] 和 Inceptionv4[9] ； （ c）更 快 ：适用于移动设备的轻量级网络模型 ，代表 网 络 是 SqueezeNet[10]、 MobileNet[11]、 ShuffleNet[12]、 MobileNetv2[13]、ShuffleNetv2[14] 和 MobileNetv3[15] . 在医学领域，为了更高效、更方便地诊断患者 的病情，图像分类已经得到了广泛关注. Li 等提出 了一种基于注意的卷积神经网络 (AG−CNN) 用于 青光眼检测[16] . Yang 等提出了一种用于乳腺癌组 织病理学图像分类的注意力引导卷积神经网络[17] . Xu 等提出了一种用于检测肺结节性恶性肿瘤的 卷积神经网络（MSCS−DeepLN） [18] . Mobiny 等提 出了一种有效的胶囊网络变 体 (Caps  net) 作 为 CNN 的替代[19] . Zhou 等基于先验知识，提取相应 的特征对白内障进行分类[20] . Wang 等提供一种创 新的 3D 卷积网络，用于自动乳腺超声检测癌症， 以加快检查速度，同时获得较高的检测准确率[21] . 在 Liu 等的研究中，提出了一种新的基于深度学习 的 CAD 系统，以特定任务的先验知识为指导，用 于超声图像中结节的自动检测和分类[22] . Yao 等 使用深度学习方法对宫颈细胞进行异常检测[23] . 众所周知，当医生诊断患者的病情时，不仅观察患 者的图像信息（如 CT 图像），而且会结合患者的临 床诊断信息做出最终决定. 但是，目前医学领域的 图像分类问题仅将图像放入卷积神经网络中来获 得诊断结果，并没有使用到临床诊断信息. 为了提 高医学图像分类准确率，一些研究引进特征融合 技术. Zeng 等基于空间特征融合，实现了颅内动 脉瘤的自动诊断[24] . Wang 等提出了一种基于注意 的特征聚合网络，在一次检查中自动整合从多个 图像中提取的特征，利用结节的不同视图来提高 超声图像中对恶性结节的识别性能[25] . 为了提高 多模态 PET−CT 中互补信息的融合，Kumar 等提出 了一种新的监督卷积神经网络来学习融合互补信 息，用于多模态医学图像分析[26] ，它通过融合两幅 图像以实现更好的检测和分割. Joyseeree 等提出 了一种基于 Riesz 和深度学习特征融合的新方法， 对肺部 CT 图像的病变类型进行识别[27] . 虽然，这 些基于特征融合的方法显示出了在医学图像分 类、检测和分割任务上的优越性，但是，这些方法 仍然没有利用到除医疗图像外的其他信息，例如 Wang 等[25] 只是融合多张图像特征，Joyseeree 等[27] 是将卷积神经网络提取的图像特征与基于图像设 计的特征融合. 而智能辅助诊断中经常需要结合临床症状与 其他影像检查数据来进行综合诊断，为此，本文提 出了一种医疗辅助诊断方法，将图像特征与数值 特征（如临床诊断信息）相结合，利用融合的特征 来确定患者的病情. 本文提出的方法不仅可以充 分利用患者的病例信息，从而能够实现更准确的 分类；还可以同时处理不同类型的数据，从而达到 同时判断多种疾病的效果，在一定程度上节省了 医学分析的时间，提高医学诊断的效率. 该方法为 基于深度学习的自动医疗辅助诊断方法提出了新 的研究思路. 1    方法 为了降低医学领域中自动医学辅助诊断系统 的误判概率，本文提出了一种新的诊断方法. 该方 法将从图像中提取的特征与无法从图像中获取的 其他特征相结合，利用融合的数据来确定患者是 否患有某种疾病. 实验表明，提出的方法可以减少 医学分析的时间，提高诊断准确率. 基于提出的方 法，本文设计了一个数据融合深度学习模型，该模 型由数据融合层和分类层两部分组成，模型的结 构如图 1 所示. 1.1    数据融合层 数据融合层由特征提取模块和特征融合模块 两部分组成. 特征提取模块的作用是利用卷积神 经网络提取图像特征，将输入的图像转换为特征 向量. 特征提取模型可以基于任何 CNN 网络（如 ResNet，VGG，ShuffleNet 等），由于 ShuffleNetv2 属 于轻量化网络，能够达到速度和准确度的均衡， 因此本文把 ShuffleNetv2 作为特征提取模块的骨 · 1198 · 工程科学学报，第 43 卷，第 9 期