《工程科学学报》：基于数据融合的智能医疗辅助诊断方法

资源类别：文库，文档格式：PDF，文档页数：10，文件大小：1.01MB，团购合买

工程科学学报.第43卷，第9期：1197-1205.2021年9月 Chinese Journal of Engineering,Vol.43,No.9:1197-1205,September 2021 https://doi.org/10.13374/j.issn2095-9389.2021.01.12.003;http://cje.ustb.edu.cn 基于数据融合的智能医疗辅助诊断方法张桃红2)四，范素丽，2)，郭徐徐12)，李倩倩，2) 1)北京科技大学计算机通信与工程学院.北京1000832)材料领域知识工程北京市重点实验室，北京100083 ☒通信作者，E-mail:zth ustb@163.com 摘要医生诊断需要结合临床症状、影像检查等各种数据，基于此，提出了一种可以进行数据融合的医疗辅助诊断方法将患者的影像信息（如CT图像）和数值数据（如临床诊断信息）相结合，利用结合的信息自动预测患者的病情，进而提出了基于深度学习的医疗辅助诊断模型.模型以卷积神经网络为基础进行搭建，图像和数值数据作为输人，输出病人的患病情况该医疗辅助诊断方法能够利用更加全面的信息，有助于提高自动诊断准确率、降低诊断误差：另外，仅使用提出的医疗辅助诊断模型就可以一次性处理多种类型的数据，能够在一定程度上节省诊断时间.在两个数据集上验证了所提出方法的有效性，实验结果表明，该方法是有效的，它可以提高辅助诊断的准确性关键词图像分类：卷积神经网络：特征融合：医疗诊断：深度学习分类号TG142.71 Intelligent medical assistant diagnosis method based on data fusion ZHANG Tao-hong,FAN Su-li2)GUO Xu-xu2),LI Qian-gian2 1)School of Computer and Communication Engineering,University of Science and Technology Beijing,Beijing 100083,China 2)Beijing Key Laboratory of Knowledge Engineering for Materials Science.,Beijing 100083,China Corresponding author,E-mail:zth ustb@163.com ABSTRACT In the field of medicine,in order to diagnose a patient's condition more efficiently and conveniently,image classification has been widely leveraged.It is well established that when doctors diagnose a patient's condition,they not only observe the patient's image information(such as CT image)but also make final decisions incorporating the patient's clinical diagnostic information.However, current medical image classification only puts the image into a convolution neural network to obtain the diagnostic result and does not use the clinical diagnosis information.In intelligent auxiliary diagnosis,it is necessary to combine clinical symptoms with other imaging data for comprehensive diagnosis.This paper presented a new method of assistant diagnosis for the medical field.This method combined information from patients'imaging with numerical data (such as clinical diagnosis information)and used the combined information to automatically predict the patient's condition.Based on this method,a medical assistant diagnosis model based on deep learning was proposed.The model takes images and numerical data as input and outputs the patient's condition.Thus,this method is comprehensive and helps improve the accuracy of automatic diagnosis and reduce diagnostic error.Moreover,the proposed model can simultaneously process multiple types of data,thus saving diagnosis time.The effectiveness of the proposed method was verified in two groups of experiments designed in this paper.The first group of experiments shows that if the unrelated data are fused for classification,the proposed method cannot enhance the classification ability of the model,although it is able to predict multiple diseases at one time.The second group of experiments show that the proposed method could significantly improve classification results if the interrelated data are fused. KEY WORDS image classification;convolution neural network;feature fusion;medical diagnosis;deep learning 收稿日期：2021-01-12 基金项目：中央高校基本科研业务费专项资金资助项目(FRF-GF-20-16B)

基于数据融合的智能医疗辅助诊断方法张桃红1,2) 苣，范素丽1,2)，郭徐徐1,2)，李倩倩1,2) 1) 北京科技大学计算机通信与工程学院，北京 100083 2) 材料领域知识工程北京市重点实验室，北京 100083 苣通信作者，E-mail：zth_ustb@163.com 摘要医生诊断需要结合临床症状、影像检查等各种数据，基于此，提出了一种可以进行数据融合的医疗辅助诊断方法. 将患者的影像信息（如 CT 图像）和数值数据（如临床诊断信息）相结合，利用结合的信息自动预测患者的病情，进而提出了基于深度学习的医疗辅助诊断模型. 模型以卷积神经网络为基础进行搭建，图像和数值数据作为输入，输出病人的患病情况. 该医疗辅助诊断方法能够利用更加全面的信息，有助于提高自动诊断准确率、降低诊断误差；另外，仅使用提出的医疗辅助诊断模型就可以一次性处理多种类型的数据，能够在一定程度上节省诊断时间. 在两个数据集上验证了所提出方法的有效性，实验结果表明，该方法是有效的，它可以提高辅助诊断的准确性. 关键词图像分类；卷积神经网络；特征融合；医疗诊断；深度学习分类号 TG142.71 Intelligent medical assistant diagnosis method based on data fusion ZHANG Tao-hong1,2) 苣，FAN Su-li1,2) ，GUO Xu-xu1,2) ，LI Qian-qian1,2) 1) School of Computer and Communication Engineering, University of Science and Technology Beijing, Beijing 100083, China 2) Beijing Key Laboratory of Knowledge Engineering for Materials Science., Beijing 100083, China 苣 Corresponding author, E-mail: zth_ustb@163.com ABSTRACT In the field of medicine, in order to diagnose a patient’s condition more efficiently and conveniently, image classification has been widely leveraged. It is well established that when doctors diagnose a patient ’s condition, they not only observe the patient ’s image information (such as CT image) but also make final decisions incorporating the patient’s clinical diagnostic information. However, current medical image classification only puts the image into a convolution neural network to obtain the diagnostic result and does not use the clinical diagnosis information. In intelligent auxiliary diagnosis, it is necessary to combine clinical symptoms with other imaging data for comprehensive diagnosis. This paper presented a new method of assistant diagnosis for the medical field. This method combined information from patients’ imaging with numerical data (such as clinical diagnosis information) and used the combined information to automatically predict the patient ’s condition. Based on this method, a medical assistant diagnosis model based on deep learning was proposed. The model takes images and numerical data as input and outputs the patient’s condition. Thus, this method is comprehensive and helps improve the accuracy of automatic diagnosis and reduce diagnostic error. Moreover, the proposed model can simultaneously process multiple types of data, thus saving diagnosis time. The effectiveness of the proposed method was verified in two groups of experiments designed in this paper. The first group of experiments shows that if the unrelated data are fused for classification, the proposed method cannot enhance the classification ability of the model, although it is able to predict multiple diseases at one time. The second group of experiments show that the proposed method could significantly improve classification results if the interrelated data are fused. KEY WORDS image classification；convolution neural network；feature fusion；medical diagnosis；deep learning 收稿日期: 2021−01−12 基金项目: 中央高校基本科研业务费专项资金资助项目（FRF-GF-20-16B）工程科学学报，第 43 卷，第 9 期：1197−1205，2021 年 9 月 Chinese Journal of Engineering, Vol. 43, No. 9: 1197−1205, September 2021 https://doi.org/10.13374/j.issn2095-9389.2021.01.12.003; http://cje.ustb.edu.cn

·1198 工程科学学报，第43卷，第9期为了对图像分类，研究人员提出了卷积神经的特征聚合网络，在一次检查中自动整合从多个网络(CNN).CNN通常用于分析视觉图像，它将图图像中提取的特征，利用结节的不同视图来提高像的每个像素作为特征，是一种类似于人工神经超声图像中对恶性结节的识别性能2).为了提高网络的深度学习模型或多层感知器.第一代多模态PET-CT中互补信息的融合，Kumar等提出 CNN是由LeCun于1998年提出的LeNet!.LeNet是了一种新的监督卷积神经网络来学习融合互补信为了解决手写数字的识别任务而提出的，是早期息，用于多模态医学图像分析阿，它通过融合两幅 CNN中最具代表性的结构之一，此后，CNN最基图像以实现更好的检测和分割.Joyseeree等提出本的体系结构被确定为卷积层、池化层和全连接了一种基于Riesz和深度学习特征融合的新方法，层.在2012年，Krizhevsky提出了AlexNet!卷积对肺部CT图像的病变类型进行识别27虽然，这神经网络，并提出新的激活函数(RLU)、局部响些基于特征融合的方法显示出了在医学图像分应归一化(LRN)、DropOut和数据增强方法以提高类、检测和分割任务上的优越性，但是，这些方法网络的泛化能力.AlexNet赢得了ILSVRC20l2] 仍然没有利用到除医疗图像外的其他信息，例如的第一名，从此，CNN受到了研究界的广泛关注 Wang等2只是融合多张图像特征，Joyseeree等7 在AlexNet之后，出现了许多优秀的CNN模型，这是将卷积神经网络提取的图像特征与基于图像设些CNN主要有三个发展方向：(a)更深：网络层计的特征融合更深，代表网络是VggNet!、ResNet!;(b)模块而智能辅助诊断中经常需要结合临床症状与化：模块化网络结构，代表网络是GoogleNet!61、其他影像检查数据来进行综合诊断，为此，本文提 Inceptionv2、Inceptionv3l图和Inceptionv4;(c)更出了一种医疗辅助诊断方法，将图像特征与数值快：适用于移动设备的轻量级网络模型，代表特征（如临床诊断信息）相结合，利用融合的特征网络是SqueezeNet!o、MobileNet!、ShuffleNet!2 来确定患者的病情.本文提出的方法不仅可以充 MobileNetv2lI、ShuffleNetv22和MobileNetv3l. 分利用患者的病例信息，从而能够实现更准确的在医学领域，为了更高效、更方便地诊断患者分类；还可以同时处理不同类型的数据，从而达到的病情，图像分类已经得到了广泛关注.Li等提出同时判断多种疾病的效果，在一定程度上节省了了一种基于注意的卷积神经网络(AG-CNN)用于医学分析的时间，提高医学诊断的效率.该方法为青光眼检测6Yang等提出了一种用于乳腺癌组基于深度学习的自动医疗辅助诊断方法提出了新织病理学图像分类的注意力引导卷积神经网络)] 的研究思路 Xu等提出了一种用于检测肺结节性恶性肿瘤的 1方法卷积神经网络(MSCS-DeepLN)I阁.Mobiny等提出了一种有效的胶粪网络变体(Caps net)作为为了降低医学领域中自动医学辅助诊断系统 CNN的替代例Zhou等基于先验知识，提取相应的误判概率，本文提出了一种新的诊断方法.该方的特征对白内障进行分类2o.Wang等提供一种创法将从图像中提取的特征与无法从图像中获取的新的3D卷积网络，用于自动乳腺超声检测癌症，其他特征相结合，利用融合的数据来确定患者是以加快检查速度，同时获得较高的检测准确率2四否患有某种疾病.实验表明，提出的方法可以减少在Lu等的研究中，提出了一种新的基于深度学习医学分析的时间，提高诊断准确率.基于提出的方的CAD系统，以特定任务的先验知识为指导，用法，本文设计了一个数据融合深度学习模型，该模于超声图像中结节的自动检测和分类四Yao等型由数据融合层和分类层两部分组成，模型的结使用深度学习方法对宫颈细胞进行异常检测21 构如图1所示众所周知，当医生诊断患者的病情时，不仅观察患 1.1数据融合层者的图像信息（如CT图像），而且会结合忠者的临数据融合层由特征提取模块和特征融合模块床诊断信息做出最终决定.但是，目前医学领域的两部分组成.特征提取模块的作用是利用卷积神图像分类问题仅将图像放入卷积神经网络中来获经网络提取图像特征，将输入的图像转换为特征得诊断结果，并没有使用到临床诊断信息.为了提向量.特征提取模型可以基于任何CNN网络（如高医学图像分类准确率，一些研究引进特征融合 ResNet,.VGG,ShuffleNet等)，由于ShuffleNetv2属技术.Zeng等基于空间特征融合，实现了颅内动于轻量化网络，能够达到速度和准确度的均衡，脉瘤的自动诊断P.Wang等提出了一种基于注意因此本文把ShuffleNetv2作为特征提取模块的骨

为了对图像分类，研究人员提出了卷积神经网络 (CNN). CNN 通常用于分析视觉图像，它将图像的每个像素作为特征，是一种类似于人工神经网络的深度学习模型或多层感知器 . 第一代 CNN 是由LeCun 于1998 年提出的LeNet[1] . LeNet 是为了解决手写数字的识别任务而提出的，是早期 CNN 中最具代表性的结构之一. 此后，CNN 最基本的体系结构被确定为卷积层、池化层和全连接层. 在 2012 年，Krizhevsky 提出了 AlexNet[2] 卷积神经网络，并提出新的激活函数 (ReLU)、局部响应归一化 (LRN)、DropOut 和数据增强方法以提高网络的泛化能力. AlexNet 赢得了 ILSVRC2012[3] 的第一名，从此，CNN 受到了研究界的广泛关注. 在 AlexNet 之后，出现了许多优秀的 CNN 模型，这些 CNN 主要有三个发展方向：（ a）更深：网络层更深，代表网络是 VggNet[4]、 ResNet[5] ；（ b）模块化：模块化网络结构，代表网络是 GoogleNet[6]、 Inceptionv2[7]、 Inceptionv3[8] 和 Inceptionv4[9] ；（ c）更快：适用于移动设备的轻量级网络模型，代表网络是 SqueezeNet[10]、 MobileNet[11]、 ShuffleNet[12]、 MobileNetv2[13]、ShuffleNetv2[14] 和 MobileNetv3[15] . 在医学领域，为了更高效、更方便地诊断患者的病情，图像分类已经得到了广泛关注. Li 等提出了一种基于注意的卷积神经网络 (AG−CNN) 用于青光眼检测[16] . Yang 等提出了一种用于乳腺癌组织病理学图像分类的注意力引导卷积神经网络[17] . Xu 等提出了一种用于检测肺结节性恶性肿瘤的卷积神经网络（MSCS−DeepLN） [18] . Mobiny 等提出了一种有效的胶囊网络变体 (Caps net) 作为 CNN 的替代[19] . Zhou 等基于先验知识，提取相应的特征对白内障进行分类[20] . Wang 等提供一种创新的 3D 卷积网络，用于自动乳腺超声检测癌症，以加快检查速度，同时获得较高的检测准确率[21] . 在 Liu 等的研究中，提出了一种新的基于深度学习的 CAD 系统，以特定任务的先验知识为指导，用于超声图像中结节的自动检测和分类[22] . Yao 等使用深度学习方法对宫颈细胞进行异常检测[23] . 众所周知，当医生诊断患者的病情时，不仅观察患者的图像信息（如 CT 图像），而且会结合患者的临床诊断信息做出最终决定. 但是，目前医学领域的图像分类问题仅将图像放入卷积神经网络中来获得诊断结果，并没有使用到临床诊断信息. 为了提高医学图像分类准确率，一些研究引进特征融合技术. Zeng 等基于空间特征融合，实现了颅内动脉瘤的自动诊断[24] . Wang 等提出了一种基于注意的特征聚合网络，在一次检查中自动整合从多个图像中提取的特征，利用结节的不同视图来提高超声图像中对恶性结节的识别性能[25] . 为了提高多模态 PET−CT 中互补信息的融合，Kumar 等提出了一种新的监督卷积神经网络来学习融合互补信息，用于多模态医学图像分析[26] ，它通过融合两幅图像以实现更好的检测和分割. Joyseeree 等提出了一种基于 Riesz 和深度学习特征融合的新方法，对肺部 CT 图像的病变类型进行识别[27] . 虽然，这些基于特征融合的方法显示出了在医学图像分类、检测和分割任务上的优越性，但是，这些方法仍然没有利用到除医疗图像外的其他信息，例如 Wang 等[25] 只是融合多张图像特征，Joyseeree 等[27] 是将卷积神经网络提取的图像特征与基于图像设计的特征融合. 而智能辅助诊断中经常需要结合临床症状与其他影像检查数据来进行综合诊断，为此，本文提出了一种医疗辅助诊断方法，将图像特征与数值特征（如临床诊断信息）相结合，利用融合的特征来确定患者的病情. 本文提出的方法不仅可以充分利用患者的病例信息，从而能够实现更准确的分类；还可以同时处理不同类型的数据，从而达到同时判断多种疾病的效果，在一定程度上节省了医学分析的时间，提高医学诊断的效率. 该方法为基于深度学习的自动医疗辅助诊断方法提出了新的研究思路. 1 方法为了降低医学领域中自动医学辅助诊断系统的误判概率，本文提出了一种新的诊断方法. 该方法将从图像中提取的特征与无法从图像中获取的其他特征相结合，利用融合的数据来确定患者是否患有某种疾病. 实验表明，提出的方法可以减少医学分析的时间，提高诊断准确率. 基于提出的方法，本文设计了一个数据融合深度学习模型，该模型由数据融合层和分类层两部分组成，模型的结构如图 1 所示. 1.1 数据融合层数据融合层由特征提取模块和特征融合模块两部分组成. 特征提取模块的作用是利用卷积神经网络提取图像特征，将输入的图像转换为特征向量. 特征提取模型可以基于任何 CNN 网络（如 ResNet，VGG，ShuffleNet 等），由于 ShuffleNetv2 属于轻量化网络，能够达到速度和准确度的均衡，因此本文把 ShuffleNetv2 作为特征提取模块的骨 · 1198 · 工程科学学报，第 43 卷，第 9 期

张桃红等：基于数据融合的智能医疗辅助诊断方法 ·1199. Data fusion layer Stage2(Stage4) Down sampling Basic Basic Basic unit unit unit unit Convl Conv5 Maxpool Stage4 =3×3 Stage2 =1x1 8×28×116 14x14×2327X7x4647x7x1024 56×56×24 ==m中=一== Stage3 Classification layer Down sampling Basic Basic Basic unit unit unit unit Basic Basic Basic Basic unit unit unit Feature extraction 256 512 Age RBP SC MHR Other information: 130322109 ge. 70 Resting blood pressure(RBP). 56 120 236 178 Serum cholesterol(SC), Maximum heart rate(MAR). 77 125 304 162 And so on Numrical data 图1基于提出的方法构建的模型结构 Fig.1 Diagram of the model structure based on the proposed method 干网络，使用了ShuffleNetv22从输入层到平均池化下，使通道充分融合，进行不同分组的特征之间的层的网络层，包括输入层、卷积层(covl)、最大池信息流动，以提高性能.如果输入特征图的大小是化层(MaxPool)、stage2、stage3、stage4、卷积层 w×h×c,Basic unit输出的大小是wxh×c,Down (conv5),下面对其网络结构进行具体解释 sampling unit输出的大小是(w/2)×(h/2)×(2c.经过 convl和conv5使用的卷积核(f)的大小和数目特征提取模块后，每个输入图像都被转化一个为 (n)分别是f=3×3,m1=24,f5=1×1,5=1024. 1024维的特征向量 stage2、stage3.和stage4都是由下采样单元(Down 特征融合模块的作用是将从图像中提取的特 sampling unit)和基本单元(Basic unit)连接而成，征(XA)与无法从图像中获取的特征(XB)进行融 Down sampling unit和Basic unit的结构如图2所合.X(如临床诊断信息)被组织成向量的形式输示.在图2中，通道划分(Channel divide)的作用是入到模型中，然后特征融合模块将XA和XB融合，形将输入的特征图的通道数平均划分，输出两个通成一个新的特征向量(X).特征融合的实现方式道数相等的特征图；PWConv是指使用1×1的卷积如公式(1)所示，特征融合模块是本文提出的方法核进行卷积：DWConv是指按通道对输入特征图的核心，它将多种特征融合，使融合后的特征更具进行分组，每组包含一个通道，卷积操作在每组内代表性和更加全面，这对分类任务更有益独立执行；通道混洗(Channel shuffle)操作将c个通 Xr Fuse(XA,XB)=(xAI,XA2...xAM,XB1.XB2....XBN 道分成g组，形成大小为g×(c/g)的矩阵，接下来将 XA={xAl,XB={Bi=1,2,…Mj=1,2,…N 矩阵转置、平铺，这样可以在通道之间对信息进行 (1) 置乱和混合.Channel divide、PWConv和DWConv 1.2分类层的作用都是减少模型参数，降低模型计算量分类层的作用是利用数据融合层输出的融合 Channel shuffle的作用是在不增加计算量的情况特征向量(X),输出分类结果.分类层由两个全连

f n f1 = 3×3 n1 = 24 f5 = 1×1 n5 = 1024 1×1 c g g×(c/g) 干网络，使用了 ShuffleNetv2 从输入层到平均池化层的网络层，包括输入层、卷积层（conv1）、最大池化层（ MaxPool）、 stage2、 stage3、 stage4、卷积层（ conv5），下面对其网络结构进行具体解释 . conv1 和 conv5 使用的卷积核 ( ) 的大小和数目 ( ) 分别是 , ， , . stage2、stage3 和 stage4 都是由下采样单元（Down sampling unit）和基本单元（Basic unit）连接而成， Down sampling unit 和 Basic unit 的结构如图 2 所示. 在图 2 中，通道划分（Channel divide）的作用是将输入的特征图的通道数平均划分，输出两个通道数相等的特征图；PWConv 是指使用的卷积核进行卷积；DWConv 是指按通道对输入特征图进行分组，每组包含一个通道，卷积操作在每组内独立执行；通道混洗（Channel shuffle）操作将个通道分成组，形成大小为的矩阵，接下来将矩阵转置、平铺，这样可以在通道之间对信息进行置乱和混合. Channel divide、PWConv 和 DWConv 的作用都是减少模型参数，降低模型计算量 . Channel shuffle 的作用是在不增加计算量的情况 w×h×c w×h×c (w/2)×(h/2)×(2c) 下，使通道充分融合，进行不同分组的特征之间的信息流动, 以提高性能. 如果输入特征图的大小是， Basic unit 输出的大小是， Down sampling unit 输出的大小是 . 经过特征提取模块后，每个输入图像都被转化一个为 1024 维的特征向量. XA XB XB XA XB Xf 特征融合模块的作用是将从图像中提取的特征（）与无法从图像中获取的特征（）进行融合. （如临床诊断信息）被组织成向量的形式输入到模型中，然后特征融合模块将和融合，形成一个新的特征向量（）. 特征融合的实现方式如公式（1）所示，特征融合模块是本文提出的方法的核心，它将多种特征融合，使融合后的特征更具代表性和更加全面，这对分类任务更有益. Xf = Fuse (XA,XB) = { xA1, xA2,··· xAM, xB1, xB2,··· xBN } XA = {xAi},XB = { xBj } i = 1,2,··· M; j = 1,2,···N （1） 1.2 分类层 Xf 分类层的作用是利用数据融合层输出的融合特征向量（），输出分类结果. 分类层由两个全连 Data fusion layer Stage2 (Stage4) Stage4 Down sampling unit Basic unit Basic unit Basic unit Stage3 Feature extraction Down sampling unit Basic unit Basic unit Basic unit Basic unit Basic unit Basic unit Basic unit Conv1 Maxpool f1=3×3 f Stage2 5=1×1 56×56×24 28×28×116 14×14×232 7×7×464 7×7×1024 Conv5 Age RBP SC MHR 70 130 322 109 56 120 236 178 77 125 304 162 ... ... ... ... Other information: Age, Resting blood pressure (RBP), Serum cholesterol (SC), Maximum heart rate (MAR), And so on Numrical data Classification layer 512 256 NC Xinput1 图 1 基于提出的方法构建的模型结构 Fig.1 Diagram of the model structure based on the proposed method 张桃红等：基于数据融合的智能医疗辅助诊断方法 · 1199 ·

·1200 工程科学学报，第43卷，第9期 (a 1×1 BN 3×3 BN 1×1 PWConv Relu DWConv PWConv BN Channel Relu Channel Channel divide concat shutfle (b) 1×1 BN 3×3 DWConv BN 1×1 PWConv Relu (Strid=2) PWConvBN Relu Channel Channel concat shuffle 3×3 DWCon 1×1 (Strid=2) PWConv 图2基本单元和下采样单元的结构.(a)基木单元的结构：(b)下采样单元的结构 Fig.2 Structure of the basic unit and down sampling unit:(a)structure of the basic unit;(b)structure of the down sampling unit 接层和一个输出层构成，它们分别对应512、性心绞痛(EIA)、运动引起的ST段下降(ST)、ST 256和Nc个神经元(Nc表示类的总数量).在输出段峰值斜率(SP)、透视检查看到的血管数(NV)、层后面连接Softmax函数，用于输出医疗诊断结果地中海贫血(Thal).年龄分布在20岁到80岁之 (分类结果)：Ypre=ypre_1,ypre2,…,pe_Ne,ypre_表间；性别包括男性(0)和女性(1)；CPT分为4级，示输入数据的类是第类的概率.样本标签用分别是0（无疼痛），1（轻微疼痛），2（中级疼痛）和 Y=y1,2,yw}表示，如果输人的样本属于第 3(重级疼痛)；RER有3个状态，0表示正常，1表 k类，那么=1，k=0.训练模型时使用交叉嫡损示轻微异常，2表示严重异常；EIA的类型为0（没失函数来优化模型参数，损失函数的计算方式如有)和1（有）：心电图ST段是指心电图上QRS波下所示：终点，至T波开始前的一段水平线，ST段改变往往提示有心肌缺血的可能.ST段峰值斜率表示 yilogypre_i (2) ST段抬高峰值处的斜率，斜率为0时用0表示，斜 i=l 率位于0~0.5之间时用1表示，斜率位于0.5~1 2 实验之间时用2表示：Thal的状态包括1（正常），2（固定缺陷)和3（可逆缺陷）.本文将这两个数据集组本文分别在两个数据集上进行了实验：第一合成了一个新的数据集，它同时包含图像和数值个实验预测肺炎和心脏病，第二个实验预测新冠数据，命名为肺炎心脏病数据集(PHD).PHD包含肺炎(COVID-19).在训练过程中，模型参数通过 606个样本，其中424个训练样本，182个测试样批量迭代更新，批量大小设置为32，初始学习率本.PHD共包含4种类型：同时患有肺炎和心脏为0.001，使用的优化器是Adam21实验细节分别病(PH,患有肺炎但未患心脏病(PNH,未患肺炎在下面的实验I和实验Ⅱ中展示但患有心脏病NPH),既没有患肺炎又没有患心脏 2.1实验1 病NPNH).每一个样本包含一张图像和13个数 2.1.1数据集值属性，表1展示了数据集中的4种样本实验I中使用的数据包括一个肺部CT图像的 2.1.2结果和讨论数据集和一个心脏病的数值数据集，它们都是从如第1部分所述，使用轻量化卷积神经网络 Kagglel29收集的.我们将这两个公开数据集组合 ShuffleNetv.2提取图像特征，分类层使用两个全连在一起，生成一个同时包含图像和数值数据的数接层和一个输出层，两个全连接层分别包含512 据集.肺部CT图像用于判断病人是否患有肺炎，和256个神经元，输出层包含4个神经元(PHD包每张图像都被标注为是否有肺炎.数值数据用于含4种类型的疾病).为了验证提出的融合方法的判断病人是否患有心脏病，每条数据包括13个属可行性，进行了3组实验进行对比：第一组实验性：年龄(Age)、性别(Sex)、胸痛类型(CPT)、静息 (ShuffleNetv2)利用图1中的特征提取模块和分类血压(RBP)、血清胆固醇含量(SC)、空腹血糖含量层对肺部CT图像进行分类，预测病人是否患有肺 (FBS)、静息心电图(RER)、最大心率(MHR)、运动炎：第二组实验(DNN)利用分类层对心脏病数值

NC NC Ypre = {ypre_1, ypre_2,··· , ypre_Nc } ypre_i i Y = { y1, y2,··· , yNc } k yk = 1 y!k = 0 接层和一个输出层构成，它们分别对应 512、 256 和个神经元 ( 表示类的总数量). 在输出层后面连接 Softmax 函数，用于输出医疗诊断结果（分类结果）：，表示输入数据的类是第类的概率 . 样本标签用表示，如果输入的样本属于第类，那么， . 训练模型时使用交叉熵损失函数来优化模型参数，损失函数的计算方式如下所示： Loss = − ∑ Nc i=1 yi logypre_i （2） 2 实验本文分别在两个数据集上进行了实验：第一个实验预测肺炎和心脏病，第二个实验预测新冠肺炎（COVID−19）. 在训练过程中，模型参数通过批量迭代更新，批量大小设置为 32，初始学习率为 0.001，使用的优化器是 Adam[28] . 实验细节分别在下面的实验 I 和实验 II 中展示. 2.1 实验 I 2.1.1 数据集实验 I 中使用的数据包括一个肺部 CT 图像的数据集和一个心脏病的数值数据集，它们都是从 Kaggle[29] 收集的. 我们将这两个公开数据集组合在一起，生成一个同时包含图像和数值数据的数据集. 肺部 CT 图像用于判断病人是否患有肺炎，每张图像都被标注为是否有肺炎. 数值数据用于判断病人是否患有心脏病，每条数据包括 13 个属性：年龄（Age）、性别（Sex）、胸痛类型 (CPT)、静息血压 (RBP)、血清胆固醇含量 (SC)、空腹血糖含量 (FBS)、静息心电图 (RER)、最大心率 (MHR)、运动性心绞痛 (EIA)、运动引起的 ST 段下降 (ST)、ST 段峰值斜率 (SP)、透视检查看到的血管数 (NV)、地中海贫血 (Thal). 年龄分布在 20 岁到 80 岁之间；性别包括男性（0）和女性（1）；CPT 分为 4 级，分别是 0（无疼痛），1（轻微疼痛），2（中级疼痛）和 3（重级疼痛）；RER 有 3 个状态，0 表示正常，1 表示轻微异常，2 表示严重异常；EIA 的类型为 0（没有）和 1（有）；心电图 ST 段是指心电图上 QRS 波终点，至 T 波开始前的一段水平线，ST 段改变往往提示有心肌缺血的可能. ST 段峰值斜率表示 ST 段抬高峰值处的斜率，斜率为 0 时用 0 表示，斜率位于 0～0.5 之间时用 1 表示，斜率位于 0.5～1 之间时用 2 表示；Thal 的状态包括 1（正常），2（固定缺陷）和 3（可逆缺陷）. 本文将这两个数据集组合成了一个新的数据集，它同时包含图像和数值数据，命名为肺炎心脏病数据集 (PHD). PHD 包含 606 个样本，其中 424 个训练样本，182 个测试样本. PHD 共包含 4 种类型：同时患有肺炎和心脏病 (PH)，患有肺炎但未患心脏病 (PNH)，未患肺炎但患有心脏病 (NPH)，既没有患肺炎又没有患心脏病 (NPNH). 每一个样本包含一张图像和 13 个数值属性，表 1 展示了数据集中的 4 种样本. 2.1.2 结果和讨论如第 1 部分所述，使用轻量化卷积神经网络 ShuffleNetv2 提取图像特征，分类层使用两个全连接层和一个输出层，两个全连接层分别包含 512 和 256 个神经元，输出层包含 4 个神经元（PHD 包含 4 种类型的疾病）. 为了验证提出的融合方法的可行性，进行了 3 组实验进行对比：第一组实验（ShuffleNetv2）利用图 1 中的特征提取模块和分类层对肺部 CT 图像进行分类，预测病人是否患有肺炎；第二组实验（DNN）利用分类层对心脏病数值 Channel divide 1×1 PWConv 1×1 PWConv 1×1 PWConv Channel concat Relu Relu BN BN BN Channel shuffle 1×1 PWConv 3×3 DWConv (Strid=2) 3×3 DWConv (Strid=2) 3×3 DWConv 1×1 PWConv Channel concat Channel shuffle BN BN BN Relu Relu (b) (a) 图 2 基本单元和下采样单元的结构. （a）基本单元的结构；（b）下采样单元的结构 Fig.2 Structure of the basic unit and down sampling unit：(a) structure of the basic unit; (b) structure of the down sampling unit · 1200 · 工程科学学报，第 43 卷，第 9 期

张桃红等：基于数据融合的智能医疗辅助诊断方法 1201· 表1PHD中四种类型的样本 Table 1 Four types of samples in PHD Class Image Age Sex CPT RBP/kPa SC/(mg.dL-)FBS/(mg-dL-)RER MHR/(times:min)EIA ST/mV SP NV Thal PH 66 0 20 226 114 0 2.6 0 0 2 PNH 0 14.7 239 126 2.8 1 1 3 NPH 65 2 20.7 269 148 0 0.8 2 0 2 NPNH 70 17.3 322 109 0 2.4 1 数据进行分类，预测病人是否患有心脏病；第三组表4本文方法在PHD数据集上的预测结果实验(Fusion)利用提出的方法对肺部CT图像和心 Table 4 Predictive results of proposed method in PHD dataset 脏病数值数据进行分类，预测病人是否患有肺炎 Label 和心脏病.3组实验的预测结果分别展示在表2、 Prediction NPNH NPH PNH PH All 表3和表4，各项评价指标展示在表5.在表2~ NPNH 33 12 5 4中，横向表头表示样本的真实类别，纵向表头表 NPH 8 29 0 0 39 示样本的预测类别，例表2中第2行第4列的90 PNH 2 2 24 10 38 表示测试时有90个样本被预测为No pneumonia;第 PH 2 3 9 39 53 4行第2列的91表示，测试集中共有91个样本的 All 45 38 182 类型是No pneumonia.在表5中，TP表示正样本被预测为正样本的数量，FP表示负样本被预测为正从表5可以看出，仅使用肺炎图像的预测患者样本的数量，FN表示负样本被预测为正样本的数是否患有肺炎的平均准确率是87.4%，仅使用心脏量，Precision表示预测为正的样本中有多少是真正病数值数据来预测患者是否患有心脏病的平均准的正样本，Recall表示样本中的正例有多少被预测确率是85.2%.将肺炎图像与心脏病数值数据相结正确了.Fl-score是对Precision和Recall的综合考合后，可同时预测患者是否患有肺炎与心脏病.根 F1-score=2 Precision Recall /(Precision+Recall). 据实验结果可以看出，组合后分类变成了一个四图3展示了第三组实验结果（使用提出的方法）随分类问题，它获得了68.7%的较低的平均分类准着迭代次数的变动，在训练集和验证集上的预测确率.根据表4的预测结果可知，使用提出的方准确率和损失的变动.从图中可以看出，迭代法，预测肺炎的准确率(33+29+12+8+24+10+9+39)/ 600次之后，模型开始趋于稳定 182×100%=90.1%,预测心脏病的准确率等于(33+24+ 表2在PHD数据集上仅通过图像数据学习的预测结果 5+2+29+39+2+3)/182×100%=75.3%.比较结果表明， Table2 Prediction results leamed only from image data in PHD dataset 提出的方法没有增加预测的准确率，这与肺炎和 Label Prediction 心脏病数据之间的关系是我们人为构造的有关， No pneumonia Pneumonia All 因为肺炎和心脏病这两种疾病没有内在联系，即 No pneumonia 多 90 患有肺炎的患者并不会更容易患心脏病，同理患 Pneumonia 12 80 9 有心脏病的患者也不会更容易患肺炎.因此，即使 All 91 91 182 使用提出的方法，也不会提高整体的分类准确率，表3在PHD数据集上仅通过结构化的数值数据学习的预测结果这与我们的设计初衷是一致的，即只有图像数据 Table 3 Prediction results leamned only through structured numerical 和数值数据具有相辅相成、相互促进的关系时，才 data 有利于模型的分类.虽然没有提高分类准确率，但 Label Prediction 是提出的方法能够一次性处理多种类型的数据， No pneumonia Pneumonia All 同时预测多种疾病，在一定程度上减少了诊断时 No pneumonia 72 16 88 间.因此，实验I证明了，如果将没有联系的数据 Pneumonia 11 83 94 进行融合用于分类时，并不能增强模型分类的能 All 8 99 182 力.但是提出的方法具有同时预测多种疾病的能

数据进行分类，预测病人是否患有心脏病；第三组实验（Fusion）利用提出的方法对肺部 CT 图像和心脏病数值数据进行分类，预测病人是否患有肺炎和心脏病. 3 组实验的预测结果分别展示在表 2、表 3 和表 4，各项评价指标展示在表 5. 在表 2～ 4 中，横向表头表示样本的真实类别，纵向表头表示样本的预测类别，例表 2 中第 2 行第 4 列的 90 表示测试时有 90 个样本被预测为 No pneumonia；第 4 行第 2 列的 91 表示，测试集中共有 91 个样本的类型是 No pneumonia. 在表 5 中，TP 表示正样本被预测为正样本的数量，FP 表示负样本被预测为正样本的数量，FN 表示负样本被预测为正样本的数量，Precision 表示预测为正的样本中有多少是真正的正样本，Recall 表示样本中的正例有多少被预测正确了. F1-score 是对 Precision 和 Recall 的综合考虑，F1-score=2 * Precision * Recall / (Precision+Recall). 图 3 展示了第三组实验结果（使用提出的方法）随着迭代次数的变动，在训练集和验证集上的预测准确率和损失的变动. 从图中可以看出，迭代 600 次之后，模型开始趋于稳定. 表 2 在 PHD 数据集上仅通过图像数据学习的预测结果 Table 2 Prediction results learned only from image data in PHD dataset Prediction Label No pneumonia Pneumonia All No pneumonia 79 11 90 Pneumonia 12 80 92 All 91 91 182 表 3 在 PHD 数据集上仅通过结构化的数值数据学习的预测结果 Table 3 Prediction results learned only through structured numerical data Prediction Label No pneumonia Pneumonia All No pneumonia 72 16 88 Pneumonia 11 83 94 All 83 99 182 从表 5 可以看出，仅使用肺炎图像的预测患者是否患有肺炎的平均准确率是 87.4%，仅使用心脏病数值数据来预测患者是否患有心脏病的平均准确率是 85.2%. 将肺炎图像与心脏病数值数据相结合后，可同时预测患者是否患有肺炎与心脏病. 根据实验结果可以看出，组合后分类变成了一个四分类问题，它获得了 68.7% 的较低的平均分类准确率. 根据表 4 的预测结果可知，使用提出的方法，预测肺炎的准确率（33+29+12+8+24+10+9+39)/ 182×100%=90.1%，预测心脏病的准确率等于 (33+24+ 5+2+29+39+2+3）/182×100%=75.3%. 比较结果表明，提出的方法没有增加预测的准确率，这与肺炎和心脏病数据之间的关系是我们人为构造的有关，因为肺炎和心脏病这两种疾病没有内在联系，即患有肺炎的患者并不会更容易患心脏病，同理患有心脏病的患者也不会更容易患肺炎. 因此，即使使用提出的方法，也不会提高整体的分类准确率，这与我们的设计初衷是一致的，即只有图像数据和数值数据具有相辅相成、相互促进的关系时，才有利于模型的分类. 虽然没有提高分类准确率，但是提出的方法能够一次性处理多种类型的数据，同时预测多种疾病，在一定程度上减少了诊断时间. 因此，实验 I 证明了，如果将没有联系的数据进行融合用于分类时，并不能增强模型分类的能力. 但是提出的方法具有同时预测多种疾病的能表 1 PHD 中四种类型的样本 Table 1 Four types of samples in PHD Class Image Age Sex CPT RBP/kPa SC/（mg·dL−1） FBS/（mg·dL−1） RER MHR/（times·min−1） EIA ST/mV SP NV Thal PH 66 0 3 20 226 0 1 114 0 2.6 0 0 2 PNH 54 1 0 14.7 239 0 1 126 1 2.8 1 1 3 NPH 65 0 2 20.7 269 0 1 148 0 0.8 2 0 2 NPNH 70 1 0 17.3 322 0 0 109 0 2.4 1 3 2 表 4 本文方法在 PHD 数据集上的预测结果 Table 4 Predictive results of proposed method in PHD dataset Prediction Label NPNH NPH PNH PH All NPNH 33 12 5 2 52 NPH 8 29 0 0 39 PNH 2 2 24 10 38 PH 2 3 9 39 53 All 45 46 38 53 182 张桃红等：基于数据融合的智能医疗辅助诊断方法 · 1201 ·

·1202 工程科学学报，第43卷，第9期表5在PHD数据集上三组实验的准确率和其他评价指标 Table 5 Accuracy and other evaluation indicators of three groups of experiments in PHD dataset Model Class FP Precision Recall F1-score Accuracy NHPH 33 19 的 0.635 0.733 0.680 NPH 29 10 17 0.744 0.630 0.682 Fusion method 0.687 PNH 24 14 14 0.632 0.632 0.632 PH 39 14 14 0.736 0.736 0.736 No pneumonia 79 11 0.878 0.868 0.873 ShuffleNetv2(Only image data) 0.870 0.874 Pneumonia 80 12 0.879 0.874 No heart disease 72 16 0.818 0.867 0.842 DNN(Only structured data) 0.852 Heart disease 83 16 0.883 0.838 0.860 1.0 2.5 0.9 (a) (b) 0.8 2.0 0.7 03 0. -Validation 0.5 Validation 0.1 -Train -Train 0. 0 Iteration Iteration 图3训练过程中的预测准确率和损失的变动.()准确率的变动：(b)损失的变动 Fig.3 Changes in predictive accuracy and loss during training:(a)changes in accuracy;(b)changes in the loss 力，因此该方法可以用于具有相互联系的两种疾史(PMH、是否与阳性患者接触过(CP)、正常白细病的预测，如肥胖和高血压胞(WBC)和其他症状(Other).性别包括男性(1) 2.2实验Ⅱ 和女性(2)：年龄从1岁到100岁不等：F由3个值实验Ⅱ用以判定一个人是否患有COVID-19, 表示，1代表不发热(39℃)：D由4个临床症状或者仅利用CT图像无法确定一个人是值表示，1表示正常，2表示轻度困难，3表示中度否患有COVID-19.在没有进行核酸检测的情况困难，4表示重度困难；C由3个值表示，1表示没下，医生通常需要将病人的临床症状与CT图像结有咳嗽，2表示轻度咳嗽，3表示剧烈咳嗽；PMH包合起来，以确定病人是否患有COVID-19.因此，含2种情况：1表示没有，2表示有；CP有3种情利用本文提出的新的医疗辅助诊断方法与仅使况：1表示没有接触过，2表示接触过，3表示来自用CT图像数据和仅使用结构化数值数据预测疫情区；WBC有3种状态：1表示下降，2表示正 COVID-19的方法进行比较，以证明提出的新方法常，3表示上升；其他症状包括腹泻，吞咽困难，胸的有效性闷等，用1表示没有其症状，2表示有其症状.由于 2.2.1数据集数值数据的某些属性值是缺失的，因此本文将缺实验Ⅱ使用的数据集是从几家医院的公共网失值用0代表.没有患COVID-19的患者的数值站B0收集的.该数据集（命名为COVID)由460个数据是在专业指导下构建的，构建的数据集共样本组成，其中训练集中包含161个没有患包含两类：没有患COVID-I9(NonCOVID)和患 COVID-19的样本和161个患有COVID-19的样 COVID-19(COVID).图4展示了数据集中的两种本，测试集中包含69个没有患COVID-19的样本样本和69个患有COVID-19的样本.数据集中的每个 2.2.2结果和讨论样本包含患者的肺部CT图像和10个数值属性：实验Ⅱ同实验I一样，使用如图1所示的模型性别(Sex)、年龄(Age)、发热程度(F)、呼吸困难结构.与实验1相似，设计了三组实验预测患者是程度(D)、咳嗽程度(C)、血氧饱和度(OS)、既往病否患有COVID-I9.第一组实验(ShuffleNetv22)利

力，因此该方法可以用于具有相互联系的两种疾病的预测，如肥胖和高血压. 2.2 实验 II 实验 II 用以判定一个人是否患有 COVID−19，即本实验是一个二分类的任务. 我们知道，仅根据临床症状或者仅利用 CT 图像无法确定一个人是否患有 COVID−19. 在没有进行核酸检测的情况下，医生通常需要将病人的临床症状与 CT 图像结合起来，以确定病人是否患有 COVID−19. 因此，利用本文提出的新的医疗辅助诊断方法与仅使用 CT 图像数据和仅使用结构化数值数据预测 COVID−19 的方法进行比较，以证明提出的新方法的有效性. 2.2.1 数据集实验 II 使用的数据集是从几家医院的公共网站[30] 收集的. 该数据集 (命名为 COVID) 由 460 个样本组成，其中训练集中包含 161 个没有患 COVID−19 的样本和 161 个患有 COVID−19 的样本，测试集中包含 69 个没有患 COVID−19 的样本和 69 个患有 COVID−19 的样本. 数据集中的每个样本包含患者的肺部 CT 图像和 10 个数值属性：性别（Sex）、年龄（Age）、发热程度 (F)、呼吸困难程度 (D)、咳嗽程度 (C)、血氧饱和度 (OS)、既往病史 (PMH)、是否与阳性患者接触过 (CP)、正常白细胞 (WBC) 和其他症状（Other）. 性别包括男性（1）和女性（2）；年龄从 1 岁到 100 岁不等；F 由 3 个值表示， 1 代表不发热（ 39 ℃）；D 由 4 个值表示，1 表示正常，2 表示轻度困难，3 表示中度困难，4 表示重度困难；C 由 3 个值表示，1 表示没有咳嗽，2 表示轻度咳嗽，3 表示剧烈咳嗽；PMH 包含 2 种情况：1 表示没有，2 表示有；CP 有 3 种情况：1 表示没有接触过，2 表示接触过，3 表示来自疫情区；WBC 有 3 种状态：1 表示下降，2 表示正常，3 表示上升；其他症状包括腹泻，吞咽困难，胸闷等，用 1 表示没有其症状，2 表示有其症状. 由于数值数据的某些属性值是缺失的，因此本文将缺失值用 0 代表. 没有患 COVID−19 的患者的数值数据是在专业指导[31] 下构建的，构建的数据集共包含两类：没有患 COVID−19（ NonCOVID) 和患 COVID−19（COVID). 图 4 展示了数据集中的两种样本. 2.2.2 结果和讨论实验 II 同实验 I 一样，使用如图 1 所示的模型结构. 与实验 I 相似，设计了三组实验预测患者是否患有 COVID−19. 第一组实验（ShuffleNetv2）利 1.0 0.9 (a) (b) 0.8 0.7 0.6 0.5 2.5 2.0 1.5 Loss 1.0 0.5 0 Accuracy 0.4 0.3 0.2 0.1 1 101 201 301 401 501 601 701 Iteration 801 901 1001 1101 1201 1301 1 101 201 301 401 501 601 701 Iteration 801 901 1001 1101 1201 1301 0 Validation Train Validation Train 图 3 训练过程中的预测准确率和损失的变动. （a）准确率的变动；（b）损失的变动 Fig.3 Changes in predictive accuracy and loss during training: (a) changes in accuracy; (b) changes in the loss 表 5 在 PHD 数据集上三组实验的准确率和其他评价指标 Table 5 Accuracy and other evaluation indicators of three groups of experiments in PHD dataset Model Class TP FP FN Precision Recall F1-score Accuracy Fusion method NHPH 33 19 12 0.635 0.733 0.680 0.687 NPH 29 10 17 0.744 0.630 0.682 PNH 24 14 14 0.632 0.632 0.632 PH 39 14 14 0.736 0.736 0.736 ShuffleNetv2(Only image data) No pneumonia 79 11 12 0.878 0.868 0.873 0.874 Pneumonia 80 12 11 0.870 0.879 0.874 DNN(Only structured data) No heart disease 72 16 11 0.818 0.867 0.842 0.852 Heart disease 83 11 16 0.883 0.838 0.860 · 1202 · 工程科学学报，第 43 卷，第 9 期

张桃红等：基于数据融合的智能医疗辅助诊断方法 ·1203· Image Sex Age F D C OS PMH CP WBC Other 52 3110.97 0 0 1 0 77 1010.89 0 22 1 图4 COVID数据集中两种类型的样本.(a)未患COVID-19的样本：(b)患有COVID-19的样本 Fig.4 Two types of samples in COVID:(a)samples without COVID-19(b)samples with COVID-19 用图】中的特征提取模块和分类层对肺部CT图确率为75.4%的ShuffleNetv2和准确率为73.2%的像进行分类；第二组实验(DNN)利用分类层对数 AlexNet.由实验结果可知，本文提出的将图像和值数据进行分类：第三组实验(Fusion)利用提出的数值数据进行融合的方法超越了单独用图像进行方法对肺部CT图像和数值数据进行分类.三组实分类的方法(ResNet:50、VGGl6等)，再一次证明验的预测结果分别展示在表6、表7和表8，各项了Fusion method更有益于医疗辅助诊断任务评价指标展示在表9.图5展示了第三组实验随着表6在COVD数据集上仅通过图像数据学习的预测结果迭代次数变动的训练集和验证集的预测准确率和损失的变动.在对138个样本进行分类时，还分别 Table 6 Prediction results learned only from image data in COVID dataset 计算了单独使用图像进行分类和使用Fusion Label method的分类方法进行分类的时间.如表I0所 Prediction NonCOVID COVID All 示，Fusion method的分类时间只比仅使用图像进 NonCOVID 55 20 75 行分类的时间增加了0.02s.如表9所示，仅使用 COVID 名 49 63 图像数据的预测准确率是75.4%，仅使用数值数据 All 69 69 138 的预测准确率是88.4%，使用两种数据的预测准确率是94.2%，可见Fusion method能够提高患病的预表7在COVD数据集上仅通过结构化的数值数据学习的预测结果测准确率.相比于仅使用图像分类，Fusion method Table 7 Prediction results leamed only by structured numerical data in 的准确率提高了18.8%，但是花费的时间仅增加 COVID dataset 0.02s.再观察指标F1-score,仅使用图像分类时， Label Prediction NonCOVID的F1-score是0.764，COVID的F1-score是 NonCOVID COVID All 0.742;仅使用数值数据分类时，NonCOVID的F1- NonCOVID 53 0 53 score是0.869，COVID的F1-score是0.896；使用提 COVID 16 69 85 出的融合方法分类时，NonCOVID和COVID的 All 69 69 138 F1-score都是0.942.总体上来看，相比于前两组实验，提出的方法不仅显著提高了每一类的F1- 表8本文方法在COVID数据集上的预测结果 score,而且显著提高了整体的分类准确率.之所以 Table 8 Predictive results of proposed method in COVID dataset 能够显著提高分类结果，是因为提出的方法将图 Label Prediction 像和数值数据融合，两类数据的特征相辅相成，互 NonCOVID COVID All 相增强，从而达到更好的分类结果.此外，为了证 NonCOVID 65 4 69 明本文提出的方法(Fusion method)对医疗辅助诊 COVID 4 65 69 断的有效性，将本文提出的方法和现有的图像分 All 69 69 138 类方法(ResNet:50,VGGl6,ShuffleNetv.2,AlexNet) 3 结论进行了对比.在实验环境相同的情况下，对测试集上138个样本进行了测试，实验结果如表11所示本文为医疗领域提供了一种基于数据融合的可以从表中看出，对138个样本进行分类时，Fusion 医疗辅助诊断方法，在一定程度上提高了医疗诊 method达到了94.2%的准确率，超过了准确率为断的准确率和效率.在两个数据集上进行了实验， 79.7%的ResNet50、准确率为77.5%的VGGl6、准实验I将肺炎CT图像和心脏病数值数据结合，使

用图 1 中的特征提取模块和分类层对肺部 CT 图像进行分类；第二组实验（DNN）利用分类层对数值数据进行分类；第三组实验（Fusion）利用提出的方法对肺部 CT 图像和数值数据进行分类. 三组实验的预测结果分别展示在表 6、表 7 和表 8，各项评价指标展示在表 9. 图 5 展示了第三组实验随着迭代次数变动的训练集和验证集的预测准确率和损失的变动. 在对 138 个样本进行分类时，还分别计算了单独使用图像进行分类和使用 Fusion method 的分类方法进行分类的时间. 如表 10 所示，Fusion method 的分类时间只比仅使用图像进行分类的时间增加了 0.02 s. 如表 9 所示，仅使用图像数据的预测准确率是 75.4%，仅使用数值数据的预测准确率是 88.4%，使用两种数据的预测准确率是 94.2%，可见 Fusion method 能够提高患病的预测准确率. 相比于仅使用图像分类，Fusion method 的准确率提高了 18.8%，但是花费的时间仅增加 0.02 s. 再观察指标 F1-score，仅使用图像分类时， NonCOVID 的F1-score 是0.764，COVID 的F1-score 是 0.742；仅使用数值数据分类时，NonCOVID 的 F1- score 是 0.869，COVID 的 F1-score 是 0.896；使用提出的融合方法分类时， NonCOVID 和 COVID 的 F1-score 都是 0.942. 总体上来看，相比于前两组实验，提出的方法不仅显著提高了每一类的 F1- score，而且显著提高了整体的分类准确率. 之所以能够显著提高分类结果，是因为提出的方法将图像和数值数据融合，两类数据的特征相辅相成，互相增强，从而达到更好的分类结果. 此外，为了证明本文提出的方法（Fusion method）对医疗辅助诊断的有效性，将本文提出的方法和现有的图像分类方法（ResNet50， VGG16， ShuffleNetv2， AlexNet）进行了对比. 在实验环境相同的情况下，对测试集上 138 个样本进行了测试，实验结果如表 11 所示. 可以从表中看出，对 138 个样本进行分类时，Fusion method 达到了 94.2% 的准确率，超过了准确率为 79.7% 的 ResNet50、准确率为 77.5% 的 VGG16、准确率为 75.4% 的 ShuffleNetv2和准确率为 73.2% 的 AlexNet. 由实验结果可知，本文提出的将图像和数值数据进行融合的方法超越了单独用图像进行分类的方法（ResNet50、VGG16 等），再一次证明了 Fusion method 更有益于医疗辅助诊断任务. 3 结论本文为医疗领域提供了一种基于数据融合的医疗辅助诊断方法，在一定程度上提高了医疗诊断的准确率和效率. 在两个数据集上进行了实验，实验 I 将肺炎 CT 图像和心脏病数值数据结合，使 Image Sex Age F D C OS PMH CP WBC Other (a) 2 52 3 1 1 0.97 0 0 1 0 (b) 1 77 1 0 1 0.89 0 2 2 1 图 4 COVID 数据集中两种类型的样本. （a）未患 COVID−19 的样本；（b）患有 COVID−19 的样本 Fig.4 Two types of samples in COVID: (a) samples without COVID−19; (b) samples with COVID−19 表 6 在 COVID 数据集上仅通过图像数据学习的预测结果 Table 6 Prediction results learned only from image data in COVID dataset Prediction Label NonCOVID COVID All NonCOVID 55 20 75 COVID 14 49 63 All 69 69 138 表 7 在 COVID 数据集上仅通过结构化的数值数据学习的预测结果 Table 7 Prediction results learned only by structured numerical data in COVID dataset Prediction Label NonCOVID COVID All NonCOVID 53 0 53 COVID 16 69 85 All 69 69 138 表 8 本文方法在 COVID 数据集上的预测结果 Table 8 Predictive results of proposed method in COVID dataset Prediction Label NonCOVID COVID All NonCOVID 65 4 69 COVID 4 65 69 All 69 69 138 张桃红等：基于数据融合的智能医疗辅助诊断方法 · 1203 ·

1204 工程科学学报，第43卷，第9期表9在COVD数据集上三组实验的准确度和其他评价指标 Table 9 Accuracy and other evaluation indicators of three groups of experiments in COVID dataset Model Class p FP FN Precision Recall F1-score Accuracy NonCOVID 65 4 0.942 0.942 0.942 Fusion method 0.942 COVID 65 4 0.942 0.942 0.942 NonCOVID 20 14 0.733 0.797 0.764 ShuffleNetv2(Only image data) COVID % 0.754 20 0.778 0.710 0.742 NonCOVID 53 6 1.00 0.768 0.869 DNN(Only structured data) 6 0.884 COVID 69 0 0.812 1.00 0.896 1.0 3.0 2.5 (b) -Validation 0.8 -Train 0.6 2.0 是0.4 1.0 02 Validation 0.5 (a -Train l八aLdh 0 0 51101151201251301351401451501 51101151201251301351401451501 Iteration Iteration 图5训练过程中的预测准确率和损失的变动.()准确率的变动：(b)损失的变动 Fig.5 Changes in predictive accuracy and loss during training:(a)changes in accuracy;(b)changes in the loss 表10本文方法和仅通过图像学习对138个样本进行分类的时间用结合的数据进行分类，实现了同时预测多种疾 Table 10 Time required to classify 138 samples using proposed method 病的效果，节省了医学分析的时间.实验Ⅱ为了判 and using only image data 断患者是否患有新冠肺炎，以肺部CT图像和临床 Model Proposed method Image only 诊断信息作为诊断依据，与仅使用肺部CT图像相 Time 3.58 3.56 比，两种方法的预测时间相差极小，但是提出的方表11 Fusion method、ResNet50、VGG16、ShuffleNetv2和AlexNet的准确度和其他评价指标 Table 11 Accuracy and other evaluation indicators of Fusion method,ResNet50,VGG16,ShuffleNetv2 and AlexNet Model Class TP 公 FN Precision Recall F1-score Accuracy NonCOVID 65 4 4 0.942 0.942 0.942 Fusion method 0.942 COVID 65 4 4 0.942 0.942 0.942 NonCOVID 56 15 13 0.789 0.812 0.800 ResNet50 0.797 COVID 54 13 15 0.806 0.783 0.794 NonCOVID 54 16 15 0.771 0.783 0.777 VGG16 0.775 COVID 53 15 16 0.779 0.768 0.774 NonCOVID 55 20 14 0.733 0.797 0.764 ShuffleNetv2 0.754 COVID 49 14 20 0.778 0.710 0.742 NonCOVID 50 18 19 0.735 0.725 0.730 AlexNet 0.732 COVID 51 19 18 0.728 0.739 0.734 法的预测结果准确地多.综合来看，本文提出的方 applied to document recognition.Proc /EEE,1998,86(11):2278 法为提高医学诊断的准确性、节省医学诊断时间 [2] Krizhevsky A,Sutskever I,Hinton G E.ImageNet classification 提供了一个很好的思路 with deep convolutional neural networks.Commun ACM,2017, 60(6):84 参考文献 [3]Deng J,Dong W,Socher R,et al.ImageNet:A large-scale [1]Lecun Y,Bottou L Bengio Y,et al.Gradient-based leaming hierarchical image database /2009 IEEE Conference on Computer

用结合的数据进行分类，实现了同时预测多种疾病的效果，节省了医学分析的时间. 实验 II 为了判断患者是否患有新冠肺炎，以肺部 CT 图像和临床诊断信息作为诊断依据，与仅使用肺部 CT 图像相比，两种方法的预测时间相差极小，但是提出的方法的预测结果准确地多. 综合来看，本文提出的方法为提高医学诊断的准确性、节省医学诊断时间提供了一个很好的思路. 参考文献 [1] Lecun Y, Bottou L, Bengio Y, et al. Gradient-based learning applied to document recognition. Proc IEEE, 1998, 86（11）: 2278 Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks. Commun ACM, 2017, 60（6）: 84 [2] Deng J, Dong W, Socher R, et al. ImageNet: A large-scale hierarchical image database // 2009 IEEE Conference on Computer [3] 1 101 201 301 Iteration Accuracy Loss 51 151 251 351 451 1 101 201 301 401 501 Iteration 51 151 251 351 451 401 501 1.0 0.8 0.6 0.4 0.2 0 3.0 2.5 2.0 1.5 1.0 0.5 0 Validation Train Validation Train (a) (b) 图 5 训练过程中的预测准确率和损失的变动. （a）准确率的变动；（b）损失的变动 Fig.5 Changes in predictive accuracy and loss during training: (a) changes in accuracy; (b) changes in the loss 表 10 本文方法和仅通过图像学习对 138 个样本进行分类的时间 Table 10 Time required to classify 138 samples using proposed method and using only image data Model Proposed method Image only Time 3.58 3.56 表 11 Fusion method、ResNet50、VGG16、ShuffleNetv2 和 AlexNet 的准确度和其他评价指标 Table 11 Accuracy and other evaluation indicators of Fusion method, ResNet50, VGG16, ShuffleNetv2 and AlexNet Model Class TP FP FN Precision Recall F1-score Accuracy Fusion method NonCOVID 65 4 4 0.942 0.942 0.942 0.942 COVID 65 4 4 0.942 0.942 0.942 ResNet50 NonCOVID 56 15 13 0.789 0.812 0.800 0.797 COVID 54 13 15 0.806 0.783 0.794 VGG16 NonCOVID 54 16 15 0.771 0.783 0.777 0.775 COVID 53 15 16 0.779 0.768 0.774 ShuffleNetv2 NonCOVID 55 20 14 0.733 0.797 0.764 0.754 COVID 49 14 20 0.778 0.710 0.742 AlexNet NonCOVID 50 18 19 0.735 0.725 0.730 0.732 COVID 51 19 18 0.728 0.739 0.734 表 9 在 COVID 数据集上三组实验的准确度和其他评价指标 Table 9 Accuracy and other evaluation indicators of three groups of experiments in COVID dataset Model Class TP FP FN Precision Recall F1-score Accuracy Fusion method NonCOVID 65 4 4 0.942 0.942 0.942 0.942 COVID 65 4 4 0.942 0.942 0.942 ShuffleNetv2(Only image data) NonCOVID 55 20 14 0.733 0.797 0.764 0.754 COVID 49 14 20 0.778 0.710 0.742 DNN(Only structured data) NonCOVID 53 0 16 1.00 0.768 0.869 0.884 COVID 69 16 0 0.812 1.00 0.896 · 1204 · 工程科学学报，第 43 卷，第 9 期

张桃红等：基于数据融合的智能医疗辅助诊断方法 ·1205· Vision and Pattern Recognition.Miami,2009:248 classification of breast cancer histopathology images./EEE Trans [4]Simonyan K,Zisserman A.Very deep convolutional networks for Med1 maging,2020,39(5):1306 large-scale image recognition [J/OL].ArXiv Preprint (2014-09-04) [18]Xu X Y,Wang C D,Guo J X,et al.MSCS-DeepLN:Evaluating [2021-01-12].https://arxiv.org/abs/1409.1556 lung nodule malignancy using multi-scale cost-sensitive neural [5] He K M,Zhang X Y,Ren S Q,et al.Deep residual learning for networks.Med Image Anal,2020,65:101772 image recognition /2016 IEEE Conference on Computer Vision [19]Mobiny A,Lu H Y,Nguyen H V,et al.Automated classification and Pattern Recognition (CVPR).Las Vegas,2016:770 of apoptosis in phase contrast microscopy using capsule network. [6] Szegedy C,Liu W,Jia Y Q,et al.Going deeper with convolutions IEEE Trans Med Imaging,2020,39(1):1 I 2015 IEEE Conference on Computer Vision and Pattern [20]Zhou Y,Li G Q,Li H Q.Automatic cataract classification using Recognition (CVPR).Boston,2015:1 deep neural network with discrete state transition.IEEE Trans Med [7]loffe S.Szegedy C.Batch normalization:Accelerating deep Imaging,2020,39(2):436 network training by reducing internal covariate shift [J/OL].ArXiv [21]Wang Y,Wang N,Xu M,et al.Deeply-supervised networks with Preprint (2015-02-11)[2021-01-12].https://arxiv.org/abs/1502. threshold loss for cancer detection in automated breast ultrasound. 03167 IEEE Trans Med Imaging,2020,39(4):866 [8]Szegedy C,Vanhoucke V,loffe S,et al.Rethinking the inception [22]Liu T J,Guo QQ,Lian C F,et al.Automated detection and architecture for computer vision /2016 IEEE Conference on classification of thyroid nodules in ultrasound images using Computer Vision and Pattern Recognition (CVPR).Las Vegas, clinical-knowledge-guided convolutional neural networks.Med 2016:2818 Image Anal,2019,58:101555 9] Szegedy C,loffe S,Vanhoucke V,et al.Inception-v4,inception- [23]Yao C,Zhao J Z,Ma B Y,et al.Fast detection method for cervical resnet and the impact of residual connections on leaming [J/OL]. cancer abnormal cells based on deep learning.Chin J Eng, ArXiv Preprint (2016-02-24)[2021-01-12].https://arxiv.org/abs/ https://doi..org/10.13374.issn2095-9389.2021.01.12.001 1602.07261 (姚超，赵基淮，马博渊，等.基于深度学习的宫颈癌异常细胞快 [10]landola F N,Han S,Moskewicz M W,et al.SqueezeNet:AlexNet- 速检测方法.工程科学学报，https://doi..org10.13374.issn2095- level accuracy with 50x fewer parameters and<5 MB model size 9389.2021.01.12.001) [J/0L].ArXiv Preprint(2016-02-24)[2021-01-12】.https:∥ arxiv.org/abs/1602.07360 [24]Zeng Y W,Liu X K,Xiao N,et al.Automatic diagnosis based on spatial information fusion feature for intracranial aneurysm./EEE [11]Howard A G,Zhu M,Chen B,et al.Mobilenets:Efficient convolutional neural networks for mobile vision applications Trans Med Imaging,2020,39(5):1448 [25]Wang L T,Zhang L Zhu M J,et al.Automatic diagnosis for [J/OL].ArXiv Preprint(2016-02-24)[2021-01-12].https://arxiv.org/ abs/1704.04861v1 thyroid nodules in ultrasound images by deep neural networks. [12]Zhang X Y,Zhou X Y,Lin M X,et al.ShuffleNet:an extremely Med Image Anal,2020,61:101665 efficient convolutional neural network for mobile devices//2018 [26]Kumar A,Fulham M,Feng D G,et al.Co-learning feature fusion IEEE/CVF Conference on Computer Vision and Pattern maps from PET-CT images of lung cancer.IEEE Trans Med Recognition.Salt Lake City,2018:6848 Imaging,2020,39(1:204 [13]Sandler M,Howard A,Zhu M L,et al.MobileNetV2:inverted [27]Joyseeree R,Otalora S,Muller H,et al.Fusing learned residuals and linear bottlenecks//2018 IEEE/CVF Conference on representations from Riesz filters and deep CNN for lung tissue Computer Vision and Pattern Recognition.Salt Lake City,2018: classification.Med /mage Anal,2019,56:172 4510 [28]Kingma D,Ba J.Adam:A method for stochastic [14]Ma NN,Zhang X Y,Zheng H T,et al.ShuffleNet V2:practical optimization[J/OL].ArXiv Preprint (2014-12-22)[2021-01-12]. guidelines for efficient CNN architecture design //2018 European https://arxiv.org/abs/1412.6980 Conference on Computer Vision (ECCV).Munich,2018:122 [29]Bio.Heart Disease UCI [J/OL ]Kaggle (2018-06-25)[2021-01- [15]Howard A,Sandler M,Chen B,et al.Searching for 121.https://www.kaggle.com/ronitf/heart-disease-uci MobileNetV3/12019 IEEE/CVF International Conference on [30]Societa Italiana di Radiologia Medica e Interventistica.Covid-19 Computer Vision (ICCV).Seoul,2019:1314 Database[J/OL].Database Online (2020-03-18)[2021-01-121. [16]Li L,Xu M,Liu H R,et al.A large-scale database and a CNN https://www.sirm.org/category/senza-categoria/covid-19 model for attention-based glaucoma detection.IEEE Trans Med [31]Zhao J,Zhang Y,He X,et al.COVID-CT-Dataset:A CT scan Imaging,2020,39(2):413 dataset about COVID-19[J/OL].ArXiv Preprint (2020-03-30) [17]Yang H,Kim J Y,Kim H,et al.Guided soft attention network for [2021-01-12].https://github.com/UCSD-AI4H/COVID-CT

Vision and Pattern Recognition. Miami, 2009: 248 Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition [J/OL]. ArXiv Preprint (2014-09-04) [2021-01-12]. https://arxiv.org/abs/1409.1556 [4] He K M, Zhang X Y, Ren S Q, et al. Deep residual learning for image recognition // 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, 2016: 770 [5] Szegedy C, Liu W, Jia Y Q, et al. Going deeper with convolutions // 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Boston, 2015: 1 [6] Ioffe S, Szegedy C. Batch normalization: Accelerating deep network training by reducing internal covariate shift [J/OL]. ArXiv Preprint (2015-02-11) [2021-01-12]. https://arxiv.org/abs/1502. 03167 [7] Szegedy C, Vanhoucke V, Ioffe S, et al. Rethinking the inception architecture for computer vision // 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, 2016: 2818 [8] Szegedy C, Ioffe S, Vanhoucke V, et al. Inception-v4, inceptionresnet and the impact of residual connections on learning [J/OL]. ArXiv Preprint (2016-02-24) [2021-01-12]. https://arxiv.org/abs/ 1602.07261 [9] Iandola F N, Han S, Moskewicz M W, et al. SqueezeNet: AlexNetlevel accuracy with 50x fewer parameters and <0.5 MB model size [J/OL]. ArXiv Preprint (2016-02-24) [2021-01-12]. https:// arxiv.org/abs/1602.07360 [10] Howard A G, Zhu M, Chen B, et al. Mobilenets: Efficient convolutional neural networks for mobile vision applications [J/OL].ArXiv Preprint(2016-02-24) [2021-01-12]. https://arxiv.org/ abs/1704.04861v1 [11] Zhang X Y, Zhou X Y, Lin M X, et al. ShuffleNet: an extremely efficient convolutional neural network for mobile devices//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, 2018: 6848 [12] Sandler M, Howard A, Zhu M L, et al. MobileNetV2: inverted residuals and linear bottlenecks// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, 2018: 4510 [13] Ma N N, Zhang X Y, Zheng H T, et al. ShuffleNet V2: practical guidelines for efficient CNN architecture design // 2018 European Conference on Computer Vision (ECCV). Munich, 2018: 122 [14] Howard A, Sandler M, Chen B, et al. Searching for MobileNetV3//2019 IEEE/CVF International Conference on Computer Vision (ICCV). Seoul, 2019: 1314 [15] Li L, Xu M, Liu H R, et al. A large-scale database and a CNN model for attention-based glaucoma detection. IEEE Trans Med Imaging, 2020, 39（2）: 413 [16] [17] Yang H, Kim J Y, Kim H, et al. Guided soft attention network for classification of breast cancer histopathology images. IEEE Trans Med Imaging, 2020, 39（5）: 1306 Xu X Y, Wang C D, Guo J X, et al. MSCS-DeepLN: Evaluating lung nodule malignancy using multi-scale cost-sensitive neural networks. Med Image Anal, 2020, 65: 101772 [18] Mobiny A, Lu H Y, Nguyen H V, et al. Automated classification of apoptosis in phase contrast microscopy using capsule network. IEEE Trans Med Imaging, 2020, 39（1）: 1 [19] Zhou Y, Li G Q, Li H Q. Automatic cataract classification using deep neural network with discrete state transition. IEEE Trans Med Imaging, 2020, 39（2）: 436 [20] Wang Y, Wang N, Xu M, et al. Deeply-supervised networks with threshold loss for cancer detection in automated breast ultrasound. IEEE Trans Med Imaging, 2020, 39（4）: 866 [21] Liu T J, Guo Q Q, Lian C F, et al. Automated detection and classification of thyroid nodules in ultrasound images using clinical-knowledge-guided convolutional neural networks. Med Image Anal, 2019, 58: 101555 [22] Yao C, Zhao J Z, Ma B Y, et al. Fast detection method for cervical cancer abnormal cells based on deep learning. Chin J Eng, https://doi.org/10.13374/j.issn2095-9389.2021.01.12.001 （姚超, 赵基淮, 马博渊, 等. 基于深度学习的宫颈癌异常细胞快速检测方法. 工程科学学报, https://doi.org/10.13374/j.issn2095- 9389.2021.01.12.001） [23] Zeng Y W, Liu X K, Xiao N, et al. Automatic diagnosis based on spatial information fusion feature for intracranial aneurysm. IEEE Trans Med Imaging, 2020, 39（5）: 1448 [24] Wang L T, Zhang L, Zhu M J, et al. Automatic diagnosis for thyroid nodules in ultrasound images by deep neural networks. Med Image Anal, 2020, 61: 101665 [25] Kumar A, Fulham M, Feng D G, et al. Co-learning feature fusion maps from PET−CT images of lung cancer. IEEE Trans Med Imaging, 2020, 39（1）: 204 [26] Joyseeree R, Otálora S, Müller H, et al. Fusing learned representations from Riesz filters and deep CNN for lung tissue classification. Med Image Anal, 2019, 56: 172 [27] Kingma D, Ba J. Adam: A method for stochastic optimization[J/OL]. ArXiv Preprint (2014-12-22) [2021-01-12]. https://arxiv.org/abs/1412.6980 [28] Bio. Heart Disease UCI [J/OL ]. Kaggle (2018-06-25) [2021-01- 12]. https://www.kaggle.com/ronitf/heart-disease-uci [29] Società Italiana di Radiologia Medica e Interventistica. Covid−19 Database[J/OL]. Database Online (2020-03-18) [2021-01-12]. https://www.sirm.org/category/senza-categoria/covid-19 [30] Zhao J, Zhang Y, He X, et al. COVID−CT−Dataset: A CT scan dataset about COVID−19[J/OL]. ArXiv Preprint (2020-03-30) [2021-01-12]. https://github.com/UCSD-AI4H/COVID-CT [31] 张桃红等：基于数据融合的智能医疗辅助诊断方法 · 1205 ·

点击进入文档下载页（PDF格式）

已到末页，全文结束