工程科学学报.第43卷，第9期：1197-1205.2021年9月 Chinese Journal of Engineering,Vol.43,No.9:1197-1205,September 2021 https://doi.org/10.13374/j.issn2095-9389.2021.01.12.003;http://cje.ustb.edu.cn 基于数据融合的智能医疗辅助诊断方法 张桃红2)四，范素丽，2)，郭徐徐12)，李倩倩，2) 1)北京科技大学计算机通信与工程学院.北京1000832)材料领域知识工程北京市重点实验室，北京100083 ☒通信作者，E-mail:zth ustb@163.com 摘要医生诊断需要结合临床症状、影像检查等各种数据，基于此，提出了一种可以进行数据融合的医疗辅助诊断方法 将患者的影像信息（如CT图像）和数值数据（如临床诊断信息）相结合，利用结合的信息自动预测患者的病情，进而提出了基 于深度学习的医疗辅助诊断模型.模型以卷积神经网络为基础进行搭建，图像和数值数据作为输人，输出病人的患病情况 该医疗辅助诊断方法能够利用更加全面的信息，有助于提高自动诊断准确率、降低诊断误差：另外，仅使用提出的医疗辅助 诊断模型就可以一次性处理多种类型的数据，能够在一定程度上节省诊断时间.在两个数据集上验证了所提出方法的有效 性，实验结果表明，该方法是有效的，它可以提高辅助诊断的准确性 关键词图像分类：卷积神经网络：特征融合：医疗诊断：深度学习 分类号TG142.71 Intelligent medical assistant diagnosis method based on data fusion ZHANG Tao-hong,FAN Su-li2)GUO Xu-xu2),LI Qian-gian2 1)School of Computer and Communication Engineering,University of Science and Technology Beijing,Beijing 100083,China 2)Beijing Key Laboratory of Knowledge Engineering for Materials Science.,Beijing 100083,China Corresponding author,E-mail:zth ustb@163.com ABSTRACT In the field of medicine,in order to diagnose a patient's condition more efficiently and conveniently,image classification has been widely leveraged.It is well established that when doctors diagnose a patient's condition,they not only observe the patient's image information(such as CT image)but also make final decisions incorporating the patient's clinical diagnostic information.However, current medical image classification only puts the image into a convolution neural network to obtain the diagnostic result and does not use the clinical diagnosis information.In intelligent auxiliary diagnosis,it is necessary to combine clinical symptoms with other imaging data for comprehensive diagnosis.This paper presented a new method of assistant diagnosis for the medical field.This method combined information from patients'imaging with numerical data (such as clinical diagnosis information)and used the combined information to automatically predict the patient's condition.Based on this method,a medical assistant diagnosis model based on deep learning was proposed.The model takes images and numerical data as input and outputs the patient's condition.Thus,this method is comprehensive and helps improve the accuracy of automatic diagnosis and reduce diagnostic error.Moreover,the proposed model can simultaneously process multiple types of data,thus saving diagnosis time.The effectiveness of the proposed method was verified in two groups of experiments designed in this paper.The first group of experiments shows that if the unrelated data are fused for classification,the proposed method cannot enhance the classification ability of the model,although it is able to predict multiple diseases at one time.The second group of experiments show that the proposed method could significantly improve classification results if the interrelated data are fused. KEY WORDS image classification;convolution neural network;feature fusion;medical diagnosis;deep learning 收稿日期：2021-01-12 基金项目：中央高校基本科研业务费专项资金资助项目(FRF-GF-20-16B)基于数据融合的智能医疗辅助诊断方法 张桃红1,2) 苣，范素丽1,2)，郭徐徐1,2)，李倩倩1,2) 1) 北京科技大学计算机通信与工程学院，北京 100083    2) 材料领域知识工程北京市重点实验室，北京 100083 苣通信作者，E-mail：zth_ustb@163.com 摘    要    医生诊断需要结合临床症状、影像检查等各种数据，基于此，提出了一种可以进行数据融合的医疗辅助诊断方法. 将患者的影像信息（如 CT 图像）和数值数据（如临床诊断信息）相结合，利用结合的信息自动预测患者的病情，进而提出了基 于深度学习的医疗辅助诊断模型. 模型以卷积神经网络为基础进行搭建，图像和数值数据作为输入，输出病人的患病情况. 该医疗辅助诊断方法能够利用更加全面的信息，有助于提高自动诊断准确率、降低诊断误差；另外，仅使用提出的医疗辅助 诊断模型就可以一次性处理多种类型的数据，能够在一定程度上节省诊断时间. 在两个数据集上验证了所提出方法的有效 性，实验结果表明，该方法是有效的，它可以提高辅助诊断的准确性. 关键词    图像分类；卷积神经网络；特征融合；医疗诊断；深度学习 分类号    TG142.71 Intelligent medical assistant diagnosis method based on data fusion ZHANG Tao-hong1,2) 苣 ，FAN Su-li1,2) ，GUO Xu-xu1,2) ，LI Qian-qian1,2) 1) School of Computer and Communication Engineering, University of Science and Technology Beijing, Beijing 100083, China 2) Beijing Key Laboratory of Knowledge Engineering for Materials Science., Beijing 100083, China 苣 Corresponding author, E-mail: zth_ustb@163.com ABSTRACT    In the field of medicine, in order to diagnose a patient’s condition more efficiently and conveniently, image classification has been widely leveraged. It is well established that when doctors diagnose a patient ’s condition, they not only observe the patient ’s image information (such as CT image) but also make final decisions incorporating the patient’s clinical diagnostic information. However, current medical image classification only puts the image into a convolution neural network to obtain the diagnostic result and does not use the clinical diagnosis information. In intelligent auxiliary diagnosis, it is necessary to combine clinical symptoms with other imaging data for comprehensive diagnosis. This paper presented a new method of assistant diagnosis for the medical field. This method combined information from patients’ imaging with numerical data (such as clinical diagnosis information) and used the combined information to automatically predict the patient ’s condition. Based on this method, a medical assistant diagnosis model based on deep learning was proposed. The model takes images and numerical data as input and outputs the patient’s condition. Thus, this method is comprehensive and helps improve the accuracy of automatic diagnosis and reduce diagnostic error. Moreover, the proposed model can simultaneously process  multiple  types  of  data,  thus  saving  diagnosis  time.  The  effectiveness  of  the  proposed  method  was  verified  in  two  groups  of experiments  designed  in  this  paper.  The  first  group  of  experiments  shows  that  if  the  unrelated  data  are  fused  for  classification,  the proposed method cannot enhance the classification ability of the model, although it is able to predict multiple diseases at one time. The second group of experiments show that the proposed method could significantly improve classification results if the interrelated data are fused. KEY WORDS    image classification；convolution neural network；feature fusion；medical diagnosis；deep learning 收稿日期: 2021−01−12 基金项目: 中央高校基本科研业务费专项资金资助项目（FRF-GF-20-16B） 工程科学学报，第 43 卷，第 9 期：1197−1205，2021 年 9 月 Chinese Journal of Engineering, Vol. 43, No. 9: 1197−1205, September 2021 https://doi.org/10.13374/j.issn2095-9389.2021.01.12.003; http://cje.ustb.edu.cn