张桃红等：基于数据融合的智能医疗辅助诊断方法 ·1203· Image Sex Age F D C OS PMH CP WBC Other 52 3110.97 0 0 1 0 77 1010.89 0 22 1 图4 COVID数据集中两种类型的样本.(a)未患COVID-19的样本：(b)患有COVID-19的样本 Fig.4 Two types of samples in COVID:(a)samples without COVID-19(b)samples with COVID-19 用图】中的特征提取模块和分类层对肺部CT图 确率为75.4%的ShuffleNetv2和准确率为73.2%的 像进行分类；第二组实验(DNN)利用分类层对数 AlexNet.由实验结果可知，本文提出的将图像和 值数据进行分类：第三组实验(Fusion)利用提出的 数值数据进行融合的方法超越了单独用图像进行 方法对肺部CT图像和数值数据进行分类.三组实 分类的方法(ResNet:50、VGGl6等)，再一次证明 验的预测结果分别展示在表6、表7和表8，各项 了Fusion method更有益于医疗辅助诊断任务 评价指标展示在表9.图5展示了第三组实验随着 表6在COVD数据集上仅通过图像数据学习的预测结果 迭代次数变动的训练集和验证集的预测准确率和 损失的变动.在对138个样本进行分类时，还分别 Table 6 Prediction results learned only from image data in COVID dataset 计算了单独使用图像进行分类和使用Fusion Label method的分类方法进行分类的时间.如表I0所 Prediction NonCOVID COVID All 示，Fusion method的分类时间只比仅使用图像进 NonCOVID 55 20 75 行分类的时间增加了0.02s.如表9所示，仅使用 COVID 名 49 63 图像数据的预测准确率是75.4%，仅使用数值数据 All 69 69 138 的预测准确率是88.4%，使用两种数据的预测准确 率是94.2%，可见Fusion method能够提高患病的预 表7在COVD数据集上仅通过结构化的数值数据学习的预测结果 测准确率.相比于仅使用图像分类，Fusion method Table 7 Prediction results leamed only by structured numerical data in 的准确率提高了18.8%，但是花费的时间仅增加 COVID dataset 0.02s.再观察指标F1-score,仅使用图像分类时， Label Prediction NonCOVID的F1-score是0.764，COVID的F1-score是 NonCOVID COVID All 0.742;仅使用数值数据分类时，NonCOVID的F1- NonCOVID 53 0 53 score是0.869，COVID的F1-score是0.896；使用提 COVID 16 69 85 出的融合方法分类时，NonCOVID和COVID的 All 69 69 138 F1-score都是0.942.总体上来看，相比于前两组实 验，提出的方法不仅显著提高了每一类的F1- 表8本文方法在COVID数据集上的预测结果 score,而且显著提高了整体的分类准确率.之所以 Table 8 Predictive results of proposed method in COVID dataset 能够显著提高分类结果，是因为提出的方法将图 Label Prediction 像和数值数据融合，两类数据的特征相辅相成，互 NonCOVID COVID All 相增强，从而达到更好的分类结果.此外，为了证 NonCOVID 65 4 69 明本文提出的方法(Fusion method)对医疗辅助诊 COVID 4 65 69 断的有效性，将本文提出的方法和现有的图像分 All 69 69 138 类方法(ResNet:50,VGGl6,ShuffleNetv.2,AlexNet) 3 结论 进行了对比.在实验环境相同的情况下，对测试集 上138个样本进行了测试，实验结果如表11所示 本文为医疗领域提供了一种基于数据融合的 可以从表中看出，对138个样本进行分类时，Fusion 医疗辅助诊断方法，在一定程度上提高了医疗诊 method达到了94.2%的准确率，超过了准确率为 断的准确率和效率.在两个数据集上进行了实验， 79.7%的ResNet50、准确率为77.5%的VGGl6、准 实验I将肺炎CT图像和心脏病数值数据结合，使用图 1 中的特征提取模块和分类层对肺部 CT 图 像进行分类；第二组实验（DNN）利用分类层对数 值数据进行分类；第三组实验（Fusion）利用提出的 方法对肺部 CT 图像和数值数据进行分类. 三组实 验的预测结果分别展示在表 6、表 7 和表 8，各项 评价指标展示在表 9. 图 5 展示了第三组实验随着 迭代次数变动的训练集和验证集的预测准确率和 损失的变动. 在对 138 个样本进行分类时，还分别 计 算 了 单 独 使 用 图 像 进 行 分 类 和 使 用 Fusion method 的分类方法进行分类的时间. 如表 10 所 示 ，Fusion method 的分类时间只比仅使用图像进 行分类的时间增加了 0.02 s. 如表 9 所示，仅使用 图像数据的预测准确率是 75.4%，仅使用数值数据 的预测准确率是 88.4%，使用两种数据的预测准确 率是 94.2%，可见 Fusion method 能够提高患病的预 测准确率. 相比于仅使用图像分类，Fusion method 的准确率提高了 18.8%，但是花费的时间仅增加 0.02 s. 再观察指标 F1-score，仅使用图像分类时， NonCOVID 的F1-score 是0.764，COVID 的F1-score 是 0.742；仅使用数值数据分类时，NonCOVID 的 F1- score 是 0.869，COVID 的 F1-score 是 0.896；使用提 出的融合方法分类时 ， NonCOVID 和 COVID 的 F1-score 都是 0.942. 总体上来看，相比于前两组实 验 ，提出的方法不仅显著提高了每一类 的 F1- score，而且显著提高了整体的分类准确率. 之所以 能够显著提高分类结果，是因为提出的方法将图 像和数值数据融合，两类数据的特征相辅相成，互 相增强，从而达到更好的分类结果. 此外，为了证 明本文提出的方法（Fusion method）对医疗辅助诊 断的有效性，将本文提出的方法和现有的图像分 类方法（ResNet50， VGG16， ShuffleNetv2， AlexNet） 进行了对比. 在实验环境相同的情况下，对测试集 上 138 个样本进行了测试，实验结果如表 11 所示. 可以从表中看出，对 138 个样本进行分类时，Fusion method 达到了 94.2% 的准确率，超过了准确率为 79.7% 的 ResNet50、准确率为 77.5% 的 VGG16、准 确率为 75.4% 的 ShuffleNetv2和准确率为 73.2% 的 AlexNet. 由实验结果可知，本文提出的将图像和 数值数据进行融合的方法超越了单独用图像进行 分类的方法（ResNet50、VGG16 等），再一次证明 了 Fusion method 更有益于医疗辅助诊断任务. 3    结论 本文为医疗领域提供了一种基于数据融合的 医疗辅助诊断方法，在一定程度上提高了医疗诊 断的准确率和效率. 在两个数据集上进行了实验， 实验 I 将肺炎 CT 图像和心脏病数值数据结合，使 Image Sex Age F D C OS PMH CP WBC Other (a) 2 52 3 1 1 0.97 0 0 1 0 (b) 1 77 1 0 1 0.89 0 2 2 1 图 4    COVID 数据集中两种类型的样本. （a）未患 COVID−19 的样本；（b）患有 COVID−19 的样本 Fig.4    Two types of samples in COVID: (a) samples without COVID−19; (b) samples with COVID−19 表 6    在 COVID 数据集上仅通过图像数据学习的预测结果 Table 6    Prediction  results  learned  only  from  image  data  in  COVID dataset Prediction Label NonCOVID COVID All NonCOVID 55 20 75 COVID 14 49 63 All 69 69 138 表 7    在 COVID 数据集上仅通过结构化的数值数据学习的预测结果 Table 7    Prediction results learned only by structured numerical data in COVID dataset Prediction Label NonCOVID COVID All NonCOVID 53 0 53 COVID 16 69 85 All 69 69 138 表 8    本文方法在 COVID 数据集上的预测结果 Table 8    Predictive results of proposed method in COVID dataset Prediction Label NonCOVID COVID All NonCOVID 65 4 69 COVID 4 65 69 All 69 69 138 张桃红等： 基于数据融合的智能医疗辅助诊断方法 · 1203 ·