·1200 工程科学学报，第43卷，第9期 (a 1×1 BN 3×3 BN 1×1 PWConv Relu DWConv PWConv BN Channel Relu Channel Channel divide concat shutfle (b) 1×1 BN 3×3 DWConv BN 1×1 PWConv Relu (Strid=2) PWConvBN Relu Channel Channel concat shuffle 3×3 DWCon 1×1 (Strid=2) PWConv 图2基本单元和下采样单元的结构.(a)基木单元的结构：(b)下采样单元的结构 Fig.2 Structure of the basic unit and down sampling unit:(a)structure of the basic unit;(b)structure of the down sampling unit 接层和一个输出层构成，它们分别对应512、 性心绞痛(EIA)、运动引起的ST段下降(ST)、ST 256和Nc个神经元(Nc表示类的总数量).在输出 段峰值斜率(SP)、透视检查看到的血管数(NV)、 层后面连接Softmax函数，用于输出医疗诊断结果 地中海贫血(Thal).年龄分布在20岁到80岁之 (分类结果)：Ypre=ypre_1,ypre2,…,pe_Ne,ypre_表 间；性别包括男性(0)和女性(1)；CPT分为4级， 示输入数据的类是第类的概率.样本标签用 分别是0（无疼痛），1（轻微疼痛），2（中级疼痛）和 Y=y1,2,yw}表示，如果输人的样本属于第 3(重级疼痛)；RER有3个状态，0表示正常，1表 k类，那么=1，k=0.训练模型时使用交叉嫡损 示轻微异常，2表示严重异常；EIA的类型为0（没 失函数来优化模型参数，损失函数的计算方式如 有)和1（有）：心电图ST段是指心电图上QRS波 下所示： 终点，至T波开始前的一段水平线，ST段改变往 往提示有心肌缺血的可能.ST段峰值斜率表示 yilogypre_i (2) ST段抬高峰值处的斜率，斜率为0时用0表示，斜 i=l 率位于0~0.5之间时用1表示，斜率位于0.5~1 2 实验 之间时用2表示：Thal的状态包括1（正常），2（固 定缺陷)和3（可逆缺陷）.本文将这两个数据集组 本文分别在两个数据集上进行了实验：第一 合成了一个新的数据集，它同时包含图像和数值 个实验预测肺炎和心脏病，第二个实验预测新冠 数据，命名为肺炎心脏病数据集(PHD).PHD包含 肺炎(COVID-19).在训练过程中，模型参数通过 606个样本，其中424个训练样本，182个测试样 批量迭代更新，批量大小设置为32，初始学习率 本.PHD共包含4种类型：同时患有肺炎和心脏 为0.001，使用的优化器是Adam21实验细节分别 病(PH,患有肺炎但未患心脏病(PNH,未患肺炎 在下面的实验I和实验Ⅱ中展示 但患有心脏病NPH),既没有患肺炎又没有患心脏 2.1实验1 病NPNH).每一个样本包含一张图像和13个数 2.1.1数据集 值属性，表1展示了数据集中的4种样本 实验I中使用的数据包括一个肺部CT图像的 2.1.2结果和讨论 数据集和一个心脏病的数值数据集，它们都是从 如第1部分所述，使用轻量化卷积神经网络 Kagglel29收集的.我们将这两个公开数据集组合 ShuffleNetv.2提取图像特征，分类层使用两个全连 在一起，生成一个同时包含图像和数值数据的数 接层和一个输出层，两个全连接层分别包含512 据集.肺部CT图像用于判断病人是否患有肺炎， 和256个神经元，输出层包含4个神经元(PHD包 每张图像都被标注为是否有肺炎.数值数据用于 含4种类型的疾病).为了验证提出的融合方法的 判断病人是否患有心脏病，每条数据包括13个属 可行性，进行了3组实验进行对比：第一组实验 性：年龄(Age)、性别(Sex)、胸痛类型(CPT)、静息 (ShuffleNetv2)利用图1中的特征提取模块和分类 血压(RBP)、血清胆固醇含量(SC)、空腹血糖含量 层对肺部CT图像进行分类，预测病人是否患有肺 (FBS)、静息心电图(RER)、最大心率(MHR)、运动 炎：第二组实验(DNN)利用分类层对心脏病数值NC NC Ypre = {ypre_1, ypre_2,··· , ypre_Nc } ypre_i i Y = { y1, y2,··· , yNc } k yk = 1 y!k = 0 接 层 和 一 个 输 出 层 构 成 ， 它 们 分 别 对 应 512、 256 和 个神经元 ( 表示类的总数量). 在输出 层后面连接 Softmax 函数，用于输出医疗诊断结果 （分类结果 ） ： ， 表 示输入数据的类是第 类的概率 . 样本标签用 表示 ，如果输入的样本属于第 类，那么 ， . 训练模型时使用交叉熵损 失函数来优化模型参数，损失函数的计算方式如 下所示： Loss = − ∑ Nc i=1 yi logypre_i （2） 2    实验 本文分别在两个数据集上进行了实验：第一 个实验预测肺炎和心脏病，第二个实验预测新冠 肺炎（COVID−19）. 在训练过程中，模型参数通过 批量迭代更新，批量大小设置为 32，初始学习率 为 0.001，使用的优化器是 Adam[28] . 实验细节分别 在下面的实验 I 和实验 II 中展示. 2.1    实验 I 2.1.1    数据集 实验 I 中使用的数据包括一个肺部 CT 图像的 数据集和一个心脏病的数值数据集，它们都是从 Kaggle[29] 收集的. 我们将这两个公开数据集组合 在一起，生成一个同时包含图像和数值数据的数 据集. 肺部 CT 图像用于判断病人是否患有肺炎， 每张图像都被标注为是否有肺炎. 数值数据用于 判断病人是否患有心脏病，每条数据包括 13 个属 性：年龄（Age）、性别（Sex）、胸痛类型 (CPT)、静息 血压 (RBP)、血清胆固醇含量 (SC)、空腹血糖含量 (FBS)、静息心电图 (RER)、最大心率 (MHR)、运动 性心绞痛 (EIA)、运动引起的 ST 段下降 (ST)、ST 段峰值斜率 (SP)、透视检查看到的血管数 (NV)、 地中海贫血 (Thal). 年龄分布在 20 岁到 80 岁之 间；性别包括男性（0）和女性（1） ；CPT 分为 4 级 ， 分别是 0（无疼痛），1（轻微疼痛），2（中级疼痛）和 3（重级疼痛）；RER 有 3 个状态，0 表示正常，1 表 示轻微异常，2 表示严重异常；EIA 的类型为 0（没 有 ）和 1（有）；心电图 ST 段是指心电图上 QRS 波 终点，至 T 波开始前的一段水平线，ST 段改变往 往提示有心肌缺血的可能. ST 段峰值斜率表示 ST 段抬高峰值处的斜率，斜率为 0 时用 0 表示，斜 率位于 0～0.5 之间时用 1 表示，斜率位于 0.5～1 之间时用 2 表示；Thal 的状态包括 1（正常），2（固 定缺陷）和 3（可逆缺陷）. 本文将这两个数据集组 合成了一个新的数据集，它同时包含图像和数值 数据，命名为肺炎心脏病数据集 (PHD). PHD 包含 606 个样本，其中 424 个训练样本，182 个测试样 本. PHD 共包含 4 种类型：同时患有肺炎和心脏 病 (PH)，患有肺炎但未患心脏病 (PNH)，未患肺炎 但患有心脏病 (NPH)，既没有患肺炎又没有患心脏 病 (NPNH). 每一个样本包含一张图像和 13 个数 值属性，表 1 展示了数据集中的 4 种样本. 2.1.2    结果和讨论 如第 1 部分所述，使用轻量化卷积神经网络 ShuffleNetv2 提取图像特征，分类层使用两个全连 接层和一个输出层，两个全连接层分别包含 512 和 256 个神经元，输出层包含 4 个神经元（PHD 包 含 4 种类型的疾病）. 为了验证提出的融合方法的 可行性，进行了 3 组实验进行对比：第一组实验 （ShuffleNetv2）利用图 1 中的特征提取模块和分类 层对肺部 CT 图像进行分类，预测病人是否患有肺 炎；第二组实验（DNN）利用分类层对心脏病数值 Channel divide 1×1 PWConv 1×1 PWConv 1×1 PWConv Channel concat Relu Relu BN BN BN Channel shuffle 1×1 PWConv 3×3 DWConv (Strid=2) 3×3 DWConv (Strid=2) 3×3 DWConv 1×1 PWConv Channel concat Channel shuffle BN BN BN Relu Relu (b) (a) 图 2    基本单元和下采样单元的结构. （a）基本单元的结构；（b）下采样单元的结构 Fig.2    Structure of the basic unit and down sampling unit：(a) structure of the basic unit; (b) structure of the down sampling unit · 1200 · 工程科学学报，第 43 卷，第 9 期