张桃红等：基于数据融合的智能医疗辅助诊断方法 ·1199. Data fusion layer Stage2(Stage4) Down sampling Basic Basic Basic unit unit unit unit Convl Conv5 Maxpool Stage4 =3×3 Stage2 =1x1 8×28×116 14x14×2327X7x4647x7x1024 56×56×24 ==m中=一== Stage3 Classification layer Down sampling Basic Basic Basic unit unit unit unit Basic Basic Basic Basic unit unit unit Feature extraction 256 512 Age RBP SC MHR Other information: 130322109 ge. 70 Resting blood pressure(RBP). 56 120 236 178 Serum cholesterol(SC), Maximum heart rate(MAR). 77 125 304 162 And so on Numrical data 图1基于提出的方法构建的模型结构 Fig.1 Diagram of the model structure based on the proposed method 干网络，使用了ShuffleNetv22从输入层到平均池化 下，使通道充分融合，进行不同分组的特征之间的 层的网络层，包括输入层、卷积层(covl)、最大池 信息流动，以提高性能.如果输入特征图的大小是 化层(MaxPool)、stage2、stage3、stage4、卷积层 w×h×c,Basic unit输出的大小是wxh×c,Down (conv5),下面对其网络结构进行具体解释 sampling unit输出的大小是(w/2)×(h/2)×(2c.经过 convl和conv5使用的卷积核(f)的大小和数目 特征提取模块后，每个输入图像都被转化一个为 (n)分别是f=3×3,m1=24,f5=1×1,5=1024. 1024维的特征向量 stage2、stage3.和stage4都是由下采样单元(Down 特征融合模块的作用是将从图像中提取的特 sampling unit)和基本单元(Basic unit)连接而成， 征(XA)与无法从图像中获取的特征(XB)进行融 Down sampling unit和Basic unit的结构如图2所 合.X(如临床诊断信息)被组织成向量的形式输 示.在图2中，通道划分(Channel divide)的作用是 入到模型中，然后特征融合模块将XA和XB融合，形 将输入的特征图的通道数平均划分，输出两个通 成一个新的特征向量(X).特征融合的实现方式 道数相等的特征图；PWConv是指使用1×1的卷积 如公式(1)所示，特征融合模块是本文提出的方法 核进行卷积：DWConv是指按通道对输入特征图 的核心，它将多种特征融合，使融合后的特征更具 进行分组，每组包含一个通道，卷积操作在每组内 代表性和更加全面，这对分类任务更有益 独立执行；通道混洗(Channel shuffle)操作将c个通 Xr Fuse(XA,XB)=(xAI,XA2...xAM,XB1.XB2....XBN 道分成g组，形成大小为g×(c/g)的矩阵，接下来将 XA={xAl,XB={Bi=1,2,…Mj=1,2,…N 矩阵转置、平铺，这样可以在通道之间对信息进行 (1) 置乱和混合.Channel divide、PWConv和DWConv 1.2分类层 的作用都是减少模型参数，降低模型计算量 分类层的作用是利用数据融合层输出的融合 Channel shuffle的作用是在不增加计算量的情况 特征向量(X),输出分类结果.分类层由两个全连f n f1 = 3×3 n1 = 24 f5 = 1×1 n5 = 1024 1×1 c g g×(c/g) 干网络，使用了 ShuffleNetv2 从输入层到平均池化 层的网络层，包括输入层、卷积层（conv1）、最大池 化层 （ MaxPool） 、 stage2、 stage3、 stage4、卷积层 （ conv5） ， 下 面 对 其 网 络 结 构 进 行 具 体 解 释 . conv1 和 conv5 使用的卷积 核 ( ) 的大小和数 目 ( ) 分 别 是 , ， , . stage2、stage3 和 stage4 都是由下采样单元（Down sampling unit）和基本单元（Basic unit）连接而成 ， Down  sampling  unit 和 Basic  unit 的结构如 图 2 所 示. 在图 2 中，通道划分（Channel divide）的作用是 将输入的特征图的通道数平均划分，输出两个通 道数相等的特征图；PWConv 是指使用 的卷积 核进行卷积；DWConv 是指按通道对输入特征图 进行分组，每组包含一个通道，卷积操作在每组内 独立执行；通道混洗（Channel shuffle）操作将 个通 道分成 组，形成大小为 的矩阵，接下来将 矩阵转置、平铺，这样可以在通道之间对信息进行 置乱和混合. Channel divide、PWConv 和 DWConv 的作用都是减少模型参数 ，降低模型计算量 . Channel shuffle 的作用是在不增加计算量的情况 w×h×c w×h×c (w/2)×(h/2)×(2c) 下，使通道充分融合，进行不同分组的特征之间的 信息流动, 以提高性能. 如果输入特征图的大小是 ， Basic  unit 输 出 的 大 小 是 ， Down sampling unit 输出的大小是 . 经过 特征提取模块后，每个输入图像都被转化一个为 1024 维的特征向量. XA XB XB XA XB Xf 特征融合模块的作用是将从图像中提取的特 征（ ）与无法从图像中获取的特征（ ）进行融 合. （如临床诊断信息）被组织成向量的形式输 入到模型中，然后特征融合模块将 和 融合，形 成一个新的特征向量（ ）. 特征融合的实现方式 如公式（1）所示，特征融合模块是本文提出的方法 的核心，它将多种特征融合，使融合后的特征更具 代表性和更加全面，这对分类任务更有益. Xf = Fuse (XA,XB) = { xA1, xA2,··· xAM, xB1, xB2,··· xBN } XA = {xAi},XB = { xBj } i = 1,2,··· M; j = 1,2,···N （1） 1.2    分类层 Xf 分类层的作用是利用数据融合层输出的融合 特征向量（ ），输出分类结果. 分类层由两个全连 Data fusion layer Stage2 (Stage4) Stage4 Down sampling unit Basic unit Basic unit Basic unit Stage3 Feature extraction Down sampling unit Basic unit Basic unit Basic unit Basic unit Basic unit Basic unit Basic unit Conv1 Maxpool f1=3×3 f Stage2 5=1×1 56×56×24 28×28×116 14×14×232 7×7×464 7×7×1024 Conv5 Age RBP SC MHR 70 130 322 109 56 120 236 178 77 125 304 162 ... ... ... ... Other information: Age, Resting blood pressure (RBP), Serum cholesterol (SC), Maximum heart rate (MAR), And so on Numrical data Classification layer 512 256 NC Xinput1 图 1    基于提出的方法构建的模型结构 Fig.1    Diagram of the model structure based on the proposed method 张桃红等： 基于数据融合的智能医疗辅助诊断方法 · 1199 ·