张文静等：基于切面识别的房间隔缺损智能辅助诊断 1169 权值，这样虽然对于一般情况像素间相关性的刻 智能辅助诊断模型总体网络架构示意图如图4所 画更为准确，却仍不可避免地会破坏掉图像中的 示，主体结构由切面识别与A$D诊断两部分网络 边缘信息从而导致边界模糊；与均值滤波和高斯 构成.两部分网络可以单独进行训练，最后再通过 滤波没有考虑到轮廓边缘像素发生突变的特性不 一个全连接网络得到模型输出.经过预处理后的 同，双边滤波2-通过引入像素域核，可以实现对 数据同时输入到两个卷积神经网络中，分别进行 边界的有效保留，其所用滤波核参数如式(1) 特征提取，将两部分网络提取的特征进行拼接，从 所示： 而把识别的切面信息与图像提取的空间特征信息 _-2±-2_正u2 相融合，拼接的特征向量输入到全连接层，最后得 w(i,ik,l)=el 2 (1) 到结合切面识别的ASD诊断结果.该模型架构可 1(i.-Zkul(k.Dw(i.j.k.D) (2) 以很好地将超声心动图的不同切面特征与用于诊 ∑kw(jk,D 断的图像特征进行组合，从而使得诊断结果更加 式中，（位，）为滤波中心的坐标，(k,)为滤波器覆盖范 精确.且该模型架构易于实现，用于进行切面特征 围内某点坐标，I(a,b)为某点(a,b)的像素值，ca和 提取与ASD特征提取的卷积神经网络可以独立选 σ分别为空域核方差和像素域核方差，由式(1)可 取，例如切面特征提取网络可以参考已有的较好 得滤波范围内某点像素值所被赋予的权值既与它 的超声心动图切面识别网络.而ASD特征提取网 相对于滤波中心的位置有关，又与其相对于滤波 络与全连接层作为整体，通过将切面类别也作为 中心的像素值差有关.滤波中心滤波后的像素值 标签进行输入，便可进行训练.得益于两部分网络 由式(2)计算得到，由于与滤波中心像素值相差较 独立进行训练，其中一个网络训练效果不佳时并 大的像素在双边滤波的滤波参数计算时会获得较 不会影响另一个网络的训练 小的权值，当滤波中心到达像素突变的边界处时， 图3给出的模型构建的整体架构，突出了网络 边界轮廓不会被过分平滑，从而实现保边去噪.不 总体的设计思路.实际用于ASD诊断的完整模型 同滤波算法作用于超声心动图的效果对比如图3 如图5所示，主要由3部分组成一数据预处理部 所示，可见均值滤波处理后的图像平滑程度最高， 分、ASD辅助诊断部分和加权求和部分.数据预 也最为模糊：高斯滤波虽然优于均值滤波，但是同 处理部分前已说明，模型中模块的组成与功能介 样存在模糊边界的问题：而双边滤波处理过后的 绍就主要针对后两部分进行 图像在平滑程度与边界清晰度上取得了比较好的 ASD辅助诊断部分主要是由View-net与ASD- 折中 net以及ASD diagnosis模块组成，其中ASD diagnosis 模块由一个4层的全连接神经网络组成，各层数 (b) 节点个数设置为(288,128,56,2)，其功能为通过 ASD-net与View-net获取的超声心动图高维特征 向量进行组合得到最终的诊断结果.View-net与 ASD-net的模型实现则均采用稠密连接卷积神 经网络(（Densely connected convolutional network, Densenet),其中View-net的功能为识别超声心 d 动图的切面类别，可作为一个单独的模型进行训 练，具有可替换性，在本模型中View-net直接使用 的Densenet1221P,ASD-net则是基于深度神经网 络模型压缩理论，采用如图6所示的轻量化的 网络结构，其网络主体由4个Dense block组成，每 图3噪声滤波效果对比.(a)原始图像：(b)均值滤波：(c)高斯滤波： 个Dense block内部有若干层Dense layer,,Dense (d)双边滤波 layer除了进行标准化和卷积操作得到特征图，还 Fig.3 Comparison of different noise filter algorithms:(a)original 会将输入与特征图堆叠，最后一起输出，第i层 image;(b)mean filter,(c)Gaussian filter;(d)bilateral filter Dense layer的输出如式(3)所示，concat表示堆叠 2.3模型算法 操作，conv表示卷积操作，norm表示标准化操作， 所提的基于超声心动图特征切面识别的ASD 当i取0时Xo为该dense block的输入.此外为了保权值，这样虽然对于一般情况像素间相关性的刻 画更为准确，却仍不可避免地会破坏掉图像中的 边缘信息从而导致边界模糊；与均值滤波和高斯 滤波没有考虑到轮廓边缘像素发生突变的特性不 同，双边滤波[22−23] 通过引入像素域核，可以实现对 边界的有效保留 ，其所用滤波核参数如式 （ 1） 所示： w(i, j, k,l) = e  − (i−k) 2+(j−l) 2 2σ 2 d − |I(i, j)−I(k,l)| 2 2σ 2 r   （1） I(i, j) = ∑ k,l I(k,l)w(i, j, k,l) ∑ k,lw(i, j, k,l) （2） (i, j) (k,l) I(a,b) (a,b) σd σr 式中， 为滤波中心的坐标， 为滤波器覆盖范 围内某点坐标， 为某点 的像素值， 和 分别为空域核方差和像素域核方差，由式（1）可 得滤波范围内某点像素值所被赋予的权值既与它 相对于滤波中心的位置有关，又与其相对于滤波 中心的像素值差有关. 滤波中心滤波后的像素值 由式（2）计算得到，由于与滤波中心像素值相差较 大的像素在双边滤波的滤波参数计算时会获得较 小的权值，当滤波中心到达像素突变的边界处时， 边界轮廓不会被过分平滑，从而实现保边去噪. 不 同滤波算法作用于超声心动图的效果对比如图 3 所示，可见均值滤波处理后的图像平滑程度最高， 也最为模糊；高斯滤波虽然优于均值滤波，但是同 样存在模糊边界的问题；而双边滤波处理过后的 图像在平滑程度与边界清晰度上取得了比较好的 折中. (a) (b) (c) (d) 图 3    噪声滤波效果对比. （a）原始图像；（b）均值滤波；（c）高斯滤波； （d）双边滤波 Fig.3     Comparison  of  different  noise  filter  algorithms:  (a)  original image; (b) mean filter; (c) Gaussian filter; (d) bilateral filter 2.3    模型算法 所提的基于超声心动图特征切面识别的 ASD 智能辅助诊断模型总体网络架构示意图如图 4 所 示，主体结构由切面识别与 ASD 诊断两部分网络 构成. 两部分网络可以单独进行训练，最后再通过 一个全连接网络得到模型输出. 经过预处理后的 数据同时输入到两个卷积神经网络中，分别进行 特征提取，将两部分网络提取的特征进行拼接，从 而把识别的切面信息与图像提取的空间特征信息 相融合，拼接的特征向量输入到全连接层，最后得 到结合切面识别的 ASD 诊断结果. 该模型架构可 以很好地将超声心动图的不同切面特征与用于诊 断的图像特征进行组合，从而使得诊断结果更加 精确. 且该模型架构易于实现，用于进行切面特征 提取与 ASD 特征提取的卷积神经网络可以独立选 取，例如切面特征提取网络可以参考已有的较好 的超声心动图切面识别网络. 而 ASD 特征提取网 络与全连接层作为整体，通过将切面类别也作为 标签进行输入，便可进行训练. 得益于两部分网络 独立进行训练，其中一个网络训练效果不佳时并 不会影响另一个网络的训练. 图 3 给出的模型构建的整体架构，突出了网络 总体的设计思路. 实际用于 ASD 诊断的完整模型 如图 5 所示，主要由 3 部分组成——数据预处理部 分、ASD 辅助诊断部分和加权求和部分. 数据预 处理部分前已说明，模型中模块的组成与功能介 绍就主要针对后两部分进行. X0 ASD 辅助诊断部分主要是由 View-net 与 ASD￾net 以及 ASD diagnosis 模块组成，其中 ASD diagnosis 模块由一个 4 层的全连接神经网络组成，各层数 节点个数设置为（288，128，56，2），其功能为通过 ASD-net 与 View-net 获取的超声心动图高维特征 向量进行组合得到最终的诊断结果. View-net 与 ASD-net 的模型实现则均采用稠密连接卷积神 经 网 络 （ Densely  connected  convolutional  network， Densenet） [24] ，其中 View-net 的功能为识别超声心 动图的切面类别，可作为一个单独的模型进行训 练，具有可替换性，在本模型中 View-net 直接使用 的 Densenet121[24] . ASD-net 则是基于深度神经网 络模型压缩理论[25] ，采用如图 6 所示的轻量化的 网络结构，其网络主体由 4 个 Dense block 组成，每 个 Dense  block 内部有若干 层 Dense  layer， Dense layer 除了进行标准化和卷积操作得到特征图，还 会将输入与特征图堆叠，最后一起输出，第 i 层 Dense layer 的输出如式（3）所示，concat 表示堆叠 操作，conv 表示卷积操作，norm 表示标准化操作， 当 i 取 0 时 为该 dense block 的输入. 此外为了保 张文静等： 基于切面识别的房间隔缺损智能辅助诊断 · 1169 ·