工程科学学报 Chinese Journal of Engineering 基于切面识别的房间隔缺损智能辅助诊断 张文静李文秀刘爱军武兴坤李剑峰罗涛 Intelligent auxiliary diagnosis of atrial septal defect based on view classification ZHANG Wen-jing,LI Wen-xiu.LIU Ai-jun,WU Xing-kun,LI Jian-feng,LUO Tao 引用本文： 张文静，李文秀，刘爱军，武兴坤，李剑峰，罗涛.基于切面识别的房间隔缺损智能辅助诊断.工程科学学报，2021,43(9)： 1166-1173.doi:10.13374.issn2095-9389.2021.01.14.007 ZHANG Wen-jing.LI Wen-xiu,LIU Ai-jun,WU Xing-kun,LI Jian-feng,LUO Tao.Intelligent auxiliary diagnosis of atrial septal defect based on view classification[J].Chinese Journal of Engineering,2021,43(9):1166-1173.doi:10.13374/j.issn2095- 9389.2021.01.14.007 在线阅读View online:https::/oi.org10.13374.issn2095-9389.2021.01.14.007 您可能感兴趣的其他文章 Articles you may be interested in 基于深度学习的高效火车号识别 Efficient wagon number recognition based on deep learning 工程科学学报.2020,42(11)：1525 https:ldoi.org/10.13374.issn2095-9389.2019.12.05.001 基于深度学习的人体低氧状态识别 Recognition of human hypoxic state based on deep learning 工程科学学报.2019,41(6)：817 https::/1doi.org/10.13374斩.issn2095-9389.2019.06.014 基于DL-T及迁移学习的语音识别研究 Research on automatic speech recognition based on a DLT and transfer learning 工程科学学报.2021,433)：433 https:1doi.org/10.13374/.issn2095-9389.2020.01.12.001 多模态学习方法综述 A survey of multimodal machine learning 工程科学学报.2020,42(5)：557 https:/1doi.org/10.13374.issn2095-9389.2019.03.21.003 油气资源开发的大数据智能平台及应用分析 Big data intelligent platform and application analysis for oil and gas resource development 工程科学学报.2021,43(2)：179htps:/oi.org10.13374.issn2095-9389.2020.07.21.001 深度神经网络模型压缩综述 A survey of model compression for deep neural networks 工程科学学报.2019,4110)：1229htps:/1doi.org/10.13374.issn2095-9389.2019.03.27.002
基于切面识别的房间隔缺损智能辅助诊断 张文静 李文秀 刘爱军 武兴坤 李剑峰 罗涛 Intelligent auxiliary diagnosis of atrial septal defect based on view classification ZHANG Wen-jing, LI Wen-xiu, LIU Ai-jun, WU Xing-kun, LI Jian-feng, LUO Tao 引用本文: 张文静, 李文秀, 刘爱军, 武兴坤, 李剑峰, 罗涛. 基于切面识别的房间隔缺损智能辅助诊断[J]. 工程科学学报, 2021, 43(9): 1166-1173. doi: 10.13374/j.issn2095-9389.2021.01.14.007 ZHANG Wen-jing, LI Wen-xiu, LIU Ai-jun, WU Xing-kun, LI Jian-feng, LUO Tao. Intelligent auxiliary diagnosis of atrial septal defect based on view classification[J]. Chinese Journal of Engineering, 2021, 43(9): 1166-1173. doi: 10.13374/j.issn2095- 9389.2021.01.14.007 在线阅读 View online: https://doi.org/10.13374/j.issn2095-9389.2021.01.14.007 您可能感兴趣的其他文章 Articles you may be interested in 基于深度学习的高效火车号识别 Efficient wagon number recognition based on deep learning 工程科学学报. 2020, 42(11): 1525 https://doi.org/10.13374/j.issn2095-9389.2019.12.05.001 基于深度学习的人体低氧状态识别 Recognition of human hypoxic state based on deep learning 工程科学学报. 2019, 41(6): 817 https://doi.org/10.13374/j.issn2095-9389.2019.06.014 基于DL-T及迁移学习的语音识别研究 Research on automatic speech recognition based on a DLT and transfer learning 工程科学学报. 2021, 43(3): 433 https://doi.org/10.13374/j.issn2095-9389.2020.01.12.001 多模态学习方法综述 A survey of multimodal machine learning 工程科学学报. 2020, 42(5): 557 https://doi.org/10.13374/j.issn2095-9389.2019.03.21.003 油气资源开发的大数据智能平台及应用分析 Big data intelligent platform and application analysis for oil and gas resource development 工程科学学报. 2021, 43(2): 179 https://doi.org/10.13374/j.issn2095-9389.2020.07.21.001 深度神经网络模型压缩综述 A survey of model compression for deep neural networks 工程科学学报. 2019, 41(10): 1229 https://doi.org/10.13374/j.issn2095-9389.2019.03.27.002
工程科学学报.第43卷.第9期：1166-1173.2021年9月 Chinese Journal of Engineering,Vol.43,No.9:1166-1173,September 2021 https://doi.org/10.13374/j.issn2095-9389.2021.01.14.007;http://cje.ustb.edu.cn 基于切面识别的房间隔缺损智能辅助诊断 张文静”，李文秀，刘爱军)，武兴坤引，李剑峰)，罗涛)四 1)北京邮电大学北京先进信息网络实验室，北京1008762)首都医科大学附属北京安贞医院儿童心血管病中心，北京1000293)北京邮 电大学网络体系构建与融合北京市重点实验室，北京100876 ☒通信作者，E-mail:tuo@bupt.edu.cn 摘要针对超声心动图像质量差、噪声多，传统卷积神经网铬架构对超声心动图像的学习能力有限、表达不充分的缺点， 提出了一种基于标准切面识别的房间隔缺损(Atrial septal defect,.ASD)智能辅助诊断模型.该模型通过对超声心动图像进行 切面识别，充分融合其不同切面的语义特征，使得诊断的准确率得到明显提升。此外，还对其进行双边滤波保边去噪，并基于 此模型搭建房间隔缺损智能辅助诊断系统（简称ASD辅助诊断系统）.结果表明.该ASD辅助诊断系统的准确率高达 97.8%.且与传统卷积神经网络相比大大降低了假阴性率. 关键词深度学习：超声心动图：房间隔缺损：切面识别：双边滤波 分类号R318 Intelligent auxiliary diagnosis of atrial septal defect based on view classification ZHANG Wen-jing.LI Wen-xi,LIU Ai-ju.WU Xing-kun,LI Jian-feng,LUO Tao 1)Beijing Laboratory of Advanced Information Networks,Beijing University of Posts and Telecommunication,Beijing 100876,China 2)Pediatric Cardiovascular Center,Beijing Anzhen Hospital Affiliated to Capital Medical University,Beijing 100029,China 3)Beijing Key Laboratory of Network System Architecture and Convergence,Beijing University of Posts and Telecommunication,Beijing 100876,China Corresponding author,E-mail:tluo@bupt.edu.cn ABSTRACT Atrial septal defect (ASD)is common congenital heart disease.The detection rate of congenital heart disease has increased year by year,and ASD accounted for the largest proportion of it,reaching 37.31%.The ASD patient will suffer from shortness of breath,palpitation,weakness,etc.,with symptoms worsening with advanced age.The ASD patient will not suffer from congenital heart disease if their condition is diagnosed early.Echocardiography is a powerful and cost-effective means of detecting ASD.However, the disadvantages of echocardiography,such as noise and poor imaging quality,cause misdiagnosis of ASD.Hence,research into echocardiography-based efficient and effective detection of ASD with a deep neural network is of great significance.For echocardiography is noisy and fuzzy,and the learning and feature expression ability of the traditional convolutional neural network architecture is limited,a feature view classification based atrial septal defect intelligent auxiliary diagnostic model architecture was proposed.The different views of echocardiography possess different features,demanding more precise model extraction and combined features from echocardiography.The proposed model architecture integrates the semantic characteristics of several views,significantly improving the accuracy of diagnosis.In addition,with the aim of denoising and preserving edges,a bilateral filtering algorithm was performed.Furthermore,an ASD intelligent auxiliary diagnostic system was built based on the proposed model.The results show that the accuracy of the ASD auxiliary diagnostic system reaches 97.8%,and the false-negative rate is greatly reduced compared with the traditional convolutional neural network architecture. KEY WORDS deep learning;echocardiography:atrial septal defect;view classification;bilateral filtering 收稿日期：2021-01-14 基金项目：国家自然科学基金资助项目(61571065)
基于切面识别的房间隔缺损智能辅助诊断 张文静1)，李文秀2)，刘爱军2)，武兴坤3)，李剑峰3)，罗 涛1) 苣 1) 北京邮电大学北京先进信息网络实验室，北京 100876 2) 首都医科大学附属北京安贞医院儿童心血管病中心，北京 100029 3) 北京邮 电大学网络体系构建与融合北京市重点实验室，北京 100876 苣通信作者，E-mail: tluo@bupt.edu.cn 摘 要 针对超声心动图像质量差、噪声多，传统卷积神经网络架构对超声心动图像的学习能力有限、表达不充分的缺点， 提出了一种基于标准切面识别的房间隔缺损（Atrial septal defect，ASD）智能辅助诊断模型. 该模型通过对超声心动图像进行 切面识别，充分融合其不同切面的语义特征，使得诊断的准确率得到明显提升. 此外，还对其进行双边滤波保边去噪，并基于 此模型搭建房间隔缺损智能辅助诊断系统（简称 ASD 辅助诊断系统）. 结果表明，该 ASD 辅助诊断系统的准确率高达 97.8%，且与传统卷积神经网络相比大大降低了假阴性率. 关键词 深度学习；超声心动图；房间隔缺损；切面识别；双边滤波 分类号 R318 Intelligent auxiliary diagnosis of atrial septal defect based on view classification ZHANG Wen-jing1) ，LI Wen-xiu2) ，LIU Ai-jun2) ，WU Xing-kun3) ，LI Jian-feng3) ，LUO Tao1) 苣 1) Beijing Laboratory of Advanced Information Networks, Beijing University of Posts and Telecommunication, Beijing 100876, China 2) Pediatric Cardiovascular Center, Beijing Anzhen Hospital Affiliated to Capital Medical University, Beijing 100029, China 3) Beijing Key Laboratory of Network System Architecture and Convergence, Beijing University of Posts and Telecommunication, Beijing 100876, China 苣 Corresponding author, E-mail: tluo@bupt.edu.cn ABSTRACT Atrial septal defect (ASD) is common congenital heart disease. The detection rate of congenital heart disease has increased year by year, and ASD accounted for the largest proportion of it, reaching 37.31%. The ASD patient will suffer from shortness of breath, palpitation, weakness, etc., with symptoms worsening with advanced age. The ASD patient will not suffer from congenital heart disease if their condition is diagnosed early. Echocardiography is a powerful and cost-effective means of detecting ASD. However, the disadvantages of echocardiography, such as noise and poor imaging quality, cause misdiagnosis of ASD. Hence, research into echocardiography-based efficient and effective detection of ASD with a deep neural network is of great significance. For echocardiography is noisy and fuzzy, and the learning and feature expression ability of the traditional convolutional neural network architecture is limited, a feature view classification based atrial septal defect intelligent auxiliary diagnostic model architecture was proposed. The different views of echocardiography possess different features, demanding more precise model extraction and combined features from echocardiography. The proposed model architecture integrates the semantic characteristics of several views, significantly improving the accuracy of diagnosis. In addition, with the aim of denoising and preserving edges, a bilateral filtering algorithm was performed. Furthermore, an ASD intelligent auxiliary diagnostic system was built based on the proposed model. The results show that the accuracy of the ASD auxiliary diagnostic system reaches 97.8%, and the false-negative rate is greatly reduced compared with the traditional convolutional neural network architecture. KEY WORDS deep learning；echocardiography；atrial septal defect；view classification；bilateral filtering 收稿日期: 2021−01−14 基金项目: 国家自然科学基金资助项目（61571065） 工程科学学报，第 43 卷，第 9 期：1166−1173，2021 年 9 月 Chinese Journal of Engineering, Vol. 43, No. 9: 1166−1173, September 2021 https://doi.org/10.13374/j.issn2095-9389.2021.01.14.007; http://cje.ustb.edu.cn
张文静等：基于切面识别的房间隔缺损智能辅助诊断 ·1167 房间隔缺损(Atrial septal defect,.ASD)是一种 心动图切面类型及图像的简单分割，利用卷积神 常见的先天性的心脏病，表现为在胚胎发育过程 经网络进行左心室肥大(Left ventricular hypertrophy,. 中，房间隔发育异常导致左、右心房之间留有孔 LVH)的诊断其中超声心动图的切面分类对 隙.先天性心脏病的检出率逐年递增，而ASD更 LVH诊断准确率有一定的提升，但左心室肥大涉 是占据了先天性心脏病中最大的比重，达到37.31%山 及的切面类型与房间隔缺损差异很大.此外，实验 ASD患者随着年龄的增大，会出现气急、心悸和 结果表明，其进行切面分类后采用U-net对其进行 乏力的症状.40岁以上患者病情进一步加重，并 简单分割的做法对诊断准确率的提升并不明显 常出现心房颤动、心房扑动等心律失常和充血性 除了切面识别方面的工作，也有研究者致力于对 心衰表现.在患者年龄较小时将其检出，并对孔隙 超声心动图进行交互式翻译-以及超声心动图 较大无法自愈的患者进行治疗可以有效防止病情 图像分割的工作心以及其他基于深度学习的与 的恶化，避免患者遭受心脏病的痛苦.因此，对 超声心动图相关的工作（其他疾病的诊断、超声心 ASD的高效准确诊断的研究具有十分重要的现实 动图的数据增强等)5-训综上，目前仍鲜有基于 意义. 深度学习和超声心动图进行房间隔缺损的研究 超声心动图是进行ASD诊断的主要方式，通 于是本文将深度学习的算法面识别的房间隔缺损 过观察二维超声图中心脏的形态大小、回声缺失 智能辅助诊断方法 以及异常的血液分流可以很好地诊断出A$D,而 1问题分析 且超声心动图中彩色多普勒血流显像显示的左右 心房水平分流信号更是可以清楚准确地诊断与医 通过超声心动图进行ASD的诊断具有一定 学影像自身的数据特征相结合，提出了一种基于 的挑战性，其困难主要来自三个方面：正常人与 超声心动图切出ASD四彩色多普勒超声心动图 患者的超声心动图差异较小，难以简单地直接将 检查简便易行，无创伤，患者无痛苦，重复性强，准 其分开：超声心动图分为多种常用的标准切面， 确，是ASD的首选检查方法四.然而由于超声心动 每个切面的图像特征各异，传统的卷积神经网络 图客观上具有成像质量不佳，噪声较多的缺点，导 架构难以充分学习各个切面的不同特征；超声心 致超声漏诊及误诊ASD.调查表明，多达30%的 动图成像质量一般，边界不清且往往伴随着大量 超声心动图报告并不十分准确).此外，因为医疗 的噪声.这3个方面带来的不利影响都导致了 资源的分布不均，医生水平的良莠不齐，山村地区 将卷积神经网络直接应用到ASD的诊断上效果 的医院情况更不容乐观.事实上，临床医生大多不 不佳 具备阅片能力，阅片工作均由影像科医生完成，然 由Wangm给出的通过超声心动图诊断ASD 后再由其提交检查报告给临床医生.而在医疗资 的诊断依据可知，正常人的超声心动图与ASD患 源匮乏的乡村这些工作都将由临床医生来完成， 者的超声心动图的图像特征相异.如图1所示， 这就导致其超声心动图的检查报告可靠性进一步 ASD患者的超声心动图在房间隔缺损处存在明显 降低。由此可见，设计实现一种基于深度学习的 的阴影，这是用于区分正常人与患者的主要依据 ASD智能辅助诊断系统，具有十分重要的现实意 之一，这种图像差异与整张图像相比不够突出，而 义：对经验丰富的医生来说，可以帮助提高阅片效 两者在其余部分的图像特征上并没有明显的不 率，保证ASD诊断的可靠性即准确率；对于经验 同，所以就需要网络对超声心动图的图像特征进 较为欠缺甚至不具备阅片能力的医生来说更是可 行非常具有针对性地提取、组合.另一方面，超声 以帮助提供基于超声心动图的A$D辅助诊断意 心动图的多种常用切面的特征又各不相同，若不 见，提高诊断结果的综合性， 加以区分就进行诊断势必会丢失掉这一部分信 近年来深度学习在医学影像处理领域，有很 息，从而使诊断性能有所下降.于是就提出了基于 多研究者投入其中并取得了不少研究成果.Tao 特征切面识别的ASD智能辅助诊断模型，该模型 等提出了一种基于深度卷积神经网络的超声心 采用先进行切面识别，再进行房间隔诊断的两段 动图切面识别方法，采用金字塔池化层替代了全 式架构.通过对超声心动图进行切面识别，使得诊 连接层，取得了较为不错的识别准确率.Madani 断模型能更好更全面地把握图像特征，从而更加 等针对超声心动图15种切面进行了分类，主要 准确地区分出正常人与ASD患者.最后，为了应 目标是实现快速的分类.他们还提出了结合超声 对超声心动图图像质量不佳的问题，对数据进行
房间隔缺损 (Atrial septal defect，ASD) 是一种 常见的先天性的心脏病，表现为在胚胎发育过程 中，房间隔发育异常导致左、右心房之间留有孔 隙. 先天性心脏病的检出率逐年递增，而 ASD 更 是占据了先天性心脏病中最大的比重，达到 37.31% [1] . ASD 患者随着年龄的增大，会出现气急、心悸和 乏力的症状. 40 岁以上患者病情进一步加重，并 常出现心房颤动、心房扑动等心律失常和充血性 心衰表现. 在患者年龄较小时将其检出，并对孔隙 较大无法自愈的患者进行治疗可以有效防止病情 的恶化，避免患者遭受心脏病的痛苦. 因此，对 ASD 的高效准确诊断的研究具有十分重要的现实 意义. 超声心动图是进行 ASD 诊断的主要方式，通 过观察二维超声图中心脏的形态大小、回声缺失 以及异常的血液分流可以很好地诊断出 ASD，而 且超声心动图中彩色多普勒血流显像显示的左右 心房水平分流信号更是可以清楚准确地诊断与医 学影像自身的数据特征相结合，提出了一种基于 超声心动图切出 ASD[1] . 彩色多普勒超声心动图 检查简便易行，无创伤，患者无痛苦，重复性强，准 确，是 ASD 的首选检查方法[2] . 然而由于超声心动 图客观上具有成像质量不佳，噪声较多的缺点，导 致超声漏诊及误诊 ASD. 调查表明，多达 30% 的 超声心动图报告并不十分准确[3] . 此外，因为医疗 资源的分布不均，医生水平的良莠不齐，山村地区 的医院情况更不容乐观. 事实上，临床医生大多不 具备阅片能力，阅片工作均由影像科医生完成，然 后再由其提交检查报告给临床医生. 而在医疗资 源匮乏的乡村这些工作都将由临床医生来完成， 这就导致其超声心动图的检查报告可靠性进一步 降低. 由此可见，设计实现一种基于深度学习的 ASD 智能辅助诊断系统，具有十分重要的现实意 义：对经验丰富的医生来说，可以帮助提高阅片效 率，保证 ASD 诊断的可靠性即准确率；对于经验 较为欠缺甚至不具备阅片能力的医生来说更是可 以帮助提供基于超声心动图的 ASD 辅助诊断意 见，提高诊断结果的综合性. 近年来深度学习在医学影像处理领域，有很 多研究者投入其中并取得了不少研究成果. Tao 等[4] 提出了一种基于深度卷积神经网络的超声心 动图切面识别方法，采用金字塔池化层替代了全 连接层，取得了较为不错的识别准确率. Madani 等[5] 针对超声心动图 15 种切面进行了分类，主要 目标是实现快速的分类. 他们还提出了结合超声 心动图切面类型及图像的简单分割，利用卷积神 经网络进行左心室肥大（Left ventricular hypertrophy, LVH）的诊断[6] . 其中超声心动图的切面分类对 LVH 诊断准确率有一定的提升，但左心室肥大涉 及的切面类型与房间隔缺损差异很大. 此外，实验 结果表明，其进行切面分类后采用 U-net 对其进行 简单分割的做法对诊断准确率的提升并不明显. 除了切面识别方面的工作，也有研究者致力于对 超声心动图进行交互式翻译[7−9] 以及超声心动图 图像分割的工作[10−14] 以及其他基于深度学习的与 超声心动图相关的工作（其他疾病的诊断、超声心 动图的数据增强等）[15−21] . 综上，目前仍鲜有基于 深度学习和超声心动图进行房间隔缺损的研究， 于是本文将深度学习的算法面识别的房间隔缺损 智能辅助诊断方法. 1 问题分析 通过超声心动图进行 ASD 的诊断具有一定 的挑战性，其困难主要来自三个方面：正常人与 患者的超声心动图差异较小，难以简单地直接将 其分开；超声心动图分为多种常用的标准切面， 每个切面的图像特征各异，传统的卷积神经网络 架构难以充分学习各个切面的不同特征；超声心 动图成像质量一般，边界不清且往往伴随着大量 的噪声. 这 3 个方面带来的不利影响都导致了 将卷积神经网络直接应用到 ASD 的诊断上效果 不佳. 由 Wang[1] 给出的通过超声心动图诊断 ASD 的诊断依据可知，正常人的超声心动图与 ASD 患 者的超声心动图的图像特征相异. 如图 1 所示， ASD 患者的超声心动图在房间隔缺损处存在明显 的阴影，这是用于区分正常人与患者的主要依据 之一. 这种图像差异与整张图像相比不够突出，而 两者在其余部分的图像特征上并没有明显的不 同，所以就需要网络对超声心动图的图像特征进 行非常具有针对性地提取、组合. 另一方面，超声 心动图的多种常用切面的特征又各不相同，若不 加以区分就进行诊断势必会丢失掉这一部分信 息，从而使诊断性能有所下降. 于是就提出了基于 特征切面识别的 ASD 智能辅助诊断模型，该模型 采用先进行切面识别，再进行房间隔诊断的两段 式架构. 通过对超声心动图进行切面识别，使得诊 断模型能更好更全面地把握图像特征，从而更加 准确地区分出正常人与 ASD 患者. 最后，为了应 对超声心动图图像质量不佳的问题，对数据进行 张文静等： 基于切面识别的房间隔缺损智能辅助诊断 · 1167 ·
·1168 工程科学学报，第43卷，第9期 双边滤波处理，便可以在保留轮廓边界的前提下 一帧图像就确诊过于武断.而邻近帧图像相似度 一定程度上抑制噪声，提高图像的质量 较高，均输入模型进行诊断存在数据冗余问题，因 此同时也为了提高数据量，在预处理中采用了一 (a) (b) 定的间隔对数据进行了采样操作.除去动态数据 外，数据集中也含有少数的静态图像，这种静态图 像一般为超声医生精心截取的，对于ASD诊断的 参考意义较高，皆予以保留.其次，原始的超声心 动图中除了超声影像外，其边框处还有许多涉及 图1超声心动图对比.(a)ASD患者：(b)健康人 患者隐私的信息，这些信息对于诊断而言与噪声 Fig.1 Contrast in echocardiography of ASD patient(a)and healthy 无异，保留下来也会有泄露患者隐私的风险，于是 people(b) 预处理阶段通过对超声影像部分手动提取边框获 取掩码图像，再将其与原始图像做掩码处理，滤除 2数据预处理与模型算法 超声影像以外的其他信息.此外，超声影像部分也 2.1数据预处理 存在不小的噪声干扰，需要对其进行噪声滤波操 研究所用数据集均由某医院提供的116位被 作.通过对比不同的滤波算法，模型采用了双边滤 检查者的二维超声心动图及彩色超声多普勒组 波算法，该部分具体细节将在下面展开叙述.最后 成，其中有80位确诊为ASD患者，剩下36位诊断 再将得到的图像进行一些数据增强操作，如图像 为正常，分别占总数的69%和31%.其中每个人的 旋转、翻转和随机剪裁等 数据均由数量不等的各种切面的dicom格式的超 2.2基于双边滤波器的超声心动图噪声消除算法 声心动图组成 然而，由于超声心动图噪声较多，直接用原始 在临床诊断中，有几种比较常用且可靠的超 图像进行模型训练效果不佳，需要对其进行降噪 声心动图标准切面（图2），分别是：胸骨旁大动脉 处理.目前常用的图像降噪滤波算法有均值滤 短轴切面，心尖四腔心切面，胸骨旁四腔心切面， 波、高斯滤波以及双边滤波，这些滤波算法都是通 剑突下上下腔长轴切面，剑突下大动脉短轴切面 过将滤波范围内的像素做加权平均的发生进行图 及剑突下双房心切面.其中图2(a)和2(b)相似度 像平滑，从而抑制噪声的.不过均值滤波对周围像 较高，一般都统称为四腔心切面 素赋予相同的权值，这与图像中像素实际的概率 数据预处理的过程主要分为如下几步：首先， 分布不符，在图像的轮廓边缘更是如此；高斯滤波 用户的超声心动图数据中往往动态数据居多，一 则是通过假设滤波中心像素与周围像素的像素值 个动态数据中包含有许多帧图像，仅依靠其中某 满足高斯分布，并以此对其周围像素赋予不同的 (b) d (e) 图2超声心动图6类标准切面.(a)胸骨旁大动脉短轴：(b)心尖四腔心：(c)胸骨旁四腔心：(d)剑突下上下腔长轴：()剑突下大动脉短轴：(f)剑 突下双房心 Fig.2 Six normal views of echocardiography:(a)parasternal short-axis view,(b)apical four-chamber view;(c)parasternal four-chamber view, (d)subcostal inferior vena cava;(e)subcostal short axial of aorta;(f)subcostal left and right atrium
双边滤波处理，便可以在保留轮廓边界的前提下 一定程度上抑制噪声，提高图像的质量. (a) (b) 图 1 超声心动图对比. （a）ASD 患者；（b）健康人 Fig.1 Contrast in echocardiography of ASD patient (a) and healthy people (b) 2 数据预处理与模型算法 2.1 数据预处理 研究所用数据集均由某医院提供的 116 位被 检查者的二维超声心动图及彩色超声多普勒组 成，其中有 80 位确诊为 ASD 患者，剩下 36 位诊断 为正常，分别占总数的 69% 和 31%. 其中每个人的 数据均由数量不等的各种切面的 dicom 格式的超 声心动图组成. 在临床诊断中，有几种比较常用且可靠的超 声心动图标准切面（图 2），分别是：胸骨旁大动脉 短轴切面，心尖四腔心切面，胸骨旁四腔心切面， 剑突下上下腔长轴切面，剑突下大动脉短轴切面 及剑突下双房心切面. 其中图 2（a）和 2（b）相似度 较高，一般都统称为四腔心切面. 数据预处理的过程主要分为如下几步：首先， 用户的超声心动图数据中往往动态数据居多，一 个动态数据中包含有许多帧图像，仅依靠其中某 一帧图像就确诊过于武断. 而邻近帧图像相似度 较高，均输入模型进行诊断存在数据冗余问题，因 此同时也为了提高数据量，在预处理中采用了一 定的间隔对数据进行了采样操作. 除去动态数据 外，数据集中也含有少数的静态图像，这种静态图 像一般为超声医生精心截取的，对于 ASD 诊断的 参考意义较高，皆予以保留. 其次，原始的超声心 动图中除了超声影像外，其边框处还有许多涉及 患者隐私的信息，这些信息对于诊断而言与噪声 无异，保留下来也会有泄露患者隐私的风险，于是 预处理阶段通过对超声影像部分手动提取边框获 取掩码图像，再将其与原始图像做掩码处理，滤除 超声影像以外的其他信息. 此外，超声影像部分也 存在不小的噪声干扰，需要对其进行噪声滤波操 作. 通过对比不同的滤波算法，模型采用了双边滤 波算法，该部分具体细节将在下面展开叙述. 最后 再将得到的图像进行一些数据增强操作，如图像 旋转、翻转和随机剪裁等. 2.2 基于双边滤波器的超声心动图噪声消除算法 然而，由于超声心动图噪声较多，直接用原始 图像进行模型训练效果不佳，需要对其进行降噪 处理. 目前常用的图像降噪滤波算法有均值滤 波、高斯滤波以及双边滤波，这些滤波算法都是通 过将滤波范围内的像素做加权平均的发生进行图 像平滑，从而抑制噪声的. 不过均值滤波对周围像 素赋予相同的权值，这与图像中像素实际的概率 分布不符，在图像的轮廓边缘更是如此；高斯滤波 则是通过假设滤波中心像素与周围像素的像素值 满足高斯分布，并以此对其周围像素赋予不同的 (a) (b) (c) (d) (e) (f) 图 2 超声心动图 6 类标准切面. （a）胸骨旁大动脉短轴；（b）心尖四腔心；（c）胸骨旁四腔心；（d）剑突下上下腔长轴；（e）剑突下大动脉短轴；（f）剑 突下双房心 Fig.2 Six normal views of echocardiography: (a) parasternal short-axis view; (b) apical four-chamber view; (c) parasternal four-chamber view; (d) subcostal inferior vena cava; (e) subcostal short axial of aorta; (f) subcostal left and right atrium · 1168 · 工程科学学报，第 43 卷，第 9 期
张文静等：基于切面识别的房间隔缺损智能辅助诊断 1169 权值，这样虽然对于一般情况像素间相关性的刻 智能辅助诊断模型总体网络架构示意图如图4所 画更为准确，却仍不可避免地会破坏掉图像中的 示，主体结构由切面识别与A$D诊断两部分网络 边缘信息从而导致边界模糊；与均值滤波和高斯 构成.两部分网络可以单独进行训练，最后再通过 滤波没有考虑到轮廓边缘像素发生突变的特性不 一个全连接网络得到模型输出.经过预处理后的 同，双边滤波2-通过引入像素域核，可以实现对 数据同时输入到两个卷积神经网络中，分别进行 边界的有效保留，其所用滤波核参数如式(1) 特征提取，将两部分网络提取的特征进行拼接，从 所示： 而把识别的切面信息与图像提取的空间特征信息 _-2±-2_正u2 相融合，拼接的特征向量输入到全连接层，最后得 w(i,ik,l)=el 2 (1) 到结合切面识别的ASD诊断结果.该模型架构可 1(i.-Zkul(k.Dw(i.j.k.D) (2) 以很好地将超声心动图的不同切面特征与用于诊 ∑kw(jk,D 断的图像特征进行组合，从而使得诊断结果更加 式中，（位，）为滤波中心的坐标，(k,)为滤波器覆盖范 精确.且该模型架构易于实现，用于进行切面特征 围内某点坐标，I(a,b)为某点(a,b)的像素值，ca和 提取与ASD特征提取的卷积神经网络可以独立选 σ分别为空域核方差和像素域核方差，由式(1)可 取，例如切面特征提取网络可以参考已有的较好 得滤波范围内某点像素值所被赋予的权值既与它 的超声心动图切面识别网络.而ASD特征提取网 相对于滤波中心的位置有关，又与其相对于滤波 络与全连接层作为整体，通过将切面类别也作为 中心的像素值差有关.滤波中心滤波后的像素值 标签进行输入，便可进行训练.得益于两部分网络 由式(2)计算得到，由于与滤波中心像素值相差较 独立进行训练，其中一个网络训练效果不佳时并 大的像素在双边滤波的滤波参数计算时会获得较 不会影响另一个网络的训练 小的权值，当滤波中心到达像素突变的边界处时， 图3给出的模型构建的整体架构，突出了网络 边界轮廓不会被过分平滑，从而实现保边去噪.不 总体的设计思路.实际用于ASD诊断的完整模型 同滤波算法作用于超声心动图的效果对比如图3 如图5所示，主要由3部分组成一数据预处理部 所示，可见均值滤波处理后的图像平滑程度最高， 分、ASD辅助诊断部分和加权求和部分.数据预 也最为模糊：高斯滤波虽然优于均值滤波，但是同 处理部分前已说明，模型中模块的组成与功能介 样存在模糊边界的问题：而双边滤波处理过后的 绍就主要针对后两部分进行 图像在平滑程度与边界清晰度上取得了比较好的 ASD辅助诊断部分主要是由View-net与ASD- 折中 net以及ASD diagnosis模块组成，其中ASD diagnosis 模块由一个4层的全连接神经网络组成，各层数 (b) 节点个数设置为(288,128,56,2)，其功能为通过 ASD-net与View-net获取的超声心动图高维特征 向量进行组合得到最终的诊断结果.View-net与 ASD-net的模型实现则均采用稠密连接卷积神 经网络(（Densely connected convolutional network, Densenet),其中View-net的功能为识别超声心 d 动图的切面类别，可作为一个单独的模型进行训 练，具有可替换性，在本模型中View-net直接使用 的Densenet1221P,ASD-net则是基于深度神经网 络模型压缩理论，采用如图6所示的轻量化的 网络结构，其网络主体由4个Dense block组成，每 图3噪声滤波效果对比.(a)原始图像：(b)均值滤波：(c)高斯滤波： 个Dense block内部有若干层Dense layer,,Dense (d)双边滤波 layer除了进行标准化和卷积操作得到特征图，还 Fig.3 Comparison of different noise filter algorithms:(a)original 会将输入与特征图堆叠，最后一起输出，第i层 image;(b)mean filter,(c)Gaussian filter;(d)bilateral filter Dense layer的输出如式(3)所示，concat表示堆叠 2.3模型算法 操作，conv表示卷积操作，norm表示标准化操作， 所提的基于超声心动图特征切面识别的ASD 当i取0时Xo为该dense block的输入.此外为了保
权值，这样虽然对于一般情况像素间相关性的刻 画更为准确，却仍不可避免地会破坏掉图像中的 边缘信息从而导致边界模糊；与均值滤波和高斯 滤波没有考虑到轮廓边缘像素发生突变的特性不 同，双边滤波[22−23] 通过引入像素域核，可以实现对 边界的有效保留 ，其所用滤波核参数如式 （ 1） 所示： w(i, j, k,l) = e − (i−k) 2+(j−l) 2 2σ 2 d − |I(i, j)−I(k,l)| 2 2σ 2 r （1） I(i, j) = ∑ k,l I(k,l)w(i, j, k,l) ∑ k,lw(i, j, k,l) （2） (i, j) (k,l) I(a,b) (a,b) σd σr 式中， 为滤波中心的坐标， 为滤波器覆盖范 围内某点坐标， 为某点 的像素值， 和 分别为空域核方差和像素域核方差，由式（1）可 得滤波范围内某点像素值所被赋予的权值既与它 相对于滤波中心的位置有关，又与其相对于滤波 中心的像素值差有关. 滤波中心滤波后的像素值 由式（2）计算得到，由于与滤波中心像素值相差较 大的像素在双边滤波的滤波参数计算时会获得较 小的权值，当滤波中心到达像素突变的边界处时， 边界轮廓不会被过分平滑，从而实现保边去噪. 不 同滤波算法作用于超声心动图的效果对比如图 3 所示，可见均值滤波处理后的图像平滑程度最高， 也最为模糊；高斯滤波虽然优于均值滤波，但是同 样存在模糊边界的问题；而双边滤波处理过后的 图像在平滑程度与边界清晰度上取得了比较好的 折中. (a) (b) (c) (d) 图 3 噪声滤波效果对比. （a）原始图像；（b）均值滤波；（c）高斯滤波； （d）双边滤波 Fig.3 Comparison of different noise filter algorithms: (a) original image; (b) mean filter; (c) Gaussian filter; (d) bilateral filter 2.3 模型算法 所提的基于超声心动图特征切面识别的 ASD 智能辅助诊断模型总体网络架构示意图如图 4 所 示，主体结构由切面识别与 ASD 诊断两部分网络 构成. 两部分网络可以单独进行训练，最后再通过 一个全连接网络得到模型输出. 经过预处理后的 数据同时输入到两个卷积神经网络中，分别进行 特征提取，将两部分网络提取的特征进行拼接，从 而把识别的切面信息与图像提取的空间特征信息 相融合，拼接的特征向量输入到全连接层，最后得 到结合切面识别的 ASD 诊断结果. 该模型架构可 以很好地将超声心动图的不同切面特征与用于诊 断的图像特征进行组合，从而使得诊断结果更加 精确. 且该模型架构易于实现，用于进行切面特征 提取与 ASD 特征提取的卷积神经网络可以独立选 取，例如切面特征提取网络可以参考已有的较好 的超声心动图切面识别网络. 而 ASD 特征提取网 络与全连接层作为整体，通过将切面类别也作为 标签进行输入，便可进行训练. 得益于两部分网络 独立进行训练，其中一个网络训练效果不佳时并 不会影响另一个网络的训练. 图 3 给出的模型构建的整体架构，突出了网络 总体的设计思路. 实际用于 ASD 诊断的完整模型 如图 5 所示，主要由 3 部分组成——数据预处理部 分、ASD 辅助诊断部分和加权求和部分. 数据预 处理部分前已说明，模型中模块的组成与功能介 绍就主要针对后两部分进行. X0 ASD 辅助诊断部分主要是由 View-net 与 ASDnet 以及 ASD diagnosis 模块组成，其中 ASD diagnosis 模块由一个 4 层的全连接神经网络组成，各层数 节点个数设置为（288，128，56，2），其功能为通过 ASD-net 与 View-net 获取的超声心动图高维特征 向量进行组合得到最终的诊断结果. View-net 与 ASD-net 的模型实现则均采用稠密连接卷积神 经 网 络 （ Densely connected convolutional network， Densenet） [24] ，其中 View-net 的功能为识别超声心 动图的切面类别，可作为一个单独的模型进行训 练，具有可替换性，在本模型中 View-net 直接使用 的 Densenet121[24] . ASD-net 则是基于深度神经网 络模型压缩理论[25] ，采用如图 6 所示的轻量化的 网络结构，其网络主体由 4 个 Dense block 组成，每 个 Dense block 内部有若干 层 Dense layer， Dense layer 除了进行标准化和卷积操作得到特征图，还 会将输入与特征图堆叠，最后一起输出，第 i 层 Dense layer 的输出如式（3）所示，concat 表示堆叠 操作，conv 表示卷积操作，norm 表示标准化操作， 当 i 取 0 时 为该 dense block 的输入. 此外为了保 张文静等： 基于切面识别的房间隔缺损智能辅助诊断 · 1169 ·
.1170 工程科学学报，第43卷.第9期 Slice feature extraction Feature concatenation ASD feature extraction 图4ASD辅助诊断模型总体架构 Fig.4 ASD auxiliary diagnosis model overall architecture Masking Bilateral Data Sampling filtering enhancing View-net Data preprocessing View type ASD-net Dicom data Result 1 View vector ASD vector Result Weighted Result 2 ASD mean diagnosis ◆Concatenation Result N ASD auxiliary diagnosis model 图5ASD辅助诊断模型完整架构 Fig.5 ASD auxiliary diagnosis model completed architecture 证卷积操作以后的特征图与输入尺寸相同，所有 往不止一个超声心动图，而且这些超声心动图往 的Dense block内部没有池化层，池化操作都放在 往都是不同切面的，仅凭一个切面的超声心动图 了Transition layer中. 就进行诊断仍然太过片面，应该对不同切面的多 Xi concat(conv;(norm(Xi1)).Xi-1) (3) 个超声心动图均进行诊断，并综合起来求加权平 通过这种堆叠操作，网络中的信息流梯度流 均作为最终诊断结果，不同切面类别的权值由其 得到增强，网络训练速度更快，且特征复用度更 历史诊断率确定，另一方面，超声心动图也存在误 高，对图像语义的提取更为充分.但是如果Dense 差或者难以识别缺损的情况，有的健康人可能会 layer的层数过多，会导致网络结构过于复杂，参数 由于噪声或者其他生理组织的干扰，或者仅仅是 过多，从而影响网络的收敛，也会提高对数据量的 截取图像时的偶尔失误，导致在房间隔出现伪影， 要求.于是在本模型中采用了更少的层数，大大减 这样就容易被误诊为ASD患者.通过多超声心动 少了网络的参数量. 图多切面进行综合诊断就能很好的避免这种偶尔 加权求和部分存在的必要性主要是结合医学 性因素导致的误诊 诊断形成一个综合的诊断，提高诊断结果的可靠 3模型训练与测试结果 性.首先，用户的超声心动图数据往往动态数据居 多，一个动态数据中包含有许多帧图像，仅依靠其 训练集与测试集按70%与30%的比例划分而 中某一帧图像就确诊过于武断。其次，一个用户往 成，其中训练集由54名ASD患者与27名健康人
证卷积操作以后的特征图与输入尺寸相同，所有 的 Dense block 内部没有池化层，池化操作都放在 了 Transition layer 中. Xi = concat(convi(norm(Xi−1)),Xi−1) （3） 通过这种堆叠操作，网络中的信息流梯度流 得到增强，网络训练速度更快，且特征复用度更 高，对图像语义的提取更为充分. 但是如果 Dense layer 的层数过多，会导致网络结构过于复杂，参数 过多，从而影响网络的收敛，也会提高对数据量的 要求. 于是在本模型中采用了更少的层数，大大减 少了网络的参数量. 加权求和部分存在的必要性主要是结合医学 诊断形成一个综合的诊断，提高诊断结果的可靠 性. 首先，用户的超声心动图数据往往动态数据居 多，一个动态数据中包含有许多帧图像，仅依靠其 中某一帧图像就确诊过于武断. 其次，一个用户往 往不止一个超声心动图，而且这些超声心动图往 往都是不同切面的，仅凭一个切面的超声心动图 就进行诊断仍然太过片面，应该对不同切面的多 个超声心动图均进行诊断，并综合起来求加权平 均作为最终诊断结果，不同切面类别的权值由其 历史诊断率确定. 另一方面，超声心动图也存在误 差或者难以识别缺损的情况，有的健康人可能会 由于噪声或者其他生理组织的干扰，或者仅仅是 截取图像时的偶尔失误，导致在房间隔出现伪影， 这样就容易被误诊为 ASD 患者. 通过多超声心动 图多切面进行综合诊断就能很好的避免这种偶尔 性因素导致的误诊. 3 模型训练与测试结果 训练集与测试集按 70% 与 30% 的比例划分而 成，其中训练集由 54 名 ASD 患者与 27 名健康人 Slice feature extraction Feature concatenation ASD feature extraction 图 4 ASD 辅助诊断模型总体架构 Fig.4 ASD auxiliary diagnosis model overall architecture Sampling Masking View-net ASD-net ASD vector Concatenation View type View vector Bilateral filtering Data enhancing Dicom data Result Weighted mean Data preprocessing ASD auxiliary diagnosis model Result 1 Result 2 Result N … Png data ASD diagnosis 图 5 ASD 辅助诊断模型完整架构 Fig.5 ASD auxiliary diagnosis model completed architecture · 1170 · 工程科学学报，第 43 卷，第 9 期
张文静等：基于切面识别的房间隔缺损智能辅助诊断 1171 Input size: 224×224×3 Input First conv Input 市 4 Input:64 Denselayers DenseblockI Denselayerl Output:32 Transistion layer Input:64+32=96 Denselayer2 Output:32 Denselayers Denseblock2 Input:96+32=128 Denselayer3 Output:32 Transistion layer 巾 Denselayer4 Input:128+32=160 16 Denselayers Denseblock3 Output:32 t Transistion layer nput:160+32=192 Transistion layer 12 Denselayers Denseblock4 Classifier 图6网络结构及参数 Fig.6 Network structure and parameters 的原始超声心动图经过数据预处理最终获取的 卷积神经网络而言难度较大，从而难以获得比较 22162条超声心动图数据组成.测试集则由剩余 好的诊断性能.此外，结合了双边滤波后，模型的 的26名ASD患者与9名健康人组成.ASD-net与 ASD诊断准确率进一步提高了4.5%，同时假阴性 View-net各自分别进行模型训练，均使用贴有是否 率降低到2.8%，这是得益于双边滤波对噪声有效 为ASD患者与所属切面类别两个标签的训练数 平滑的同时保留了边界 据，采用Adam算法进行参数更新，用交叉嫡函数 作为损失函数.其中ASD-net的训练需要结合 表1ASD诊断测试结果 ASD diagnosis部分进行，并同时使用切面类别与 Table 1 Contrast among different models With bilateral Accuracy False negative False positive 是否为ASD患者两个标签 Model filtering % rate / rate/% 以用户为单位进行模型测试，根据最终模型 Resnet50-no Yes 86.7 2.8 55.6 view-net 给出的诊断结果与用户实际确诊的结果对比计算 Densenet121- Yes 86.7 13.9 11.1 出模型的诊断准确率.而查全率与查准率则通过 no view-net Densenet-with 对应于医学诊断中的假阴性率与假阳性率得以体 No 93.3 5.6 view-net 现，查全率高对应于假阴性率低，查准率高对应于 Densenet-with Yes 97.8 2.8 0 view-net 假阳性率低.模型的ASD诊断测试的结果如表1， 与未结合切面识别的模型相比，结合切面识别的 最后，为了验证影响模型诊断的关键区域与 ASD辅助诊断模型准确率提高了6.6%，这是因为 医学上进行ASD诊断所关注的房间隔区域相同， 所提的诊断模型架构通过将切面类别特征的提取 且诊断的标准与临床诊断标准一致，对测试数据 与诊断依据特征提取用两部分网络去进行，将分 房间隔处进行了遮挡实验.所得的实验结果如图7， 类任务细分，负责切面识别任务的网络只需要将 图中P(ASD)表示该超声心动图检出ASD的概率 不同切面的数据分隔开，而不需要去判断是否为 当输入为原始健康人数据时，诊断为ASD的概率 ASD数据，从而使得网络学习任务减轻；而另一部 均较小，由于从医学上来看A$D患者的超声心动 分负责诊断依据特征提取的网络则在有了切面类 图才会在房间隔处存在阴影，所以当将房间隔处 别这一信息后，能够更好地对提取到的图像特征 遮挡造成阴影时，诊断为ASD的概率明显增大 进行排列组合，从而可以更好地将ASD患者与健 该实验既验证了模型诊断所关注的区域确实是在 康人的超声心动图数据区分开来.但是仅仅通过 缺损区域，也说明了模型确实诊断的标准与临床 一个模型去直接学习这两种类别数据的区别对于 上保持一致
的原始超声心动图经过数据预处理最终获取的 22162 条超声心动图数据组成. 测试集则由剩余 的 26 名 ASD 患者与 9 名健康人组成. ASD-net 与 View-net 各自分别进行模型训练，均使用贴有是否 为 ASD 患者与所属切面类别两个标签的训练数 据，采用 Adam 算法进行参数更新，用交叉熵函数 作为损失函数 . 其 中 ASD-net 的训练需要结 合 ASD diagnosis 部分进行，并同时使用切面类别与 是否为 ASD 患者两个标签. 以用户为单位进行模型测试，根据最终模型 给出的诊断结果与用户实际确诊的结果对比计算 出模型的诊断准确率. 而查全率与查准率则通过 对应于医学诊断中的假阴性率与假阳性率得以体 现，查全率高对应于假阴性率低，查准率高对应于 假阳性率低. 模型的 ASD 诊断测试的结果如表 1， 与未结合切面识别的模型相比，结合切面识别的 ASD 辅助诊断模型准确率提高了 6.6%，这是因为 所提的诊断模型架构通过将切面类别特征的提取 与诊断依据特征提取用两部分网络去进行，将分 类任务细分，负责切面识别任务的网络只需要将 不同切面的数据分隔开，而不需要去判断是否为 ASD 数据，从而使得网络学习任务减轻；而另一部 分负责诊断依据特征提取的网络则在有了切面类 别这一信息后，能够更好地对提取到的图像特征 进行排列组合，从而可以更好地将 ASD 患者与健 康人的超声心动图数据区分开来. 但是仅仅通过 一个模型去直接学习这两种类别数据的区别对于 卷积神经网络而言难度较大，从而难以获得比较 好的诊断性能. 此外，结合了双边滤波后，模型的 ASD 诊断准确率进一步提高了 4.5%，同时假阴性 率降低到 2.8%，这是得益于双边滤波对噪声有效 平滑的同时保留了边界. 表 1 ASD 诊断测试结果 Table 1 Contrast among different models Model With bilateral filtering Accuracy / % False negative rate / % False positive rate / % Resnet50‒no view-net Yes 86.7 2.8 55.6 Densenet121‒ no view-net Yes 86.7 13.9 11.1 Densenet‒with view-net No 93.3 5.6 11 Densenet‒with view-net Yes 97.8 2.8 0 最后，为了验证影响模型诊断的关键区域与 医学上进行 ASD 诊断所关注的房间隔区域相同， 且诊断的标准与临床诊断标准一致，对测试数据 房间隔处进行了遮挡实验. 所得的实验结果如图 7， 图中 P(ASD) 表示该超声心动图检出 ASD 的概率 当输入为原始健康人数据时，诊断为 ASD 的概率 均较小，由于从医学上来看 ASD 患者的超声心动 图才会在房间隔处存在阴影，所以当将房间隔处 遮挡造成阴影时，诊断为 ASD 的概率明显增大. 该实验既验证了模型诊断所关注的区域确实是在 缺损区域，也说明了模型确实诊断的标准与临床 上保持一致. Input Input size: 224×224×3 Input: 64 Output: 32 Input: 64+32=96 Output: 32 Input: 96+32=128 Output: 32 Input: 128+32=160 Output: 32 Input: 160+32=192 4 Denselayers 8 Denselayers 16 Denselayers 12 Denselayers First conv Transistion layer Denseblock2 Denseblock3 Denseblock4 Transistion layer Transistion layer Transistion layer Classifier Denseblock1 Denselayer1 Denselayer2 Denselayer3 Denselayer4 Input 图 6 网络结构及参数 Fig.6 Network structure and parameters 张文静等： 基于切面识别的房间隔缺损智能辅助诊断 · 1171 ·
1172. 工程科学学报，第43卷.第9期 (a) P(ASDF36.0%,(b) P(ASD=97.2% (陶攀，付忠良，朱错，等.基于深度学习的超声心动图切面识别 方法.计算机应用，2017,37(5)：1434) [5]Madani A,Amaout R,Mofrad M,et al.Fast and accurate view classification of echocardiograms using deep learning.Npi Digit Med,2018,1(1):6 [61 Madani A,Ong J R,Tibrewal A,et al.Deep echocardiography: Data-efficient supervised and semi-supervised deep learning (c) P(ASD=25.1% (d) P(ASD=88.1% towards automated diagnosis of cardiac disease.Npj Digit Med, 2018,1(1:59 [7] Teng L,Fu Z L,Yao Y.Interactive translation in echocardiography training system with enhanced cycle-GAN. IEEE Access3,2020,8:106147 图7房间隔遮挡测试(a,c)遮挡前：(b,d)遮挡后 [8]Teng L,Fu Z L,Ma Q,et al.Interactive echocardiography translation using few-shot GAN transfer learning.Comput Math Fig.7 Atrial septal covering test:(a,c)before covering:(b,d)covered Methods Med.2020,2020:1487035 4结论 [9]Ghorbani A,Ouyang D,Abid A,et al.Deep learning interpretation of echocardiograms.Npj Digit Med,2020,3(1):1 提出了一种基于超声心动图特征切面识别的 [10]Veni G,Moradi M,Bulu H K,et al.Echocardiography ASD辅助诊断模型，并通过实验测试验证了所提 segmentation based on a shape-guided deformable model driven 模型取得了非常不错的诊断性能.同时应用双边 by a fully convolutional network prior /2018 IEEE 15th 滤波算法对超声心动图进行噪声抑制，同时保留 International Symposium on Biomedical Imaging (ISBI 2018). 轮廓边界，使得模型诊断性能进一步提升.再通过 Washington,2018:898 房间隔处的遮挡测试，验证了所提模型做出 [11]Leclerc S,Smistad E,Pedrosa J,et al.Deep learning for ASD诊断的依据与标准与临床诊断保持一致，从 segmentation using an open large-scale dataset in 2D echocardiography.IEEE Trans Med Imaging,2019,38(9):2198 而说明了其诊断结果的可靠性.本文给出了一种 [12]Li YW,HoCP,Toulemonde M,et al.Fully automatic myocardial 针对有着不同特征的医学影像数据进行疾病诊断 segmentation of contrast echocardiography sequence using random 的可行思路，对未来基于深度学习的超声心动图 forests guided by shape model.IEEE Trans Med Imaging.2017. 相关的疾病诊断模型设计具有一定的参考价值， 37(5):1081 而将超声检查报告、病人病历等多模态数据融入 [13]Lu Y,Fu X H,Li X Q,et al.Cardiac chamber segmentation using 到其中也可能是进一步提高诊断性能的可行思 deep learning on magnetic resonance images from patients before 路，在此留给未来的研究者进行探索 and after atrial septal occlusion surgery //2020 42nd Anmual International Conference of the IEEE Engineering in Medicine Biology Society (EMBC).Montreal,2020:1211 参考文献 [14]Zyuzin V,Mukhtarov A,Neustroev D,et al.Segmentation of 2D [1]Wang X F,Xie M X.Textbook of Echocardiograply.5th Ed. echocardiography images using residual blocks in U-net Beijing:People's Medical Publishing House,2016 architectures /2020 Ural Symposium on Biomedical Engineering. (王新房，谢明星.超声心动图学.5版.北京：人民卫生出版社， Radioelectronics and Information Technology (USBEREIT). 2016) Yekaterinburg,2020:499 [2]Li J W.Trend and epidemiological analysis of congenital heart [15]Smistad E,Ostvik A,Salte I M,et al.Fully automatic real-time disease.Chin J Cardiovasc Rehabilitation Med.2017.26(1):60 ejection fraction and MAPSE measurements in 2D (黎洁雯.先天性心脏病的流行趋势及流行病学分析.心血管康 echocardiography using deep neural networks //2018 IEEE 复医学杂志，2017,26(1)：60) International Uhrasonics Symposium (IUS).Kobe,01:1 [3]Zhang L Y,Qiao Y H,Ning S F,et al.Analysis of ultrasonic [16]Davis A,Billick K,Horton K,et al.Artificial intelligence and diagnosis of 39 atrial septal defects.China Pract Med,2009, echocardiography:A primer for cardiac sonographers.m Soc 4(14):95 Echocardiogr,2020,33(9):1061 (张丽媛，乔玉红，宁淑范，等.房间隔缺损39例超声诊断分析 [17]Huang Q.Zhang F,Li X.Machine learning in ultrasound 中国实用医药，2009,4(14)：95) computer-aided diagnostic systems:A survey.Biomed Res Int, [4]Tao P,Fu Z L,Zhu K,et al.Echocardiogram view recognition 2018,2018:5137904 using deep convolutional neural network.J Compur Appl,2017, [18]Wang X,Jia Y G,Sevenster M,et al.Representation learning of 37(5):1434 finding codes in structured echocardiogram reporting //2018 /EEE
4 结论 提出了一种基于超声心动图特征切面识别的 ASD 辅助诊断模型，并通过实验测试验证了所提 模型取得了非常不错的诊断性能. 同时应用双边 滤波算法对超声心动图进行噪声抑制，同时保留 轮廓边界，使得模型诊断性能进一步提升. 再通过 房 间 隔 处 的 遮 挡 测 试 ， 验 证 了 所 提 模 型 做 出 ASD 诊断的依据与标准与临床诊断保持一致，从 而说明了其诊断结果的可靠性. 本文给出了一种 针对有着不同特征的医学影像数据进行疾病诊断 的可行思路，对未来基于深度学习的超声心动图 相关的疾病诊断模型设计具有一定的参考价值， 而将超声检查报告、病人病历等多模态数据融入 到其中也可能是进一步提高诊断性能的可行思 路，在此留给未来的研究者进行探索. 参 考 文 献 Wang X F, Xie M X. Textbook of Echocardiography. 5th Ed. Beijing: People’s Medical Publishing House, 2016 （ 王新房, 谢明星. 超声心动图学. 5版. 北京: 人民卫生出版社, 2016） [1] Li J W. Trend and epidemiological analysis of congenital heart disease. Chin J Cardiovasc Rehabilitation Med, 2017, 26（1）: 60 （黎洁雯. 先天性心脏病的流行趋势及流行病学分析. 心血管康 复医学杂志, 2017, 26（1）：60） [2] Zhang L Y, Qiao Y H, Ning S F, et al. Analysis of ultrasonic diagnosis of 39 atrial septal defects. China Pract Med, 2009, 4（14）: 95 （张丽媛, 乔玉红, 宁淑范, 等. 房间隔缺损39例超声诊断分析. 中国实用医药, 2009, 4（14）：95） [3] Tao P, Fu Z L, Zhu K, et al. Echocardiogram view recognition using deep convolutional neural network. J Comput Appl, 2017, 37（5）: 1434 [4] （陶攀, 付忠良, 朱锴, 等. 基于深度学习的超声心动图切面识别 方法. 计算机应用, 2017, 37（5）：1434） Madani A, Arnaout R, Mofrad M, et al. Fast and accurate view classification of echocardiograms using deep learning. Npj Digit Med, 2018, 1（1）: 6 [5] Madani A, Ong J R, Tibrewal A, et al. Deep echocardiography: Data-efficient supervised and semi-supervised deep learning towards automated diagnosis of cardiac disease. Npj Digit Med, 2018, 1（1）: 59 [6] Teng L, Fu Z L, Yao Y. Interactive translation in echocardiography training system with enhanced cycle-GAN. IEEE Access, 2020, 8: 106147 [7] Teng L, Fu Z L, Ma Q, et al. Interactive echocardiography translation using few-shot GAN transfer learning. Comput Math Methods Med, 2020, 2020: 1487035 [8] Ghorbani A, Ouyang D, Abid A, et al. Deep learning interpretation of echocardiograms. Npj Digit Med, 2020, 3（1）: 1 [9] Veni G, Moradi M, Bulu H K, et al. Echocardiography segmentation based on a shape-guided deformable model driven by a fully convolutional network prior // 2018 IEEE 15th International Symposium on Biomedical Imaging (ISBI 2018). Washington, 2018: 898 [10] Leclerc S, Smistad E, Pedrosa J, et al. Deep learning for segmentation using an open large-scale dataset in 2D echocardiography. IEEE Trans Med Imaging, 2019, 38（9）: 2198 [11] Li Y W, Ho C P, Toulemonde M, et al. Fully automatic myocardial segmentation of contrast echocardiography sequence using random forests guided by shape model. IEEE Trans Med Imaging, 2017, 37（5）: 1081 [12] Lu Y, Fu X H, Li X Q, et al. Cardiac chamber segmentation using deep learning on magnetic resonance images from patients before and after atrial septal occlusion surgery // 2020 42nd Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC). Montreal, 2020: 1211 [13] Zyuzin V, Mukhtarov A, Neustroev D, et al. Segmentation of 2D echocardiography images using residual blocks in U-net architectures // 2020 Ural Symposium on Biomedical Engineering, Radioelectronics and Information Technology (USBEREIT). Yekaterinburg, 2020: 499 [14] Smistad E, Østvik A, Salte I M, et al. Fully automatic real-time ejection fraction and MAPSE measurements in 2D echocardiography using deep neural networks // 2018 IEEE International Ultrasonics Symposium (IUS). Kobe, 2018: 1 [15] Davis A, Billick K, Horton K, et al. Artificial intelligence and echocardiography: A primer for cardiac sonographers. J Am Soc Echocardiogr, 2020, 33（9）: 1061 [16] Huang Q, Zhang F, Li X. Machine learning in ultrasound computer-aided diagnostic systems: A survey. Biomed Res Int, 2018, 2018: 5137904 [17] Wang X, Jia Y G, Sevenster M, et al. Representation learning of finding codes in structured echocardiogram reporting // 2018 IEEE [18] (a) P (ASD)=36.0% P (ASD)=97.2% P (ASD)=25.1% P (ASD)=88.1% (b) (c) (d) 图 7 房间隔遮挡测试. (a，c) 遮挡前；(b，d) 遮挡后 Fig.7 Atrial septal covering test: (a,c) before covering; (b,d)covered · 1172 · 工程科学学报，第 43 卷，第 9 期
张文静等：基于切面识别的房间隔缺损智能辅助诊断 ·1173 International Conference on Healthcare Informatics (ICHI).New sharpness enhancement and noise removal /2010 International York,2018:429 Conference on Advances in Computer Engineering.Bangalore, [19]Liao Z B,Girgis H,Abdi A,et al.On modelling label uncertainty 2010:295 in deep neural networks:Automatic estimation of intra-observer [23]Patil P D,Kumbhar A D.Bilateral filter for image denoising / variability in 2D echocardiography quality assessment./EEE 2015 International Conference on Green Computing and Internet Trans Med Imaging,2020,39(6):1868 of Things (ICGCloT).Greater Noida,2015:299 [20]Singh Y,Roehr C C.Tissot C.et al.Education,training.and [24]Huang G,Liu Z,van der Maaten L,et al.Densely connected accreditation of neonatologist performed echocardiography in convolutional networks /2017 IEEE Conference on Computer Europe-framework for practice.Pediatr Res,2018,84(1):13 Vision and Pattern Recognition (CVPR).Honolulu,2017:4700 [21]Mishra D,Chaudhury S.Sarkar M,et al.Ultrasound image [25]Li J Y,Zhao Y K,Xue Z E,et al.A survey of model compression enhancement using structure oriented adversarial network.IEEE for deep neural networks.ChinJEng,2019,41(10):1229 Signal Process Lett,2018,25(9):1349 (李江昀，赵义凯，薛卓尔，等.深度神经网络模型压缩综述.工 [22]Sable A H,Jondhale K C.Modified double bilateral filter for 程科学学报，2019,41(10)：1229)
International Conference on Healthcare Informatics (ICHI). New York, 2018: 429 Liao Z B, Girgis H, Abdi A, et al. On modelling label uncertainty in deep neural networks: Automatic estimation of intra- observer variability in 2D echocardiography quality assessment. IEEE Trans Med Imaging, 2020, 39（6）: 1868 [19] Singh Y, Roehr C C, Tissot C, et al. Education, training, and accreditation of neonatologist performed echocardiography in Europe—framework for practice. Pediatr Res, 2018, 84（1）: 13 [20] Mishra D, Chaudhury S, Sarkar M, et al. Ultrasound image enhancement using structure oriented adversarial network. IEEE Signal Process Lett, 2018, 25（9）: 1349 [21] [22] Sable A H, Jondhale K C. Modified double bilateral filter for sharpness enhancement and noise removal // 2010 International Conference on Advances in Computer Engineering. Bangalore, 2010: 295 Patil P D, Kumbhar A D. Bilateral filter for image denoising // 2015 International Conference on Green Computing and Internet of Things (ICGCIoT). Greater Noida, 2015: 299 [23] Huang G, Liu Z, van der Maaten L, et al. Densely connected convolutional networks // 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Honolulu, 2017: 4700 [24] Li J Y, Zhao Y K, Xue Z E, et al. A survey of model compression for deep neural networks. Chin J Eng, 2019, 41（10）: 1229 （李江昀, 赵义凯, 薛卓尔, 等. 深度神经网络模型压缩综述. 工 程科学学报, 2019, 41（10）：1229） [25] 张文静等： 基于切面识别的房间隔缺损智能辅助诊断 · 1173 ·