《工程科学学报》：基于切面识别的房间隔缺损智能辅助诊断

资源类别：文库，文档格式：PDF，文档页数：9，文件大小：968.29KB，团购合买

工程科学学报 Chinese Journal of Engineering 基于切面识别的房间隔缺损智能辅助诊断张文静李文秀刘爱军武兴坤李剑峰罗涛 Intelligent auxiliary diagnosis of atrial septal defect based on view classification ZHANG Wen-jing,LI Wen-xiu.LIU Ai-jun,WU Xing-kun,LI Jian-feng,LUO Tao 引用本文：张文静，李文秀，刘爱军，武兴坤，李剑峰，罗涛.基于切面识别的房间隔缺损智能辅助诊断.工程科学学报，2021,43(9)： 1166-1173.doi:10.13374.issn2095-9389.2021.01.14.007 ZHANG Wen-jing.LI Wen-xiu,LIU Ai-jun,WU Xing-kun,LI Jian-feng,LUO Tao.Intelligent auxiliary diagnosis of atrial septal defect based on view classification[J].Chinese Journal of Engineering,2021,43(9):1166-1173.doi:10.13374/j.issn2095- 9389.2021.01.14.007 在线阅读View online:https::/oi.org10.13374.issn2095-9389.2021.01.14.007 您可能感兴趣的其他文章 Articles you may be interested in 基于深度学习的高效火车号识别 Efficient wagon number recognition based on deep learning 工程科学学报.2020,42(11)：1525 https:ldoi.org/10.13374.issn2095-9389.2019.12.05.001 基于深度学习的人体低氧状态识别 Recognition of human hypoxic state based on deep learning 工程科学学报.2019,41(6)：817 https::/1doi.org/10.13374斩.issn2095-9389.2019.06.014 基于DL-T及迁移学习的语音识别研究 Research on automatic speech recognition based on a DLT and transfer learning 工程科学学报.2021,433)：433 https:1doi.org/10.13374/.issn2095-9389.2020.01.12.001 多模态学习方法综述 A survey of multimodal machine learning 工程科学学报.2020,42(5)：557 https:/1doi.org/10.13374.issn2095-9389.2019.03.21.003 油气资源开发的大数据智能平台及应用分析 Big data intelligent platform and application analysis for oil and gas resource development 工程科学学报.2021,43(2)：179htps:/oi.org10.13374.issn2095-9389.2020.07.21.001 深度神经网络模型压缩综述 A survey of model compression for deep neural networks 工程科学学报.2019,4110)：1229htps:/1doi.org/10.13374.issn2095-9389.2019.03.27.002

基于切面识别的房间隔缺损智能辅助诊断张文静李文秀刘爱军武兴坤李剑峰罗涛 Intelligent auxiliary diagnosis of atrial septal defect based on view classification ZHANG Wen-jing, LI Wen-xiu, LIU Ai-jun, WU Xing-kun, LI Jian-feng, LUO Tao 引用本文: 张文静, 李文秀, 刘爱军, 武兴坤, 李剑峰, 罗涛. 基于切面识别的房间隔缺损智能辅助诊断[J]. 工程科学学报, 2021, 43(9): 1166-1173. doi: 10.13374/j.issn2095-9389.2021.01.14.007 ZHANG Wen-jing, LI Wen-xiu, LIU Ai-jun, WU Xing-kun, LI Jian-feng, LUO Tao. Intelligent auxiliary diagnosis of atrial septal defect based on view classification[J]. Chinese Journal of Engineering, 2021, 43(9): 1166-1173. doi: 10.13374/j.issn2095- 9389.2021.01.14.007 在线阅读 View online: https://doi.org/10.13374/j.issn2095-9389.2021.01.14.007 您可能感兴趣的其他文章 Articles you may be interested in 基于深度学习的高效火车号识别 Efficient wagon number recognition based on deep learning 工程科学学报. 2020, 42(11): 1525 https://doi.org/10.13374/j.issn2095-9389.2019.12.05.001 基于深度学习的人体低氧状态识别 Recognition of human hypoxic state based on deep learning 工程科学学报. 2019, 41(6): 817 https://doi.org/10.13374/j.issn2095-9389.2019.06.014 基于DL-T及迁移学习的语音识别研究 Research on automatic speech recognition based on a DLT and transfer learning 工程科学学报. 2021, 43(3): 433 https://doi.org/10.13374/j.issn2095-9389.2020.01.12.001 多模态学习方法综述 A survey of multimodal machine learning 工程科学学报. 2020, 42(5): 557 https://doi.org/10.13374/j.issn2095-9389.2019.03.21.003 油气资源开发的大数据智能平台及应用分析 Big data intelligent platform and application analysis for oil and gas resource development 工程科学学报. 2021, 43(2): 179 https://doi.org/10.13374/j.issn2095-9389.2020.07.21.001 深度神经网络模型压缩综述 A survey of model compression for deep neural networks 工程科学学报. 2019, 41(10): 1229 https://doi.org/10.13374/j.issn2095-9389.2019.03.27.002

工程科学学报.第43卷.第9期：1166-1173.2021年9月 Chinese Journal of Engineering,Vol.43,No.9:1166-1173,September 2021 https://doi.org/10.13374/j.issn2095-9389.2021.01.14.007;http://cje.ustb.edu.cn 基于切面识别的房间隔缺损智能辅助诊断张文静”，李文秀，刘爱军)，武兴坤引，李剑峰)，罗涛)四 1)北京邮电大学北京先进信息网络实验室，北京1008762)首都医科大学附属北京安贞医院儿童心血管病中心，北京1000293)北京邮电大学网络体系构建与融合北京市重点实验室，北京100876 ☒通信作者，E-mail:tuo@bupt.edu.cn 摘要针对超声心动图像质量差、噪声多，传统卷积神经网铬架构对超声心动图像的学习能力有限、表达不充分的缺点，提出了一种基于标准切面识别的房间隔缺损(Atrial septal defect,.ASD)智能辅助诊断模型.该模型通过对超声心动图像进行切面识别，充分融合其不同切面的语义特征，使得诊断的准确率得到明显提升。此外，还对其进行双边滤波保边去噪，并基于此模型搭建房间隔缺损智能辅助诊断系统（简称ASD辅助诊断系统）.结果表明.该ASD辅助诊断系统的准确率高达 97.8%.且与传统卷积神经网络相比大大降低了假阴性率. 关键词深度学习：超声心动图：房间隔缺损：切面识别：双边滤波分类号R318 Intelligent auxiliary diagnosis of atrial septal defect based on view classification ZHANG Wen-jing.LI Wen-xi,LIU Ai-ju.WU Xing-kun,LI Jian-feng,LUO Tao 1)Beijing Laboratory of Advanced Information Networks,Beijing University of Posts and Telecommunication,Beijing 100876,China 2)Pediatric Cardiovascular Center,Beijing Anzhen Hospital Affiliated to Capital Medical University,Beijing 100029,China 3)Beijing Key Laboratory of Network System Architecture and Convergence,Beijing University of Posts and Telecommunication,Beijing 100876,China Corresponding author,E-mail:tluo@bupt.edu.cn ABSTRACT Atrial septal defect (ASD)is common congenital heart disease.The detection rate of congenital heart disease has increased year by year,and ASD accounted for the largest proportion of it,reaching 37.31%.The ASD patient will suffer from shortness of breath,palpitation,weakness,etc.,with symptoms worsening with advanced age.The ASD patient will not suffer from congenital heart disease if their condition is diagnosed early.Echocardiography is a powerful and cost-effective means of detecting ASD.However, the disadvantages of echocardiography,such as noise and poor imaging quality,cause misdiagnosis of ASD.Hence,research into echocardiography-based efficient and effective detection of ASD with a deep neural network is of great significance.For echocardiography is noisy and fuzzy,and the learning and feature expression ability of the traditional convolutional neural network architecture is limited,a feature view classification based atrial septal defect intelligent auxiliary diagnostic model architecture was proposed.The different views of echocardiography possess different features,demanding more precise model extraction and combined features from echocardiography.The proposed model architecture integrates the semantic characteristics of several views,significantly improving the accuracy of diagnosis.In addition,with the aim of denoising and preserving edges,a bilateral filtering algorithm was performed.Furthermore,an ASD intelligent auxiliary diagnostic system was built based on the proposed model.The results show that the accuracy of the ASD auxiliary diagnostic system reaches 97.8%,and the false-negative rate is greatly reduced compared with the traditional convolutional neural network architecture. KEY WORDS deep learning;echocardiography:atrial septal defect;view classification;bilateral filtering 收稿日期：2021-01-14 基金项目：国家自然科学基金资助项目(61571065)

基于切面识别的房间隔缺损智能辅助诊断张文静1)，李文秀2)，刘爱军2)，武兴坤3)，李剑峰3)，罗涛1) 苣 1) 北京邮电大学北京先进信息网络实验室，北京 100876 2) 首都医科大学附属北京安贞医院儿童心血管病中心，北京 100029 3) 北京邮电大学网络体系构建与融合北京市重点实验室，北京 100876 苣通信作者，E-mail: tluo@bupt.edu.cn 摘要针对超声心动图像质量差、噪声多，传统卷积神经网络架构对超声心动图像的学习能力有限、表达不充分的缺点，提出了一种基于标准切面识别的房间隔缺损（Atrial septal defect，ASD）智能辅助诊断模型. 该模型通过对超声心动图像进行切面识别，充分融合其不同切面的语义特征，使得诊断的准确率得到明显提升. 此外，还对其进行双边滤波保边去噪，并基于此模型搭建房间隔缺损智能辅助诊断系统（简称 ASD 辅助诊断系统）. 结果表明，该 ASD 辅助诊断系统的准确率高达 97.8%，且与传统卷积神经网络相比大大降低了假阴性率. 关键词深度学习；超声心动图；房间隔缺损；切面识别；双边滤波分类号 R318 Intelligent auxiliary diagnosis of atrial septal defect based on view classification ZHANG Wen-jing1) ，LI Wen-xiu2) ，LIU Ai-jun2) ，WU Xing-kun3) ，LI Jian-feng3) ，LUO Tao1) 苣 1) Beijing Laboratory of Advanced Information Networks, Beijing University of Posts and Telecommunication, Beijing 100876, China 2) Pediatric Cardiovascular Center, Beijing Anzhen Hospital Affiliated to Capital Medical University, Beijing 100029, China 3) Beijing Key Laboratory of Network System Architecture and Convergence, Beijing University of Posts and Telecommunication, Beijing 100876, China 苣 Corresponding author, E-mail: tluo@bupt.edu.cn ABSTRACT Atrial septal defect (ASD) is common congenital heart disease. The detection rate of congenital heart disease has increased year by year, and ASD accounted for the largest proportion of it, reaching 37.31%. The ASD patient will suffer from shortness of breath, palpitation, weakness, etc., with symptoms worsening with advanced age. The ASD patient will not suffer from congenital heart disease if their condition is diagnosed early. Echocardiography is a powerful and cost-effective means of detecting ASD. However, the disadvantages of echocardiography, such as noise and poor imaging quality, cause misdiagnosis of ASD. Hence, research into echocardiography-based efficient and effective detection of ASD with a deep neural network is of great significance. For echocardiography is noisy and fuzzy, and the learning and feature expression ability of the traditional convolutional neural network architecture is limited, a feature view classification based atrial septal defect intelligent auxiliary diagnostic model architecture was proposed. The different views of echocardiography possess different features, demanding more precise model extraction and combined features from echocardiography. The proposed model architecture integrates the semantic characteristics of several views, significantly improving the accuracy of diagnosis. In addition, with the aim of denoising and preserving edges, a bilateral filtering algorithm was performed. Furthermore, an ASD intelligent auxiliary diagnostic system was built based on the proposed model. The results show that the accuracy of the ASD auxiliary diagnostic system reaches 97.8%, and the false-negative rate is greatly reduced compared with the traditional convolutional neural network architecture. KEY WORDS deep learning；echocardiography；atrial septal defect；view classification；bilateral filtering 收稿日期: 2021−01−14 基金项目: 国家自然科学基金资助项目（61571065）工程科学学报，第 43 卷，第 9 期：1166−1173，2021 年 9 月 Chinese Journal of Engineering, Vol. 43, No. 9: 1166−1173, September 2021 https://doi.org/10.13374/j.issn2095-9389.2021.01.14.007; http://cje.ustb.edu.cn

张文静等：基于切面识别的房间隔缺损智能辅助诊断 ·1167 房间隔缺损(Atrial septal defect,.ASD)是一种心动图切面类型及图像的简单分割，利用卷积神常见的先天性的心脏病，表现为在胚胎发育过程经网络进行左心室肥大(Left ventricular hypertrophy,. 中，房间隔发育异常导致左、右心房之间留有孔 LVH)的诊断其中超声心动图的切面分类对隙.先天性心脏病的检出率逐年递增，而ASD更 LVH诊断准确率有一定的提升，但左心室肥大涉是占据了先天性心脏病中最大的比重，达到37.31%山及的切面类型与房间隔缺损差异很大.此外，实验 ASD患者随着年龄的增大，会出现气急、心悸和结果表明，其进行切面分类后采用U-net对其进行乏力的症状.40岁以上患者病情进一步加重，并简单分割的做法对诊断准确率的提升并不明显常出现心房颤动、心房扑动等心律失常和充血性除了切面识别方面的工作，也有研究者致力于对心衰表现.在患者年龄较小时将其检出，并对孔隙超声心动图进行交互式翻译-以及超声心动图较大无法自愈的患者进行治疗可以有效防止病情图像分割的工作心以及其他基于深度学习的与的恶化，避免患者遭受心脏病的痛苦.因此，对超声心动图相关的工作（其他疾病的诊断、超声心 ASD的高效准确诊断的研究具有十分重要的现实动图的数据增强等)5-训综上，目前仍鲜有基于意义. 深度学习和超声心动图进行房间隔缺损的研究超声心动图是进行ASD诊断的主要方式，通于是本文将深度学习的算法面识别的房间隔缺损过观察二维超声图中心脏的形态大小、回声缺失智能辅助诊断方法以及异常的血液分流可以很好地诊断出A$D,而 1问题分析且超声心动图中彩色多普勒血流显像显示的左右心房水平分流信号更是可以清楚准确地诊断与医通过超声心动图进行ASD的诊断具有一定学影像自身的数据特征相结合，提出了一种基于的挑战性，其困难主要来自三个方面：正常人与超声心动图切出ASD四彩色多普勒超声心动图患者的超声心动图差异较小，难以简单地直接将检查简便易行，无创伤，患者无痛苦，重复性强，准其分开：超声心动图分为多种常用的标准切面，确，是ASD的首选检查方法四.然而由于超声心动每个切面的图像特征各异，传统的卷积神经网络图客观上具有成像质量不佳，噪声较多的缺点，导架构难以充分学习各个切面的不同特征；超声心致超声漏诊及误诊ASD.调查表明，多达30%的动图成像质量一般，边界不清且往往伴随着大量超声心动图报告并不十分准确).此外，因为医疗的噪声.这3个方面带来的不利影响都导致了资源的分布不均，医生水平的良莠不齐，山村地区将卷积神经网络直接应用到ASD的诊断上效果的医院情况更不容乐观.事实上，临床医生大多不不佳具备阅片能力，阅片工作均由影像科医生完成，然由Wangm给出的通过超声心动图诊断ASD 后再由其提交检查报告给临床医生.而在医疗资的诊断依据可知，正常人的超声心动图与ASD患源匮乏的乡村这些工作都将由临床医生来完成，者的超声心动图的图像特征相异.如图1所示，这就导致其超声心动图的检查报告可靠性进一步 ASD患者的超声心动图在房间隔缺损处存在明显降低。由此可见，设计实现一种基于深度学习的的阴影，这是用于区分正常人与患者的主要依据 ASD智能辅助诊断系统，具有十分重要的现实意之一，这种图像差异与整张图像相比不够突出，而义：对经验丰富的医生来说，可以帮助提高阅片效两者在其余部分的图像特征上并没有明显的不率，保证ASD诊断的可靠性即准确率；对于经验同，所以就需要网络对超声心动图的图像特征进较为欠缺甚至不具备阅片能力的医生来说更是可行非常具有针对性地提取、组合.另一方面，超声以帮助提供基于超声心动图的A$D辅助诊断意心动图的多种常用切面的特征又各不相同，若不见，提高诊断结果的综合性，加以区分就进行诊断势必会丢失掉这一部分信近年来深度学习在医学影像处理领域，有很息，从而使诊断性能有所下降.于是就提出了基于多研究者投入其中并取得了不少研究成果.Tao 特征切面识别的ASD智能辅助诊断模型，该模型等提出了一种基于深度卷积神经网络的超声心采用先进行切面识别，再进行房间隔诊断的两段动图切面识别方法，采用金字塔池化层替代了全式架构.通过对超声心动图进行切面识别，使得诊连接层，取得了较为不错的识别准确率.Madani 断模型能更好更全面地把握图像特征，从而更加等针对超声心动图15种切面进行了分类，主要准确地区分出正常人与ASD患者.最后，为了应目标是实现快速的分类.他们还提出了结合超声对超声心动图图像质量不佳的问题，对数据进行

房间隔缺损 (Atrial septal defect，ASD) 是一种常见的先天性的心脏病，表现为在胚胎发育过程中，房间隔发育异常导致左、右心房之间留有孔隙. 先天性心脏病的检出率逐年递增，而 ASD 更是占据了先天性心脏病中最大的比重，达到 37.31% [1] . ASD 患者随着年龄的增大，会出现气急、心悸和乏力的症状. 40 岁以上患者病情进一步加重，并常出现心房颤动、心房扑动等心律失常和充血性心衰表现. 在患者年龄较小时将其检出，并对孔隙较大无法自愈的患者进行治疗可以有效防止病情的恶化，避免患者遭受心脏病的痛苦. 因此，对 ASD 的高效准确诊断的研究具有十分重要的现实意义. 超声心动图是进行 ASD 诊断的主要方式，通过观察二维超声图中心脏的形态大小、回声缺失以及异常的血液分流可以很好地诊断出 ASD，而且超声心动图中彩色多普勒血流显像显示的左右心房水平分流信号更是可以清楚准确地诊断与医学影像自身的数据特征相结合，提出了一种基于超声心动图切出 ASD[1] . 彩色多普勒超声心动图检查简便易行，无创伤，患者无痛苦，重复性强，准确，是 ASD 的首选检查方法[2] . 然而由于超声心动图客观上具有成像质量不佳，噪声较多的缺点，导致超声漏诊及误诊 ASD. 调查表明，多达 30% 的超声心动图报告并不十分准确[3] . 此外，因为医疗资源的分布不均，医生水平的良莠不齐，山村地区的医院情况更不容乐观. 事实上，临床医生大多不具备阅片能力，阅片工作均由影像科医生完成，然后再由其提交检查报告给临床医生. 而在医疗资源匮乏的乡村这些工作都将由临床医生来完成，这就导致其超声心动图的检查报告可靠性进一步降低. 由此可见，设计实现一种基于深度学习的 ASD 智能辅助诊断系统，具有十分重要的现实意义：对经验丰富的医生来说，可以帮助提高阅片效率，保证 ASD 诊断的可靠性即准确率；对于经验较为欠缺甚至不具备阅片能力的医生来说更是可以帮助提供基于超声心动图的 ASD 辅助诊断意见，提高诊断结果的综合性. 近年来深度学习在医学影像处理领域，有很多研究者投入其中并取得了不少研究成果. Tao 等[4] 提出了一种基于深度卷积神经网络的超声心动图切面识别方法，采用金字塔池化层替代了全连接层，取得了较为不错的识别准确率. Madani 等[5] 针对超声心动图 15 种切面进行了分类，主要目标是实现快速的分类. 他们还提出了结合超声心动图切面类型及图像的简单分割，利用卷积神经网络进行左心室肥大（Left ventricular hypertrophy, LVH）的诊断[6] . 其中超声心动图的切面分类对 LVH 诊断准确率有一定的提升，但左心室肥大涉及的切面类型与房间隔缺损差异很大. 此外，实验结果表明，其进行切面分类后采用 U-net 对其进行简单分割的做法对诊断准确率的提升并不明显. 除了切面识别方面的工作，也有研究者致力于对超声心动图进行交互式翻译[7−9] 以及超声心动图图像分割的工作[10−14] 以及其他基于深度学习的与超声心动图相关的工作（其他疾病的诊断、超声心动图的数据增强等）[15−21] . 综上，目前仍鲜有基于深度学习和超声心动图进行房间隔缺损的研究，于是本文将深度学习的算法面识别的房间隔缺损智能辅助诊断方法. 1 问题分析通过超声心动图进行 ASD 的诊断具有一定的挑战性，其困难主要来自三个方面：正常人与患者的超声心动图差异较小，难以简单地直接将其分开；超声心动图分为多种常用的标准切面，每个切面的图像特征各异，传统的卷积神经网络架构难以充分学习各个切面的不同特征；超声心动图成像质量一般，边界不清且往往伴随着大量的噪声. 这 3 个方面带来的不利影响都导致了将卷积神经网络直接应用到 ASD 的诊断上效果不佳. 由 Wang[1] 给出的通过超声心动图诊断 ASD 的诊断依据可知，正常人的超声心动图与 ASD 患者的超声心动图的图像特征相异. 如图 1 所示， ASD 患者的超声心动图在房间隔缺损处存在明显的阴影，这是用于区分正常人与患者的主要依据之一. 这种图像差异与整张图像相比不够突出，而两者在其余部分的图像特征上并没有明显的不同，所以就需要网络对超声心动图的图像特征进行非常具有针对性地提取、组合. 另一方面，超声心动图的多种常用切面的特征又各不相同，若不加以区分就进行诊断势必会丢失掉这一部分信息，从而使诊断性能有所下降. 于是就提出了基于特征切面识别的 ASD 智能辅助诊断模型，该模型采用先进行切面识别，再进行房间隔诊断的两段式架构. 通过对超声心动图进行切面识别，使得诊断模型能更好更全面地把握图像特征，从而更加准确地区分出正常人与 ASD 患者. 最后，为了应对超声心动图图像质量不佳的问题，对数据进行张文静等：基于切面识别的房间隔缺损智能辅助诊断 · 1167 ·

·1168 工程科学学报，第43卷，第9期双边滤波处理，便可以在保留轮廓边界的前提下一帧图像就确诊过于武断.而邻近帧图像相似度一定程度上抑制噪声，提高图像的质量较高，均输入模型进行诊断存在数据冗余问题，因此同时也为了提高数据量，在预处理中采用了一 (a) (b) 定的间隔对数据进行了采样操作.除去动态数据外，数据集中也含有少数的静态图像，这种静态图像一般为超声医生精心截取的，对于ASD诊断的参考意义较高，皆予以保留.其次，原始的超声心动图中除了超声影像外，其边框处还有许多涉及图1超声心动图对比.(a)ASD患者：(b)健康人患者隐私的信息，这些信息对于诊断而言与噪声 Fig.1 Contrast in echocardiography of ASD patient(a)and healthy 无异，保留下来也会有泄露患者隐私的风险，于是 people(b) 预处理阶段通过对超声影像部分手动提取边框获取掩码图像，再将其与原始图像做掩码处理，滤除 2数据预处理与模型算法超声影像以外的其他信息.此外，超声影像部分也 2.1数据预处理存在不小的噪声干扰，需要对其进行噪声滤波操研究所用数据集均由某医院提供的116位被作.通过对比不同的滤波算法，模型采用了双边滤检查者的二维超声心动图及彩色超声多普勒组波算法，该部分具体细节将在下面展开叙述.最后成，其中有80位确诊为ASD患者，剩下36位诊断再将得到的图像进行一些数据增强操作，如图像为正常，分别占总数的69%和31%.其中每个人的旋转、翻转和随机剪裁等数据均由数量不等的各种切面的dicom格式的超 2.2基于双边滤波器的超声心动图噪声消除算法声心动图组成然而，由于超声心动图噪声较多，直接用原始在临床诊断中，有几种比较常用且可靠的超图像进行模型训练效果不佳，需要对其进行降噪声心动图标准切面（图2），分别是：胸骨旁大动脉处理.目前常用的图像降噪滤波算法有均值滤短轴切面，心尖四腔心切面，胸骨旁四腔心切面，波、高斯滤波以及双边滤波，这些滤波算法都是通剑突下上下腔长轴切面，剑突下大动脉短轴切面过将滤波范围内的像素做加权平均的发生进行图及剑突下双房心切面.其中图2(a)和2(b)相似度像平滑，从而抑制噪声的.不过均值滤波对周围像较高，一般都统称为四腔心切面素赋予相同的权值，这与图像中像素实际的概率数据预处理的过程主要分为如下几步：首先，分布不符，在图像的轮廓边缘更是如此；高斯滤波用户的超声心动图数据中往往动态数据居多，一则是通过假设滤波中心像素与周围像素的像素值个动态数据中包含有许多帧图像，仅依靠其中某满足高斯分布，并以此对其周围像素赋予不同的 (b) d (e) 图2超声心动图6类标准切面.(a)胸骨旁大动脉短轴：(b)心尖四腔心：(c)胸骨旁四腔心：(d)剑突下上下腔长轴：()剑突下大动脉短轴：(f)剑突下双房心 Fig.2 Six normal views of echocardiography:(a)parasternal short-axis view,(b)apical four-chamber view;(c)parasternal four-chamber view, (d)subcostal inferior vena cava;(e)subcostal short axial of aorta;(f)subcostal left and right atrium

双边滤波处理，便可以在保留轮廓边界的前提下一定程度上抑制噪声，提高图像的质量. (a) (b) 图 1 超声心动图对比. （a）ASD 患者；（b）健康人 Fig.1 Contrast in echocardiography of ASD patient (a) and healthy people (b) 2 数据预处理与模型算法 2.1 数据预处理研究所用数据集均由某医院提供的 116 位被检查者的二维超声心动图及彩色超声多普勒组成，其中有 80 位确诊为 ASD 患者，剩下 36 位诊断为正常，分别占总数的 69% 和 31%. 其中每个人的数据均由数量不等的各种切面的 dicom 格式的超声心动图组成. 在临床诊断中，有几种比较常用且可靠的超声心动图标准切面（图 2），分别是：胸骨旁大动脉短轴切面，心尖四腔心切面，胸骨旁四腔心切面，剑突下上下腔长轴切面，剑突下大动脉短轴切面及剑突下双房心切面. 其中图 2（a）和 2（b）相似度较高，一般都统称为四腔心切面. 数据预处理的过程主要分为如下几步：首先，用户的超声心动图数据中往往动态数据居多，一个动态数据中包含有许多帧图像，仅依靠其中某一帧图像就确诊过于武断. 而邻近帧图像相似度较高，均输入模型进行诊断存在数据冗余问题，因此同时也为了提高数据量，在预处理中采用了一定的间隔对数据进行了采样操作. 除去动态数据外，数据集中也含有少数的静态图像，这种静态图像一般为超声医生精心截取的，对于 ASD 诊断的参考意义较高，皆予以保留. 其次，原始的超声心动图中除了超声影像外，其边框处还有许多涉及患者隐私的信息，这些信息对于诊断而言与噪声无异，保留下来也会有泄露患者隐私的风险，于是预处理阶段通过对超声影像部分手动提取边框获取掩码图像，再将其与原始图像做掩码处理，滤除超声影像以外的其他信息. 此外，超声影像部分也存在不小的噪声干扰，需要对其进行噪声滤波操作. 通过对比不同的滤波算法，模型采用了双边滤波算法，该部分具体细节将在下面展开叙述. 最后再将得到的图像进行一些数据增强操作，如图像旋转、翻转和随机剪裁等. 2.2 基于双边滤波器的超声心动图噪声消除算法然而，由于超声心动图噪声较多，直接用原始图像进行模型训练效果不佳，需要对其进行降噪处理. 目前常用的图像降噪滤波算法有均值滤波、高斯滤波以及双边滤波，这些滤波算法都是通过将滤波范围内的像素做加权平均的发生进行图像平滑，从而抑制噪声的. 不过均值滤波对周围像素赋予相同的权值，这与图像中像素实际的概率分布不符，在图像的轮廓边缘更是如此；高斯滤波则是通过假设滤波中心像素与周围像素的像素值满足高斯分布，并以此对其周围像素赋予不同的 (a) (b) (c) (d) (e) (f) 图 2 超声心动图 6 类标准切面. （a）胸骨旁大动脉短轴；（b）心尖四腔心；（c）胸骨旁四腔心；（d）剑突下上下腔长轴；（e）剑突下大动脉短轴；（f）剑突下双房心 Fig.2 Six normal views of echocardiography: (a) parasternal short-axis view; (b) apical four-chamber view; (c) parasternal four-chamber view; (d) subcostal inferior vena cava; (e) subcostal short axial of aorta; (f) subcostal left and right atrium · 1168 · 工程科学学报，第 43 卷，第 9 期

张文静等：基于切面识别的房间隔缺损智能辅助诊断 1169 权值，这样虽然对于一般情况像素间相关性的刻智能辅助诊断模型总体网络架构示意图如图4所画更为准确，却仍不可避免地会破坏掉图像中的示，主体结构由切面识别与A$D诊断两部分网络边缘信息从而导致边界模糊；与均值滤波和高斯构成.两部分网络可以单独进行训练，最后再通过滤波没有考虑到轮廓边缘像素发生突变的特性不一个全连接网络得到模型输出.经过预处理后的同，双边滤波2-通过引入像素域核，可以实现对数据同时输入到两个卷积神经网络中，分别进行边界的有效保留，其所用滤波核参数如式(1) 特征提取，将两部分网络提取的特征进行拼接，从所示：而把识别的切面信息与图像提取的空间特征信息 _-2±-2_正u2 相融合，拼接的特征向量输入到全连接层，最后得 w(i,ik,l)=el 2 (1) 到结合切面识别的ASD诊断结果.该模型架构可 1(i.-Zkul(k.Dw(i.j.k.D) (2) 以很好地将超声心动图的不同切面特征与用于诊 ∑kw(jk,D 断的图像特征进行组合，从而使得诊断结果更加式中，（位，）为滤波中心的坐标，(k,)为滤波器覆盖范精确.且该模型架构易于实现，用于进行切面特征围内某点坐标，I(a,b)为某点(a,b)的像素值，ca和提取与ASD特征提取的卷积神经网络可以独立选 σ分别为空域核方差和像素域核方差，由式(1)可取，例如切面特征提取网络可以参考已有的较好得滤波范围内某点像素值所被赋予的权值既与它的超声心动图切面识别网络.而ASD特征提取网相对于滤波中心的位置有关，又与其相对于滤波络与全连接层作为整体，通过将切面类别也作为中心的像素值差有关.滤波中心滤波后的像素值标签进行输入，便可进行训练.得益于两部分网络由式(2)计算得到，由于与滤波中心像素值相差较独立进行训练，其中一个网络训练效果不佳时并大的像素在双边滤波的滤波参数计算时会获得较不会影响另一个网络的训练小的权值，当滤波中心到达像素突变的边界处时，图3给出的模型构建的整体架构，突出了网络边界轮廓不会被过分平滑，从而实现保边去噪.不总体的设计思路.实际用于ASD诊断的完整模型同滤波算法作用于超声心动图的效果对比如图3 如图5所示，主要由3部分组成一数据预处理部所示，可见均值滤波处理后的图像平滑程度最高，分、ASD辅助诊断部分和加权求和部分.数据预也最为模糊：高斯滤波虽然优于均值滤波，但是同处理部分前已说明，模型中模块的组成与功能介样存在模糊边界的问题：而双边滤波处理过后的绍就主要针对后两部分进行图像在平滑程度与边界清晰度上取得了比较好的 ASD辅助诊断部分主要是由View-net与ASD- 折中 net以及ASD diagnosis模块组成，其中ASD diagnosis 模块由一个4层的全连接神经网络组成，各层数 (b) 节点个数设置为(288,128,56,2)，其功能为通过 ASD-net与View-net获取的超声心动图高维特征向量进行组合得到最终的诊断结果.View-net与 ASD-net的模型实现则均采用稠密连接卷积神经网络(（Densely connected convolutional network, Densenet),其中View-net的功能为识别超声心 d 动图的切面类别，可作为一个单独的模型进行训练，具有可替换性，在本模型中View-net直接使用的Densenet1221P,ASD-net则是基于深度神经网络模型压缩理论，采用如图6所示的轻量化的网络结构，其网络主体由4个Dense block组成，每图3噪声滤波效果对比.(a)原始图像：(b)均值滤波：(c)高斯滤波：个Dense block内部有若干层Dense layer,,Dense (d)双边滤波 layer除了进行标准化和卷积操作得到特征图，还 Fig.3 Comparison of different noise filter algorithms:(a)original 会将输入与特征图堆叠，最后一起输出，第i层 image;(b)mean filter,(c)Gaussian filter;(d)bilateral filter Dense layer的输出如式(3)所示，concat表示堆叠 2.3模型算法操作，conv表示卷积操作，norm表示标准化操作，所提的基于超声心动图特征切面识别的ASD 当i取0时Xo为该dense block的输入.此外为了保

权值，这样虽然对于一般情况像素间相关性的刻画更为准确，却仍不可避免地会破坏掉图像中的边缘信息从而导致边界模糊；与均值滤波和高斯滤波没有考虑到轮廓边缘像素发生突变的特性不同，双边滤波[22−23] 通过引入像素域核，可以实现对边界的有效保留，其所用滤波核参数如式（ 1）所示： w(i, j, k,l) = e  − (i−k) 2+(j−l) 2 2σ 2 d − |I(i, j)−I(k,l)| 2 2σ 2 r   （1） I(i, j) = ∑ k,l I(k,l)w(i, j, k,l) ∑ k,lw(i, j, k,l) （2） (i, j) (k,l) I(a,b) (a,b) σd σr 式中，为滤波中心的坐标，为滤波器覆盖范围内某点坐标，为某点的像素值，和分别为空域核方差和像素域核方差，由式（1）可得滤波范围内某点像素值所被赋予的权值既与它相对于滤波中心的位置有关，又与其相对于滤波中心的像素值差有关. 滤波中心滤波后的像素值由式（2）计算得到，由于与滤波中心像素值相差较大的像素在双边滤波的滤波参数计算时会获得较小的权值，当滤波中心到达像素突变的边界处时，边界轮廓不会被过分平滑，从而实现保边去噪. 不同滤波算法作用于超声心动图的效果对比如图 3 所示，可见均值滤波处理后的图像平滑程度最高，也最为模糊；高斯滤波虽然优于均值滤波，但是同样存在模糊边界的问题；而双边滤波处理过后的图像在平滑程度与边界清晰度上取得了比较好的折中. (a) (b) (c) (d) 图 3 噪声滤波效果对比. （a）原始图像；（b）均值滤波；（c）高斯滤波；（d）双边滤波 Fig.3 Comparison of different noise filter algorithms: (a) original image; (b) mean filter; (c) Gaussian filter; (d) bilateral filter 2.3 模型算法所提的基于超声心动图特征切面识别的 ASD 智能辅助诊断模型总体网络架构示意图如图 4 所示，主体结构由切面识别与 ASD 诊断两部分网络构成. 两部分网络可以单独进行训练，最后再通过一个全连接网络得到模型输出. 经过预处理后的数据同时输入到两个卷积神经网络中，分别进行特征提取，将两部分网络提取的特征进行拼接，从而把识别的切面信息与图像提取的空间特征信息相融合，拼接的特征向量输入到全连接层，最后得到结合切面识别的 ASD 诊断结果. 该模型架构可以很好地将超声心动图的不同切面特征与用于诊断的图像特征进行组合，从而使得诊断结果更加精确. 且该模型架构易于实现，用于进行切面特征提取与 ASD 特征提取的卷积神经网络可以独立选取，例如切面特征提取网络可以参考已有的较好的超声心动图切面识别网络. 而 ASD 特征提取网络与全连接层作为整体，通过将切面类别也作为标签进行输入，便可进行训练. 得益于两部分网络独立进行训练，其中一个网络训练效果不佳时并不会影响另一个网络的训练. 图 3 给出的模型构建的整体架构，突出了网络总体的设计思路. 实际用于 ASD 诊断的完整模型如图 5 所示，主要由 3 部分组成——数据预处理部分、ASD 辅助诊断部分和加权求和部分. 数据预处理部分前已说明，模型中模块的组成与功能介绍就主要针对后两部分进行. X0 ASD 辅助诊断部分主要是由 View-net 与 ASDnet 以及 ASD diagnosis 模块组成，其中 ASD diagnosis 模块由一个 4 层的全连接神经网络组成，各层数节点个数设置为（288，128，56，2），其功能为通过 ASD-net 与 View-net 获取的超声心动图高维特征向量进行组合得到最终的诊断结果. View-net 与 ASD-net 的模型实现则均采用稠密连接卷积神经网络（ Densely connected convolutional network， Densenet） [24] ，其中 View-net 的功能为识别超声心动图的切面类别，可作为一个单独的模型进行训练，具有可替换性，在本模型中 View-net 直接使用的 Densenet121[24] . ASD-net 则是基于深度神经网络模型压缩理论[25] ，采用如图 6 所示的轻量化的网络结构，其网络主体由 4 个 Dense block 组成，每个 Dense block 内部有若干层 Dense layer， Dense layer 除了进行标准化和卷积操作得到特征图，还会将输入与特征图堆叠，最后一起输出，第 i 层 Dense layer 的输出如式（3）所示，concat 表示堆叠操作，conv 表示卷积操作，norm 表示标准化操作，当 i 取 0 时为该 dense block 的输入. 此外为了保张文静等：基于切面识别的房间隔缺损智能辅助诊断 · 1169 ·

.1170 工程科学学报，第43卷.第9期 Slice feature extraction Feature concatenation ASD feature extraction 图4ASD辅助诊断模型总体架构 Fig.4 ASD auxiliary diagnosis model overall architecture Masking Bilateral Data Sampling filtering enhancing View-net Data preprocessing View type ASD-net Dicom data Result 1 View vector ASD vector Result Weighted Result 2 ASD mean diagnosis ◆Concatenation Result N ASD auxiliary diagnosis model 图5ASD辅助诊断模型完整架构 Fig.5 ASD auxiliary diagnosis model completed architecture 证卷积操作以后的特征图与输入尺寸相同，所有往不止一个超声心动图，而且这些超声心动图往的Dense block内部没有池化层，池化操作都放在往都是不同切面的，仅凭一个切面的超声心动图了Transition layer中. 就进行诊断仍然太过片面，应该对不同切面的多 Xi concat(conv;(norm(Xi1)).Xi-1) (3) 个超声心动图均进行诊断，并综合起来求加权平通过这种堆叠操作，网络中的信息流梯度流均作为最终诊断结果，不同切面类别的权值由其得到增强，网络训练速度更快，且特征复用度更历史诊断率确定，另一方面，超声心动图也存在误高，对图像语义的提取更为充分.但是如果Dense 差或者难以识别缺损的情况，有的健康人可能会 layer的层数过多，会导致网络结构过于复杂，参数由于噪声或者其他生理组织的干扰，或者仅仅是过多，从而影响网络的收敛，也会提高对数据量的截取图像时的偶尔失误，导致在房间隔出现伪影，要求.于是在本模型中采用了更少的层数，大大减这样就容易被误诊为ASD患者.通过多超声心动少了网络的参数量. 图多切面进行综合诊断就能很好的避免这种偶尔加权求和部分存在的必要性主要是结合医学性因素导致的误诊诊断形成一个综合的诊断，提高诊断结果的可靠 3模型训练与测试结果性.首先，用户的超声心动图数据往往动态数据居多，一个动态数据中包含有许多帧图像，仅依靠其训练集与测试集按70%与30%的比例划分而中某一帧图像就确诊过于武断。其次，一个用户往成，其中训练集由54名ASD患者与27名健康人

证卷积操作以后的特征图与输入尺寸相同，所有的 Dense block 内部没有池化层，池化操作都放在了 Transition layer 中. Xi = concat(convi(norm(Xi−1)),Xi−1) （3）通过这种堆叠操作，网络中的信息流梯度流得到增强，网络训练速度更快，且特征复用度更高，对图像语义的提取更为充分. 但是如果 Dense layer 的层数过多，会导致网络结构过于复杂，参数过多，从而影响网络的收敛，也会提高对数据量的要求. 于是在本模型中采用了更少的层数，大大减少了网络的参数量. 加权求和部分存在的必要性主要是结合医学诊断形成一个综合的诊断，提高诊断结果的可靠性. 首先，用户的超声心动图数据往往动态数据居多，一个动态数据中包含有许多帧图像，仅依靠其中某一帧图像就确诊过于武断. 其次，一个用户往往不止一个超声心动图，而且这些超声心动图往往都是不同切面的，仅凭一个切面的超声心动图就进行诊断仍然太过片面，应该对不同切面的多个超声心动图均进行诊断，并综合起来求加权平均作为最终诊断结果，不同切面类别的权值由其历史诊断率确定. 另一方面，超声心动图也存在误差或者难以识别缺损的情况，有的健康人可能会由于噪声或者其他生理组织的干扰，或者仅仅是截取图像时的偶尔失误，导致在房间隔出现伪影，这样就容易被误诊为 ASD 患者. 通过多超声心动图多切面进行综合诊断就能很好的避免这种偶尔性因素导致的误诊. 3 模型训练与测试结果训练集与测试集按 70% 与 30% 的比例划分而成，其中训练集由 54 名 ASD 患者与 27 名健康人 Slice feature extraction Feature concatenation ASD feature extraction 图 4 ASD 辅助诊断模型总体架构 Fig.4 ASD auxiliary diagnosis model overall architecture Sampling Masking View-net ASD-net ASD vector Concatenation View type View vector Bilateral filtering Data enhancing Dicom data Result Weighted mean Data preprocessing ASD auxiliary diagnosis model Result 1 Result 2 Result N … Png data ASD diagnosis 图 5 ASD 辅助诊断模型完整架构 Fig.5 ASD auxiliary diagnosis model completed architecture · 1170 · 工程科学学报，第 43 卷，第 9 期

张文静等：基于切面识别的房间隔缺损智能辅助诊断 1171 Input size: 224×224×3 Input First conv Input 市 4 Input:64 Denselayers DenseblockI Denselayerl Output:32 Transistion layer Input:64+32=96 Denselayer2 Output:32 Denselayers Denseblock2 Input:96+32=128 Denselayer3 Output:32 Transistion layer 巾 Denselayer4 Input:128+32=160 16 Denselayers Denseblock3 Output:32 t Transistion layer nput:160+32=192 Transistion layer 12 Denselayers Denseblock4 Classifier 图6网络结构及参数 Fig.6 Network structure and parameters 的原始超声心动图经过数据预处理最终获取的卷积神经网络而言难度较大，从而难以获得比较 22162条超声心动图数据组成.测试集则由剩余好的诊断性能.此外，结合了双边滤波后，模型的的26名ASD患者与9名健康人组成.ASD-net与 ASD诊断准确率进一步提高了4.5%，同时假阴性 View-net各自分别进行模型训练，均使用贴有是否率降低到2.8%，这是得益于双边滤波对噪声有效为ASD患者与所属切面类别两个标签的训练数平滑的同时保留了边界据，采用Adam算法进行参数更新，用交叉嫡函数作为损失函数.其中ASD-net的训练需要结合表1ASD诊断测试结果 ASD diagnosis部分进行，并同时使用切面类别与 Table 1 Contrast among different models With bilateral Accuracy False negative False positive 是否为ASD患者两个标签 Model filtering % rate / rate/% 以用户为单位进行模型测试，根据最终模型 Resnet50-no Yes 86.7 2.8 55.6 view-net 给出的诊断结果与用户实际确诊的结果对比计算 Densenet121- Yes 86.7 13.9 11.1 出模型的诊断准确率.而查全率与查准率则通过 no view-net Densenet-with 对应于医学诊断中的假阴性率与假阳性率得以体 No 93.3 5.6 view-net 现，查全率高对应于假阴性率低，查准率高对应于 Densenet-with Yes 97.8 2.8 0 view-net 假阳性率低.模型的ASD诊断测试的结果如表1，与未结合切面识别的模型相比，结合切面识别的最后，为了验证影响模型诊断的关键区域与 ASD辅助诊断模型准确率提高了6.6%，这是因为医学上进行ASD诊断所关注的房间隔区域相同，所提的诊断模型架构通过将切面类别特征的提取且诊断的标准与临床诊断标准一致，对测试数据与诊断依据特征提取用两部分网络去进行，将分房间隔处进行了遮挡实验.所得的实验结果如图7，类任务细分，负责切面识别任务的网络只需要将图中P(ASD)表示该超声心动图检出ASD的概率不同切面的数据分隔开，而不需要去判断是否为当输入为原始健康人数据时，诊断为ASD的概率 ASD数据，从而使得网络学习任务减轻；而另一部均较小，由于从医学上来看A$D患者的超声心动分负责诊断依据特征提取的网络则在有了切面类图才会在房间隔处存在阴影，所以当将房间隔处别这一信息后，能够更好地对提取到的图像特征遮挡造成阴影时，诊断为ASD的概率明显增大进行排列组合，从而可以更好地将ASD患者与健该实验既验证了模型诊断所关注的区域确实是在康人的超声心动图数据区分开来.但是仅仅通过缺损区域，也说明了模型确实诊断的标准与临床一个模型去直接学习这两种类别数据的区别对于上保持一致

的原始超声心动图经过数据预处理最终获取的 22162 条超声心动图数据组成. 测试集则由剩余的 26 名 ASD 患者与 9 名健康人组成. ASD-net 与 View-net 各自分别进行模型训练，均使用贴有是否为 ASD 患者与所属切面类别两个标签的训练数据，采用 Adam 算法进行参数更新，用交叉熵函数作为损失函数 . 其中 ASD-net 的训练需要结合 ASD diagnosis 部分进行，并同时使用切面类别与是否为 ASD 患者两个标签. 以用户为单位进行模型测试，根据最终模型给出的诊断结果与用户实际确诊的结果对比计算出模型的诊断准确率. 而查全率与查准率则通过对应于医学诊断中的假阴性率与假阳性率得以体现，查全率高对应于假阴性率低，查准率高对应于假阳性率低. 模型的 ASD 诊断测试的结果如表 1，与未结合切面识别的模型相比，结合切面识别的 ASD 辅助诊断模型准确率提高了 6.6%，这是因为所提的诊断模型架构通过将切面类别特征的提取与诊断依据特征提取用两部分网络去进行，将分类任务细分，负责切面识别任务的网络只需要将不同切面的数据分隔开，而不需要去判断是否为 ASD 数据，从而使得网络学习任务减轻；而另一部分负责诊断依据特征提取的网络则在有了切面类别这一信息后，能够更好地对提取到的图像特征进行排列组合，从而可以更好地将 ASD 患者与健康人的超声心动图数据区分开来. 但是仅仅通过一个模型去直接学习这两种类别数据的区别对于卷积神经网络而言难度较大，从而难以获得比较好的诊断性能. 此外，结合了双边滤波后，模型的 ASD 诊断准确率进一步提高了 4.5%，同时假阴性率降低到 2.8%，这是得益于双边滤波对噪声有效平滑的同时保留了边界. 表 1 ASD 诊断测试结果 Table 1 Contrast among different models Model With bilateral filtering Accuracy / % False negative rate / % False positive rate / % Resnet50‒no view-net Yes 86.7 2.8 55.6 Densenet121‒ no view-net Yes 86.7 13.9 11.1 Densenet‒with view-net No 93.3 5.6 11 Densenet‒with view-net Yes 97.8 2.8 0 最后，为了验证影响模型诊断的关键区域与医学上进行 ASD 诊断所关注的房间隔区域相同，且诊断的标准与临床诊断标准一致，对测试数据房间隔处进行了遮挡实验. 所得的实验结果如图 7，图中 P(ASD) 表示该超声心动图检出 ASD 的概率当输入为原始健康人数据时，诊断为 ASD 的概率均较小，由于从医学上来看 ASD 患者的超声心动图才会在房间隔处存在阴影，所以当将房间隔处遮挡造成阴影时，诊断为 ASD 的概率明显增大. 该实验既验证了模型诊断所关注的区域确实是在缺损区域，也说明了模型确实诊断的标准与临床上保持一致. Input Input size: 224×224×3 Input: 64 Output: 32 Input: 64+32=96 Output: 32 Input: 96+32=128 Output: 32 Input: 128+32=160 Output: 32 Input: 160+32=192 4 Denselayers 8 Denselayers 16 Denselayers 12 Denselayers First conv Transistion layer Denseblock2 Denseblock3 Denseblock4 Transistion layer Transistion layer Transistion layer Classifier Denseblock1 Denselayer1 Denselayer2 Denselayer3 Denselayer4 Input 图 6 网络结构及参数 Fig.6 Network structure and parameters 张文静等：基于切面识别的房间隔缺损智能辅助诊断 · 1171 ·

1172. 工程科学学报，第43卷.第9期 (a) P(ASDF36.0%,(b) P(ASD=97.2% (陶攀，付忠良，朱错，等.基于深度学习的超声心动图切面识别方法.计算机应用，2017,37(5)：1434) [5]Madani A,Amaout R,Mofrad M,et al.Fast and accurate view classification of echocardiograms using deep learning.Npi Digit Med,2018,1(1):6 [61 Madani A,Ong J R,Tibrewal A,et al.Deep echocardiography: Data-efficient supervised and semi-supervised deep learning (c) P(ASD=25.1% (d) P(ASD=88.1% towards automated diagnosis of cardiac disease.Npj Digit Med, 2018,1(1:59 [7] Teng L,Fu Z L,Yao Y.Interactive translation in echocardiography training system with enhanced cycle-GAN. IEEE Access3,2020,8:106147 图7房间隔遮挡测试(a,c)遮挡前：(b,d)遮挡后 [8]Teng L,Fu Z L,Ma Q,et al.Interactive echocardiography translation using few-shot GAN transfer learning.Comput Math Fig.7 Atrial septal covering test:(a,c)before covering:(b,d)covered Methods Med.2020,2020:1487035 4结论 [9]Ghorbani A,Ouyang D,Abid A,et al.Deep learning interpretation of echocardiograms.Npj Digit Med,2020,3(1):1 提出了一种基于超声心动图特征切面识别的 [10]Veni G,Moradi M,Bulu H K,et al.Echocardiography ASD辅助诊断模型，并通过实验测试验证了所提 segmentation based on a shape-guided deformable model driven 模型取得了非常不错的诊断性能.同时应用双边 by a fully convolutional network prior /2018 IEEE 15th 滤波算法对超声心动图进行噪声抑制，同时保留 International Symposium on Biomedical Imaging (ISBI 2018). 轮廓边界，使得模型诊断性能进一步提升.再通过 Washington,2018:898 房间隔处的遮挡测试，验证了所提模型做出 [11]Leclerc S,Smistad E,Pedrosa J,et al.Deep learning for ASD诊断的依据与标准与临床诊断保持一致，从 segmentation using an open large-scale dataset in 2D echocardiography.IEEE Trans Med Imaging,2019,38(9):2198 而说明了其诊断结果的可靠性.本文给出了一种 [12]Li YW,HoCP,Toulemonde M,et al.Fully automatic myocardial 针对有着不同特征的医学影像数据进行疾病诊断 segmentation of contrast echocardiography sequence using random 的可行思路，对未来基于深度学习的超声心动图 forests guided by shape model.IEEE Trans Med Imaging.2017. 相关的疾病诊断模型设计具有一定的参考价值， 37(5):1081 而将超声检查报告、病人病历等多模态数据融入 [13]Lu Y,Fu X H,Li X Q,et al.Cardiac chamber segmentation using 到其中也可能是进一步提高诊断性能的可行思 deep learning on magnetic resonance images from patients before 路，在此留给未来的研究者进行探索 and after atrial septal occlusion surgery //2020 42nd Anmual International Conference of the IEEE Engineering in Medicine Biology Society (EMBC).Montreal,2020:1211 参考文献 [14]Zyuzin V,Mukhtarov A,Neustroev D,et al.Segmentation of 2D [1]Wang X F,Xie M X.Textbook of Echocardiograply.5th Ed. echocardiography images using residual blocks in U-net Beijing:People's Medical Publishing House,2016 architectures /2020 Ural Symposium on Biomedical Engineering. (王新房，谢明星.超声心动图学.5版.北京：人民卫生出版社， Radioelectronics and Information Technology (USBEREIT). 2016) Yekaterinburg,2020:499 [2]Li J W.Trend and epidemiological analysis of congenital heart [15]Smistad E,Ostvik A,Salte I M,et al.Fully automatic real-time disease.Chin J Cardiovasc Rehabilitation Med.2017.26(1):60 ejection fraction and MAPSE measurements in 2D (黎洁雯.先天性心脏病的流行趋势及流行病学分析.心血管康 echocardiography using deep neural networks //2018 IEEE 复医学杂志，2017,26(1)：60) International Uhrasonics Symposium (IUS).Kobe,01:1 [3]Zhang L Y,Qiao Y H,Ning S F,et al.Analysis of ultrasonic [16]Davis A,Billick K,Horton K,et al.Artificial intelligence and diagnosis of 39 atrial septal defects.China Pract Med,2009, echocardiography:A primer for cardiac sonographers.m Soc 4(14):95 Echocardiogr,2020,33(9):1061 (张丽媛，乔玉红，宁淑范，等.房间隔缺损39例超声诊断分析 [17]Huang Q.Zhang F,Li X.Machine learning in ultrasound 中国实用医药，2009,4(14)：95) computer-aided diagnostic systems:A survey.Biomed Res Int, [4]Tao P,Fu Z L,Zhu K,et al.Echocardiogram view recognition 2018,2018:5137904 using deep convolutional neural network.J Compur Appl,2017, [18]Wang X,Jia Y G,Sevenster M,et al.Representation learning of 37(5):1434 finding codes in structured echocardiogram reporting //2018 /EEE

4 结论提出了一种基于超声心动图特征切面识别的 ASD 辅助诊断模型，并通过实验测试验证了所提模型取得了非常不错的诊断性能. 同时应用双边滤波算法对超声心动图进行噪声抑制，同时保留轮廓边界，使得模型诊断性能进一步提升. 再通过房间隔处的遮挡测试，验证了所提模型做出 ASD 诊断的依据与标准与临床诊断保持一致，从而说明了其诊断结果的可靠性. 本文给出了一种针对有着不同特征的医学影像数据进行疾病诊断的可行思路，对未来基于深度学习的超声心动图相关的疾病诊断模型设计具有一定的参考价值，而将超声检查报告、病人病历等多模态数据融入到其中也可能是进一步提高诊断性能的可行思路，在此留给未来的研究者进行探索. 参考文献 Wang X F, Xie M X. Textbook of Echocardiography. 5th Ed. Beijing: People’s Medical Publishing House, 2016 （王新房, 谢明星. 超声心动图学. 5版. 北京: 人民卫生出版社, 2016） [1] Li J W. Trend and epidemiological analysis of congenital heart disease. Chin J Cardiovasc Rehabilitation Med, 2017, 26（1）: 60 （黎洁雯. 先天性心脏病的流行趋势及流行病学分析. 心血管康复医学杂志, 2017, 26（1）：60） [2] Zhang L Y, Qiao Y H, Ning S F, et al. Analysis of ultrasonic diagnosis of 39 atrial septal defects. China Pract Med, 2009, 4（14）: 95 （张丽媛, 乔玉红, 宁淑范, 等. 房间隔缺损39例超声诊断分析. 中国实用医药, 2009, 4（14）：95） [3] Tao P, Fu Z L, Zhu K, et al. Echocardiogram view recognition using deep convolutional neural network. J Comput Appl, 2017, 37（5）: 1434 [4] （陶攀, 付忠良, 朱锴, 等. 基于深度学习的超声心动图切面识别方法. 计算机应用, 2017, 37（5）：1434） Madani A, Arnaout R, Mofrad M, et al. Fast and accurate view classification of echocardiograms using deep learning. Npj Digit Med, 2018, 1（1）: 6 [5] Madani A, Ong J R, Tibrewal A, et al. Deep echocardiography: Data-efficient supervised and semi-supervised deep learning towards automated diagnosis of cardiac disease. Npj Digit Med, 2018, 1（1）: 59 [6] Teng L, Fu Z L, Yao Y. Interactive translation in echocardiography training system with enhanced cycle-GAN. IEEE Access, 2020, 8: 106147 [7] Teng L, Fu Z L, Ma Q, et al. Interactive echocardiography translation using few-shot GAN transfer learning. Comput Math Methods Med, 2020, 2020: 1487035 [8] Ghorbani A, Ouyang D, Abid A, et al. Deep learning interpretation of echocardiograms. Npj Digit Med, 2020, 3（1）: 1 [9] Veni G, Moradi M, Bulu H K, et al. Echocardiography segmentation based on a shape-guided deformable model driven by a fully convolutional network prior // 2018 IEEE 15th International Symposium on Biomedical Imaging (ISBI 2018). Washington, 2018: 898 [10] Leclerc S, Smistad E, Pedrosa J, et al. Deep learning for segmentation using an open large-scale dataset in 2D echocardiography. IEEE Trans Med Imaging, 2019, 38（9）: 2198 [11] Li Y W, Ho C P, Toulemonde M, et al. Fully automatic myocardial segmentation of contrast echocardiography sequence using random forests guided by shape model. IEEE Trans Med Imaging, 2017, 37（5）: 1081 [12] Lu Y, Fu X H, Li X Q, et al. Cardiac chamber segmentation using deep learning on magnetic resonance images from patients before and after atrial septal occlusion surgery // 2020 42nd Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC). Montreal, 2020: 1211 [13] Zyuzin V, Mukhtarov A, Neustroev D, et al. Segmentation of 2D echocardiography images using residual blocks in U-net architectures // 2020 Ural Symposium on Biomedical Engineering, Radioelectronics and Information Technology (USBEREIT). Yekaterinburg, 2020: 499 [14] Smistad E, Østvik A, Salte I M, et al. Fully automatic real-time ejection fraction and MAPSE measurements in 2D echocardiography using deep neural networks // 2018 IEEE International Ultrasonics Symposium (IUS). Kobe, 2018: 1 [15] Davis A, Billick K, Horton K, et al. Artificial intelligence and echocardiography: A primer for cardiac sonographers. J Am Soc Echocardiogr, 2020, 33（9）: 1061 [16] Huang Q, Zhang F, Li X. Machine learning in ultrasound computer-aided diagnostic systems: A survey. Biomed Res Int, 2018, 2018: 5137904 [17] Wang X, Jia Y G, Sevenster M, et al. Representation learning of finding codes in structured echocardiogram reporting // 2018 IEEE [18] (a) P (ASD)=36.0% P (ASD)=97.2% P (ASD)=25.1% P (ASD)=88.1% (b) (c) (d) 图 7 房间隔遮挡测试. (a，c) 遮挡前；(b，d) 遮挡后 Fig.7 Atrial septal covering test: (a,c) before covering; (b,d)covered · 1172 · 工程科学学报，第 43 卷，第 9 期

点击进入文档下载页（PDF格式）

已到末页，全文结束