基于深度学习的宫颈癌异常细胞快速检测方法

宫颈癌是严重危害妇女健康的恶性肿瘤，威胁着女性的生命，而通过基于图像处理的细胞学筛查是癌前筛查的最为广泛的检测方法。近年来，随着以深度学习为代表的机器学习理论的发展，卷积神经网络以其强有效的特征提取能力取得了图像识别领域的革命性突破，被广泛应用于宫颈异常细胞检测等医疗影像分析领域。但由于病理细胞图像具有分辨率高和尺寸大的特点，且其大多数局部区域内都不含有细胞簇，深度学习模型采用穷举候选框的方法进行异常细胞的定位和识别时，经过穷举候选框获得的子图大部分都不含有细胞簇。当子图数量逐渐增加时，大量不含细胞簇的图像作为目标检测网络输入会使图像分析过程存在冗余时长，严重减缓了超大尺寸病理图像分析时的检测速度。本文提出一种新的宫颈癌异常细胞检测策略，针对使用膜式法获得的病理细胞图像，通过基于深度学习的图像分类网络首先判断局部区域是否出现异常细胞，若出现则进一步使用单阶段的目标检测方法进行分析，从而快速对异常细胞进行精确定位和识别。实验表明，本文提出的方法可提高一倍的宫颈癌异常细胞检测速度。

团购合买资源类别：文库，文档格式：PDF，文档页数：10，文件大小：822.15KB

工程科学学报 Chinese Journal of Engineering 基于深度学习的官颈癌异常细胞快速检测方法姚超赵基淮马博渊李莉马莹班晓娟姜淑芳邵炳衡 Fast detection method for cervical cancer abnormal cells based on deep learning YAO Chao,ZHAO Ji-huai,MA Bo-yuan,LI Li,MA Ying.BAN Xiao-juan.JIANG Shu-fang,SHAO Bing-heng 引用本文：姚超，赵基淮，马博渊，李莉，马莹，班晓娟，姜淑芳，邵炳衡.基于深度学习的宫颈癌异常细胞快速检测方法.工程科学学报，2021,43(9%：1140-1148.doi:10.13374.issn2095-9389.2021.01.12.001 YAO Chao,ZHAO Ji-huai,MA Bo-yuan,LILi,MA Ying,BAN Xiao-juan,JIANG Shu-fang.SHAO Bing-heng.Fast detection method for cervical cancer abnormal cells based on deep learning[J].Chinese Journal of Engineering,2021,43(9):1140-1148.doi: 10.13374-issn2095-9389.2021.01.12.001 在线阅读View online:https::/oi.org10.13374.issn2095-9389.2021.01.12.001 您可能感兴趣的其他文章 Articles you may be interested in 基于深度学习的高效火车号识别 Efficient wagon number recognition based on deep learning 工程科学学报.2020,42(11)：1525 https:ldoi.org/10.13374.issn2095-9389.2019.12.05.001 卷积神经网络在矿区预测中的研究与应用 Research and application of convolutional neural network in mining area prediction 工程科学学报.2020,42(12：1597htps:/1doi.org10.13374.issn2095-9389.2020.01.02.001 深度神经网络模型压缩综述 A survey of model compression for deep neural networks 工程科学学报.2019,41(10)：1229 https:/1doi.org/10.13374.issn2095-9389.2019.03.27.002 基于深度学习的人体低氧状态识别 Recognition of human hypoxic state based on deep learning 工程科学学报.2019,41(6)：817 https::/1oi.org/10.13374.issn2095-9389.2019.06.014 基于深度卷积神经网络的地磁导航方向适配性分析 Direction-matching-suitability analysis for geomagnetic navigation based on convolutional neural networks 工程科学学报.2017,3910)：1584 https:1oi.org/10.13374j.issn2095-9389.2017.10.018 基于集成神经网络的剩余寿命预测 Remaining useful life prediction based on an integrated neural network 工程科学学报.2020,4210)：1372htps:/1doi.org/10.13374.issn2095-9389.2019.10.10.005

基于深度学习的宫颈癌异常细胞快速检测方法姚超赵基淮马博渊李莉马莹班晓娟姜淑芳邵炳衡 Fast detection method for cervical cancer abnormal cells based on deep learning YAO Chao, ZHAO Ji-huai, MA Bo-yuan, LI Li, MA Ying, BAN Xiao-juan, JIANG Shu-fang, SHAO Bing-heng 引用本文: 姚超, 赵基淮, 马博渊, 李莉, 马莹, 班晓娟, 姜淑芳, 邵炳衡. 基于深度学习的宫颈癌异常细胞快速检测方法[J]. 工程科学学报, 2021, 43(9): 1140-1148. doi: 10.13374/j.issn2095-9389.2021.01.12.001 YAO Chao, ZHAO Ji-huai, MA Bo-yuan, LI Li, MA Ying, BAN Xiao-juan, JIANG Shu-fang, SHAO Bing-heng. Fast detection method for cervical cancer abnormal cells based on deep learning[J]. Chinese Journal of Engineering, 2021, 43(9): 1140-1148. doi: 10.13374/j.issn2095-9389.2021.01.12.001 在线阅读 View online: https://doi.org/10.13374/j.issn2095-9389.2021.01.12.001 您可能感兴趣的其他文章 Articles you may be interested in 基于深度学习的高效火车号识别 Efficient wagon number recognition based on deep learning 工程科学学报. 2020, 42(11): 1525 https://doi.org/10.13374/j.issn2095-9389.2019.12.05.001 卷积神经网络在矿区预测中的研究与应用 Research and application of convolutional neural network in mining area prediction 工程科学学报. 2020, 42(12): 1597 https://doi.org/10.13374/j.issn2095-9389.2020.01.02.001 深度神经网络模型压缩综述 A survey of model compression for deep neural networks 工程科学学报. 2019, 41(10): 1229 https://doi.org/10.13374/j.issn2095-9389.2019.03.27.002 基于深度学习的人体低氧状态识别 Recognition of human hypoxic state based on deep learning 工程科学学报. 2019, 41(6): 817 https://doi.org/10.13374/j.issn2095-9389.2019.06.014 基于深度卷积神经网络的地磁导航方向适配性分析 Direction-matching-suitability analysis for geomagnetic navigation based on convolutional neural networks 工程科学学报. 2017, 39(10): 1584 https://doi.org/10.13374/j.issn2095-9389.2017.10.018 基于集成神经网络的剩余寿命预测 Remaining useful life prediction based on an integrated neural network 工程科学学报. 2020, 42(10): 1372 https://doi.org/10.13374/j.issn2095-9389.2019.10.10.005

工程科学学报.第43卷.第9期：1140-1148.2021年9月 Chinese Journal of Engineering,Vol.43,No.9:1140-1148,September 2021 https://doi.org/10.13374/j.issn2095-9389.2021.01.12.001;http://cje.ustb.edu.cn 基于深度学习的宫颈癌异常细胞快速检测方法姚超12,34，赵基淮2,34)，马博渊12,34,5)，李莉6，刀，马莹6，，班晓娟12,34,5)，姜淑芳6，)四，邵炳衡) 1)北京科技大学北京材料基因工程高精尖创新中心，北京1000832)北京科技大学材料领域知识工程北京市重点实验室，北京100083 3)北京科技大学人工智能研究院.北京1000834)北京科技大学计算机与通信工程学院，北京1000835)北京科技大学顺德研究生院. 佛山5283006)解放军总医院海南医院妇产科，三亚5720007)解放军总医院第一医学中心妇产科，北京1008538)吉林大学口腔医学院.长春130021 ☒通信作者.E-mail:jsfD912@aliyun.com 摘要宫颈癌是严重危害妇女健康的恶性肿瘤，威胁着女性的生命，而通过基于图像处理的细胞学筛查是癌前筛查的最为广泛的检测方法.近年来，随着以深度学习为代表的机器学习理论的发展，卷积神经网络以其强有效的特征提取能力取得了图像识别领域的革命性突破，被广泛应用于宫颈异常细胞检测等医疗影像分析领域.但由于病理细胞图像具有分辨率高和尺寸大的特点，且其大多数局部区域内都不含有细胞簇，深度学习模型采用穷举候选框的方法进行异常细胞的定位和识别时，经过穷举候选框获得的子图大部分都不含有细胞簇.当子图数量逐渐增加时，大量不含细胞簇的图像作为目标检测网络输入会使图像分析过程存在冗余时长，严重减缓了超大尺寸病理图像分析时的检测速度.本文提出一种新的宫颈癌异常细胞检测策略，针对使用膜式法获得的病理细胞图像，通过基于深度学习的图像分类网络首先判断局部区域是否出现异常细胞，若出现则进一步使用单阶段的目标检测方法进行分析，从而快速对异常细胞进行精确定位和识别.实验表明，本文提出的方法可提高一倍的宫颈癌异常细胞检测速度关键词宫颈癌异常细胞：病理图像：深度学习；卷积神经网络；目标检测；图像分类分类号TP391 Fast detection method for cervical cancer abnormal cells based on deep learning YAO Chao 234),ZHAO Ji-huai234),MA Bo-yuan 245,LI L),MA Yings,BAN Xiao-juan 245,JIANG Shu-fangs SHAO Bing-heng 1)Beijing Advanced Innovation Center for Materials Genome Engineering,University of Science and Technology Beijing,Beijing 100083,China 2)Beijing Key Laboratory of Knowledge Engineering for Materials Science,University of Science and Technology Beijing,Beijing 100083,China 3)School of Computer and Communication Engineering,University of Science and Technology Beijing,Beijing 100083,China 4)Institute of Artificial Intelligence,University of Science and Technology Beijing,Beijing 100083,China 5)Shunde Graduate School,University of Science and Technology Beijing,Foshan 528300,China 6)Department of Obstetrics and Gynecology,Hainan Hospital of PLA General Hospital,Sanya 572000,China 7)Department of Obstetrics and Gynecology,General Hospital of PLA,Beijing 100853,China 8)School of Stomatology,Jilin University,Changchun 130021,China Corresponding author,E-mail:jsf0912@aliyun.com ABSTRACT Cervical cancer is a malignant tumor that highly endangers women's lives.Cytological screening based on image 收稿日期：2021-01-12 基金项目：海南省财政科技计划资助项目(ZDYF2019009):国家自然科学基金资助项目(61873299.61902022.61972028.6210020684)：中央高校基本科研业务费资助项目(FRF-TP.19-015A1.FRF.TP-20-061A1Z.FRF-TP.19-043A2.00007467):佛山市科技创新专项资金资助项目 (BK19AE034,BK20AF001,BK21BF002)

基于深度学习的宫颈癌异常细胞快速检测方法姚超1,2,3,4)，赵基淮1,2,3,4)，马博渊1,2,3,4,5)，李莉6,7)，马莹6,7)，班晓娟1,2,3,4,5)，姜淑芳6,7) 苣，邵炳衡8) 1) 北京科技大学北京材料基因工程高精尖创新中心，北京 100083 2) 北京科技大学材料领域知识工程北京市重点实验室，北京 100083 3) 北京科技大学人工智能研究院，北京 100083 4) 北京科技大学计算机与通信工程学院，北京 100083 5) 北京科技大学顺德研究生院，佛山 528300 6) 解放军总医院海南医院妇产科，三亚 572000 7) 解放军总医院第一医学中心妇产科，北京 100853 8) 吉林大学口腔医学院，长春 130021 苣通信作者，E-mail: jsf0912@aliyun.com 摘要宫颈癌是严重危害妇女健康的恶性肿瘤，威胁着女性的生命，而通过基于图像处理的细胞学筛查是癌前筛查的最为广泛的检测方法. 近年来，随着以深度学习为代表的机器学习理论的发展，卷积神经网络以其强有效的特征提取能力取得了图像识别领域的革命性突破，被广泛应用于宫颈异常细胞检测等医疗影像分析领域. 但由于病理细胞图像具有分辨率高和尺寸大的特点，且其大多数局部区域内都不含有细胞簇，深度学习模型采用穷举候选框的方法进行异常细胞的定位和识别时，经过穷举候选框获得的子图大部分都不含有细胞簇. 当子图数量逐渐增加时，大量不含细胞簇的图像作为目标检测网络输入会使图像分析过程存在冗余时长，严重减缓了超大尺寸病理图像分析时的检测速度. 本文提出一种新的宫颈癌异常细胞检测策略，针对使用膜式法获得的病理细胞图像，通过基于深度学习的图像分类网络首先判断局部区域是否出现异常细胞，若出现则进一步使用单阶段的目标检测方法进行分析，从而快速对异常细胞进行精确定位和识别. 实验表明，本文提出的方法可提高一倍的宫颈癌异常细胞检测速度. 关键词宫颈癌异常细胞；病理图像；深度学习；卷积神经网络；目标检测；图像分类分类号 TP391 Fast detection method for cervical cancer abnormal cells based on deep learning YAO Chao1,2,3,4) ，ZHAO Ji-huai1,2,3,4) ，MA Bo-yuan1,2,3,4,5) ，LI Li6,7) ，MA Ying6,7) ，BAN Xiao-juan1,2,3,4,5) ，JIANG Shu-fang6,7) 苣， SHAO Bing-heng8) 1) Beijing Advanced Innovation Center for Materials Genome Engineering, University of Science and Technology Beijing, Beijing 100083, China 2) Beijing Key Laboratory of Knowledge Engineering for Materials Science, University of Science and Technology Beijing, Beijing 100083, China 3) School of Computer and Communication Engineering, University of Science and Technology Beijing, Beijing 100083, China 4) Institute of Artificial Intelligence, University of Science and Technology Beijing, Beijing 100083, China 5) Shunde Graduate School, University of Science and Technology Beijing, Foshan 528300, China 6) Department of Obstetrics and Gynecology, Hainan Hospital of PLA General Hospital, Sanya 572000, China 7) Department of Obstetrics and Gynecology, General Hospital of PLA, Beijing 100853, China 8) School of Stomatology, Jilin University, Changchun 130021, China 苣 Corresponding author, E-mail: jsf0912@aliyun.com ABSTRACT Cervical cancer is a malignant tumor that highly endangers women ’s lives. Cytological screening based on image 收稿日期: 2021−01−12 基金项目: 海南省财政科技计划资助项目（ZDYF2019009）；国家自然科学基金资助项目（61873299，61902022，61972028，6210020684）；中央高校基本科研业务费资助项目（FRF-TP-19-015A1，FRF-TP-20-061A1Z，FRF-TP-19-043A2，00007467）；佛山市科技创新专项资金资助项目（BK19AE034，BK20AF001，BK21BF002）工程科学学报，第 43 卷，第 9 期：1140−1148，2021 年 9 月 Chinese Journal of Engineering, Vol. 43, No. 9: 1140−1148, September 2021 https://doi.org/10.13374/j.issn2095-9389.2021.01.12.001; http://cje.ustb.edu.cn

姚超等：基于深度学习的宫颈癌异常细胞快速检测方法 1141 processing is the most widely used detection method for precancerous screening.Recently,with the development of machine learning theory based on deep learning,the convolutional neural network has made a revolutionary breakthrough in the field of image recognition due to its strong and effective extraction ability.In addition,it has been widely used in the field of medical image analysis such as cervical abnormal cell detection.However,due to the characteristic high resolution and large size of pathological cell images,most of its local areas do not contain cell clusters.Moreover,when the deep learning model uses the method of exhausting candidate boxes to locate and identify abnormal cells,most of the sub-images obtained do not contain cell clusters.When the number of sub-images increases gradually,a large number of images without cell clusters as input to the object detection network will make the image analysis process redundant for a long time,which drastically slows down the speed of detection of the large-scale pathological image analysis.In view of this,this paper proposed a new detection strategy for abnormal cells in cervical cancer microscopic imaging.According to the pathological cell images obtained by the membrane method,the image classification network based on deep learning was first used to determine whether there were abnormal cells in the local area.If there were abnormal cells in the local area,the single-stage object detection method was used for further pathological cell image analysis,so that the abnormal cells in the images could be quickly and accurately located and identified.Experimental results show that the proposed method can double the speed of detection of cervical cancer abnormal cells. KEY WORDS cervical cancer abnormal cells;pathological image;deep learning;convolutional neural network;object detection; image classification 宫颈癌口作为世界范围最常见的妇科恶性肿筛查水平和普及程度低下，难以满足实际检测的瘤，严重威胁女性的生命.2016年世界卫生组织报需要. 道：每年全球有超过50万新发的官颈癌病例，作随着计算机硬件以及计算机处理算法的进为发展中国家的中国约占其中的28%，并预计直步，尤其是以深度学习0为代表的机器学习理论至2025年，亚洲的宫颈癌发病率将上升至40%左的突破，计算机图像处理技术-四不断渗透到各右冈近年来宫颈癌不仅发病率呈上升趋势，并且个领域，尤其在临床医学的诸多领域发挥着举足发病年龄也趋于年轻化，引起了越来越多人的重轻重的作用)依托强有效的特征提取能力，基于视研究发现，宫颈癌的癌变是从子宫不典型深度学习的卷积神经网络可以通过梯度下降的增生到原位癌再到早期浸润癌，最后变成浸润癌，方式自动地学习到图像中与目标任务相关的主要足见宫颈癌有着相当长的癌前病变阶段可.如果病特征，可大幅提高目标识别的准确率，使得深度学人在宫颈癌癌前病变阶段或者更早的时候被诊断习方法成为计算机图像处理领域中的主流方法阿出来，得到治愈的机会将会大幅度提高因此，采用细胞学计算机辅助诊断技术，对宫颈病变细胞图像进行自动分析和处理6，能够帮助医 1相关工作务人员进行精确的辅助判断，从而降低医务人员官颈癌筛查主要有3种较为成熟的方法：细胞的工作强度并提高诊断的准确性7-8！学方法，醋酸或碘染色法和HPV-DNA检测法.细虽然深度学习在B超、CT和PET等医疗影像胞学检测是应用最为广泛的筛查方法，并且随着中展开了广泛应用，但在病理细胞图像分析的实硬件技术的进步，制片方法从传统的巴氏涂片检际应用中仍存在大量的桃战.例如，病理细胞图像测，过渡到目前主流的以新柏氏薄层细胞学检测相对于B超、CT和PET等医疗影像具有分辨率 (Thinprep cytologic test,.TCT)为代表的膜式法，和以高、尺寸大的特点，对深度学习算法的执行效率提液基薄层制片技术(Liquid-based cytology technology,. 出了更高的要求.在宫颈癌异常细胞检测的应用 LCT)为代表的沉降式法阿中，每个患者单次检测通过膜式法6获得100000 目前，中国以细胞学（包括传统巴士涂片）作像素×100000像素尺寸的病理细胞图像，但通常需为宫颈癌主要筛查手段)，可是总体筛查水平不要进行定位和识别的单个细胞的像素尺寸仅为高，究其原因，并非由于细胞学检查技术的客观缺 320像素×320像素，传统的深度学习方法采用滑陷，主要是由于国内有经验的细胞病理学医师及窗9-]或穷举候选框2的方法进行异常细胞的定辅助人员稀缺，根据欧美发达国家经验，一名合格位和识别，而经过滑窗或穷举框获得的子图大部的细胞学家成长周期约10年，因此造成宫颈癌分都不含有细胞簇，当图片数量逐渐增加时，越来

processing is the most widely used detection method for precancerous screening. Recently, with the development of machine learning theory based on deep learning, the convolutional neural network has made a revolutionary breakthrough in the field of image recognition due to its strong and effective extraction ability. In addition, it has been widely used in the field of medical image analysis such as cervical abnormal cell detection. However, due to the characteristic high resolution and large size of pathological cell images, most of its local areas do not contain cell clusters. Moreover, when the deep learning model uses the method of exhausting candidate boxes to locate and identify abnormal cells, most of the sub-images obtained do not contain cell clusters. When the number of sub-images increases gradually, a large number of images without cell clusters as input to the object detection network will make the image analysis process redundant for a long time, which drastically slows down the speed of detection of the large-scale pathological image analysis. In view of this, this paper proposed a new detection strategy for abnormal cells in cervical cancer microscopic imaging. According to the pathological cell images obtained by the membrane method, the image classification network based on deep learning was first used to determine whether there were abnormal cells in the local area. If there were abnormal cells in the local area, the single-stage object detection method was used for further pathological cell image analysis, so that the abnormal cells in the images could be quickly and accurately located and identified. Experimental results show that the proposed method can double the speed of detection of cervical cancer abnormal cells. KEY WORDS cervical cancer abnormal cells； pathological image； deep learning； convolutional neural network； object detection； image classification 宫颈癌[1] 作为世界范围最常见的妇科恶性肿瘤，严重威胁女性的生命. 2016 年世界卫生组织报道：每年全球有超过 50 万新发的宫颈癌病例，作为发展中国家的中国约占其中的 28%，并预计直至 2025 年，亚洲的宫颈癌发病率将上升至 40% 左右[2] . 近年来宫颈癌不仅发病率呈上升趋势，并且发病年龄也趋于年轻化，引起了越来越多人的重视[3−4] . 研究发现，宫颈癌的癌变是从子宫不典型增生到原位癌再到早期浸润癌，最后变成浸润癌，足见宫颈癌有着相当长的癌前病变阶段[5] . 如果病人在宫颈癌癌前病变阶段或者更早的时候被诊断出来，得到治愈的机会将会大幅度提高. 1 相关工作宫颈癌筛查主要有 3 种较为成熟的方法：细胞学方法，醋酸或碘染色法和 HPV‒DNA 检测法. 细胞学检测是应用最为广泛的筛查方法，并且随着硬件技术的进步，制片方法从传统的巴氏涂片检测，过渡到目前主流的以新柏氏薄层细胞学检测 (Thinprep cytologic test, TCT) 为代表的膜式法，和以液基薄层制片技术 (Liquid-based cytology technology, LCT) 为代表的沉降式法[6] . 目前，中国以细胞学（包括传统巴士涂片）作为宫颈癌主要筛查手段[7−8] ，可是总体筛查水平不高，究其原因，并非由于细胞学检查技术的客观缺陷，主要是由于国内有经验的细胞病理学医师及辅助人员稀缺，根据欧美发达国家经验，一名合格的细胞学家成长周期约 10 年[9] ，因此造成宫颈癌筛查水平和普及程度低下，难以满足实际检测的需要. 随着计算机硬件以及计算机处理算法的进步，尤其是以深度学习[10] 为代表的机器学习理论的突破，计算机图像处理技术[11−12] 不断渗透到各个领域，尤其在临床医学的诸多领域发挥着举足轻重的作用[13] . 依托强有效的特征提取能力，基于深度学习的卷积神经网络可以通过梯度下降[14] 的方式自动地学习到图像中与目标任务相关的主要特征，可大幅提高目标识别的准确率，使得深度学习方法成为计算机图像处理领域中的主流方法[15] . 因此，采用细胞学计算机辅助诊断技术，对宫颈病变细胞图像进行自动分析和处理[16] ，能够帮助医务人员进行精确的辅助判断，从而降低医务人员的工作强度并提高诊断的准确性[17−18] . 虽然深度学习在 B 超、CT 和 PET 等医疗影像中展开了广泛应用，但在病理细胞图像分析的实际应用中仍存在大量的挑战. 例如，病理细胞图像相对于 B 超、CT 和 PET 等医疗影像具有分辨率高、尺寸大的特点，对深度学习算法的执行效率提出了更高的要求. 在宫颈癌异常细胞检测的应用中，每个患者单次检测通过膜式法[6] 获得 100000 像素×100000 像素尺寸的病理细胞图像，但通常需要进行定位和识别的单个细胞的像素尺寸仅为 320 像素×320 像素，传统的深度学习方法采用滑窗[19−21] 或穷举候选框[22] 的方法进行异常细胞的定位和识别，而经过滑窗或穷举框获得的子图大部分都不含有细胞簇，当图片数量逐渐增加时，越来姚超等：基于深度学习的宫颈癌异常细胞快速检测方法 · 1141 ·

.1142 工程科学学报，第43卷，第9期越多的不含细胞簇的图像作为输人会造成图像分窗式9训方法粗步估算出大致的位置，造成定位析过程冗余耗时，在对超大尺寸病理图像分析时精度低下. 严重减缓了检测速度针对以上问题，本文提出一种新的宫颈癌异基于图像分析的宫颈细胞检测方法也取得了常细胞检测策略，针对使用膜式法获得的病理细蓬勃的发展.1988年50位美国细胞病理学家在胞图像，通过基于深度学习的图像分类网络首先马里兰的Bethesda召开会议，提出了宫颈/阴道细判断局部区域是否出现异常细胞，若出现则进一胞学描述性诊断报告方式(The Belhesda system, 步使用基于候选框的目标检测方法进行分析，能 TBS),首次将细胞学和病理学有机结合起来，时至够极大缩短推理时间，提高检测速度.实验表明，今日已发表了3个版本的子宫颈细胞学诊断报告本文提出的方法能够将推理时间减少54%.提高图谱，进一步规范子宫颈细胞学检查的形态学标异常细胞检测效率准2).20世纪90年代初研制成功了计算机辅助细 2基于深度学习的宫颈癌异常细胞快速检胞检测系统(Computer-assisted cytological test,.CCT), 测方法该系统可实现自动读片和初筛，并由细胞学专职人员做最后的诊断，可以避免因视觉疲劳而造 2.1方法概述成注意力分散及漏诊，提高细胞学诊断的准确由于TCT图像通常具有超大像素，本文采用性4]国外较为成熟的宫颈细胞自动化检测系了“滑动交叠裁剪”的策略从TCT图像上裁剪出统包括AutoPap初期筛查系统、PapNet测试系局部区域形成TCT图像子集，用来训练和测试模统、TIS等.AutoPap初期筛查系统需要将异常细型，如图1所示，TCT全景图像尺寸是100000像胞与参考玻片进行比较得出结果，PapNet测试素×100000像素，裁减的局部区域大小为2000像系统和TIS提取可疑细胞后采用交互式的方法由素×2000像素.此外，TCT图像上具有异常细胞较医学专家进行判别得到筛选结果，以上方法均少，且细胞簇之间的分布呈稀疏排列等特点，导致采用手工设计特征的方法进行异常细胞识别，降 TCT图像子集存在大量不包含细胞簇的背景图低了方法的泛化性能.随着机器学习理论的发像，如果直接将TCT图像子集输入到目标检测网展，以深度学习为代表的人工智能方法可自动地络模型，在模型推理时会产生较长的耗时.为了减提取图像中的关键特征，开始逐步应用于宫颈癌少模型的推理时间.提高检测效率，本文提出了一异常检测领域，但由于基于候选框式的深度学习种基于深度学习的宫颈癌异常细胞快速检测方方法四需要穷举所有可能的位置进行判断，降低法，即采用图像分类网络与目标检测网络结合的了目标检测的效率，所以大部分方法仅能采用滑方式，减少背景图像在模型推理时的耗时. Original image Local region with or without target(2000 pixelx2000 pixel) (100000 pixel×100000 pixel) Pick local Image Abnormal cell Input image region classification detection Is there has abnormal Sliding window Find,locate,and recognize cell in this local region? abnormal target 图1本文提出的加速策略的技术路线流程图（图中红色框代表异常细胞） Fig.I Flow chart of the proposed acceleration strategy (The red box indicates an abnormal cell) 基于深度学习的宫颈癌异常细胞快速检测方用图像分类模型判断局部区域中是否包含细胞法，包括异常细胞图像初步筛选和异常细胞精确簇，再采用目标检测模型对含细胞簇图像进行异识别两个阶段，如图1所示为方法流程图.首先采常细胞定位和识别

越多的不含细胞簇的图像作为输入会造成图像分析过程冗余耗时，在对超大尺寸病理图像分析时严重减缓了检测速度. 基于图像分析的宫颈细胞检测方法也取得了蓬勃的发展. 1988 年 50 位美国细胞病理学家在马里兰的 Bethesda 召开会议，提出了宫颈/阴道细胞学描述性诊断报告方式 (The Belhesda system, TBS)，首次将细胞学和病理学有机结合起来，时至今日已发表了 3 个版本的子宫颈细胞学诊断报告图谱，进一步规范子宫颈细胞学检查的形态学标准[23] . 20 世纪 90 年代初研制成功了计算机辅助细胞检测系统（Computer-assisted cytological test, CCT），该系统可实现自动读片和初筛，并由细胞学专职人员做最后的诊断，可以避免因视觉疲劳而造成注意力分散及漏诊，提高细胞学诊断的准确性[24] . 国外较为成熟的宫颈细胞自动化检测系统[25] 包括 AutoPap 初期筛查系统、PapNet 测试系统、TIS 等. AutoPap 初期筛查系统需要将异常细胞与参考玻片进行比较得出结果[26] ，PapNet 测试系统和 TIS 提取可疑细胞后采用交互式的方法由医学专家进行判别得到筛选结果[27] ，以上方法均采用手工设计特征的方法进行异常细胞识别，降低了方法的泛化性能. 随着机器学习理论的发展，以深度学习为代表的人工智能方法可自动地提取图像中的关键特征，开始逐步应用于宫颈癌异常检测领域，但由于基于候选框式的深度学习方法[22] 需要穷举所有可能的位置进行判断，降低了目标检测的效率，所以大部分方法仅能采用滑窗式[19−21] 方法粗步估算出大致的位置，造成定位精度低下. 针对以上问题，本文提出一种新的宫颈癌异常细胞检测策略，针对使用膜式法获得的病理细胞图像，通过基于深度学习的图像分类网络首先判断局部区域是否出现异常细胞，若出现则进一步使用基于候选框的目标检测方法进行分析，能够极大缩短推理时间，提高检测速度. 实验表明，本文提出的方法能够将推理时间减少 54%，提高异常细胞检测效率. 2 基于深度学习的宫颈癌异常细胞快速检测方法 2.1 方法概述由于 TCT 图像通常具有超大像素，本文采用了“滑动交叠裁剪”的策略从 TCT 图像上裁剪出局部区域形成 TCT 图像子集，用来训练和测试模型，如图 1 所示，TCT 全景图像尺寸是 100000 像素×100000 像素，裁减的局部区域大小为 2000 像素×2000 像素. 此外，TCT 图像上具有异常细胞较少，且细胞簇之间的分布呈稀疏排列等特点，导致 TCT 图像子集存在大量不包含细胞簇的背景图像，如果直接将 TCT 图像子集输入到目标检测网络模型，在模型推理时会产生较长的耗时. 为了减少模型的推理时间，提高检测效率，本文提出了一种基于深度学习的宫颈癌异常细胞快速检测方法，即采用图像分类网络与目标检测网络结合的方式，减少背景图像在模型推理时的耗时. Original image (100000 pixel×100000 pixel) Local region with or without target (2000 pixel×2000 pixel) Input image Sliding window Pick local region Image classification Is there has abnormal cell in this local region? Find, locate, and recognize abnormal target Abnormal cell detection 图 1 本文提出的加速策略的技术路线流程图（图中红色框代表异常细胞） Fig.1 Flow chart of the proposed acceleration strategy (The red box indicates an abnormal cell) 基于深度学习的宫颈癌异常细胞快速检测方法，包括异常细胞图像初步筛选和异常细胞精确识别两个阶段，如图 1 所示为方法流程图. 首先采用图像分类模型判断局部区域中是否包含细胞簇，再采用目标检测模型对含细胞簇图像进行异常细胞定位和识别. · 1142 · 工程科学学报，第 43 卷，第 9 期

姚超等：基于深度学习的宫颈癌异常细胞快速检测方法 1143 2.2滑动交叠裁剪黑色框和绿色框所裁剪下的图像切割了部分异常通过“滑动交叠裁剪”方式从TCT图像上获细胞，在模型进行推理时，经过非极大值抑制得TCT图像局部区域的图像，构成TCT图像子 (Non-maximum suppression,NMS)后处理，蓝色框集.“滑动交叠裁剪”方式如图2所示，“滑动交叠所裁图像的检测结果会覆盖黑色框和绿色框所裁裁剪”方式是以局部区域边长（本文以2000像图像的检测结果，这样即可解决图像边缘的异常素×2000像素尺寸作为裁剪局部区域尺寸)的一半细胞检测问题作为步长在TCT图像上滑动裁剪，能够解决异常 2.3宫颈细胞图像异常局部区域识别细胞处于图像边缘时，裁剪下的图像内异常细胞 TCT图像上的细胞簇之间的呈稀疏排列分布显示不完整的情况的特点，导致TCT图像上存在大量不包含细胞簇的背景图像，这些背景图像会在目标检测模型中产生较长的模型推理耗时，影响识别效率.因为图像分类网络的推理时间要远小于目标检测网络的推理时间，所以，在输入目标检测网络之前，采用图像分类方法将背景图像筛除，只将含有细胞簇的图像输入到目标检测网络，能够极大减少整体推理时间.通过后续实验，综合准确率与模型复杂图2“滑动交叠裁剪”示例度考虑，Resnet:50l模型的综合性能高，所以本文 Fig.2 Example of "sliding overlap clipping'" 采用Resnet.50l4作为图像分类网络模型. 图中红色框内是真实标注的异常细胞，从左 2.4局部区域内宫颈异常细胞定位与识别到右黑色、蓝色及绿色框是采用1000像素为步长经过图像分类网络后，可获得只含有细胞簇裁剪的3个TCT子区域图像，交叠裁剪能够让蓝的T℃T图像，并作为目标检测模型的输入，由目标色框所裁剪下的图像包含完整的异常细胞.因为检测模型对异常细胞进行精确识别.本文采用最终检测结果需要映射到TCT全景图像上，即使 YoloV5作为目标检测模型，模型结构如图3所示 Focus Bottleneck BottleneckCSP BottleneckCSP SPP BottleneckCSP Conv2d Coordinates Category Coordinates Category Upsampling concat Conv+BottleneckCSP Conv2d Coordinates Category Upsampling concat Conv+BottleneckCSP Conv2d 图3 YoloV5网络结构 Fig.3 YoloV5 network structure 3实验时，医生首先使用专门的采样器采集宫颈脱落细 3.1实验条件胞，其次，将脱落细胞盛有保存液的小瓶中，再次， (1)数据制备将小瓶放人ThinPrep全自动制片仪，自动完成制采用的数据集是经由专业医生进行异常细胞片，随后进行巴氏染色，最后将染色后的玻片放置标注的650例患者的T℃T图像.在采集数据样本显微镜上进行观测

2.2 滑动交叠裁剪通过“滑动交叠裁剪”方式从 TCT 图像上获得 TCT 图像局部区域的图像，构成 TCT 图像子集. “滑动交叠裁剪”方式如图 2 所示，“滑动交叠裁剪 ” 方式是以局部区域边长（本文以 2000 像素×2000 像素尺寸作为裁剪局部区域尺寸）的一半作为步长在 TCT 图像上滑动裁剪，能够解决异常细胞处于图像边缘时，裁剪下的图像内异常细胞显示不完整的情况. 图 2 “滑动交叠裁剪”示例 Fig.2 Example of “sliding overlap clipping” 图中红色框内是真实标注的异常细胞，从左到右黑色、蓝色及绿色框是采用 1000 像素为步长裁剪的 3 个 TCT 子区域图像，交叠裁剪能够让蓝色框所裁剪下的图像包含完整的异常细胞. 因为最终检测结果需要映射到 TCT 全景图像上，即使黑色框和绿色框所裁剪下的图像切割了部分异常细胞，在模型进行推理时，经过非极大值抑制（Non-maximum suppression, NMS）后处理，蓝色框所裁图像的检测结果会覆盖黑色框和绿色框所裁图像的检测结果，这样即可解决图像边缘的异常细胞检测问题. 2.3 宫颈细胞图像异常局部区域识别 TCT 图像上的细胞簇之间的呈稀疏排列分布的特点，导致 TCT 图像上存在大量不包含细胞簇的背景图像，这些背景图像会在目标检测模型中产生较长的模型推理耗时，影响识别效率. 因为图像分类网络的推理时间要远小于目标检测网络的推理时间，所以，在输入目标检测网络之前，采用图像分类方法将背景图像筛除，只将含有细胞簇的图像输入到目标检测网络，能够极大减少整体推理时间. 通过后续实验，综合准确率与模型复杂度考虑，Resnet50[14] 模型的综合性能高，所以本文采用 Resnet50[14] 作为图像分类网络模型. 2.4 局部区域内宫颈异常细胞定位与识别经过图像分类网络后，可获得只含有细胞簇的 TCT 图像，并作为目标检测模型的输入，由目标检测模型对异常细胞进行精确识别. 本文采用 YoloV5 作为目标检测模型，模型结构如图 3 所示. Focus Bottleneck BottleneckCSP BottleneckCSP BottleneckCSP Conv2d SPP Upsampling concat Conv+BottleneckCSP Conv2d Upsampling concat Conv+BottleneckCSP Conv2d Coordinates Category Coordinates Category Coordinates Category Input 图 3 YoloV5 网络结构 Fig.3 YoloV5 network structure 3 实验 3.1 实验条件（1）数据制备. 采用的数据集是经由专业医生进行异常细胞标注的 650 例患者的 TCT 图像. 在采集数据样本时，医生首先使用专门的采样器采集宫颈脱落细胞，其次，将脱落细胞盛有保存液的小瓶中，再次，将小瓶放入 ThinPrep 全自动制片仪，自动完成制片，随后进行巴氏染色，最后将染色后的玻片放置显微镜上进行观测. 姚超等：基于深度学习的宫颈癌异常细胞快速检测方法 · 1143 ·

1144 工程科学学报，第43卷，第9期医生对制片完成后的异常细胞进行标注，数了各阈值下的精确率和召回率，可更加全面的评据标注情况如表1所示，本文将如下4类细胞定义估模型的预测结果为异常细胞，并在目标检测时使用二分类进行判断 (3)实验参数本文中图像分类实验训练轮次为30轮次，采表1图像标注情况用RMSProp优化器，初始学习率为10，批次大小 Table 1 Image annotation 为16. Category Number 本文中目标检测实验训练轮次为50轮次，初 ASC-US 2032 始学习率为10户，采用$GD梯度下降法，热身动态 ASC-H 1156 调整学习率策略，批次大小为32 LSIL 4387 本文所有模型基于PyTorch框架2和OpenCV HSIL 1389 图像处理包Bo实现，均在装备I台Nvidia Tesla Total 8964 V100显卡的工作站上测试 3.2图像分类阶段通过裁剪TCT图像，得到总计8702张含有真本文选择了当前主流的多个图像分类模实标注的TCT局部区域图像和部分不含真实标注型框架(Resnets50,Resnetl01l],Resnet152, 的TCT局部区域图像作为数据进行图像分类模型 Densenet1211,SE-Resnext501321,SE-Resnext1011321 以及目标检测模型的训练，其中训练集、验证集及 SE-Resnet501321,SE-Resnet1011321,Efficientnet-b41331, 测试集的划分比例为7：2：1 Efficientnet-b7331,Resnext50134,Resnext101341,Nas- (2)评估指标 net351,Shufflenetv20361,Inceptionv4137,Xception), 本文采用目标检测领域的常用评估指标AP502] 对局部区域是否含有细胞簇进行了分类实验，实作为准确率进行实验评估，该评估方法综合考虑验结果如表2所示. 表2细胞簇图像分类实验 Table 2 Cell cluster image classification experiment Model Accuracy/% True negative rate/% True positive rate/% Average time consumption/s Params/MB Memory Cost/GB Resnet50 89.01 96.09 86.93 0.017 22.51 4.12 Resnet101 89.62 89.39 91.46 0.027 42.50 7.85 SE-Resnext50 84.59 96.09 79.90 0.016 27.56 4.28 SE-Resnext101 82.50 91.62 79.90 0.033 48.96 8.05 Efficientnet-b4 75.71 98.88 57.29 0.027 19.43 5.12 Efficientnet-b7 83.41 98.88 68.84 0.043 66.52 25.32 Resnext50 32X4d 8825 94.41 88.44 0.012 25.03 4.29 Resnext101_32X4d 87.20 89.94 91.46 0.025 44.18 8.03 SE-Resnet101 82.50 92.18 79.40 0.023 49.33 7.63 SE-Resnet50 85.11 88.83 86.43 0.011 28.09 3.9 Nasnet 85.37 99.44 72.36 0.038 88.75 24.04 Shufflenetv2 81.46 0 99.50 0.010 7.39 0.60 Inceptionv4 81.72 99.44 0 0.024 42.68 12.31 Xception 78.85 99.44 99.50 0.015 22.86 8.42 Densenet121 80.58 94.41 56.28 0.021 7.98 2.88 由表2可知，Resnet系列模型准确率明显高于数多，有利于精准学习病理图像的特征.其它当前其它模型，其次是Resnext系列模型，再次是其它当主流模型的准确率低于Resnetl0l,其原因可能是有前主流模型.Resnet系列模型中Resnet101的准确些模型参数过多，模型结构过于复杂，在训练过程中率最高，相比较Resnet50,其模型结构复杂，模型参产生了过拟合现象，也可能因为有些模型是专为特

医生对制片完成后的异常细胞进行标注，数据标注情况如表 1 所示，本文将如下 4 类细胞定义为异常细胞，并在目标检测时使用二分类进行判断. 表 1 图像标注情况 Table 1 Image annotation Category Number ASC-US 2032 ASC-H 1156 LSIL 4387 HSIL 1389 Total 8964 通过裁剪 TCT 图像，得到总计 8702 张含有真实标注的 TCT 局部区域图像和部分不含真实标注的 TCT 局部区域图像作为数据进行图像分类模型以及目标检测模型的训练，其中训练集、验证集及测试集的划分比例为 7∶2∶1. （2）评估指标. 本文采用目标检测领域的常用评估指标 AP50[28] 作为准确率进行实验评估，该评估方法综合考虑了各阈值下的精确率和召回率，可更加全面的评估模型的预测结果. （3）实验参数. 本文中图像分类实验训练轮次为 30 轮次，采用 RMSProp 优化器，初始学习率为 10−6，批次大小为 16. 本文中目标检测实验训练轮次为 50 轮次，初始学习率为 10−2，采用 SGD 梯度下降法，热身动态调整学习率策略，批次大小为 32. 本文所有模型基于 PyTorch 框架[29] 和 OpenCV 图像处理包 [30] 实现，均在装备 1 台 Nvidia Tesla V100 显卡的工作站上测试. 3.2 图像分类阶段本文选择了当前主流的多个图像分类模型框架（ Resnet50[15] , Resnet101[15] , Resnet152[15] , Densenet121[31] ， SE-Resnext50[32] ， SE-Resnext101[32] ， SE-Resnet50[32] ， SE-Resnet101[32] ， Efficientnet-b4[33] ， Efficientnet-b7[33] ， Resnext50[34] ， Resnext101[34] ， Nasnet[35] ， Shufflenetv2[36] ， Inceptionv4[37] ， Xception[38] ），对局部区域是否含有细胞簇进行了分类实验，实验结果如表 2 所示. 表 2 细胞簇图像分类实验 Table 2 Cell cluster image classification experiment Model Accuracy/% True negative rate/% True positive rate/% Average time consumption/s Params/MB Memory Cost/GB Resnet50 89.01 96.09 86.93 0.017 22.51 4.12 Resnet101 89.62 89.39 91.46 0.027 42.50 7.85 SE-Resnext50 84.59 96.09 79.90 0.016 27.56 4.28 SE-Resnext101 82.50 91.62 79.90 0.033 48.96 8.05 Efficientnet-b4 75.71 98.88 57.29 0.027 19.43 5.12 Efficientnet-b7 83.41 98.88 68.84 0.043 66.52 25.32 Resnext50_32X4d 88.25 94.41 88.44 0.012 25.03 4.29 Resnext101_32X4d 87.20 89.94 91.46 0.025 44.18 8.03 SE-Resnet101 82.50 92.18 79.40 0.023 49.33 7.63 SE-Resnet50 85.11 88.83 86.43 0.011 28.09 3.9 Nasnet 85.37 99.44 72.36 0.038 88.75 24.04 Shufflenetv2 81.46 0 99.50 0.010 7.39 0.60 Inceptionv4 81.72 99.44 0 0.024 42.68 12.31 Xception 78.85 99.44 99.50 0.015 22.86 8.42 Densenet121 80.58 94.41 56.28 0.021 7.98 2.88 由表 2 可知，Resnet 系列模型准确率明显高于其它模型，其次是 Resnext 系列模型，再次是其它当前主流模型. Resnet 系列模型中 Resnet101 的准确率最高，相比较 Resnet50，其模型结构复杂，模型参数多，有利于精准学习病理图像的特征. 其它当前主流模型的准确率低于 Resnet101，其原因可能是有些模型参数过多，模型结构过于复杂，在训练过程中产生了过拟合现象，也可能因为有些模型是专为特 · 1144 · 工程科学学报，第 43 卷，第 9 期

姚超等：基于深度学习的宫颈癌异常细胞快速检测方法 1145 定数据集设计，在其他数据集上（如医学图像数据数量和计算成本最大，模型结构复杂.综合各项评集)的泛化能力不强.由于区分局部区域是否含细估指标考虑，从对局部区域是否含有细胞簇的分类胞簇任务简单，Resnet系列模型相较其它模型结构任务来看，Resnet系列模型优于其他当前主流模型. 简单，不易产生过拟合.特异性(True negative rate, 3.3目标检测实验 TNR)是衡量模型能否正确识别出不含细胞簇区域对完整的一张TCT图像经过“滑动交叠裁剪” 能力的指标，而敏感性(True positive rate,.TPR)则是后获得的11550张2000像素×2000像素的病理细衡量模型能否正确识别出含细胞簇区域能力的指胞图像，输入到目标检测模型里进行推理时间对标，经过分析，绝大多数模型的特异性指标高于敏感比实验.本文选取了当前主流的目标检测网络性指标，这是因为含细胞簇图像特征复杂，难以学模型进行实验，对比了Faster RCNN四、Cascade 习.经过分析，Shufflenetv22的推理耗时最小，其原因 RCNNI391、Libra RCNNI40、Tridentnet、Foveaboxl42、在于它的模型参数量小，计算成本小，模型结构简 ATSS)、YoloV5的实验结果，实验结果如表3 单，Efficientnet--b7的推理耗时最大，因为其模型参所示表3模型推理时间对比实验 Table 3 Comparison experiment for model reasoning time Single stage model Time consumption/s Param/MB Double stage models Time consumption/s Param/MB Faster RCNN 2775 40.1 Resnet50+Faster RCNN 1089 62.61 Cascade RCNN 2877 65.9 Resnet50+Cascade RCNN 1178 88.41 Libra RCNN 3118 41.6 Resnet50+Libra RCNN 1496 64.11 Tridentnet 4469 33.1 Resnet50+Tridentnet 2106 55.61 Foveabox 2437 36.0 Resnet50+Foveabox 1189 58.51 ATSS 3014 31.2 Resnet50+ATSS 1450 53.71 YoloV5 1386 45.7 Resnet50+YoloV5 695 68.21 由表3可知，本文提出的基于异常细胞快速检由表4可知，表中7个单阶段模型的AP50平测方法的双阶段模型(Double stage models)与仅用均值为68.5%，7个双阶段模型的AP50平均值为目标检测模型的单阶段模型(Single stage model)方 65%,本文提出的基于异常细胞快速检测方法的双法相比，在一定程度上略微增加了模型参数量，但整阶段模型与仅用目标检测模型的单阶段模型方法体上模型平均推理时间减少了54%.这是因为图像相比，评估指标AP50平均下降了3.5%，分析原因分类模型的推理时间远小于目标检测模型的推理时得这是因为异常细胞快速检测方法在第一阶段使间.，所以先用图像分类模型滤除不含细胞簇的TCT 用图像分类网络时存在少量分类错误的情况，使图像能够极大节省异常细胞检测模型的推理时间得目标检测网络没有检测这些图片，出现“漏检” 同时为评估快速检测方法的识别精度性能，现象.结合表2~4可知，本文提出的异常细胞快本文针对仅用目标检测模型和本文的快速检测方速检测方法在损失少量精度，略微增加模型复杂法在识别精度性能上进行了实验，结果如表4所示度的情况下，能够将检测模型推理时间减少54%. 表4模型识别精度对比实验 3.4结果分析 Table 4 Comparison experiment for model recognition accuracy 提的基于深度学习的宫颈癌异常细胞快速检 Single stage model AP50/9 Double stage models AP50/% 测方法的在测试集上部分的可视化结果如图4所 Faster RCNN 70.1 Resnet50+Faster RCNN 66.8 示，红色框为本文方法的识别结果，绿色框为真实 Cascade RCNN 69.2 Resnet50+Cascade RCNN 65.7 标注框，其中图4(a)和4(b)是正确识别结果示例， Libra RCNN 68.3 Resnet50+Libra RCNN 67.0 图4(c)和4(d)是错误识别结果示例.图4(c)错误 Tridentnet 65.7 Resnet50+Tridentnet 59.7 识别的原因为存在“过检”现象，即不仅仅将异常 Foveabox 67.3 Resnet50+Foveabox 61.9 细胞识别出，还将一些与异常细胞相似的正常细 ATSS 63.8 Resnet50+ATSS 63.5 胞识别为异常细胞，分析其原因可能是训练过程 YoloV5 75.3 Resnet50+YoloV5 70.1 中出现了过拟合现象.此外，图4(d)中错误识别的

定数据集设计，在其他数据集上（如医学图像数据集）的泛化能力不强. 由于区分局部区域是否含细胞簇任务简单，Resnet 系列模型相较其它模型结构简单，不易产生过拟合. 特异性 (True negative rate, TNR) 是衡量模型能否正确识别出不含细胞簇区域能力的指标，而敏感性 (True positive rate, TPR) 则是衡量模型能否正确识别出含细胞簇区域能力的指标，经过分析，绝大多数模型的特异性指标高于敏感性指标，这是因为含细胞簇图像特征复杂，难以学习. 经过分析，Shufflenetv2 的推理耗时最小，其原因在于它的模型参数量小，计算成本小，模型结构简单，Efficientnet-b7 的推理耗时最大，因为其模型参数量和计算成本最大，模型结构复杂. 综合各项评估指标考虑，从对局部区域是否含有细胞簇的分类任务来看，Resnet 系列模型优于其他当前主流模型. 3.3 目标检测实验对完整的一张 TCT 图像经过“滑动交叠裁剪” 后获得的 11550 张 2000 像素×2000 像素的病理细胞图像，输入到目标检测模型里进行推理时间对比实验. 本文选取了当前主流的目标检测网络模型进行实验，对比了 Faster RCNN[22]、 Cascade RCNN[39]、Libra RCNN[40]、Tridentnet[41]、Foveabox[42]、 ATSS[43]、YoloV5[44] 的实验结果，实验结果如表 3 所示. 表 3 模型推理时间对比实验 Table 3 Comparison experiment for model reasoning time Single stage model Time consumption/s Param/MB Double stage models Time consumption/s Param/MB Faster RCNN 2775 40.1 Resnet50+Faster RCNN 1089 62.61 Cascade RCNN 2877 65.9 Resnet50+Cascade RCNN 1178 88.41 Libra RCNN 3118 41.6 Resnet50+Libra RCNN 1496 64.11 Tridentnet 4469 33.1 Resnet50+Tridentnet 2106 55.61 Foveabox 2437 36.0 Resnet50+Foveabox 1189 58.51 ATSS 3014 31.2 Resnet50+ATSS 1450 53.71 YoloV5 1386 45.7 Resnet50+YoloV5 695 68.21 由表 3 可知，本文提出的基于异常细胞快速检测方法的双阶段模型（Double stage models）与仅用目标检测模型的单阶段模型（Single stage model）方法相比，在一定程度上略微增加了模型参数量，但整体上模型平均推理时间减少了 54%. 这是因为图像分类模型的推理时间远小于目标检测模型的推理时间，所以先用图像分类模型滤除不含细胞簇的 TCT 图像能够极大节省异常细胞检测模型的推理时间. 同时为评估快速检测方法的识别精度性能，本文针对仅用目标检测模型和本文的快速检测方法在识别精度性能上进行了实验，结果如表 4 所示. 表 4 模型识别精度对比实验 Table 4 Comparison experiment for model recognition accuracy Single stage model AP50/% Double stage models AP50/% Faster RCNN 70.1 Resnet50+Faster RCNN 66.8 Cascade RCNN 69.2 Resnet50+Cascade RCNN 65.7 Libra RCNN 68.3 Resnet50+Libra RCNN 67.0 Tridentnet 65.7 Resnet50+Tridentnet 59.7 Foveabox 67.3 Resnet50+Foveabox 61.9 ATSS 63.8 Resnet50+ATSS 63.5 YoloV5 75.3 Resnet50+YoloV5 70.1 由表 4 可知，表中 7 个单阶段模型的 AP50 平均值为 68.5%，7 个双阶段模型的 AP50 平均值为 65%，本文提出的基于异常细胞快速检测方法的双阶段模型与仅用目标检测模型的单阶段模型方法相比，评估指标 AP50 平均下降了 3.5%，分析原因得这是因为异常细胞快速检测方法在第一阶段使用图像分类网络时存在少量分类错误的情况，使得目标检测网络没有检测这些图片，出现“漏检” 现象. 结合表 2～4 可知，本文提出的异常细胞快速检测方法在损失少量精度，略微增加模型复杂度的情况下，能够将检测模型推理时间减少 54%. 3.4 结果分析提的基于深度学习的宫颈癌异常细胞快速检测方法的在测试集上部分的可视化结果如图 4 所示，红色框为本文方法的识别结果，绿色框为真实标注框，其中图 4（a）和 4（b）是正确识别结果示例，图 4（c）和 4（d）是错误识别结果示例. 图 4（c）错误识别的原因为存在“过检”现象，即不仅仅将异常细胞识别出，还将一些与异常细胞相似的正常细胞识别为异常细胞，分析其原因可能是训练过程中出现了过拟合现象. 此外，图 4（d）中错误识别的姚超等：基于深度学习的宫颈癌异常细胞快速检测方法 · 1145 ·

1146 工程科学学报，第43卷，第9期原因为存在“漏检”现象，这是因为该图像中存在致谢大部分不含细胞簇区域，导致在图像分类阶段将本文的计算工作得到了北京材料基因工程高其误分为背景图像，从而将其滤除，却没有输入到精尖创新中心材料计算平台的支持目标检测模型中参考文献 (a) (b) [1]Ma D,Xi L.Special discussion on cervical cancer:Research Progress in epidemiology and etiology of cervical cancer.Pract Obster Gynecol,2001,17(2):61 (马丁，冕玲.宫颈癌专题讨论一宫颈癌流行病学及病因学研究进展.实用妇产科杂志，2001,17(2)：61) [2]Li C C.Zhu L.The cause of cervical cancer and the status of cervical cancer vaccine.J Mod Oncol,2018,26(20):3333 (李聪聪，朱莉.宫颈癌的病因及宫颈癌疫苗现状.现代肿瘤医 (c) (d) 学，2018,26(20)：3333) [3]Wu S C.Significance of gynecological census in prevention of cervical cancer.Guide China Med,2011,9(27):91 (吴三春.妇科普查对预防宫颈癌的意义.中国医药指南，2011， 9(27):91) [4]Zhang W H,Li N,Wu L Y.Attention should be paid on the trend of carcinoma of the cervix in young women.Zhejiang Cancer, 2000,6(2):112 图4数据集中部分细胞簇的识别示例.(a,b)正确识别结果；(c)“过 (章文华，李楠，吴令英.重视宫颈癌患者年轻化的趋势.浙江肿检”识别结果：(d)“漏检”识别结果 Fig.4 Examples of the identification of some cell clusters in datasets: 瘤，2000,6(2)：112) (a,b)correct recognition results,(c)recognition results of "over [5]Lin Y X.Clinical Pathological Features and Prognosis Analysis inspection";(d)recognition results of"over inspection" of Cervical Cancer [Dissertation].Nanning:Guangxi Medical University,2013 4结论与展望 (林泳秀.宫颈癌的临床病理特点与预后分析学位论文]，南宁：广西医科大学，2013) 本文提出了基于深度学习的宫颈癌异常细胞 [6] Wang L,Zhao WX.Zhao X L.et al.A comparative study of two 快速检测方法，采用Resnet5:0模型作为图像分类 methods of smear-making:Membrane-based and sedimentation in 网络，YoloV5模型作为目标检测网络.首先用 liquid-based cervical cytology.Med Pharm J Chin People's Resnet:50模型对含细胞簇TCT图像子集和不含细 Liberation Army,2011,23(4):6 胞簇TCT图像子集进行二分类，滤除背景图像，再 (王力，赵稳兴，赵玺龙，等.膜式和沉降式宫颈液基细胞学制片将含细胞簇TCT图像子集输入到YoloV5模型中方法的比较研究.解放军医药杂志，2011,23(4)：6) 完成对异常细胞的识别.实验结果表明，本文提出 [7]Zhao C Q,Zhou X R,Sui L,et al.Cervical Cancer Screening and 的基于深度学习的宫颈癌异常细胞快速检测方法 Clinical Management (Cytology,Histology,Colposcopy).Beijing: 能够将推理时间减少50%，提高了异常细胞检测 Beijing Science and Technology Press,2017 效率.但同时本文提出的方法也有一定的缺点，即 (赵澄泉，周先荣，隋龙，等.宫颈癌筛查及临床处理（细胞学、组织学和阴道镜学).北京：北京科学技术出版社，2017) 增加了模型参数量以及略微损失模型精度.本文所提的方法对于宫颈癌细胞辅助筛查领域有实际 [8]Wei LH.Standardized Training Materials for Colposcopy and Cervical Cytopathology.Beijing:People's Medical Publishing 的应用意义，能促进宫颈癌细胞辅助筛查技术的 House,2020 应用推广. (魏丽惠.阴道镜及宫颈细胞病理学规范化培训教材.北京：人在未来的研究中，我们将研发更高效的数据民卫生出版社，2020) 增广方法模型进一步提高模型的识别性能，并 [9] Wang YY,Wang Y,Qiao Y L,et al.The future of cervical cancer 采用蒸馏学习方法降低异常细胞检测过程的计 screening in China-Abandonment or conservation of cytological 算量. primary screening.Chin J Pract Gynecol Obstet,2017,33(3):324

原因为存在“漏检”现象，这是因为该图像中存在大部分不含细胞簇区域，导致在图像分类阶段将其误分为背景图像，从而将其滤除，却没有输入到目标检测模型中. (a) (c) (b) (d) 图 4 数据集中部分细胞簇的识别示例. （a,b）正确识别结果；（c）“过检”识别结果；（d）“漏检”识别结果 Fig.4 Examples of the identification of some cell clusters in datasets: (a,b) correct recognition results; (c) recognition results of "over inspection"; (d) recognition results of "over inspection" 4 结论与展望本文提出了基于深度学习的宫颈癌异常细胞快速检测方法，采用 Resnet50 模型作为图像分类网络， YoloV5 模型作为目标检测网络. 首先用 Resnet50 模型对含细胞簇 TCT 图像子集和不含细胞簇 TCT 图像子集进行二分类，滤除背景图像，再将含细胞簇 TCT 图像子集输入到 YoloV5 模型中完成对异常细胞的识别. 实验结果表明，本文提出的基于深度学习的宫颈癌异常细胞快速检测方法能够将推理时间减少 50%，提高了异常细胞检测效率. 但同时本文提出的方法也有一定的缺点，即增加了模型参数量以及略微损失模型精度. 本文所提的方法对于宫颈癌细胞辅助筛查领域有实际的应用意义，能促进宫颈癌细胞辅助筛查技术的应用推广. 在未来的研究中，我们将研发更高效的数据增广方法模型进一步提高模型的识别性能，并采用蒸馏学习方法降低异常细胞检测过程的计算量. 致谢本文的计算工作得到了北京材料基因工程高精尖创新中心材料计算平台的支持. 参考文献 Ma D, Xi L. Special discussion on cervical cancer: Research Progress in epidemiology and etiology of cervical cancer. J Pract Obstet Gynecol, 2001, 17（2）: 61 （马丁, 奚玲. 宫颈癌专题讨论——宫颈癌流行病学及病因学研究进展. 实用妇产科杂志, 2001, 17（2）：61） [1] Li C C, Zhu L. The cause of cervical cancer and the status of cervical cancer vaccine. J Mod Oncol, 2018, 26（20）: 3333 （李聪聪, 朱莉. 宫颈癌的病因及宫颈癌疫苗现状. 现代肿瘤医学, 2018, 26（20）：3333） [2] Wu S C. Significance of gynecological census in prevention of cervical cancer. Guide China Med, 2011, 9（27）: 91 （吴三春. 妇科普查对预防宫颈癌的意义. 中国医药指南, 2011, 9（27）：91） [3] Zhang W H, Li N, Wu L Y. Attention should be paid on the trend of carcinoma of the cervix in young women. Zhejiang Cancer J, 2000, 6（2）: 112 （章文华, 李楠, 吴令英. 重视宫颈癌患者年轻化的趋势. 浙江肿瘤, 2000, 6（2）：112） [4] Lin Y X. Clinical Pathological Features and Prognosis Analysis of Cervical Cancer [Dissertation]. Nanning: Guangxi Medical University, 2013 （林泳秀. 宫颈癌的临床病理特点与预后分析[学位论文]. 南宁: 广西医科大学, 2013） [5] Wang L, Zhao W X, Zhao X L, et al. A comparative study of two methods of smear-making: Membrane-based and sedimentation in liquid-based cervical cytology. Med Pharm J Chin People’ s Liberation Army, 2011, 23（4）: 6 （王力, 赵稳兴, 赵玺龙, 等. 膜式和沉降式宫颈液基细胞学制片方法的比较研究. 解放军医药杂志, 2011, 23（4）：6） [6] Zhao C Q, Zhou X R, Sui L, et al. Cervical Cancer Screening and Clinical Management (Cytology, Histology, Colposcopy). Beijing: Beijing Science and Technology Press, 2017 （赵澄泉, 周先荣, 隋龙, 等. 宫颈癌筛查及临床处理(细胞学、组织学和阴道镜学). 北京: 北京科学技术出版社, 2017） [7] Wei L H. Standardized Training Materials for Colposcopy and Cervical Cytopathology. Beijing: People ’s Medical Publishing House, 2020 （魏丽惠. 阴道镜及宫颈细胞病理学规范化培训教材. 北京: 人民卫生出版社, 2020） [8] Wang Y Y, Wang Y, Qiao Y L, et al. The future of cervical cancer screening in China ‒Abandonment or conservation of cytological primary screening. Chin J Pract Gynecol Obstet, 2017, 33（3）: 324 [9] · 1146 · 工程科学学报，第 43 卷，第 9 期

姚超等：基于深度学习的宫颈癌异常细胞快速检测方法 1147 (王轶英，王悦，乔友林，等.中国宫颈癌筛查未来之路一细胞 Science press,2019 学初筛的弃或守.中国实用妇科与产科杂志，2017,33(3)：324) (陈小槐.子宫须细胞学Bethesda报告系统（中文翻译版，原书第 [10]LeCun Y,Bengio Y,Hinton G.Deep learning.Nature,2015, 3版).北京：科学出版社，2019) 521(7553):436 [24]He Y E,Wang Y F,Lang J H,et al.The evaluation of computer [11]Szeliski R.Computer Vision.London:Springer London Press, cytological test with colposcopy for the diagnosis of cervical 2011 lesions.Chin .Obstet Gynecol,1998,33(5):265 [12]Zhang Y Z.Image Engineering.4th Ed.Beijing:Tsinghua (贺又娥，王友芳，郎景和，等，计算机辅助细胞检测系统配合阴 University Press,2018 道镜检查对子宫颈病变的诊断价值.中华妇产科杂志，1998， (章毓晋.图像工程.4版.北京：清华大学出版社，2018) 33(5):265) [13]Shi Y H.Study of Machine Learning Techniques and Applications [25]Stoler M H.Advances in cervical screening technology.Mod in Med-Ical Image Analysis [Dissertation].Nanjing:Nanjing Pathol,.2000,13(3):275 University,2013 [26]Zhou L P.Cervical Smears Automatic Auxciliary System Related to (史颖欢.医学图像处理中的机器学习方法及其应用研究学位 Image Interpretation Techniques [Dissertation].Qingdao:Ocean 论文].南京：南京大学，2013) University of China,2009 [14]Rumelhart D E,Hinton G E,Williams R J.Learning (周立平.宫颈涂片自动辅助判读系统中相关图像技术的研究 representations by back-propagating errors.Natre,1986, [学位论文].青岛：中国海洋大学，2009) 323(6088):533 [27]Zheng K,Zhang S,Tang J Q.Application of Thinprep computer- [15]He K M,Zhang X Y,Ren S Q,et al.Deep residual learning for assisted imaging system in cervical cytology.Chin/Diagn Pathol, image recognition /2016 IEEE Conference on Computer Vision 2015,22(6:364 and Pattern Recognition (CVPR).Las Vegas,2016:770 (郑珂，张声，唐坚清.计算机辅助阅片系统在宫颈细胞学筛查 [16]Cai W B.Study on Detection Techniques of Pathological Images 中的应用.诊断病理学杂志，2015,22(6)：364) of Cancer Cells [Dissertation].Taiyuan:North University of [28]Lin T Y,Maire M,Belongie S,et al.Microsoft COCO:common China,2018 objects in context /Computer Vision-ECCV 2014.Zurich,2014: (蔡武斌.癌细胞病理图像的检测技术研究学位论文]太原：中 740 北大学，2018) [29]Paszke A,Gross S,Massa F,et al.Pytorch:An imperative style, [17]Kermany D S,Goldbaum M,Cai W J,et al.Identifying medical high-performance deep learning library[J/OL].arXiv preprint diagnoses and treatable diseases by image-based deep leaming. (2019-12-3)[2021-6-241.https://arxiv.org/abs/1912.01703 Cell,2018,172(5):1122 [30]Mao X Y,Leng X F.Introduction to Opencv3 programming [18]Cong M,Wu T,Liu D,et al.Prostate MR/TRUS image Beijing:Electronics industry publishing house,2015 segmentation and registration methods based on supervised (毛星云，冷雪飞.Opencv.3编程入门.北京：电子工业出版社， learning.Chin J Eng,2020,42(10):1362 2015) (丛明，吴童，刘冬，等.基于监督学习的前列腺MR/TRUS图像分 [31]Huang G,Liu Z.Pleiss G,et al.Convolutional networks with 割和配准方法.工程科学学报，2020,42(10)：1362) dense connectivity.IEEE Trans Pattern Anal Mach Intell,2019. [19]Zhang L,Le L,Nogues I,et al.DeepPap:deep convolutional doi:10.1109/TPAM.2019.2918284 networks for cervical cell classification.IEEE J Biomed Heal [32]Hu J,Shen L,Sun G.Squeeze-and-excitation networks /2018 nform,2017,21(6):1633 IEEE/CVF Conference on Computer Vision and Pattern [20]Wu M,Yan C B,Liu H Q,et al.Automatic classification of Recognition.Salt Lake City,2018:7132 cervical cancer from cytological images by using convolutional [33]Tan M,Le Q.Efficientnet:Rethinking model scaling for neural network.Biosci Rep,2018,38(6):BSR20181769 convolutional neural networks /International Conference on [21]Jia D Y,LiZ Y.Zhang C W.Detection of cervical cancer cells Machine Learning.Long Beach,2019:6105 based on strong feature CNN-SVM network.Neurocomputing, [34]Xie S N,Girshick R,Dollar P,et al.Aggregated residual 2020,411:112 transformations for deep neural networks //2017 IEEE Conference [22]Ren S Q,He K M,Girshick R,et al.Faster R-CNN:Towards real- on Computer Vision and Pattern Recognition(CVPR).Honolulu, time object detection with region proposal networks./EEE Trans 2017:5987 Pattern Anal Mach Intell,2017,39(6):1137 [35]Zoph B,Vasudevan V,Shlens J,et al.Learning transferable [23]Chen X H.The Bethesda System for Reporting Cervical Cytology architectures for scalable image recognition /2018 IEEE/CVF (Definitions.Criteria,and Explanatory Notes).3rd Ed.Beijing: Conference on Computer Vision and Pattern Recognition.Salt

（王轶英, 王悦, 乔友林, 等. 中国宫颈癌筛查未来之路——细胞学初筛的弃或守. 中国实用妇科与产科杂志, 2017, 33（3）：324） LeCun Y, Bengio Y, Hinton G. Deep learning. Nature, 2015, 521（7553）: 436 [10] Szeliski R. Computer Vision. London: Springer London Press, 2011 [11] Zhang Y Z. Image Engineering. 4th Ed. Beijing: Tsinghua University Press, 2018 （章毓晋. 图像工程. 4版. 北京: 清华大学出版社, 2018） [12] Shi Y H. Study of Machine Learning Techniques and Applications in Med-Ical Image Analysis [Dissertation]. Nanjing: Nanjing University, 2013 （史颖欢. 医学图像处理中的机器学习方法及其应用研究[学位论文]. 南京: 南京大学, 2013） [13] Rumelhart D E, Hinton G E, Williams R J. Learning representations by back-propagating errors. Nature, 1986, 323（6088）: 533 [14] He K M, Zhang X Y, Ren S Q, et al. Deep residual learning for image recognition // 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, 2016: 770 [15] Cai W B. Study on Detection Techniques of Pathological Images of Cancer Cells [Dissertation]. Taiyuan: North University of China, 2018 （蔡武斌. 癌细胞病理图像的检测技术研究[学位论文]. 太原: 中北大学, 2018） [16] Kermany D S, Goldbaum M, Cai W J, et al. Identifying medical diagnoses and treatable diseases by image-based deep learning. Cell, 2018, 172（5）: 1122 [17] Cong M, Wu T, Liu D, et al. Prostate MR/TRUS image segmentation and registration methods based on supervised learning. Chin J Eng, 2020, 42（10）: 1362 （丛明, 吴童, 刘冬, 等. 基于监督学习的前列腺MR/TRUS图像分割和配准方法. 工程科学学报, 2020, 42（10）：1362） [18] Zhang L, Le L, Nogues I, et al. DeepPap: deep convolutional networks for cervical cell classification. IEEE J Biomed Heal Inform, 2017, 21（6）: 1633 [19] Wu M, Yan C B, Liu H Q, et al. Automatic classification of cervical cancer from cytological images by using convolutional neural network. Biosci Rep, 2018, 38（6）: BSR20181769 [20] Jia D Y, Li Z Y, Zhang C W. Detection of cervical cancer cells based on strong feature CNN-SVM network. Neurocomputing, 2020, 411: 112 [21] Ren S Q, He K M, Girshick R, et al. Faster R-CNN: Towards realtime object detection with region proposal networks. IEEE Trans Pattern Anal Mach Intell, 2017, 39（6）: 1137 [22] Chen X H. The Bethesda System for Reporting Cervical Cytology (Definitions, Criteria, and Explanatory Notes). 3rd Ed. Beijing: [23] Science press, 2019 （陈小槐. 子宫颈细胞学Bethesda报告系统(中文翻译版, 原书第 3版). 北京: 科学出版社, 2019） He Y E, Wang Y F, Lang J H, et al. The evaluation of computer cytological test with colposcopy for the diagnosis of cervical lesions. Chin J Obstet Gynecol, 1998, 33（5）: 265 （贺又娥, 王友芳, 郎景和, 等. 计算机辅助细胞检测系统配合阴道镜检查对子宫颈病变的诊断价值. 中华妇产科杂志, 1998, 33（5）：265） [24] Stoler M H. Advances in cervical screening technology. Mod Pathol, 2000, 13（3）: 275 [25] Zhou L P. Cervical Smears Automatic Auxiliary System Related to Image Interpretation Techniques [Dissertation]. Qingdao: Ocean University of China, 2009 （周立平. 宫颈涂片自动辅助判读系统中相关图像技术的研究 [学位论文]. 青岛: 中国海洋大学, 2009） [26] Zheng K, Zhang S, Tang J Q. Application of Thinprep computerassisted imaging system in cervical cytology. Chin J Diagn Pathol, 2015, 22（6）: 364 （郑珂, 张声, 唐坚清. 计算机辅助阅片系统在宫颈细胞学筛查中的应用. 诊断病理学杂志, 2015, 22（6）：364） [27] Lin T Y, Maire M, Belongie S, et al. Microsoft COCO: common objects in context // Computer Vision – ECCV 2014. Zurich, 2014: 740 [28] Paszke A, Gross S, Massa F, et al. Pytorch: An imperative style, high-performance deep learning library[J/OL]. arXiv preprint (2019-12-3) [2021-6-24]. https://arxiv.org/abs/1912.01703 [29] Mao X Y, Leng X F. Introduction to Opencv3 programming. Beijing: Electronics industry publishing house, 2015 （毛星云, 冷雪飞. Opencv3编程入门. 北京: 电子工业出版社, 2015） [30] Huang G, Liu Z, Pleiss G, et al. Convolutional networks with dense connectivity. IEEE Trans Pattern Anal Mach Intell, 2019, doi: 10.1109/TPAMI.2019.2918284 [31] Hu J, Shen L, Sun G. Squeeze-and-excitation networks // 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, 2018: 7132 [32] Tan M, Le Q. Efficientnet: Rethinking model scaling for convolutional neural networks // International Conference on Machine Learning. Long Beach, 2019: 6105 [33] Xie S N, Girshick R, Dollár P, et al. Aggregated residual transformations for deep neural networks // 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Honolulu, 2017: 5987 [34] Zoph B, Vasudevan V, Shlens J, et al. Learning transferable architectures for scalable image recognition // 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt [35] 姚超等：基于深度学习的宫颈癌异常细胞快速检测方法 · 1147 ·

点击进入文档下载页（PDF格式）

已到末页，全文结束

点击下载（PDF格式）

浏览记录