工程科学学报 Chinese Journal of Engineering 基于深度学习的官颈癌异常细胞快速检测方法 姚超赵基淮马博渊李莉马莹班晓娟姜淑芳邵炳衡 Fast detection method for cervical cancer abnormal cells based on deep learning YAO Chao,ZHAO Ji-huai,MA Bo-yuan,LI Li,MA Ying.BAN Xiao-juan.JIANG Shu-fang,SHAO Bing-heng 引用本文： 姚超，赵基淮，马博渊，李莉，马莹，班晓娟，姜淑芳，邵炳衡.基于深度学习的宫颈癌异常细胞快速检测方法.工程科学学 报，2021,43(9%：1140-1148.doi:10.13374.issn2095-9389.2021.01.12.001 YAO Chao,ZHAO Ji-huai,MA Bo-yuan,LILi,MA Ying,BAN Xiao-juan,JIANG Shu-fang.SHAO Bing-heng.Fast detection method for cervical cancer abnormal cells based on deep learning[J].Chinese Journal of Engineering,2021,43(9):1140-1148.doi: 10.13374-issn2095-9389.2021.01.12.001 在线阅读View online:https::/oi.org10.13374.issn2095-9389.2021.01.12.001 您可能感兴趣的其他文章 Articles you may be interested in 基于深度学习的高效火车号识别 Efficient wagon number recognition based on deep learning 工程科学学报.2020,42(11)：1525 https:ldoi.org/10.13374.issn2095-9389.2019.12.05.001 卷积神经网络在矿区预测中的研究与应用 Research and application of convolutional neural network in mining area prediction 工程科学学报.2020,42(12：1597htps:/1doi.org10.13374.issn2095-9389.2020.01.02.001 深度神经网络模型压缩综述 A survey of model compression for deep neural networks 工程科学学报.2019,41(10)：1229 https:/1doi.org/10.13374.issn2095-9389.2019.03.27.002 基于深度学习的人体低氧状态识别 Recognition of human hypoxic state based on deep learning 工程科学学报.2019,41(6)：817 https::/1oi.org/10.13374.issn2095-9389.2019.06.014 基于深度卷积神经网络的地磁导航方向适配性分析 Direction-matching-suitability analysis for geomagnetic navigation based on convolutional neural networks 工程科学学报.2017,3910)：1584 https:1oi.org/10.13374j.issn2095-9389.2017.10.018 基于集成神经网络的剩余寿命预测 Remaining useful life prediction based on an integrated neural network 工程科学学报.2020,4210)：1372htps:/1doi.org/10.13374.issn2095-9389.2019.10.10.005
基于深度学习的宫颈癌异常细胞快速检测方法 姚超 赵基淮 马博渊 李莉 马莹 班晓娟 姜淑芳 邵炳衡 Fast detection method for cervical cancer abnormal cells based on deep learning YAO Chao, ZHAO Ji-huai, MA Bo-yuan, LI Li, MA Ying, BAN Xiao-juan, JIANG Shu-fang, SHAO Bing-heng 引用本文: 姚超, 赵基淮, 马博渊, 李莉, 马莹, 班晓娟, 姜淑芳, 邵炳衡. 基于深度学习的宫颈癌异常细胞快速检测方法[J]. 工程科学学 报, 2021, 43(9): 1140-1148. doi: 10.13374/j.issn2095-9389.2021.01.12.001 YAO Chao, ZHAO Ji-huai, MA Bo-yuan, LI Li, MA Ying, BAN Xiao-juan, JIANG Shu-fang, SHAO Bing-heng. Fast detection method for cervical cancer abnormal cells based on deep learning[J]. Chinese Journal of Engineering, 2021, 43(9): 1140-1148. doi: 10.13374/j.issn2095-9389.2021.01.12.001 在线阅读 View online: https://doi.org/10.13374/j.issn2095-9389.2021.01.12.001 您可能感兴趣的其他文章 Articles you may be interested in 基于深度学习的高效火车号识别 Efficient wagon number recognition based on deep learning 工程科学学报. 2020, 42(11): 1525 https://doi.org/10.13374/j.issn2095-9389.2019.12.05.001 卷积神经网络在矿区预测中的研究与应用 Research and application of convolutional neural network in mining area prediction 工程科学学报. 2020, 42(12): 1597 https://doi.org/10.13374/j.issn2095-9389.2020.01.02.001 深度神经网络模型压缩综述 A survey of model compression for deep neural networks 工程科学学报. 2019, 41(10): 1229 https://doi.org/10.13374/j.issn2095-9389.2019.03.27.002 基于深度学习的人体低氧状态识别 Recognition of human hypoxic state based on deep learning 工程科学学报. 2019, 41(6): 817 https://doi.org/10.13374/j.issn2095-9389.2019.06.014 基于深度卷积神经网络的地磁导航方向适配性分析 Direction-matching-suitability analysis for geomagnetic navigation based on convolutional neural networks 工程科学学报. 2017, 39(10): 1584 https://doi.org/10.13374/j.issn2095-9389.2017.10.018 基于集成神经网络的剩余寿命预测 Remaining useful life prediction based on an integrated neural network 工程科学学报. 2020, 42(10): 1372 https://doi.org/10.13374/j.issn2095-9389.2019.10.10.005
工程科学学报.第43卷.第9期：1140-1148.2021年9月 Chinese Journal of Engineering,Vol.43,No.9:1140-1148,September 2021 https://doi.org/10.13374/j.issn2095-9389.2021.01.12.001;http://cje.ustb.edu.cn 基于深度学习的宫颈癌异常细胞快速检测方法 姚 超12,34，赵基淮2,34)，马博渊12,34,5)，李莉6，刀，马莹6，，班晓娟12,34,5)， 姜淑芳6，)四，邵炳衡) 1)北京科技大学北京材料基因工程高精尖创新中心，北京1000832)北京科技大学材料领域知识工程北京市重点实验室，北京100083 3)北京科技大学人工智能研究院.北京1000834)北京科技大学计算机与通信工程学院，北京1000835)北京科技大学顺德研究生院. 佛山5283006)解放军总医院海南医院妇产科，三亚5720007)解放军总医院第一医学中心妇产科，北京1008538)吉林大学口腔医学 院.长春130021 ☒通信作者.E-mail:jsfD912@aliyun.com 摘要宫颈癌是严重危害妇女健康的恶性肿瘤，威胁着女性的生命，而通过基于图像处理的细胞学筛查是癌前筛查的最为 广泛的检测方法.近年来，随着以深度学习为代表的机器学习理论的发展，卷积神经网络以其强有效的特征提取能力取得了 图像识别领域的革命性突破，被广泛应用于宫颈异常细胞检测等医疗影像分析领域.但由于病理细胞图像具有分辨率高和 尺寸大的特点，且其大多数局部区域内都不含有细胞簇，深度学习模型采用穷举候选框的方法进行异常细胞的定位和识别 时，经过穷举候选框获得的子图大部分都不含有细胞簇.当子图数量逐渐增加时，大量不含细胞簇的图像作为目标检测网络 输入会使图像分析过程存在冗余时长，严重减缓了超大尺寸病理图像分析时的检测速度.本文提出一种新的宫颈癌异常细 胞检测策略，针对使用膜式法获得的病理细胞图像，通过基于深度学习的图像分类网络首先判断局部区域是否出现异常细 胞，若出现则进一步使用单阶段的目标检测方法进行分析，从而快速对异常细胞进行精确定位和识别.实验表明，本文提出 的方法可提高一倍的宫颈癌异常细胞检测速度 关键词宫颈癌异常细胞：病理图像：深度学习；卷积神经网络；目标检测；图像分类 分类号TP391 Fast detection method for cervical cancer abnormal cells based on deep learning YAO Chao 234),ZHAO Ji-huai234),MA Bo-yuan 245,LI L),MA Yings,BAN Xiao-juan 245,JIANG Shu-fangs SHAO Bing-heng 1)Beijing Advanced Innovation Center for Materials Genome Engineering,University of Science and Technology Beijing,Beijing 100083,China 2)Beijing Key Laboratory of Knowledge Engineering for Materials Science,University of Science and Technology Beijing,Beijing 100083,China 3)School of Computer and Communication Engineering,University of Science and Technology Beijing,Beijing 100083,China 4)Institute of Artificial Intelligence,University of Science and Technology Beijing,Beijing 100083,China 5)Shunde Graduate School,University of Science and Technology Beijing,Foshan 528300,China 6)Department of Obstetrics and Gynecology,Hainan Hospital of PLA General Hospital,Sanya 572000,China 7)Department of Obstetrics and Gynecology,General Hospital of PLA,Beijing 100853,China 8)School of Stomatology,Jilin University,Changchun 130021,China Corresponding author,E-mail:jsf0912@aliyun.com ABSTRACT Cervical cancer is a malignant tumor that highly endangers women's lives.Cytological screening based on image 收稿日期：2021-01-12 基金项目：海南省财政科技计划资助项目(ZDYF2019009):国家自然科学基金资助项目(61873299.61902022.61972028.6210020684)：中央 高校基本科研业务费资助项目(FRF-TP.19-015A1.FRF.TP-20-061A1Z.FRF-TP.19-043A2.00007467):佛山市科技创新专项资金资助项目 (BK19AE034,BK20AF001,BK21BF002)
基于深度学习的宫颈癌异常细胞快速检测方法 姚 超1,2,3,4)，赵基淮1,2,3,4)，马博渊1,2,3,4,5)，李 莉6,7)，马 莹6,7)，班晓娟1,2,3,4,5)， 姜淑芳6,7) 苣，邵炳衡8) 1) 北京科技大学北京材料基因工程高精尖创新中心，北京 100083 2) 北京科技大学材料领域知识工程北京市重点实验室，北京 100083 3) 北京科技大学人工智能研究院，北京 100083 4) 北京科技大学计算机与通信工程学院，北京 100083 5) 北京科技大学顺德研究生院， 佛山 528300 6) 解放军总医院海南医院妇产科，三亚 572000 7) 解放军总医院第一医学中心妇产科，北京 100853 8) 吉林大学口腔医学 院，长春 130021 苣通信作者，E-mail: jsf0912@aliyun.com 摘 要 宫颈癌是严重危害妇女健康的恶性肿瘤，威胁着女性的生命，而通过基于图像处理的细胞学筛查是癌前筛查的最为 广泛的检测方法. 近年来，随着以深度学习为代表的机器学习理论的发展，卷积神经网络以其强有效的特征提取能力取得了 图像识别领域的革命性突破，被广泛应用于宫颈异常细胞检测等医疗影像分析领域. 但由于病理细胞图像具有分辨率高和 尺寸大的特点，且其大多数局部区域内都不含有细胞簇，深度学习模型采用穷举候选框的方法进行异常细胞的定位和识别 时，经过穷举候选框获得的子图大部分都不含有细胞簇. 当子图数量逐渐增加时，大量不含细胞簇的图像作为目标检测网络 输入会使图像分析过程存在冗余时长，严重减缓了超大尺寸病理图像分析时的检测速度. 本文提出一种新的宫颈癌异常细 胞检测策略，针对使用膜式法获得的病理细胞图像，通过基于深度学习的图像分类网络首先判断局部区域是否出现异常细 胞，若出现则进一步使用单阶段的目标检测方法进行分析，从而快速对异常细胞进行精确定位和识别. 实验表明，本文提出 的方法可提高一倍的宫颈癌异常细胞检测速度. 关键词 宫颈癌异常细胞；病理图像；深度学习；卷积神经网络；目标检测；图像分类 分类号 TP391 Fast detection method for cervical cancer abnormal cells based on deep learning YAO Chao1,2,3,4) ，ZHAO Ji-huai1,2,3,4) ，MA Bo-yuan1,2,3,4,5) ，LI Li6,7) ，MA Ying6,7) ，BAN Xiao-juan1,2,3,4,5) ，JIANG Shu-fang6,7) 苣 ， SHAO Bing-heng8) 1) Beijing Advanced Innovation Center for Materials Genome Engineering, University of Science and Technology Beijing, Beijing 100083, China 2) Beijing Key Laboratory of Knowledge Engineering for Materials Science, University of Science and Technology Beijing, Beijing 100083, China 3) School of Computer and Communication Engineering, University of Science and Technology Beijing, Beijing 100083, China 4) Institute of Artificial Intelligence, University of Science and Technology Beijing, Beijing 100083, China 5) Shunde Graduate School, University of Science and Technology Beijing, Foshan 528300, China 6) Department of Obstetrics and Gynecology, Hainan Hospital of PLA General Hospital, Sanya 572000, China 7) Department of Obstetrics and Gynecology, General Hospital of PLA, Beijing 100853, China 8) School of Stomatology, Jilin University, Changchun 130021, China 苣 Corresponding author, E-mail: jsf0912@aliyun.com ABSTRACT Cervical cancer is a malignant tumor that highly endangers women ’s lives. Cytological screening based on image 收稿日期: 2021−01−12 基金项目: 海南省财政科技计划资助项目（ZDYF2019009）；国家自然科学基金资助项目（61873299，61902022，61972028，6210020684）；中央 高校基本科研业务费资助项目（FRF-TP-19-015A1，FRF-TP-20-061A1Z，FRF-TP-19-043A2，00007467）；佛山市科技创新专项资金资助项目 （BK19AE034，BK20AF001，BK21BF002） 工程科学学报，第 43 卷，第 9 期：1140−1148，2021 年 9 月 Chinese Journal of Engineering, Vol. 43, No. 9: 1140−1148, September 2021 https://doi.org/10.13374/j.issn2095-9389.2021.01.12.001; http://cje.ustb.edu.cn
姚超等：基于深度学习的宫颈癌异常细胞快速检测方法 1141 processing is the most widely used detection method for precancerous screening.Recently,with the development of machine learning theory based on deep learning,the convolutional neural network has made a revolutionary breakthrough in the field of image recognition due to its strong and effective extraction ability.In addition,it has been widely used in the field of medical image analysis such as cervical abnormal cell detection.However,due to the characteristic high resolution and large size of pathological cell images,most of its local areas do not contain cell clusters.Moreover,when the deep learning model uses the method of exhausting candidate boxes to locate and identify abnormal cells,most of the sub-images obtained do not contain cell clusters.When the number of sub-images increases gradually,a large number of images without cell clusters as input to the object detection network will make the image analysis process redundant for a long time,which drastically slows down the speed of detection of the large-scale pathological image analysis.In view of this,this paper proposed a new detection strategy for abnormal cells in cervical cancer microscopic imaging.According to the pathological cell images obtained by the membrane method,the image classification network based on deep learning was first used to determine whether there were abnormal cells in the local area.If there were abnormal cells in the local area,the single-stage object detection method was used for further pathological cell image analysis,so that the abnormal cells in the images could be quickly and accurately located and identified.Experimental results show that the proposed method can double the speed of detection of cervical cancer abnormal cells. KEY WORDS cervical cancer abnormal cells;pathological image;deep learning;convolutional neural network;object detection; image classification 宫颈癌口作为世界范围最常见的妇科恶性肿 筛查水平和普及程度低下，难以满足实际检测的 瘤，严重威胁女性的生命.2016年世界卫生组织报 需要. 道：每年全球有超过50万新发的官颈癌病例，作 随着计算机硬件以及计算机处理算法的进 为发展中国家的中国约占其中的28%，并预计直 步，尤其是以深度学习0为代表的机器学习理论 至2025年，亚洲的宫颈癌发病率将上升至40%左 的突破，计算机图像处理技术-四不断渗透到各 右冈近年来宫颈癌不仅发病率呈上升趋势，并且 个领域，尤其在临床医学的诸多领域发挥着举足 发病年龄也趋于年轻化，引起了越来越多人的重 轻重的作用)依托强有效的特征提取能力，基于 视研究发现，宫颈癌的癌变是从子宫不典型 深度学习的卷积神经网络可以通过梯度下降的 增生到原位癌再到早期浸润癌，最后变成浸润癌， 方式自动地学习到图像中与目标任务相关的主要 足见宫颈癌有着相当长的癌前病变阶段可.如果病 特征，可大幅提高目标识别的准确率，使得深度学 人在宫颈癌癌前病变阶段或者更早的时候被诊断 习方法成为计算机图像处理领域中的主流方法阿 出来，得到治愈的机会将会大幅度提高 因此，采用细胞学计算机辅助诊断技术，对宫颈病 变细胞图像进行自动分析和处理6，能够帮助医 1相关工作 务人员进行精确的辅助判断，从而降低医务人员 官颈癌筛查主要有3种较为成熟的方法：细胞 的工作强度并提高诊断的准确性7-8！ 学方法，醋酸或碘染色法和HPV-DNA检测法.细 虽然深度学习在B超、CT和PET等医疗影像 胞学检测是应用最为广泛的筛查方法，并且随着 中展开了广泛应用，但在病理细胞图像分析的实 硬件技术的进步，制片方法从传统的巴氏涂片检 际应用中仍存在大量的桃战.例如，病理细胞图像 测，过渡到目前主流的以新柏氏薄层细胞学检测 相对于B超、CT和PET等医疗影像具有分辨率 (Thinprep cytologic test,.TCT)为代表的膜式法，和以 高、尺寸大的特点，对深度学习算法的执行效率提 液基薄层制片技术(Liquid-based cytology technology,. 出了更高的要求.在宫颈癌异常细胞检测的应用 LCT)为代表的沉降式法阿 中，每个患者单次检测通过膜式法6获得100000 目前，中国以细胞学（包括传统巴士涂片）作 像素×100000像素尺寸的病理细胞图像，但通常需 为宫颈癌主要筛查手段)，可是总体筛查水平不 要进行定位和识别的单个细胞的像素尺寸仅为 高，究其原因，并非由于细胞学检查技术的客观缺 320像素×320像素，传统的深度学习方法采用滑 陷，主要是由于国内有经验的细胞病理学医师及 窗9-]或穷举候选框2的方法进行异常细胞的定 辅助人员稀缺，根据欧美发达国家经验，一名合格 位和识别，而经过滑窗或穷举框获得的子图大部 的细胞学家成长周期约10年，因此造成宫颈癌 分都不含有细胞簇，当图片数量逐渐增加时，越来
processing is the most widely used detection method for precancerous screening. Recently, with the development of machine learning theory based on deep learning, the convolutional neural network has made a revolutionary breakthrough in the field of image recognition due to its strong and effective extraction ability. In addition, it has been widely used in the field of medical image analysis such as cervical abnormal cell detection. However, due to the characteristic high resolution and large size of pathological cell images, most of its local areas do not contain cell clusters. Moreover, when the deep learning model uses the method of exhausting candidate boxes to locate and identify abnormal cells, most of the sub-images obtained do not contain cell clusters. When the number of sub-images increases gradually, a large number of images without cell clusters as input to the object detection network will make the image analysis process redundant for a long time, which drastically slows down the speed of detection of the large-scale pathological image analysis. In view of this, this paper proposed a new detection strategy for abnormal cells in cervical cancer microscopic imaging. According to the pathological cell images obtained by the membrane method, the image classification network based on deep learning was first used to determine whether there were abnormal cells in the local area. If there were abnormal cells in the local area, the single-stage object detection method was used for further pathological cell image analysis, so that the abnormal cells in the images could be quickly and accurately located and identified. Experimental results show that the proposed method can double the speed of detection of cervical cancer abnormal cells. KEY WORDS cervical cancer abnormal cells； pathological image； deep learning； convolutional neural network； object detection； image classification 宫颈癌[1] 作为世界范围最常见的妇科恶性肿 瘤，严重威胁女性的生命. 2016 年世界卫生组织报 道：每年全球有超过 50 万新发的宫颈癌病例，作 为发展中国家的中国约占其中的 28%，并预计直 至 2025 年，亚洲的宫颈癌发病率将上升至 40% 左 右[2] . 近年来宫颈癌不仅发病率呈上升趋势，并且 发病年龄也趋于年轻化，引起了越来越多人的重 视[3−4] . 研究发现，宫颈癌的癌变是从子宫不典型 增生到原位癌再到早期浸润癌，最后变成浸润癌， 足见宫颈癌有着相当长的癌前病变阶段[5] . 如果病 人在宫颈癌癌前病变阶段或者更早的时候被诊断 出来，得到治愈的机会将会大幅度提高. 1 相关工作 宫颈癌筛查主要有 3 种较为成熟的方法：细胞 学方法，醋酸或碘染色法和 HPV‒DNA 检测法. 细 胞学检测是应用最为广泛的筛查方法，并且随着 硬件技术的进步，制片方法从传统的巴氏涂片检 测，过渡到目前主流的以新柏氏薄层细胞学检测 (Thinprep cytologic test, TCT) 为代表的膜式法，和以 液基薄层制片技术 (Liquid-based cytology technology, LCT) 为代表的沉降式法[6] . 目前，中国以细胞学（包括传统巴士涂片）作 为宫颈癌主要筛查手段[7−8] ，可是总体筛查水平不 高，究其原因，并非由于细胞学检查技术的客观缺 陷，主要是由于国内有经验的细胞病理学医师及 辅助人员稀缺，根据欧美发达国家经验，一名合格 的细胞学家成长周期约 10 年[9] ，因此造成宫颈癌 筛查水平和普及程度低下，难以满足实际检测的 需要. 随着计算机硬件以及计算机处理算法的进 步，尤其是以深度学习[10] 为代表的机器学习理论 的突破，计算机图像处理技术[11−12] 不断渗透到各 个领域，尤其在临床医学的诸多领域发挥着举足 轻重的作用[13] . 依托强有效的特征提取能力，基于 深度学习的卷积神经网络可以通过梯度下降[14] 的 方式自动地学习到图像中与目标任务相关的主要 特征，可大幅提高目标识别的准确率，使得深度学 习方法成为计算机图像处理领域中的主流方法[15] . 因此，采用细胞学计算机辅助诊断技术，对宫颈病 变细胞图像进行自动分析和处理[16] ，能够帮助医 务人员进行精确的辅助判断，从而降低医务人员 的工作强度并提高诊断的准确性[17−18] . 虽然深度学习在 B 超、CT 和 PET 等医疗影像 中展开了广泛应用，但在病理细胞图像分析的实 际应用中仍存在大量的挑战. 例如，病理细胞图像 相对于 B 超、CT 和 PET 等医疗影像具有分辨率 高、尺寸大的特点，对深度学习算法的执行效率提 出了更高的要求. 在宫颈癌异常细胞检测的应用 中，每个患者单次检测通过膜式法[6] 获得 100000 像素×100000 像素尺寸的病理细胞图像，但通常需 要进行定位和识别的单个细胞的像素尺寸仅为 320 像素×320 像素，传统的深度学习方法采用滑 窗[19−21] 或穷举候选框[22] 的方法进行异常细胞的定 位和识别，而经过滑窗或穷举框获得的子图大部 分都不含有细胞簇，当图片数量逐渐增加时，越来 姚 超等： 基于深度学习的宫颈癌异常细胞快速检测方法 · 1141 ·
.1142 工程科学学报，第43卷，第9期 越多的不含细胞簇的图像作为输人会造成图像分 窗式9训方法粗步估算出大致的位置，造成定位 析过程冗余耗时，在对超大尺寸病理图像分析时 精度低下. 严重减缓了检测速度 针对以上问题，本文提出一种新的宫颈癌异 基于图像分析的宫颈细胞检测方法也取得了 常细胞检测策略，针对使用膜式法获得的病理细 蓬勃的发展.1988年50位美国细胞病理学家在 胞图像，通过基于深度学习的图像分类网络首先 马里兰的Bethesda召开会议，提出了宫颈/阴道细 判断局部区域是否出现异常细胞，若出现则进一 胞学描述性诊断报告方式(The Belhesda system, 步使用基于候选框的目标检测方法进行分析，能 TBS),首次将细胞学和病理学有机结合起来，时至 够极大缩短推理时间，提高检测速度.实验表明， 今日已发表了3个版本的子宫颈细胞学诊断报告 本文提出的方法能够将推理时间减少54%.提高 图谱，进一步规范子宫颈细胞学检查的形态学标 异常细胞检测效率 准2).20世纪90年代初研制成功了计算机辅助细 2基于深度学习的宫颈癌异常细胞快速检 胞检测系统(Computer-assisted cytological test,.CCT), 测方法 该系统可实现自动读片和初筛，并由细胞学专职 人员做最后的诊断，可以避免因视觉疲劳而造 2.1方法概述 成注意力分散及漏诊，提高细胞学诊断的准确 由于TCT图像通常具有超大像素，本文采用 性4]国外较为成熟的宫颈细胞自动化检测系 了“滑动交叠裁剪”的策略从TCT图像上裁剪出 统包括AutoPap初期筛查系统、PapNet测试系 局部区域形成TCT图像子集，用来训练和测试模 统、TIS等.AutoPap初期筛查系统需要将异常细 型，如图1所示，TCT全景图像尺寸是100000像 胞与参考玻片进行比较得出结果，PapNet测试 素×100000像素，裁减的局部区域大小为2000像 系统和TIS提取可疑细胞后采用交互式的方法由 素×2000像素.此外，TCT图像上具有异常细胞较 医学专家进行判别得到筛选结果，以上方法均 少，且细胞簇之间的分布呈稀疏排列等特点，导致 采用手工设计特征的方法进行异常细胞识别，降 TCT图像子集存在大量不包含细胞簇的背景图 低了方法的泛化性能.随着机器学习理论的发 像，如果直接将TCT图像子集输入到目标检测网 展，以深度学习为代表的人工智能方法可自动地 络模型，在模型推理时会产生较长的耗时.为了减 提取图像中的关键特征，开始逐步应用于宫颈癌 少模型的推理时间.提高检测效率，本文提出了一 异常检测领域，但由于基于候选框式的深度学习 种基于深度学习的宫颈癌异常细胞快速检测方 方法四需要穷举所有可能的位置进行判断，降低 法，即采用图像分类网络与目标检测网络结合的 了目标检测的效率，所以大部分方法仅能采用滑 方式，减少背景图像在模型推理时的耗时. Original image Local region with or without target(2000 pixelx2000 pixel) (100000 pixel×100000 pixel) Pick local Image Abnormal cell Input image region classification detection Is there has abnormal Sliding window Find,locate,and recognize cell in this local region? abnormal target 图1本文提出的加速策略的技术路线流程图（图中红色框代表异常细胞） Fig.I Flow chart of the proposed acceleration strategy (The red box indicates an abnormal cell) 基于深度学习的宫颈癌异常细胞快速检测方 用图像分类模型判断局部区域中是否包含细胞 法，包括异常细胞图像初步筛选和异常细胞精确 簇，再采用目标检测模型对含细胞簇图像进行异 识别两个阶段，如图1所示为方法流程图.首先采 常细胞定位和识别
越多的不含细胞簇的图像作为输入会造成图像分 析过程冗余耗时，在对超大尺寸病理图像分析时 严重减缓了检测速度. 基于图像分析的宫颈细胞检测方法也取得了 蓬勃的发展. 1988 年 50 位美国细胞病理学家在 马里兰的 Bethesda 召开会议，提出了宫颈/阴道细 胞学描述性诊断报告方 式 (The Belhesda system, TBS)，首次将细胞学和病理学有机结合起来，时至 今日已发表了 3 个版本的子宫颈细胞学诊断报告 图谱，进一步规范子宫颈细胞学检查的形态学标 准[23] . 20 世纪 90 年代初研制成功了计算机辅助细 胞检测系统（Computer-assisted cytological test, CCT）， 该系统可实现自动读片和初筛，并由细胞学专职 人员做最后的诊断，可以避免因视觉疲劳而造 成注意力分散及漏诊，提高细胞学诊断的准确 性[24] . 国外较为成熟的宫颈细胞自动化检测系 统[25] 包括 AutoPap 初期筛查系统、PapNet 测试系 统、TIS 等. AutoPap 初期筛查系统需要将异常细 胞与参考玻片进行比较得出结果[26] ，PapNet 测试 系统和 TIS 提取可疑细胞后采用交互式的方法由 医学专家进行判别得到筛选结果[27] ，以上方法均 采用手工设计特征的方法进行异常细胞识别，降 低了方法的泛化性能. 随着机器学习理论的发 展，以深度学习为代表的人工智能方法可自动地 提取图像中的关键特征，开始逐步应用于宫颈癌 异常检测领域，但由于基于候选框式的深度学习 方法[22] 需要穷举所有可能的位置进行判断，降低 了目标检测的效率，所以大部分方法仅能采用滑 窗式[19−21] 方法粗步估算出大致的位置，造成定位 精度低下. 针对以上问题，本文提出一种新的宫颈癌异 常细胞检测策略，针对使用膜式法获得的病理细 胞图像，通过基于深度学习的图像分类网络首先 判断局部区域是否出现异常细胞，若出现则进一 步使用基于候选框的目标检测方法进行分析，能 够极大缩短推理时间，提高检测速度. 实验表明， 本文提出的方法能够将推理时间减少 54%，提高 异常细胞检测效率. 2 基于深度学习的宫颈癌异常细胞快速检 测方法 2.1 方法概述 由于 TCT 图像通常具有超大像素，本文采用 了“滑动交叠裁剪”的策略从 TCT 图像上裁剪出 局部区域形成 TCT 图像子集，用来训练和测试模 型，如图 1 所示，TCT 全景图像尺寸是 100000 像 素×100000 像素，裁减的局部区域大小为 2000 像 素×2000 像素. 此外，TCT 图像上具有异常细胞较 少，且细胞簇之间的分布呈稀疏排列等特点，导致 TCT 图像子集存在大量不包含细胞簇的背景图 像，如果直接将 TCT 图像子集输入到目标检测网 络模型，在模型推理时会产生较长的耗时. 为了减 少模型的推理时间，提高检测效率，本文提出了一 种基于深度学习的宫颈癌异常细胞快速检测方 法，即采用图像分类网络与目标检测网络结合的 方式，减少背景图像在模型推理时的耗时. Original image (100000 pixel×100000 pixel) Local region with or without target (2000 pixel×2000 pixel) Input image Sliding window Pick local region Image classification Is there has abnormal cell in this local region? Find, locate, and recognize abnormal target Abnormal cell detection 图 1 本文提出的加速策略的技术路线流程图（图中红色框代表异常细胞） Fig.1 Flow chart of the proposed acceleration strategy (The red box indicates an abnormal cell) 基于深度学习的宫颈癌异常细胞快速检测方 法，包括异常细胞图像初步筛选和异常细胞精确 识别两个阶段，如图 1 所示为方法流程图. 首先采 用图像分类模型判断局部区域中是否包含细胞 簇，再采用目标检测模型对含细胞簇图像进行异 常细胞定位和识别. · 1142 · 工程科学学报，第 43 卷，第 9 期
姚超等：基于深度学习的宫颈癌异常细胞快速检测方法 1143 2.2滑动交叠裁剪 黑色框和绿色框所裁剪下的图像切割了部分异常 通过“滑动交叠裁剪”方式从TCT图像上获 细胞，在模型进行推理时，经过非极大值抑制 得TCT图像局部区域的图像，构成TCT图像子 (Non-maximum suppression,NMS)后处理，蓝色框 集.“滑动交叠裁剪”方式如图2所示，“滑动交叠 所裁图像的检测结果会覆盖黑色框和绿色框所裁 裁剪”方式是以局部区域边长（本文以2000像 图像的检测结果，这样即可解决图像边缘的异常 素×2000像素尺寸作为裁剪局部区域尺寸)的一半 细胞检测问题 作为步长在TCT图像上滑动裁剪，能够解决异常 2.3宫颈细胞图像异常局部区域识别 细胞处于图像边缘时，裁剪下的图像内异常细胞 TCT图像上的细胞簇之间的呈稀疏排列分布 显示不完整的情况 的特点，导致TCT图像上存在大量不包含细胞簇 的背景图像，这些背景图像会在目标检测模型中 产生较长的模型推理耗时，影响识别效率.因为图 像分类网络的推理时间要远小于目标检测网络的 推理时间，所以，在输入目标检测网络之前，采用 图像分类方法将背景图像筛除，只将含有细胞簇 的图像输入到目标检测网络，能够极大减少整体 推理时间.通过后续实验，综合准确率与模型复杂 图2“滑动交叠裁剪”示例 度考虑，Resnet:50l模型的综合性能高，所以本文 Fig.2 Example of "sliding overlap clipping'" 采用Resnet.50l4作为图像分类网络模型. 图中红色框内是真实标注的异常细胞，从左 2.4局部区域内宫颈异常细胞定位与识别 到右黑色、蓝色及绿色框是采用1000像素为步长 经过图像分类网络后，可获得只含有细胞簇 裁剪的3个TCT子区域图像，交叠裁剪能够让蓝 的T℃T图像，并作为目标检测模型的输入，由目标 色框所裁剪下的图像包含完整的异常细胞.因为 检测模型对异常细胞进行精确识别.本文采用 最终检测结果需要映射到TCT全景图像上，即使 YoloV5作为目标检测模型，模型结构如图3所示 Focus Bottleneck BottleneckCSP BottleneckCSP SPP BottleneckCSP Conv2d Coordinates Category Coordinates Category Upsampling concat Conv+BottleneckCSP Conv2d Coordinates Category Upsampling concat Conv+BottleneckCSP Conv2d 图3 YoloV5网络结构 Fig.3 YoloV5 network structure 3实验 时，医生首先使用专门的采样器采集宫颈脱落细 3.1实验条件 胞，其次，将脱落细胞盛有保存液的小瓶中，再次， (1)数据制备 将小瓶放人ThinPrep全自动制片仪，自动完成制 采用的数据集是经由专业医生进行异常细胞 片，随后进行巴氏染色，最后将染色后的玻片放置 标注的650例患者的T℃T图像.在采集数据样本 显微镜上进行观测
2.2 滑动交叠裁剪 通过“滑动交叠裁剪”方式从 TCT 图像上获 得 TCT 图像局部区域的图像，构成 TCT 图像子 集. “滑动交叠裁剪”方式如图 2 所示，“滑动交叠 裁 剪 ” 方式是以局部区域边长 （本文 以 2000 像 素×2000 像素尺寸作为裁剪局部区域尺寸）的一半 作为步长在 TCT 图像上滑动裁剪，能够解决异常 细胞处于图像边缘时，裁剪下的图像内异常细胞 显示不完整的情况. 图 2 “滑动交叠裁剪”示例 Fig.2 Example of “sliding overlap clipping” 图中红色框内是真实标注的异常细胞，从左 到右黑色、蓝色及绿色框是采用 1000 像素为步长 裁剪的 3 个 TCT 子区域图像，交叠裁剪能够让蓝 色框所裁剪下的图像包含完整的异常细胞. 因为 最终检测结果需要映射到 TCT 全景图像上，即使 黑色框和绿色框所裁剪下的图像切割了部分异常 细胞 ，在模型进行推理时 ，经过非极大值抑制 （Non-maximum suppression, NMS）后处理，蓝色框 所裁图像的检测结果会覆盖黑色框和绿色框所裁 图像的检测结果，这样即可解决图像边缘的异常 细胞检测问题. 2.3 宫颈细胞图像异常局部区域识别 TCT 图像上的细胞簇之间的呈稀疏排列分布 的特点，导致 TCT 图像上存在大量不包含细胞簇 的背景图像，这些背景图像会在目标检测模型中 产生较长的模型推理耗时，影响识别效率. 因为图 像分类网络的推理时间要远小于目标检测网络的 推理时间，所以，在输入目标检测网络之前，采用 图像分类方法将背景图像筛除，只将含有细胞簇 的图像输入到目标检测网络，能够极大减少整体 推理时间. 通过后续实验，综合准确率与模型复杂 度考虑，Resnet50[14] 模型的综合性能高，所以本文 采用 Resnet50[14] 作为图像分类网络模型. 2.4 局部区域内宫颈异常细胞定位与识别 经过图像分类网络后，可获得只含有细胞簇 的 TCT 图像，并作为目标检测模型的输入，由目标 检测模型对异常细胞进行精确识别. 本文采用 YoloV5 作为目标检测模型，模型结构如图 3 所示. Focus Bottleneck BottleneckCSP BottleneckCSP BottleneckCSP Conv2d SPP Upsampling concat Conv+BottleneckCSP Conv2d Upsampling concat Conv+BottleneckCSP Conv2d Coordinates Category Coordinates Category Coordinates Category Input 图 3 YoloV5 网络结构 Fig.3 YoloV5 network structure 3 实验 3.1 实验条件 （1）数据制备. 采用的数据集是经由专业医生进行异常细胞 标注的 650 例患者的 TCT 图像. 在采集数据样本 时，医生首先使用专门的采样器采集宫颈脱落细 胞，其次，将脱落细胞盛有保存液的小瓶中，再次， 将小瓶放入 ThinPrep 全自动制片仪，自动完成制 片，随后进行巴氏染色，最后将染色后的玻片放置 显微镜上进行观测. 姚 超等： 基于深度学习的宫颈癌异常细胞快速检测方法 · 1143 ·
1144 工程科学学报，第43卷，第9期 医生对制片完成后的异常细胞进行标注，数 了各阈值下的精确率和召回率，可更加全面的评 据标注情况如表1所示，本文将如下4类细胞定义 估模型的预测结果 为异常细胞，并在目标检测时使用二分类进行判断 (3)实验参数 本文中图像分类实验训练轮次为30轮次，采 表1图像标注情况 用RMSProp优化器，初始学习率为10，批次大小 Table 1 Image annotation 为16. Category Number 本文中目标检测实验训练轮次为50轮次，初 ASC-US 2032 始学习率为10户，采用$GD梯度下降法，热身动态 ASC-H 1156 调整学习率策略，批次大小为32 LSIL 4387 本文所有模型基于PyTorch框架2和OpenCV HSIL 1389 图像处理包Bo实现，均在装备I台Nvidia Tesla Total 8964 V100显卡的工作站上测试 3.2图像分类阶段 通过裁剪TCT图像，得到总计8702张含有真 本文选择了当前主流的多个图像分类模 实标注的TCT局部区域图像和部分不含真实标注 型框架(Resnets50,Resnetl01l],Resnet152, 的TCT局部区域图像作为数据进行图像分类模型 Densenet1211,SE-Resnext501321,SE-Resnext1011321 以及目标检测模型的训练，其中训练集、验证集及 SE-Resnet501321,SE-Resnet1011321,Efficientnet-b41331, 测试集的划分比例为7：2：1 Efficientnet-b7331,Resnext50134,Resnext101341,Nas- (2)评估指标 net351,Shufflenetv20361,Inceptionv4137,Xception), 本文采用目标检测领域的常用评估指标AP502] 对局部区域是否含有细胞簇进行了分类实验，实 作为准确率进行实验评估，该评估方法综合考虑 验结果如表2所示. 表2细胞簇图像分类实验 Table 2 Cell cluster image classification experiment Model Accuracy/% True negative rate/% True positive rate/% Average time consumption/s Params/MB Memory Cost/GB Resnet50 89.01 96.09 86.93 0.017 22.51 4.12 Resnet101 89.62 89.39 91.46 0.027 42.50 7.85 SE-Resnext50 84.59 96.09 79.90 0.016 27.56 4.28 SE-Resnext101 82.50 91.62 79.90 0.033 48.96 8.05 Efficientnet-b4 75.71 98.88 57.29 0.027 19.43 5.12 Efficientnet-b7 83.41 98.88 68.84 0.043 66.52 25.32 Resnext50 32X4d 8825 94.41 88.44 0.012 25.03 4.29 Resnext101_32X4d 87.20 89.94 91.46 0.025 44.18 8.03 SE-Resnet101 82.50 92.18 79.40 0.023 49.33 7.63 SE-Resnet50 85.11 88.83 86.43 0.011 28.09 3.9 Nasnet 85.37 99.44 72.36 0.038 88.75 24.04 Shufflenetv2 81.46 0 99.50 0.010 7.39 0.60 Inceptionv4 81.72 99.44 0 0.024 42.68 12.31 Xception 78.85 99.44 99.50 0.015 22.86 8.42 Densenet121 80.58 94.41 56.28 0.021 7.98 2.88 由表2可知，Resnet系列模型准确率明显高于 数多，有利于精准学习病理图像的特征.其它当前 其它模型，其次是Resnext系列模型，再次是其它当 主流模型的准确率低于Resnetl0l,其原因可能是有 前主流模型.Resnet系列模型中Resnet101的准确 些模型参数过多，模型结构过于复杂，在训练过程中 率最高，相比较Resnet50,其模型结构复杂，模型参 产生了过拟合现象，也可能因为有些模型是专为特
医生对制片完成后的异常细胞进行标注，数 据标注情况如表 1 所示，本文将如下 4 类细胞定义 为异常细胞，并在目标检测时使用二分类进行判断. 表 1 图像标注情况 Table 1 Image annotation Category Number ASC-US 2032 ASC-H 1156 LSIL 4387 HSIL 1389 Total 8964 通过裁剪 TCT 图像，得到总计 8702 张含有真 实标注的 TCT 局部区域图像和部分不含真实标注 的 TCT 局部区域图像作为数据进行图像分类模型 以及目标检测模型的训练，其中训练集、验证集及 测试集的划分比例为 7∶2∶1. （2）评估指标. 本文采用目标检测领域的常用评估指标 AP50[28] 作为准确率进行实验评估，该评估方法综合考虑 了各阈值下的精确率和召回率，可更加全面的评 估模型的预测结果. （3）实验参数. 本文中图像分类实验训练轮次为 30 轮次，采 用 RMSProp 优化器，初始学习率为 10−6，批次大小 为 16. 本文中目标检测实验训练轮次为 50 轮次，初 始学习率为 10−2，采用 SGD 梯度下降法，热身动态 调整学习率策略，批次大小为 32. 本文所有模型基于 PyTorch 框架[29] 和 OpenCV 图像处理包 [30] 实现 ，均在装 备 1 台 Nvidia Tesla V100 显卡的工作站上测试. 3.2 图像分类阶段 本文选择了当前主流的多个图像分类模 型 框 架 （ Resnet50[15] , Resnet101[15] , Resnet152[15] , Densenet121[31] ， SE-Resnext50[32] ， SE-Resnext101[32] ， SE-Resnet50[32] ， SE-Resnet101[32] ， Efficientnet-b4[33] ， Efficientnet-b7[33] ， Resnext50[34] ， Resnext101[34] ， Nasnet[35] ， Shufflenetv2[36] ， Inceptionv4[37] ， Xception[38] ） ， 对局部区域是否含有细胞簇进行了分类实验，实 验结果如表 2 所示. 表 2 细胞簇图像分类实验 Table 2 Cell cluster image classification experiment Model Accuracy/% True negative rate/% True positive rate/% Average time consumption/s Params/MB Memory Cost/GB Resnet50 89.01 96.09 86.93 0.017 22.51 4.12 Resnet101 89.62 89.39 91.46 0.027 42.50 7.85 SE-Resnext50 84.59 96.09 79.90 0.016 27.56 4.28 SE-Resnext101 82.50 91.62 79.90 0.033 48.96 8.05 Efficientnet-b4 75.71 98.88 57.29 0.027 19.43 5.12 Efficientnet-b7 83.41 98.88 68.84 0.043 66.52 25.32 Resnext50_32X4d 88.25 94.41 88.44 0.012 25.03 4.29 Resnext101_32X4d 87.20 89.94 91.46 0.025 44.18 8.03 SE-Resnet101 82.50 92.18 79.40 0.023 49.33 7.63 SE-Resnet50 85.11 88.83 86.43 0.011 28.09 3.9 Nasnet 85.37 99.44 72.36 0.038 88.75 24.04 Shufflenetv2 81.46 0 99.50 0.010 7.39 0.60 Inceptionv4 81.72 99.44 0 0.024 42.68 12.31 Xception 78.85 99.44 99.50 0.015 22.86 8.42 Densenet121 80.58 94.41 56.28 0.021 7.98 2.88 由表 2 可知，Resnet 系列模型准确率明显高于 其它模型，其次是 Resnext 系列模型，再次是其它当 前主流模型. Resnet 系列模型中 Resnet101 的准确 率最高，相比较 Resnet50，其模型结构复杂，模型参 数多，有利于精准学习病理图像的特征. 其它当前 主流模型的准确率低于 Resnet101，其原因可能是有 些模型参数过多，模型结构过于复杂，在训练过程中 产生了过拟合现象，也可能因为有些模型是专为特 · 1144 · 工程科学学报，第 43 卷，第 9 期
姚超等：基于深度学习的宫颈癌异常细胞快速检测方法 1145 定数据集设计，在其他数据集上（如医学图像数据 数量和计算成本最大，模型结构复杂.综合各项评 集)的泛化能力不强.由于区分局部区域是否含细 估指标考虑，从对局部区域是否含有细胞簇的分类 胞簇任务简单，Resnet系列模型相较其它模型结构 任务来看，Resnet系列模型优于其他当前主流模型. 简单，不易产生过拟合.特异性(True negative rate, 3.3目标检测实验 TNR)是衡量模型能否正确识别出不含细胞簇区域 对完整的一张TCT图像经过“滑动交叠裁剪” 能力的指标，而敏感性(True positive rate,.TPR)则是 后获得的11550张2000像素×2000像素的病理细 衡量模型能否正确识别出含细胞簇区域能力的指 胞图像，输入到目标检测模型里进行推理时间对 标，经过分析，绝大多数模型的特异性指标高于敏感 比实验.本文选取了当前主流的目标检测网络 性指标，这是因为含细胞簇图像特征复杂，难以学 模型进行实验，对比了Faster RCNN四、Cascade 习.经过分析，Shufflenetv22的推理耗时最小，其原因 RCNNI391、Libra RCNNI40、Tridentnet、Foveaboxl42、 在于它的模型参数量小，计算成本小，模型结构简 ATSS)、YoloV5的实验结果，实验结果如表3 单，Efficientnet--b7的推理耗时最大，因为其模型参 所示 表3模型推理时间对比实验 Table 3 Comparison experiment for model reasoning time Single stage model Time consumption/s Param/MB Double stage models Time consumption/s Param/MB Faster RCNN 2775 40.1 Resnet50+Faster RCNN 1089 62.61 Cascade RCNN 2877 65.9 Resnet50+Cascade RCNN 1178 88.41 Libra RCNN 3118 41.6 Resnet50+Libra RCNN 1496 64.11 Tridentnet 4469 33.1 Resnet50+Tridentnet 2106 55.61 Foveabox 2437 36.0 Resnet50+Foveabox 1189 58.51 ATSS 3014 31.2 Resnet50+ATSS 1450 53.71 YoloV5 1386 45.7 Resnet50+YoloV5 695 68.21 由表3可知，本文提出的基于异常细胞快速检 由表4可知，表中7个单阶段模型的AP50平 测方法的双阶段模型(Double stage models)与仅用 均值为68.5%，7个双阶段模型的AP50平均值为 目标检测模型的单阶段模型(Single stage model)方 65%,本文提出的基于异常细胞快速检测方法的双 法相比，在一定程度上略微增加了模型参数量，但整 阶段模型与仅用目标检测模型的单阶段模型方法 体上模型平均推理时间减少了54%.这是因为图像 相比，评估指标AP50平均下降了3.5%，分析原因 分类模型的推理时间远小于目标检测模型的推理时 得这是因为异常细胞快速检测方法在第一阶段使 间.，所以先用图像分类模型滤除不含细胞簇的TCT 用图像分类网络时存在少量分类错误的情况，使 图像能够极大节省异常细胞检测模型的推理时间 得目标检测网络没有检测这些图片，出现“漏检” 同时为评估快速检测方法的识别精度性能， 现象.结合表2~4可知，本文提出的异常细胞快 本文针对仅用目标检测模型和本文的快速检测方 速检测方法在损失少量精度，略微增加模型复杂 法在识别精度性能上进行了实验，结果如表4所示 度的情况下，能够将检测模型推理时间减少54%. 表4模型识别精度对比实验 3.4结果分析 Table 4 Comparison experiment for model recognition accuracy 提的基于深度学习的宫颈癌异常细胞快速检 Single stage model AP50/9 Double stage models AP50/% 测方法的在测试集上部分的可视化结果如图4所 Faster RCNN 70.1 Resnet50+Faster RCNN 66.8 示，红色框为本文方法的识别结果，绿色框为真实 Cascade RCNN 69.2 Resnet50+Cascade RCNN 65.7 标注框，其中图4(a)和4(b)是正确识别结果示例， Libra RCNN 68.3 Resnet50+Libra RCNN 67.0 图4(c)和4(d)是错误识别结果示例.图4(c)错误 Tridentnet 65.7 Resnet50+Tridentnet 59.7 识别的原因为存在“过检”现象，即不仅仅将异常 Foveabox 67.3 Resnet50+Foveabox 61.9 细胞识别出，还将一些与异常细胞相似的正常细 ATSS 63.8 Resnet50+ATSS 63.5 胞识别为异常细胞，分析其原因可能是训练过程 YoloV5 75.3 Resnet50+YoloV5 70.1 中出现了过拟合现象.此外，图4(d)中错误识别的
定数据集设计，在其他数据集上（如医学图像数据 集）的泛化能力不强. 由于区分局部区域是否含细 胞簇任务简单，Resnet 系列模型相较其它模型结构 简单，不易产生过拟合. 特异性 (True negative rate, TNR) 是衡量模型能否正确识别出不含细胞簇区域 能力的指标，而敏感性 (True positive rate, TPR) 则是 衡量模型能否正确识别出含细胞簇区域能力的指 标，经过分析，绝大多数模型的特异性指标高于敏感 性指标，这是因为含细胞簇图像特征复杂，难以学 习. 经过分析，Shufflenetv2 的推理耗时最小，其原因 在于它的模型参数量小，计算成本小，模型结构简 单，Efficientnet-b7 的推理耗时最大，因为其模型参 数量和计算成本最大，模型结构复杂. 综合各项评 估指标考虑，从对局部区域是否含有细胞簇的分类 任务来看，Resnet 系列模型优于其他当前主流模型. 3.3 目标检测实验 对完整的一张 TCT 图像经过“滑动交叠裁剪” 后获得的 11550 张 2000 像素×2000 像素的病理细 胞图像，输入到目标检测模型里进行推理时间对 比实验. 本文选取了当前主流的目标检测网络 模型进行实验 ，对比 了 Faster RCNN[22]、 Cascade RCNN[39]、Libra RCNN[40]、Tridentnet[41]、Foveabox[42]、 ATSS[43]、YoloV5[44] 的实验结果，实验结果如表 3 所示. 表 3 模型推理时间对比实验 Table 3 Comparison experiment for model reasoning time Single stage model Time consumption/s Param/MB Double stage models Time consumption/s Param/MB Faster RCNN 2775 40.1 Resnet50+Faster RCNN 1089 62.61 Cascade RCNN 2877 65.9 Resnet50+Cascade RCNN 1178 88.41 Libra RCNN 3118 41.6 Resnet50+Libra RCNN 1496 64.11 Tridentnet 4469 33.1 Resnet50+Tridentnet 2106 55.61 Foveabox 2437 36.0 Resnet50+Foveabox 1189 58.51 ATSS 3014 31.2 Resnet50+ATSS 1450 53.71 YoloV5 1386 45.7 Resnet50+YoloV5 695 68.21 由表 3 可知，本文提出的基于异常细胞快速检 测方法的双阶段模型（Double stage models）与仅用 目标检测模型的单阶段模型（Single stage model）方 法相比，在一定程度上略微增加了模型参数量，但整 体上模型平均推理时间减少了 54%. 这是因为图像 分类模型的推理时间远小于目标检测模型的推理时 间，所以先用图像分类模型滤除不含细胞簇的 TCT 图像能够极大节省异常细胞检测模型的推理时间. 同时为评估快速检测方法的识别精度性能， 本文针对仅用目标检测模型和本文的快速检测方 法在识别精度性能上进行了实验，结果如表 4 所示. 表 4 模型识别精度对比实验 Table 4 Comparison experiment for model recognition accuracy Single stage model AP50/% Double stage models AP50/% Faster RCNN 70.1 Resnet50+Faster RCNN 66.8 Cascade RCNN 69.2 Resnet50+Cascade RCNN 65.7 Libra RCNN 68.3 Resnet50+Libra RCNN 67.0 Tridentnet 65.7 Resnet50+Tridentnet 59.7 Foveabox 67.3 Resnet50+Foveabox 61.9 ATSS 63.8 Resnet50+ATSS 63.5 YoloV5 75.3 Resnet50+YoloV5 70.1 由表 4 可知，表中 7 个单阶段模型的 AP50 平 均值为 68.5%，7 个双阶段模型的 AP50 平均值为 65%，本文提出的基于异常细胞快速检测方法的双 阶段模型与仅用目标检测模型的单阶段模型方法 相比，评估指标 AP50 平均下降了 3.5%，分析原因 得这是因为异常细胞快速检测方法在第一阶段使 用图像分类网络时存在少量分类错误的情况，使 得目标检测网络没有检测这些图片，出现“漏检” 现象. 结合表 2～4 可知，本文提出的异常细胞快 速检测方法在损失少量精度，略微增加模型复杂 度的情况下，能够将检测模型推理时间减少 54%. 3.4 结果分析 提的基于深度学习的宫颈癌异常细胞快速检 测方法的在测试集上部分的可视化结果如图 4 所 示，红色框为本文方法的识别结果，绿色框为真实 标注框，其中图 4（a）和 4（b）是正确识别结果示例， 图 4（c）和 4（d）是错误识别结果示例. 图 4（c）错误 识别的原因为存在“过检”现象，即不仅仅将异常 细胞识别出，还将一些与异常细胞相似的正常细 胞识别为异常细胞，分析其原因可能是训练过程 中出现了过拟合现象. 此外，图 4（d）中错误识别的 姚 超等： 基于深度学习的宫颈癌异常细胞快速检测方法 · 1145 ·
1146 工程科学学报，第43卷，第9期 原因为存在“漏检”现象，这是因为该图像中存在 致谢 大部分不含细胞簇区域，导致在图像分类阶段将 本文的计算工作得到了北京材料基因工程高 其误分为背景图像，从而将其滤除，却没有输入到 精尖创新中心材料计算平台的支持 目标检测模型中 参考文献 (a) (b) [1]Ma D,Xi L.Special discussion on cervical cancer:Research Progress in epidemiology and etiology of cervical cancer.Pract Obster Gynecol,2001,17(2):61 (马丁，冕玲.宫颈癌专题讨论一宫颈癌流行病学及病因学研 究进展.实用妇产科杂志，2001,17(2)：61) [2]Li C C.Zhu L.The cause of cervical cancer and the status of cervical cancer vaccine.J Mod Oncol,2018,26(20):3333 (李聪聪，朱莉.宫颈癌的病因及宫颈癌疫苗现状.现代肿瘤医 (c) (d) 学，2018,26(20)：3333) [3]Wu S C.Significance of gynecological census in prevention of cervical cancer.Guide China Med,2011,9(27):91 (吴三春.妇科普查对预防宫颈癌的意义.中国医药指南，2011， 9(27):91) [4]Zhang W H,Li N,Wu L Y.Attention should be paid on the trend of carcinoma of the cervix in young women.Zhejiang Cancer, 2000,6(2):112 图4数据集中部分细胞簇的识别示例.(a,b)正确识别结果；(c)“过 (章文华，李楠，吴令英.重视宫颈癌患者年轻化的趋势.浙江肿 检”识别结果：(d)“漏检”识别结果 Fig.4 Examples of the identification of some cell clusters in datasets: 瘤，2000,6(2)：112) (a,b)correct recognition results,(c)recognition results of "over [5]Lin Y X.Clinical Pathological Features and Prognosis Analysis inspection";(d)recognition results of"over inspection" of Cervical Cancer [Dissertation].Nanning:Guangxi Medical University,2013 4结论与展望 (林泳秀.宫颈癌的临床病理特点与预后分析学位论文]，南宁： 广西医科大学，2013) 本文提出了基于深度学习的宫颈癌异常细胞 [6] Wang L,Zhao WX.Zhao X L.et al.A comparative study of two 快速检测方法，采用Resnet5:0模型作为图像分类 methods of smear-making:Membrane-based and sedimentation in 网络，YoloV5模型作为目标检测网络.首先用 liquid-based cervical cytology.Med Pharm J Chin People's Resnet:50模型对含细胞簇TCT图像子集和不含细 Liberation Army,2011,23(4):6 胞簇TCT图像子集进行二分类，滤除背景图像，再 (王力，赵稳兴，赵玺龙，等.膜式和沉降式宫颈液基细胞学制片 将含细胞簇TCT图像子集输入到YoloV5模型中 方法的比较研究.解放军医药杂志，2011,23(4)：6) 完成对异常细胞的识别.实验结果表明，本文提出 [7]Zhao C Q,Zhou X R,Sui L,et al.Cervical Cancer Screening and 的基于深度学习的宫颈癌异常细胞快速检测方法 Clinical Management (Cytology,Histology,Colposcopy).Beijing: 能够将推理时间减少50%，提高了异常细胞检测 Beijing Science and Technology Press,2017 效率.但同时本文提出的方法也有一定的缺点，即 (赵澄泉，周先荣，隋龙，等.宫颈癌筛查及临床处理（细胞学、组 织学和阴道镜学).北京：北京科学技术出版社，2017) 增加了模型参数量以及略微损失模型精度.本文 所提的方法对于宫颈癌细胞辅助筛查领域有实际 [8]Wei LH.Standardized Training Materials for Colposcopy and Cervical Cytopathology.Beijing:People's Medical Publishing 的应用意义，能促进宫颈癌细胞辅助筛查技术的 House,2020 应用推广. (魏丽惠.阴道镜及宫颈细胞病理学规范化培训教材.北京：人 在未来的研究中，我们将研发更高效的数据 民卫生出版社，2020) 增广方法模型进一步提高模型的识别性能，并 [9] Wang YY,Wang Y,Qiao Y L,et al.The future of cervical cancer 采用蒸馏学习方法降低异常细胞检测过程的计 screening in China-Abandonment or conservation of cytological 算量. primary screening.Chin J Pract Gynecol Obstet,2017,33(3):324
原因为存在“漏检”现象，这是因为该图像中存在 大部分不含细胞簇区域，导致在图像分类阶段将 其误分为背景图像，从而将其滤除，却没有输入到 目标检测模型中. (a) (c) (b) (d) 图 4 数据集中部分细胞簇的识别示例. （a,b）正确识别结果；（c）“过 检”识别结果；（d）“漏检”识别结果 Fig.4 Examples of the identification of some cell clusters in datasets: (a,b) correct recognition results; (c) recognition results of "over inspection"; (d) recognition results of "over inspection" 4 结论与展望 本文提出了基于深度学习的宫颈癌异常细胞 快速检测方法，采用 Resnet50 模型作为图像分类 网络 ， YoloV5 模型作为目标检测网络. 首先用 Resnet50 模型对含细胞簇 TCT 图像子集和不含细 胞簇 TCT 图像子集进行二分类，滤除背景图像，再 将含细胞簇 TCT 图像子集输入到 YoloV5 模型中 完成对异常细胞的识别. 实验结果表明，本文提出 的基于深度学习的宫颈癌异常细胞快速检测方法 能够将推理时间减少 50%，提高了异常细胞检测 效率. 但同时本文提出的方法也有一定的缺点，即 增加了模型参数量以及略微损失模型精度. 本文 所提的方法对于宫颈癌细胞辅助筛查领域有实际 的应用意义，能促进宫颈癌细胞辅助筛查技术的 应用推广. 在未来的研究中，我们将研发更高效的数据 增广方法模型进一步提高模型的识别性能，并 采用蒸馏学习方法降低异常细胞检测过程的计 算量. 致谢 本文的计算工作得到了北京材料基因工程高 精尖创新中心材料计算平台的支持. 参 考 文 献 Ma D, Xi L. Special discussion on cervical cancer: Research Progress in epidemiology and etiology of cervical cancer. J Pract Obstet Gynecol, 2001, 17（2）: 61 （马丁, 奚玲. 宫颈癌专题讨论——宫颈癌流行病学及病因学研 究进展. 实用妇产科杂志, 2001, 17（2）：61） [1] Li C C, Zhu L. The cause of cervical cancer and the status of cervical cancer vaccine. J Mod Oncol, 2018, 26（20）: 3333 （李聪聪, 朱莉. 宫颈癌的病因及宫颈癌疫苗现状. 现代肿瘤医 学, 2018, 26（20）：3333） [2] Wu S C. Significance of gynecological census in prevention of cervical cancer. Guide China Med, 2011, 9（27）: 91 （吴三春. 妇科普查对预防宫颈癌的意义. 中国医药指南, 2011, 9（27）：91） [3] Zhang W H, Li N, Wu L Y. Attention should be paid on the trend of carcinoma of the cervix in young women. Zhejiang Cancer J, 2000, 6（2）: 112 （章文华, 李楠, 吴令英. 重视宫颈癌患者年轻化的趋势. 浙江肿 瘤, 2000, 6（2）：112） [4] Lin Y X. Clinical Pathological Features and Prognosis Analysis of Cervical Cancer [Dissertation]. Nanning: Guangxi Medical University, 2013 （ 林泳秀. 宫颈癌的临床病理特点与预后分析[学位论文]. 南宁: 广西医科大学, 2013） [5] Wang L, Zhao W X, Zhao X L, et al. A comparative study of two methods of smear-making: Membrane-based and sedimentation in liquid-based cervical cytology. Med Pharm J Chin People’ s Liberation Army, 2011, 23（4）: 6 （王力, 赵稳兴, 赵玺龙, 等. 膜式和沉降式宫颈液基细胞学制片 方法的比较研究. 解放军医药杂志, 2011, 23（4）：6） [6] Zhao C Q, Zhou X R, Sui L, et al. Cervical Cancer Screening and Clinical Management (Cytology, Histology, Colposcopy). Beijing: Beijing Science and Technology Press, 2017 （ 赵澄泉, 周先荣, 隋龙, 等. 宫颈癌筛查及临床处理(细胞学、组 织学和阴道镜学). 北京: 北京科学技术出版社, 2017） [7] Wei L H. Standardized Training Materials for Colposcopy and Cervical Cytopathology. Beijing: People ’s Medical Publishing House, 2020 （ 魏丽惠. 阴道镜及宫颈细胞病理学规范化培训教材. 北京: 人 民卫生出版社, 2020） [8] Wang Y Y, Wang Y, Qiao Y L, et al. The future of cervical cancer screening in China ‒Abandonment or conservation of cytological primary screening. Chin J Pract Gynecol Obstet, 2017, 33（3）: 324 [9] · 1146 · 工程科学学报，第 43 卷，第 9 期
姚超等：基于深度学习的宫颈癌异常细胞快速检测方法 1147 (王轶英，王悦，乔友林，等.中国宫颈癌筛查未来之路一细胞 Science press,2019 学初筛的弃或守.中国实用妇科与产科杂志，2017,33(3)：324) (陈小槐.子宫须细胞学Bethesda报告系统（中文翻译版，原书第 [10]LeCun Y,Bengio Y,Hinton G.Deep learning.Nature,2015, 3版).北京：科学出版社，2019) 521(7553):436 [24]He Y E,Wang Y F,Lang J H,et al.The evaluation of computer [11]Szeliski R.Computer Vision.London:Springer London Press, cytological test with colposcopy for the diagnosis of cervical 2011 lesions.Chin .Obstet Gynecol,1998,33(5):265 [12]Zhang Y Z.Image Engineering.4th Ed.Beijing:Tsinghua (贺又娥，王友芳，郎景和，等，计算机辅助细胞检测系统配合阴 University Press,2018 道镜检查对子宫颈病变的诊断价值.中华妇产科杂志，1998， (章毓晋.图像工程.4版.北京：清华大学出版社，2018) 33(5):265) [13]Shi Y H.Study of Machine Learning Techniques and Applications [25]Stoler M H.Advances in cervical screening technology.Mod in Med-Ical Image Analysis [Dissertation].Nanjing:Nanjing Pathol,.2000,13(3):275 University,2013 [26]Zhou L P.Cervical Smears Automatic Auxciliary System Related to (史颖欢.医学图像处理中的机器学习方法及其应用研究学位 Image Interpretation Techniques [Dissertation].Qingdao:Ocean 论文].南京：南京大学，2013) University of China,2009 [14]Rumelhart D E,Hinton G E,Williams R J.Learning (周立平.宫颈涂片自动辅助判读系统中相关图像技术的研究 representations by back-propagating errors.Natre,1986, [学位论文].青岛：中国海洋大学，2009) 323(6088):533 [27]Zheng K,Zhang S,Tang J Q.Application of Thinprep computer- [15]He K M,Zhang X Y,Ren S Q,et al.Deep residual learning for assisted imaging system in cervical cytology.Chin/Diagn Pathol, image recognition /2016 IEEE Conference on Computer Vision 2015,22(6:364 and Pattern Recognition (CVPR).Las Vegas,2016:770 (郑珂，张声，唐坚清.计算机辅助阅片系统在宫颈细胞学筛查 [16]Cai W B.Study on Detection Techniques of Pathological Images 中的应用.诊断病理学杂志，2015,22(6)：364) of Cancer Cells [Dissertation].Taiyuan:North University of [28]Lin T Y,Maire M,Belongie S,et al.Microsoft COCO:common China,2018 objects in context /Computer Vision-ECCV 2014.Zurich,2014: (蔡武斌.癌细胞病理图像的检测技术研究学位论文]太原：中 740 北大学，2018) [29]Paszke A,Gross S,Massa F,et al.Pytorch:An imperative style, [17]Kermany D S,Goldbaum M,Cai W J,et al.Identifying medical high-performance deep learning library[J/OL].arXiv preprint diagnoses and treatable diseases by image-based deep leaming. (2019-12-3)[2021-6-241.https://arxiv.org/abs/1912.01703 Cell,2018,172(5):1122 [30]Mao X Y,Leng X F.Introduction to Opencv3 programming [18]Cong M,Wu T,Liu D,et al.Prostate MR/TRUS image Beijing:Electronics industry publishing house,2015 segmentation and registration methods based on supervised (毛星云，冷雪飞.Opencv.3编程入门.北京：电子工业出版社， learning.Chin J Eng,2020,42(10):1362 2015) (丛明，吴童，刘冬，等.基于监督学习的前列腺MR/TRUS图像分 [31]Huang G,Liu Z.Pleiss G,et al.Convolutional networks with 割和配准方法.工程科学学报，2020,42(10)：1362) dense connectivity.IEEE Trans Pattern Anal Mach Intell,2019. [19]Zhang L,Le L,Nogues I,et al.DeepPap:deep convolutional doi:10.1109/TPAM.2019.2918284 networks for cervical cell classification.IEEE J Biomed Heal [32]Hu J,Shen L,Sun G.Squeeze-and-excitation networks /2018 nform,2017,21(6):1633 IEEE/CVF Conference on Computer Vision and Pattern [20]Wu M,Yan C B,Liu H Q,et al.Automatic classification of Recognition.Salt Lake City,2018:7132 cervical cancer from cytological images by using convolutional [33]Tan M,Le Q.Efficientnet:Rethinking model scaling for neural network.Biosci Rep,2018,38(6):BSR20181769 convolutional neural networks /International Conference on [21]Jia D Y,LiZ Y.Zhang C W.Detection of cervical cancer cells Machine Learning.Long Beach,2019:6105 based on strong feature CNN-SVM network.Neurocomputing, [34]Xie S N,Girshick R,Dollar P,et al.Aggregated residual 2020,411:112 transformations for deep neural networks //2017 IEEE Conference [22]Ren S Q,He K M,Girshick R,et al.Faster R-CNN:Towards real- on Computer Vision and Pattern Recognition(CVPR).Honolulu, time object detection with region proposal networks./EEE Trans 2017:5987 Pattern Anal Mach Intell,2017,39(6):1137 [35]Zoph B,Vasudevan V,Shlens J,et al.Learning transferable [23]Chen X H.The Bethesda System for Reporting Cervical Cytology architectures for scalable image recognition /2018 IEEE/CVF (Definitions.Criteria,and Explanatory Notes).3rd Ed.Beijing: Conference on Computer Vision and Pattern Recognition.Salt
（王轶英, 王悦, 乔友林, 等. 中国宫颈癌筛查未来之路——细胞 学初筛的弃或守. 中国实用妇科与产科杂志, 2017, 33（3）：324） LeCun Y, Bengio Y, Hinton G. Deep learning. Nature, 2015, 521（7553）: 436 [10] Szeliski R. Computer Vision. London: Springer London Press, 2011 [11] Zhang Y Z. Image Engineering. 4th Ed. Beijing: Tsinghua University Press, 2018 （ 章毓晋. 图像工程. 4版. 北京: 清华大学出版社, 2018） [12] Shi Y H. Study of Machine Learning Techniques and Applications in Med-Ical Image Analysis [Dissertation]. Nanjing: Nanjing University, 2013 （ 史颖欢. 医学图像处理中的机器学习方法及其应用研究[学位 论文]. 南京: 南京大学, 2013） [13] Rumelhart D E, Hinton G E, Williams R J. Learning representations by back-propagating errors. Nature, 1986, 323（6088）: 533 [14] He K M, Zhang X Y, Ren S Q, et al. Deep residual learning for image recognition // 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, 2016: 770 [15] Cai W B. Study on Detection Techniques of Pathological Images of Cancer Cells [Dissertation]. Taiyuan: North University of China, 2018 （ 蔡武斌. 癌细胞病理图像的检测技术研究[学位论文]. 太原: 中 北大学, 2018） [16] Kermany D S, Goldbaum M, Cai W J, et al. Identifying medical diagnoses and treatable diseases by image-based deep learning. Cell, 2018, 172（5）: 1122 [17] Cong M, Wu T, Liu D, et al. Prostate MR/TRUS image segmentation and registration methods based on supervised learning. Chin J Eng, 2020, 42（10）: 1362 （丛明, 吴童, 刘冬, 等. 基于监督学习的前列腺MR/TRUS图像分 割和配准方法. 工程科学学报, 2020, 42（10）：1362） [18] Zhang L, Le L, Nogues I, et al. DeepPap: deep convolutional networks for cervical cell classification. IEEE J Biomed Heal Inform, 2017, 21（6）: 1633 [19] Wu M, Yan C B, Liu H Q, et al. Automatic classification of cervical cancer from cytological images by using convolutional neural network. Biosci Rep, 2018, 38（6）: BSR20181769 [20] Jia D Y, Li Z Y, Zhang C W. Detection of cervical cancer cells based on strong feature CNN-SVM network. Neurocomputing, 2020, 411: 112 [21] Ren S Q, He K M, Girshick R, et al. Faster R-CNN: Towards realtime object detection with region proposal networks. IEEE Trans Pattern Anal Mach Intell, 2017, 39（6）: 1137 [22] Chen X H. The Bethesda System for Reporting Cervical Cytology (Definitions, Criteria, and Explanatory Notes). 3rd Ed. Beijing: [23] Science press, 2019 （ 陈小槐. 子宫颈细胞学Bethesda报告系统(中文翻译版, 原书第 3版). 北京: 科学出版社, 2019） He Y E, Wang Y F, Lang J H, et al. The evaluation of computer cytological test with colposcopy for the diagnosis of cervical lesions. Chin J Obstet Gynecol, 1998, 33（5）: 265 （贺又娥, 王友芳, 郎景和, 等. 计算机辅助细胞检测系统配合阴 道镜检查对子宫颈病变的诊断价值. 中华妇产科杂志, 1998, 33（5）：265） [24] Stoler M H. Advances in cervical screening technology. Mod Pathol, 2000, 13（3）: 275 [25] Zhou L P. Cervical Smears Automatic Auxiliary System Related to Image Interpretation Techniques [Dissertation]. Qingdao: Ocean University of China, 2009 （ 周立平. 宫颈涂片自动辅助判读系统中相关图像技术的研究 [学位论文]. 青岛: 中国海洋大学, 2009） [26] Zheng K, Zhang S, Tang J Q. Application of Thinprep computerassisted imaging system in cervical cytology. Chin J Diagn Pathol, 2015, 22（6）: 364 （郑珂, 张声, 唐坚清. 计算机辅助阅片系统在宫颈细胞学筛查 中的应用. 诊断病理学杂志, 2015, 22（6）：364） [27] Lin T Y, Maire M, Belongie S, et al. Microsoft COCO: common objects in context // Computer Vision – ECCV 2014. Zurich, 2014: 740 [28] Paszke A, Gross S, Massa F, et al. Pytorch: An imperative style, high-performance deep learning library[J/OL]. arXiv preprint (2019-12-3) [2021-6-24]. https://arxiv.org/abs/1912.01703 [29] Mao X Y, Leng X F. Introduction to Opencv3 programming. Beijing: Electronics industry publishing house, 2015 （ 毛星云, 冷雪飞. Opencv3编程入门. 北京: 电子工业出版社, 2015） [30] Huang G, Liu Z, Pleiss G, et al. Convolutional networks with dense connectivity. IEEE Trans Pattern Anal Mach Intell, 2019, doi: 10.1109/TPAMI.2019.2918284 [31] Hu J, Shen L, Sun G. Squeeze-and-excitation networks // 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, 2018: 7132 [32] Tan M, Le Q. Efficientnet: Rethinking model scaling for convolutional neural networks // International Conference on Machine Learning. Long Beach, 2019: 6105 [33] Xie S N, Girshick R, Dollár P, et al. Aggregated residual transformations for deep neural networks // 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Honolulu, 2017: 5987 [34] Zoph B, Vasudevan V, Shlens J, et al. Learning transferable architectures for scalable image recognition // 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt [35] 姚 超等： 基于深度学习的宫颈癌异常细胞快速检测方法 · 1147 ·
1148 工程科学学报，第43卷，第9期 Lake City,2018:8697 [40]Pang J M,Chen K,Shi J P,et al.Libra R-CNN:Towards balanced [36]Ma NN,Zhang X Y,Zheng H T,et al.ShuffleNet V2:practical leaming for object detection /2019 IEEE/CVF Conference on guidelines for efficient CNN architecture design /Computer Computer Vision and Pattern Recognition(CVPR).Long Beach, Vision-ECCV 2018.Munich,2018:122 2019:821 [37]Szegedy C,loffe S,Vanhoucke V,et al.Inception-v4,inception- [41]Li Y H,Chen Y T,Wang N Y,et al.Scale-aware trident networks ResNet and the impact of residual connections on learning / for object detection /2019 IEEE/CVF International Conference Proceedings of the AAAI Conference on Artificial Intelligence.San on Computer Vision (ICCV).Seoul,2019:6053 Francisco,2017(31片1 [42]KongT,Sun FC,Liu H P,et al.FoveaBox:beyound anchor-based [38]Chollet F.Xception:deep learning with depthwise separable object detection.IEEE Trans Image Process,2020,29:7389 convolutions II 2017 IEEE Conference on Computer Vision and [43]Zhang S F,Chi C,Yao Y Q,et al.Bridging the gap between Pattern Recognition (CVPR).Honolulu,2017:1800 anchor-based and anchor-free detection via adaptive training [39]Cai Z W,Vasconcelos N.Cascade R-CNN:Delving into high sample selection I 2020 IEEE/CVF Conference on Computer quality object detection 2018 IEEE/CVF Conference on Vision and Pattern Recognition(CVPR).Seattle,2020:9756 Computer Vision and Pattern Recognition.Salt Lake City,2018: [44]Ultralytics.YoloV5[EB/OL].Github(2020-10-12)[2021-06-24]. 6154 https://github.com/ultralytics/YoloV5
Lake City, 2018: 8697 Ma N N, Zhang X Y, Zheng H T, et al. ShuffleNet V2: practical guidelines for efficient CNN architecture design // Computer Vision – ECCV 2018. Munich, 2018: 122 [36] Szegedy C, Ioffe S, Vanhoucke V, et al. Inception-v4, inceptionResNet and the impact of residual connections on learning // Proceedings of the AAAI Conference on Artificial Intelligence. San Francisco, 2017(31): 1 [37] Chollet F. Xception: deep learning with depthwise separable convolutions // 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Honolulu, 2017: 1800 [38] Cai Z W, Vasconcelos N. Cascade R-CNN: Delving into high quality object detection // 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, 2018: 6154 [39] Pang J M, Chen K, Shi J P, et al. Libra R-CNN: Towards balanced learning for object detection // 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Long Beach, 2019: 821 [40] Li Y H, Chen Y T, Wang N Y, et al. Scale-aware trident networks for object detection // 2019 IEEE/CVF International Conference on Computer Vision (ICCV). Seoul, 2019: 6053 [41] Kong T, Sun F C, Liu H P, et al. FoveaBox: beyound anchor-based object detection. IEEE Trans Image Process, 2020, 29: 7389 [42] Zhang S F, Chi C, Yao Y Q, et al. Bridging the gap between anchor-based and anchor-free detection via adaptive training sample selection // 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Seattle, 2020: 9756 [43] Ultralytics. YoloV5[EB/OL]. Github(2020-10-12)[2021-06-24]. https://github.com/ultralytics/YoloV5 [44] · 1148 · 工程科学学报，第 43 卷，第 9 期
