自然场景文本检测技术研究综述

文本检测在自动驾驶和跨模态图像检索中具有极为广泛的应用。该技术也是基于光学字符的文本识别任务中重要的前置环节。目前，复杂场景下的文本检测仍极具挑战性。本文对自然场景文本检测进行综述，回顾了针对该问题的主要技术和相关研究进展，并对研究现状进行分析。首先对问题进行概述，分析了自然场景中文本检测的主要特点；接着，介绍了经典的基于连通域分析、基于滑动检测窗的自然场景文本检测技术；在此基础上，综述了近年来较为常用的深度学习文本检测技术；最后，对自然场景文本检测未来可能的研究方向进行展望。

团购合买资源类别：文库，文档格式：PDF，文档页数：17，文件大小：969.22KB

工程科学学报.第42卷，第11期：1433-1448.2020年11月 Chinese Journal of Engineering,Vol.42,No.11:1433-1448,November 2020 https://doi.org/10.13374/j.issn2095-9389.2020.03.24.002;http://cje.ustb.edu.cn 自然场景文本检测技术研究综述白志程2)，李擎1,2)区，陈鹏》，郭立晴) 1)北京科技大学自动化学院，北京1000832)工业过程知识自动化教育部重点实验室，北京1000833)中国邮政储蓄银行金融科技创新部.北京100808 ☒通信作者，E-mail:liging@ies.ustb.edu.cn 摘要文本检测在自动驾驶和跨模态图像检索中具有极为广泛的应用.该技术也是基于光学字符的文本识别任务中重要的前置环节.目前，复杂场景下的文本检测仍极具挑战性.本文对自然场景文本检测进行综述，回顾了针对该问题的主要技术和相关研究进展，并对研究现状进行分析.首先对问题进行概述，分析了自然场景中文本检测的主要特点：接着，介绍了经典的基于连通域分析、基于滑动检测窗的自然场景文本检测技术：在此基础上，综述了近年来较为常用的深度学习文本检测技术：最后，对自然场景文本检测未来可能的研究方向进行展望. 关键词文本检测：场景文本；连通域分析：图像处理：统计学习：深度学习分类号TP18 Text detection in natural scenes:a literature review BAI Zhi-cheng2),LI Qing CHEN Peng,GUO Li-qing 1)School of Automation and Electrical Engineering,University of Science and Technology Beijing,Beijing 100083,China 2)Key Laboratory of Knowledge Automation for Industrial Processes,Ministry of Education,Beijing 100083,China 3)FINTECH Innovation Division,Postal Savings Bank of China,Beijing 100808,China Corresponding author,E-mail:liqing @ies.ustb.edu.cn ABSTRACT Text detection is widely applied in the automatic driving and cross-modal image retrieval fields.This technique is also an important pre-procedure in optical character-based text recognition tasks.At present,text detection in complex natural scenes remains a challenging topic.Because text distribution and orientation are varied in different scenes and domains,there is still room for improvement in existing computer vision-based text detection methods.To complicate matters,natural scene texts,such as those in guideposts and shop signs,always contain words in different languages.Even characters are missing from some natural scene texts. These circumstances present more difficulties for feature extraction and feature description,thereby weakening the detectability of existing computer vision and image processing methods.In this context,text detection applications in natural scenes were summarized in this paper,the classical and newly presented techniques were reviewed,and the research progress and status were analyzed.First,the definitions of natural scene text detection and associated concepts were provided based on an analysis of the main characteristics of this problem.In addition,the classic natural scene text detection technologies,such as connected component analysis-based methods and sliding detection window-based methods,were introduced comprehensively.These methods were also compared and discussed. Furthermore,common deep learning models for scene text detection of the past decade were also reviewed.We divided these models into two main categories:region proposal-based models and segmentation-based models.Accordingly,the typical detection and semantic segmentation frameworks,including Faster R-CNN,SSD,Mask R-CNN,FCN,and FCIS,were integrated in the deep learning methods reviewed in this section.Moreover,hybrid algorithms that use region proposal ideas and segmentation strategies were also analyzed.As 收稿日期：2020-03-24 基金项目：国家自然科学基金资助项目(11296089)

自然场景文本检测技术研究综述白志程1,2)，李擎1,2) 苣，陈鹏3)，郭立晴1) 1) 北京科技大学自动化学院，北京 100083 2) 工业过程知识自动化教育部重点实验室，北京 100083 3) 中国邮政储蓄银行金融科技创新部，北京 100808 苣通信作者，E-mail：liqing@ies.ustb.edu.cn 摘要文本检测在自动驾驶和跨模态图像检索中具有极为广泛的应用. 该技术也是基于光学字符的文本识别任务中重要的前置环节. 目前，复杂场景下的文本检测仍极具挑战性. 本文对自然场景文本检测进行综述，回顾了针对该问题的主要技术和相关研究进展，并对研究现状进行分析. 首先对问题进行概述，分析了自然场景中文本检测的主要特点；接着，介绍了经典的基于连通域分析、基于滑动检测窗的自然场景文本检测技术；在此基础上，综述了近年来较为常用的深度学习文本检测技术；最后，对自然场景文本检测未来可能的研究方向进行展望. 关键词文本检测；场景文本；连通域分析；图像处理；统计学习；深度学习分类号 TP18 Text detection in natural scenes: a literature review BAI Zhi-cheng1,2) ，LI Qing1,2) 苣，CHEN Peng3) ，GUO Li-qing1) 1) School of Automation and Electrical Engineering, University of Science and Technology Beijing, Beijing 100083, China 2) Key Laboratory of Knowledge Automation for Industrial Processes, Ministry of Education, Beijing 100083, China 3) FINTECH Innovation Division, Postal Savings Bank of China, Beijing 100808, China 苣 Corresponding author, E-mail: liqing@ies.ustb.edu.cn ABSTRACT Text detection is widely applied in the automatic driving and cross-modal image retrieval fields. This technique is also an important pre-procedure in optical character-based text recognition tasks. At present, text detection in complex natural scenes remains a challenging topic. Because text distribution and orientation are varied in different scenes and domains, there is still room for improvement in existing computer vision-based text detection methods. To complicate matters, natural scene texts, such as those in guideposts and shop signs, always contain words in different languages. Even characters are missing from some natural scene texts. These circumstances present more difficulties for feature extraction and feature description, thereby weakening the detectability of existing computer vision and image processing methods. In this context, text detection applications in natural scenes were summarized in this paper, the classical and newly presented techniques were reviewed, and the research progress and status were analyzed. First, the definitions of natural scene text detection and associated concepts were provided based on an analysis of the main characteristics of this problem. In addition, the classic natural scene text detection technologies, such as connected component analysis-based methods and sliding detection window-based methods, were introduced comprehensively. These methods were also compared and discussed. Furthermore, common deep learning models for scene text detection of the past decade were also reviewed. We divided these models into two main categories: region proposal-based models and segmentation-based models. Accordingly, the typical detection and semantic segmentation frameworks, including Faster R-CNN, SSD, Mask R-CNN, FCN, and FCIS, were integrated in the deep learning methods reviewed in this section. Moreover, hybrid algorithms that use region proposal ideas and segmentation strategies were also analyzed. As 收稿日期: 2020−03−24 基金项目: 国家自然科学基金资助项目（11296089）工程科学学报，第 42 卷，第 11 期：1433−1448，2020 年 11 月 Chinese Journal of Engineering, Vol. 42, No. 11: 1433−1448, November 2020 https://doi.org/10.13374/j.issn2095-9389.2020.03.24.002; http://cje.ustb.edu.cn

1434 工程科学学报，第42卷，第11期 a supplement,several end-to-end text recognition strategies that can automatically identify characters in natural scenes were elucidated. Finally,possible research directions and prospects in this field were analyzed and discussed. KEY WORDS text detection;scene text;connected domain analysis;image processing;statistical learning;deep learning 文字是承载语言、记录思想、传递文明的图像本、图片文档覆盖文本.文档图像一般为二值化或符号.当今社会，我们的生活场景中充满了各种图像，如文字、资料的照片和PDF文件，其黑色为各样的文本信息.具有特定而且明确语义的文本前景文字，背景为白色，便于文字的检测识别.图是对自然场景极为重要的概括、说明和表达.自片文档覆盖文本则以视频字幕、图片中经人工植然场景文本检测是实现智能场景感知的关键技入的说明性文本为主要形式.文档图像文本、图术，具有重要研究意义.但由于自然场景中的文本片覆盖文本的布局相对固定，文本区域分割相对存在背景复杂多样、文本字体不统一、大小不一容易.而自然场景中的文本出现形式多变，位置、致、方向不确定等问题，目前对该任务的处理还未对齐方式不统一.自然场景图片大多为彩色，文字达到理想的效果.本文首先简述了文本检测问题，区域往往产生强烈的亮度变化，使得单从像素上分析了自然场景文本检测的研究进展和现状.接区分文字和背景变得困难.而同一文本块内，文字着，从经典文本检测方法与深度学习文本检测方的字体和字号、高度和宽度以及粗细往往保持一法两个方面，分析并比较了各类自然场景文本检致，同一文字块当中往往具有相同的颜色，这给单测技术的优缺点.最后，展望了自然场景文本检测词、单字等字符单元的切分带来新的困难山图1 未来可能的研究方向为自然场景中文本的示例图片 1问题概述：自然场景中的文本检测 IOHN LITTLE 11问题定义与基本概念文本检测(Text detection)可被视为计算机视觉目标检测(Object detection)任务的一种特殊形式.该任务的输入为包含文本的图片，输出为以边界框为主要形式的预测信息.一般目标检测任务的输出为图片中动物、家具、汽车等对象的位置图1自然场景示例图片 Fig.I Sample images of nature scenes 和区域，而文本检测则主要关注图片中文本的精准定位.相较于一般的目标检测，自然场景中的文一般来说，自然场景的文本识别由于环境更字具有多方向、不规则形状、极端长宽比和字体、加复杂多样，其识别难度相对困难，通常通过文本颜色、背景多样等特点，因此，在一般目标检测上检测和文本识别两个步骤来完成.文本检测作为较为成功的算法往往无法直接迁移到文字检 OC℉的重要技术手段之一，也是文本识别的前提. 测中在文本检测任务中，文本行(Text lines)检测是与文本检测相关联的概念是文本识别，如光一个重要的环节.文本行是由字符、部分字符或学字符识别(Optical character recognition.,OCR).该多字符组成的条状、不规则形状的区域.文本检任务的输人为包含文本光学字符信号的图片或视测在获取文本行后针对字符进行进一步切分频，输出为对应的文字信息.目前，OC℉技术可有 1.2研究进展与现状分析效、准确地对PDF、图片文档等形式的资料进行文本检测与识别工作最初用于对文档图像进识别和分析，获取文字.然而，对于自然场景中的行分析.由于文档图像的背景简单、文字排列整路标、车牌号、建筑标识等对象，现有OC℉技术仍齐，其检测识别难度较小.经过几十年的发展，基有较大的进步空间.可大致将OCR分为识别特定于文档图像的检测识别技术已经趋于成熟.近年场景的专用OCR和识别多种场景的通用OCR.比来，高像素智能手机等设备的出现使越来越多的如车牌识别是对特定场景的OCR,而对自然场景人们开始拍摄周围的事物，积累了海量的自然场中的文字识别则为通用场景OCR 景图像.有关自然场景图像中文本检测与识别技与自然场景文本相关联的概念为文档图像文术的研究逐渐成为计算机视觉领域的热点问题

a supplement, several end-to-end text recognition strategies that can automatically identify characters in natural scenes were elucidated. Finally, possible research directions and prospects in this field were analyzed and discussed. KEY WORDS text detection；scene text；connected domain analysis；image processing；statistical learning；deep learning 文字是承载语言、记录思想、传递文明的图像或符号. 当今社会，我们的生活场景中充满了各种各样的文本信息. 具有特定而且明确语义的文本是对自然场景极为重要的概括、说明和表达. 自然场景文本检测是实现智能场景感知的关键技术，具有重要研究意义. 但由于自然场景中的文本存在背景复杂多样、文本字体不统一、大小不一致、方向不确定等问题，目前对该任务的处理还未达到理想的效果. 本文首先简述了文本检测问题，分析了自然场景文本检测的研究进展和现状. 接着，从经典文本检测方法与深度学习文本检测方法两个方面，分析并比较了各类自然场景文本检测技术的优缺点. 最后，展望了自然场景文本检测未来可能的研究方向. 1 问题概述：自然场景中的文本检测 1.1 问题定义与基本概念文本检测（Text detection）可被视为计算机视觉目标检测（Object detection）任务的一种特殊形式. 该任务的输入为包含文本的图片，输出为以边界框为主要形式的预测信息. 一般目标检测任务的输出为图片中动物、家具、汽车等对象的位置和区域，而文本检测则主要关注图片中文本的精准定位. 相较于一般的目标检测，自然场景中的文字具有多方向、不规则形状、极端长宽比和字体、颜色、背景多样等特点，因此，在一般目标检测上较为成功的算法往往无法直接迁移到文字检测中. 与文本检测相关联的概念是文本识别，如光学字符识别（Optical character recognition，OCR）. 该任务的输入为包含文本光学字符信号的图片或视频，输出为对应的文字信息. 目前，OCR 技术可有效、准确地对 PDF、图片文档等形式的资料进行识别和分析，获取文字. 然而，对于自然场景中的路标、车牌号、建筑标识等对象，现有 OCR 技术仍有较大的进步空间. 可大致将 OCR 分为识别特定场景的专用 OCR 和识别多种场景的通用 OCR. 比如车牌识别是对特定场景的 OCR，而对自然场景中的文字识别则为通用场景 OCR. 与自然场景文本相关联的概念为文档图像文本、图片文档覆盖文本. 文档图像一般为二值化图像，如文字、资料的照片和 PDF 文件，其黑色为前景文字，背景为白色，便于文字的检测识别. 图片文档覆盖文本则以视频字幕、图片中经人工植入的说明性文本为主要形式. 文档图像文本、图片覆盖文本的布局相对固定，文本区域分割相对容易. 而自然场景中的文本出现形式多变，位置、对齐方式不统一. 自然场景图片大多为彩色，文字区域往往产生强烈的亮度变化，使得单从像素上区分文字和背景变得困难. 而同一文本块内，文字的字体和字号、高度和宽度以及粗细往往保持一致，同一文字块当中往往具有相同的颜色，这给单词、单字等字符单元的切分带来新的困难[1] . 图 1 为自然场景中文本的示例图片. 一般来说，自然场景的文本识别由于环境更加复杂多样，其识别难度相对困难，通常通过文本检测和文本识别两个步骤来完成. 文本检测作为 OCR 的重要技术手段之一，也是文本识别的前提. 在文本检测任务中，文本行（Text lines）检测是一个重要的环节. 文本行是由字符、部分字符或多字符组成的条状、不规则形状的区域. 文本检测在获取文本行后针对字符进行进一步切分. 1.2 研究进展与现状分析文本检测与识别工作最初用于对文档图像进行分析. 由于文档图像的背景简单、文字排列整齐，其检测识别难度较小. 经过几十年的发展，基于文档图像的检测识别技术已经趋于成熟. 近年来，高像素智能手机等设备的出现使越来越多的人们开始拍摄周围的事物，积累了海量的自然场景图像. 有关自然场景图像中文本检测与识别技术的研究逐渐成为计算机视觉领域的热点问题[2] . 图 1 自然场景示例图片 Fig.1 Sample images of nature scenes · 1434 · 工程科学学报，第 42 卷，第 11 期

白志程等：自然场景文本检测技术研究综述 1435· 外在、内在两方面的因素制约了对自然场景中文文本候选，最后通过经验规则分析来识别文本区本的检测效果.外在因素是指自然场景中常包含域，并通过项目概况分析来完善文本区域.文献[10] 不同种类的对象如建筑、墙壁、动物、植物、行人使用傅立叶-拉普拉斯滤波器过滤输入图像，同样等，这些噪声信号会影响文本检测器的性能]在采用K均值聚类方法基于最大差异来识别候选文用手机拍摄图片时，过强或偏暗的光照强度影响本区域，随后采用文本字符串的直线度和边缘密着对图片中文本的感知能力.内在因素是指自然度判断文本候选区域，去除背景区域.文献[11]通场景中文本可以是任意方向的，所以需要检测的过候选边缘重组和边缘分类两个步骤优化笔划宽边界框通常为旋转的矩形或四边形；场景文本边度变换方法.边缘重组步骤利用分割、区域合并界框的长宽比变化很大，且通常会存在极端的长等手段，将输入图像中的边缘信号处理为一组小宽比：场景文本有字符、单词或者文本行等多种形单元（边缘片段），利用宽度、颜色等指导信息合并式.这些因素使算法在定位边界框时会难以判定这些小单元，从而区分文本边缘和背景：在边界分文本实例类的步骤中，首先将候选边界聚合到文本行中，然相对人脸检测等问题，自然场景文本检测研究后使用基于字符和基于链的特征对文本行进行分相对滞后，相关研究工作始于20世纪90年代俐类.文献[12]基于与周围像素的有效像素强度比早期的自然场景文本检测算法利用初级、直观的较，提出一种易于实现的笔划检测器，首先检测特图像特征；近年来，深度学习方法兴起，通过深度定的笔划关键点，通过由关键点属性指导的局部神经网络表示图像信号间，可以避免繁琐低效的阈值提取文本片段，进而通过特征分析实现分类，人工特征工程，同时有效提高了场景文本检测的从而消除非文本区域.基于边缘的文本检测方法效果适用于背景简单的图片，在背景比较复杂时，边缘检测算子极易受到干扰，无法获取有效边缘轮廓 2经典自然场景文本检测方法 2.1.2基于笔划宽度变换的方法经典的文本检测方法可分为两大类：基于连笔划宽度变换(Stroke width transform,SWT)是通域分析的文本检测方法和基于滑动窗口的文本一种有效的文本区域检测算法，不同于基于边缘检测方法.连通域方法首先利用边缘提取等数字的方法从像素梯度、角点等方面获取图片级的特图像处理技术对输入图片进行预处理，获取文本征信息，SWT方法更关注于字符级的笔划特征候选区域，进而采用不同的连通域分析方法对该如第1节中分析，OCR技术在有噪声的图像上效区域进行细化加工，实现字符和文本的联通和定果较差.SWT通过提取出具有一致宽度的带状目位.根据区域生成和特征表示方法的不同，本文将标来检测文本，有效消除了大部分噪声，得到更可基于连通域的方法进一步划分为基于边缘的方靠的光学字符识别结果法、基于笔划宽度变换的方法和基于最大稳定极笔划宽度变换算法由Epshtein等在文献[I3] 值区域的方法并分别进行介绍.基于滑动窗口的中首次提出，该算法从高对比度边缘上的一点开方法则采用人工特征对候选区域进行表示，并利始，在垂直于边缘的方向上逐像素进行分析，找到用该特征训练分类器，对候选区域进行预测和验另一条与之平行的边缘上的一点，由这两点构成证.这两类方法在实际应用中可以互为补充一个笔划横截面.许多宽度相似的笔划横截面连 2.1基于连通域的方法接构成一个完整的笔划.笔划宽度的确定过程如 2.1.1基于边缘的方法图2所示，其中p是笔划边界上的一个像素，沿自然场景中的文本往往具有丰富的边缘和角 p点梯度方向搜索，就可以找到笔划另一侧对应的点信息，基于边缘的文本检测方法通过Cannym7边像素9，w为对应笔划的宽度.在此基础上，笔划组缘检测算子提取图片边缘和角点来获取文本的候成字符，字符组成词汇和文本区域.SWT算法的选区域，进而使用规则或分类器对文本候选区域一个好处是不需要知道文本的语言和字体类型即进行定位预测可实现文本定位文献[8]首先应用Sobel边缘检测算子例获得笔划宽度变换算法提出后，文献[14、文献[15] 水平，垂直，右上和左上方向的四个边缘图，然后对其进行了发展和改进.文献[14]通过笔划宽度从四个边缘图中提取特征以表示文本的纹理属变换处理获得文本候选区域，使用文本级分类器性，进而应用K均值(K-means)聚类算法检测初始过滤非文本区域：用文本之间的相似性连接文本

外在、内在两方面的因素制约了对自然场景中文本的检测效果. 外在因素是指自然场景中常包含不同种类的对象如建筑、墙壁、动物、植物、行人等，这些噪声信号会影响文本检测器的性能[3] . 在用手机拍摄图片时，过强或偏暗的光照强度影响着对图片中文本的感知能力. 内在因素是指自然场景中文本可以是任意方向的，所以需要检测的边界框通常为旋转的矩形或四边形；场景文本边界框的长宽比变化很大，且通常会存在极端的长宽比；场景文本有字符、单词或者文本行等多种形式. 这些因素使算法在定位边界框时会难以判定文本实例. 相对人脸检测等问题，自然场景文本检测研究相对滞后，相关研究工作始于 20 世纪 90 年代[4] . 早期的自然场景文本检测算法利用初级、直观的图像特征；近年来，深度学习方法兴起，通过深度神经网络表示图像信号[5] ，可以避免繁琐低效的人工特征工程[6] ，同时有效提高了场景文本检测的效果. 2 经典自然场景文本检测方法经典的文本检测方法可分为两大类：基于连通域分析的文本检测方法和基于滑动窗口的文本检测方法. 连通域方法首先利用边缘提取等数字图像处理技术对输入图片进行预处理，获取文本候选区域，进而采用不同的连通域分析方法对该区域进行细化加工，实现字符和文本的联通和定位. 根据区域生成和特征表示方法的不同，本文将基于连通域的方法进一步划分为基于边缘的方法、基于笔划宽度变换的方法和基于最大稳定极值区域的方法并分别进行介绍. 基于滑动窗口的方法则采用人工特征对候选区域进行表示，并利用该特征训练分类器，对候选区域进行预测和验证. 这两类方法在实际应用中可以互为补充. 2.1 基于连通域的方法 2.1.1 基于边缘的方法自然场景中的文本往往具有丰富的边缘和角点信息，基于边缘的文本检测方法通过 Canny[7] 边缘检测算子提取图片边缘和角点来获取文本的候选区域，进而使用规则或分类器对文本候选区域进行定位预测. 文献 [8] 首先应用 Sobel 边缘检测算子[9] 获得水平，垂直，右上和左上方向的四个边缘图，然后从四个边缘图中提取特征以表示文本的纹理属性，进而应用 K 均值（K-means）聚类算法检测初始文本候选，最后通过经验规则分析来识别文本区域，并通过项目概况分析来完善文本区域. 文献 [10] 使用傅立叶−拉普拉斯滤波器过滤输入图像，同样采用 K 均值聚类方法基于最大差异来识别候选文本区域，随后采用文本字符串的直线度和边缘密度判断文本候选区域，去除背景区域. 文献 [11] 通过候选边缘重组和边缘分类两个步骤优化笔划宽度变换方法. 边缘重组步骤利用分割、区域合并等手段，将输入图像中的边缘信号处理为一组小单元（边缘片段），利用宽度、颜色等指导信息合并这些小单元，从而区分文本边缘和背景；在边界分类的步骤中，首先将候选边界聚合到文本行中，然后使用基于字符和基于链的特征对文本行进行分类. 文献 [12] 基于与周围像素的有效像素强度比较，提出一种易于实现的笔划检测器，首先检测特定的笔划关键点，通过由关键点属性指导的局部阈值提取文本片段，进而通过特征分析实现分类，从而消除非文本区域. 基于边缘的文本检测方法适用于背景简单的图片，在背景比较复杂时，边缘检测算子极易受到干扰，无法获取有效边缘轮廓. 2.1.2 基于笔划宽度变换的方法笔划宽度变换（Stroke width transform, SWT）是一种有效的文本区域检测算法. 不同于基于边缘的方法从像素梯度、角点等方面获取图片级的特征信息，SWT 方法更关注于字符级的笔划特征. 如第 1 节中分析，OCR 技术在有噪声的图像上效果较差. SWT 通过提取出具有一致宽度的带状目标来检测文本，有效消除了大部分噪声，得到更可靠的光学字符识别结果. 笔划宽度变换算法由 Epshtein 等在文献 [13] 中首次提出，该算法从高对比度边缘上的一点开始，在垂直于边缘的方向上逐像素进行分析，找到另一条与之平行的边缘上的一点，由这两点构成一个笔划横截面. 许多宽度相似的笔划横截面连接构成一个完整的笔划. 笔划宽度的确定过程如图 2 所示，其中 p 是笔划边界上的一个像素，沿 p 点梯度方向搜索，就可以找到笔划另一侧对应的像素 q，w 为对应笔划的宽度. 在此基础上，笔划组成字符，字符组成词汇和文本区域. SWT 算法的一个好处是不需要知道文本的语言和字体类型即可实现文本定位. 笔划宽度变换算法提出后，文献 [14]、文献 [15] 对其进行了发展和改进. 文献 [14] 通过笔划宽度变换处理获得文本候选区域，使用文本级分类器过滤非文本区域；用文本之间的相似性连接文本白志程等：自然场景文本检测技术研究综述 · 1435 ·

·1436 工程科学学报，第42卷，第11期图2笔划宽度的定义可(a)一种典型的笔划：(b)笔划边界像素：(c)笔划束上的每个像素 Fig.2 Definition of the stroke width(a)a typical stroke (b)a pixel on the boundary of the stroke:(c)each pixel along the ray 行，然后使用文本行级分类器进一步过滤背景区确、误差较大的问题.因此，文献[19]提出直接用域.尽管使用笔划宽度变换处理可以提取不同比极值区域(Extremal regions.,ER)作为文本候选区例和方向的文本候选区域，当图像中包含一些具域.该方法检测图片中所有的极值区域ER,而不有不规则梯度方向的边缘时，受其干扰，传统的笔仅仅是MSER的子集，并把文字检测问题处理为划宽度变换方法往往不能准确地计算出笔划宽从ER集合中进行有效序列选择的问题，达到实时度，因此文献[l5]提出了笔划特征变换(Stroke 检测效果.考虑到获得的极值区域的数量过大会 feature transform,SFT)算子，通过合并文本像素的颜对后续的文本分类精度产生影响，文献[20]提出色信息扩展笔划宽度计算，有效分割字符中的不相了对比极值区域(Contrasting extremal region,CER) 关组件，连接相关组件.此外，文献[15]依次采用文方法.CER选取具有高对比度的极值区域，获得的本组件分类器和文本行分类器提取文本区域.对文候选连通区域数量远小于ER,候选范围大大缩本笔划的启发式属性和统计特征进行编码，通过文小，提高了算法的效率.文献21]提出颜色增强的本行置信度图进行阈值确定，进而定位文本区域对比极值区域(Color-enhanced CER)方法，进一步利 2.13基于最大稳定极值区域的方法用颜色空间中的信息滤除CER中的冗余像素和噪最大稳定极值区域(Maximally stable extremal 声.Color--enhanced CER具有视觉感知一致性且对 regions,MSER)是最为经典的文本检测算法之一I 光照不敏感，更接近人眼对颜色的判断.文献22] 其主要思想源于分水岭算法，由于文本区域往往提出了一种基于多通道光照均衡化的MSER算具有相似的不连通“稳定极值”，对于这些具有稳法，解决了传统MSER算法在光照不均匀图片上定极值的区域进行定位和分割即可获得字符笔划的文本漏检问题，同时该文献还提出了伪字符区的边缘信息. 域过滤算法进行多特征融合，解决了传统MSER 具体而言，MSER对灰度图像进行二值化处算法在复杂背景图片上的漏检问题，理，在[0,255]区间内，逐步提高阈值.类似于分水随着自然场景图片内容的日趋复杂，往往出岭算法中水平面的上升过程，部分“山谷”和“较矮现文本目标不属于MSER的情况，这限制了MSER 的丘陵”会被淹没，如果从天空往下看，则整个区方法的应用场景.尽管MSER的检测准确率低于域被分为陆地和水域两个部分，即对应于切分字深度学习方法，由于其具有较强的鲁棒性，且计算符和背景的二值图像.每个阈值都会生成一个二成本低，该方法常被应用于其它复杂文本检测方值图.MSER方法可以很好地描述文本内部颜色法的前期阶段，产生尽可能多的候选区域的一致性，并且克服噪声和仿射变换的影响，一些 2.2 基于滑动检测窗的方法文献采用MSER方法在复杂的自然场景图像上获该类方法设计滑动检测窗，利用窗格自上而得出色的文本检测性能.文献[I7刀提出将MSER 下扫描图像，并将每个窗格覆盖的图像区域视作方法应用于自然场景文本检测，通过检测图像中文本候选区域.通过对该区域提取特征，分类器可的一些最大稳定极值区域来获得文本候选区域得出置信度值，通过阈值比较可实现定位和背景文献[I8]用MSER算法初始化区域，然后用自定区域分割.考虑到文本大小和文本行长度多变的义的距离公式合并初始区域生成一个区域集合，情况，还可以用多尺度滑动窗口进行候选区域的最后对集合排序，选出前几个作为文本区域.在阈扫描值变化过程中，MSER的尺寸长时间保持不变.在文献[23]首先利用基础特征子对文本区域进处理模糊、低对比度的图片时，往往存在定位不精行建模，进而根据特征响应构建弱分类器.这些弱

行，然后使用文本行级分类器进一步过滤背景区域. 尽管使用笔划宽度变换处理可以提取不同比例和方向的文本候选区域，当图像中包含一些具有不规则梯度方向的边缘时，受其干扰，传统的笔划宽度变换方法往往不能准确地计算出笔划宽度，因此文献 [15] 提出了笔划特征变换（ Stroke feature transform, SFT）算子，通过合并文本像素的颜色信息扩展笔划宽度计算，有效分割字符中的不相关组件，连接相关组件. 此外，文献 [15] 依次采用文本组件分类器和文本行分类器提取文本区域，对文本笔划的启发式属性和统计特征进行编码，通过文本行置信度图进行阈值确定，进而定位文本区域. 2.1.3 基于最大稳定极值区域的方法最大稳定极值区域（Maximally stable extremal regions，MSER）是最为经典的文本检测算法之一[16] . 其主要思想源于分水岭算法，由于文本区域往往具有相似的不连通“稳定极值”，对于这些具有稳定极值的区域进行定位和分割即可获得字符笔划的边缘信息. 具体而言，MSER 对灰度图像进行二值化处理，在 [0, 255] 区间内，逐步提高阈值. 类似于分水岭算法中水平面的上升过程，部分“山谷”和“较矮的丘陵”会被淹没，如果从天空往下看，则整个区域被分为陆地和水域两个部分，即对应于切分字符和背景的二值图像. 每个阈值都会生成一个二值图. MSER 方法可以很好地描述文本内部颜色的一致性，并且克服噪声和仿射变换的影响，一些文献采用 MSER 方法在复杂的自然场景图像上获得出色的文本检测性能. 文献 [17] 提出将 MSER 方法应用于自然场景文本检测，通过检测图像中的一些最大稳定极值区域来获得文本候选区域. 文献 [18] 用 MSER 算法初始化区域，然后用自定义的距离公式合并初始区域生成一个区域集合，最后对集合排序，选出前几个作为文本区域. 在阈值变化过程中，MSER 的尺寸长时间保持不变. 在处理模糊、低对比度的图片时，往往存在定位不精确、误差较大的问题. 因此，文献 [19] 提出直接用极值区域（Extremal regions, ER）作为文本候选区域. 该方法检测图片中所有的极值区域 ER，而不仅仅是 MSER 的子集，并把文字检测问题处理为从 ER 集合中进行有效序列选择的问题，达到实时检测效果. 考虑到获得的极值区域的数量过大会对后续的文本分类精度产生影响，文献 [20] 提出了对比极值区域（Contrasting extremal region, CER）方法. CER 选取具有高对比度的极值区域，获得的候选连通区域数量远小于 ER，候选范围大大缩小，提高了算法的效率. 文献 [21] 提出颜色增强的对比极值区域（Color-enhanced CER）方法，进一步利用颜色空间中的信息滤除 CER 中的冗余像素和噪声. Color-enhanced CER 具有视觉感知一致性且对光照不敏感，更接近人眼对颜色的判断. 文献 [22] 提出了一种基于多通道光照均衡化的 MSER 算法，解决了传统 MSER 算法在光照不均匀图片上的文本漏检问题，同时该文献还提出了伪字符区域过滤算法进行多特征融合，解决了传统 MSER 算法在复杂背景图片上的漏检问题. 随着自然场景图片内容的日趋复杂，往往出现文本目标不属于 MSER 的情况，这限制了 MSER 方法的应用场景. 尽管 MSER 的检测准确率低于深度学习方法，由于其具有较强的鲁棒性，且计算成本低，该方法常被应用于其它复杂文本检测方法的前期阶段，产生尽可能多的候选区域. 2.2 基于滑动检测窗的方法该类方法设计滑动检测窗，利用窗格自上而下扫描图像，并将每个窗格覆盖的图像区域视作文本候选区域. 通过对该区域提取特征，分类器可得出置信度值，通过阈值比较可实现定位和背景区域分割. 考虑到文本大小和文本行长度多变的情况，还可以用多尺度滑动窗口进行候选区域的扫描. 文献 [23] 首先利用基础特征子对文本区域进行建模，进而根据特征响应构建弱分类器. 这些弱 p q p q W (a) (b) (c) 图 2 笔划宽度的定义[13] . （a）一种典型的笔划；（b）笔划边界像素；（c）笔划束上的每个像素 Fig.2 Definition of the stroke width[13] : (a) a typical stroke; (b) a pixel on the boundary of the stroke; (c) each pixel along the ray · 1436 · 工程科学学报，第 42 卷，第 11 期

白志程等：自然场景文本检测技术研究综述 1437 分类器被进一步集成为强分类器，在Adaboost算特征信号进行分析，选取重合度高的文本候选框. 法框架下，该方法在提出时取得了具有竞争力的在此基础上，使用基于像素点采样的Monte-Carlo 文本检测性能.此外，文献[23]率先将纹理特征用方法快速计算多边形区域，最后使用顺序协议进于自然场景文本检测.文献[24]进一步扩充了文行回归，实现对多边形文本的精准预测.该文提出献[23]中的特征提取方法，提取了6种特征并分的多边形滑窗更加契合场景中的不规则文字（如别构建分类器，大幅度的改善了检测性能.文献25] 图3所示)，大幅度提升了召回率.由于该方法采首次提出采用多边形滑动窗口进行文本检测，该用了卷积特征，因此也可被看作基于深度学习的方法设计了四边形滑动窗口，在中间卷积层中对方法图3多边形滑动窗口和矩形滑动窗口检测结果比较(a)多边形滑窗检测结果：(b)矩形滑窗检测结果 Fig.3 Comparison of the detection results between polygon sliding windows and rectangular sliding windows(a)detection results of polygon sliding window,(b)detection result of rectangular sliding window 2.3比较与分析测方法中，多采用“人工特征子特征提取”和“分类基于连通域的方法采用自底向上的策略检测器预测”两个步骤，受到人工特征子特征表示能力文本，先检测得到单个文本，然后将相邻文本进行的制约.深度神经网络具有在数据中自动学习特关联形成文本行.这种方法利用笔化宽度的一致征表示的能力，而稠密的特征向量形式有效避免性和颜色的一致性等启发式规则构建文本候选了稀疏特征向量可能造成的“维数灾难”，极大推区，即进行文本粗检测，然后利用分类器进一步过动了机器学习技术的发展. 滤背景像素.基于连通域的算法的一方面降低了目前己经出现了大量的基于深度学习的自然计算的复杂度，另一方面由于检测到的连通域可场景文本检测方法，并取得了优于经典文本检测以对文本直接进行分割，这有利于后续文本的识方法的效果一般而言，基于深度学习的自然场别.然而基于连通域的算法常常面临着三个问题：景文本检测方法多采用2种深度学习图像处理策第一，由于该算法对噪声的包容性差，因此非常容略：1)目标检测算法中的“区域建议”的策略：2)图易形成不正确的连通域：第二，在利用启发式规则像语义分割策略，多数方法在这两种策略中有过滤连通域和文本行的噪声因素时，在不同的数所侧重，也有很多方法既采用了基于区域建议的据集上的检测结果具有较大差异性：第三，启发式思想回归边界框，又用到了图像分割策略学习像滤除规则并不能百分百有效地区分文本区域与背素级的语义信息.因此，本文分别介绍了基于区域景，从而造成误检建议的方法和基于分割的方法，同时在后文的“混基于滑动检测窗的方法通过“检测窗”界定文合方法”一节中对综合采用两种策略的方法进行本框，因此无需像基于连通域的方法一样通过文分析本边缘、角点的提取来获取候选区域，可以有效避 3.1基于区域建议的方法免粘连字符对候选区域提取的影响，该类方法的 3.1.1基本思想主要缺陷在于对滑窗依赖极大，而窗口形状、大该类方法以通用目标检测网络为基本模型，小、滑窗步长设置较为困难，通用性较差并在其基础上结合文本检测的实际应用对算法进行改良，如将通用的多类目标检测模型调整为单 3基于深度学习的自然场景文本检测方法类（文本）检测模型.以常见目标检测模型Faster 深度学习文本检测方法是一种特殊的基于学 R-CNN(Faster region-based convolutional network)27 习的文本检测方法.在经典的基于学习的文本检为例，其基本流程为：1)CNN图片特征提取；2)候

分类器被进一步集成为强分类器，在 Adaboost 算法框架下，该方法在提出时取得了具有竞争力的文本检测性能. 此外，文献 [23] 率先将纹理特征用于自然场景文本检测. 文献 [24] 进一步扩充了文献 [23] 中的特征提取方法，提取了 6 种特征并分别构建分类器，大幅度的改善了检测性能. 文献 [25] 首次提出采用多边形滑动窗口进行文本检测，该方法设计了四边形滑动窗口，在中间卷积层中对特征信号进行分析，选取重合度高的文本候选框. 在此基础上，使用基于像素点采样的 Monte-Carlo 方法快速计算多边形区域，最后使用顺序协议进行回归，实现对多边形文本的精准预测. 该文提出的多边形滑窗更加契合场景中的不规则文字（如图 3 所示），大幅度提升了召回率. 由于该方法采用了卷积特征，因此也可被看作基于深度学习的方法. (a) (b) 图 3 多边形滑动窗口和矩形滑动窗口检测结果比较[25] . （a）多边形滑窗检测结果；（b）矩形滑窗检测结果 Fig.3 Comparison of the detection results between polygon sliding windows and rectangular sliding windows[25] : (a) detection results of polygon sliding window; (b) detection result of rectangular sliding window 2.3 比较与分析基于连通域的方法采用自底向上的策略检测文本，先检测得到单个文本，然后将相邻文本进行关联形成文本行. 这种方法利用笔化宽度的一致性和颜色的一致性等启发式规则构建文本候选区，即进行文本粗检测，然后利用分类器进一步过滤背景像素. 基于连通域的算法的一方面降低了计算的复杂度，另一方面由于检测到的连通域可以对文本直接进行分割，这有利于后续文本的识别. 然而基于连通域的算法常常面临着三个问题：第一，由于该算法对噪声的包容性差，因此非常容易形成不正确的连通域；第二，在利用启发式规则过滤连通域和文本行的噪声因素时，在不同的数据集上的检测结果具有较大差异性；第三，启发式滤除规则并不能百分百有效地区分文本区域与背景，从而造成误检. 基于滑动检测窗的方法通过“检测窗”界定文本框，因此无需像基于连通域的方法一样通过文本边缘、角点的提取来获取候选区域，可以有效避免粘连字符对候选区域提取的影响. 该类方法的主要缺陷在于对滑窗依赖极大，而窗口形状、大小、滑窗步长设置较为困难，通用性较差. 3 基于深度学习的自然场景文本检测方法深度学习文本检测方法是一种特殊的基于学习的文本检测方法. 在经典的基于学习的文本检测方法中，多采用“人工特征子特征提取”和“分类器预测”两个步骤，受到人工特征子特征表示能力的制约. 深度神经网络具有在数据中自动学习特征表示的能力，而稠密的特征向量形式有效避免了稀疏特征向量可能造成的“维数灾难”，极大推动了机器学习技术的发展. 目前己经出现了大量的基于深度学习的自然场景文本检测方法，并取得了优于经典文本检测方法的效果[26] . 一般而言，基于深度学习的自然场景文本检测方法多采用 2 种深度学习图像处理策略：1）目标检测算法中的“区域建议”的策略；2）图像语义分割策略. 多数方法在这两种策略中有所侧重，也有很多方法既采用了基于区域建议的思想回归边界框，又用到了图像分割策略学习像素级的语义信息. 因此，本文分别介绍了基于区域建议的方法和基于分割的方法，同时在后文的“混合方法”一节中对综合采用两种策略的方法进行分析. 3.1 基于区域建议的方法 3.1.1 基本思想该类方法以通用目标检测网络为基本模型，并在其基础上结合文本检测的实际应用对算法进行改良，如将通用的多类目标检测模型调整为单类（文本）检测模型. 以常见目标检测模型 Faster R-CNN（Faster region-based convolutional network） [27] 为例，其基本流程为：1）CNN 图片特征提取；2）候白志程等：自然场景文本检测技术研究综述 · 1437 ·

1438 工程科学学报，第42卷，第11期选区域Rol(Region of interest)与候选框生成；3)通在水平和多方向文本检测任务中均取得了更高的过分类器生成候选框得分；4)通过非最大值抑制召回率方法(Non-maximum suppression,NMS)排除多余候 3.1.3基于SSD的方法选框，得到最终检测结果.被用于文本检测的常见 SSD2]将图片输入到修改后的VGG16阿得不目标检测模型还有SSD(Single shot multi--box 同大小的特征映射，然后抽取Conv43、Conv7、 detector)21R-FCN(Region-based fully convolutional Conv82、Conv92、Convl02、Convl12这6个卷 networks)P等积层的特征图，并分别在这些特征图上面的每一 3.l.2基于Faster R-CNN的方法个点构造不同尺度大小的参考框，最后利用NMS FasterR-CNNP7由卷积层、区域建议网络(Region 对所有的参考框进行处理，抑制非最优参考框，输 proposal network,RPN)、Rol池化层(Rol Pooling 出最终检测结果 layer)、分类回归层4个子模块构成.卷积层用于文献[37刀提出SegLink算法，将图片输入到SSD 提取图片特征，其输入为整张图片，输出为图片的网络中，分别提取文本框和不同框之间的连接信特征图；RPN用于生成与文本对象相关的多个候息.该模型的输出不针对整个文本行或单词，而是选框：RoI池化层将不同尺寸的候选框转化为固定文本行或单词的一个部分，被称为“片段(Segment)” 尺寸：分类和回归层对候选区域进行预测，同时获该片段可以是1个或多个字符，或1个单词.通过得候选区域在图像中的精确位置对文本框连接信息的挖掘，该算法以不同Segment 针对使用原生Fast R-CNN完成文本检测任务的组合为最终输出，避免了连接Segment构建文本时有可能忽略文本行尺度的问题，文献[30]提出行的后处理过程.值得注意的是，SegLink输出的一种基于特征融合的深度神经网络，该网络将常参考文本框带有角度信息，同时针对特征图上每用深度神经网络中的高层特征与低层特征相融个点仅输出一个框，大幅度降低了计算复杂度.文合，构建“高级语义”神经网络模型.该文中设计了献[38]中的TextBoxes也是典型的基于SSD的算特征融合模块，利用高层网络所抽取的高度抽象、法.TextBoxes修改了原始SSD中卷积核的大小，具有强语义信息的特征信号来提高网络的整体性同时调整了参考框的形状和长宽比，使其更适用能.此外，通过多个输出层对不同尺度的文本直接于文本检测.文中还提出端到端的训练框架，采用进行预测.在ICDAR201IB别和ICDAR2013数据文本识别任务的结果进一步优化文本行检测模集上的实验中，该方法对小尺度文本的定位效果型，在保证效率的情况下取得了良好的结果.文更为突出.文献[33]沿用了Faster-RCNN中RPN 献[39]提出的TextBoxes+是TextBoxes的扩展的思想，并在此基础上进行了改进，提出一种旋转版，同样基于SSD网络.该方法设计了一种文本候选区域网络(Rotation对齐方式RPN).整个网络框层(Textbox layer)结构，解决了SsD无法有效检结构和Faster R-CNN非常相似，分成并行两路：一测极端长宽比文本的问题，进一步提升检测性能路用于预测类别，另一路用于回归旋转候选框，首此外，SSD和TextBoxes仅支持水平方向的检测，先由旋转候选区域网络生成带倾斜角的候选框，而TextBoxes+可以产生有旋转角度的矩形文本同时输出候选框的类别；接着通过Rol层将生成检测框，能够有效检测旋转文本.文献[40]对的候选框映射到特征图上.文献34提出RCNN SSD进行改良，增加角度信息来检测多方向文字 (Rotational region CNN)算法来检测自然场景下任这一方法采用Inception!结构优化特征，并在SSD 意角度旋转的文本.该算法在原有Faster R-CNN 的特征融合层增加Attention机制，进一步强化文的基础上使用RPN网络在文本区域坐标轴方向上字特征.文献[42]摒弃了SSD中分类和回归共享产生不同方向的轴对称的候选框，之后对每个方特征图的方式，提出使用两个独立的网络分支分向的候选区域特征使用不同的池化尺寸进行特征别进行分类和回归.旋转不变特征用于分类，方向融合.该融合特征被用于预测文本/啡文置信度，敏感特征用于回归.该方法可以嵌入到任何已存确定轴对称候选框、倾斜候选框.该算法取得了在的目标检测框架中，并可以在提升精度的前提 F值82.54的预测结果.文献[35]提出一种无锚区下大大减少运算时间，对多方向文本进行检测.文域a建议网络(Anchor--free region proposal network, 献[43]综合了特征金字塔网络(Feature pyramid AF-RPN)替代Faster R-CNN中的基于参考框的区 networks,FPN)和SegLink模型，提出一种高效场域建议方法.该方法能够摆脱复杂的参考框设计，景文本检测模型Seg-FPN.Seg-FPN一方面将特

选区域 RoI（Region of interest）与候选框生成；3）通过分类器生成候选框得分；4）通过非最大值抑制方法（Non-maximum suppression, NMS）排除多余候选框，得到最终检测结果. 被用于文本检测的常见目标检测模型还有 SSD（ Single shot multi-box detector） [28]、R-FCN（Region-based fully convolutional networks） [29] 等. 3.1.2 基于 Faster R-CNN 的方法 Faster R-CNN[27] 由卷积层、区域建议网络（Region proposal network, RPN）、 RoI 池化层（ RoI Pooling layer）、分类回归层 4 个子模块构成. 卷积层用于提取图片特征，其输入为整张图片，输出为图片的特征图；RPN 用于生成与文本对象相关的多个候选框；RoI 池化层将不同尺寸的候选框转化为固定尺寸；分类和回归层对候选区域进行预测，同时获得候选区域在图像中的精确位置. 针对使用原生 Fast R-CNN 完成文本检测任务时有可能忽略文本行尺度的问题，文献 [30] 提出一种基于特征融合的深度神经网络，该网络将常用深度神经网络中的高层特征与低层特征相融合，构建“高级语义”神经网络模型. 该文中设计了特征融合模块，利用高层网络所抽取的高度抽象、具有强语义信息的特征信号来提高网络的整体性能. 此外，通过多个输出层对不同尺度的文本直接进行预测. 在 ICDAR2011[31] 和 ICDAR2013[32] 数据集上的实验中，该方法对小尺度文本的定位效果更为突出. 文献 [33] 沿用了 Faster-RCNN 中 RPN 的思想，并在此基础上进行了改进，提出一种旋转候选区域网络（Rotation 对齐方式 RPN）. 整个网络结构和 Faster R-CNN 非常相似，分成并行两路：一路用于预测类别，另一路用于回归旋转候选框. 首先由旋转候选区域网络生成带倾斜角的候选框，同时输出候选框的类别；接着通过 RoI 层将生成的候选框映射到特征图上. 文献 [34] 提出 R 2CNN （Rotational region CNN）算法来检测自然场景下任意角度旋转的文本. 该算法在原有 Faster R-CNN 的基础上使用 RPN 网络在文本区域坐标轴方向上产生不同方向的轴对称的候选框，之后对每个方向的候选区域特征使用不同的池化尺寸进行特征融合. 该融合特征被用于预测文本/非文置信度，确定轴对称候选框、倾斜候选框. 该算法取得了 F 值 82.54 的预测结果. 文献 [35] 提出一种无锚区域建议网络（ Anchor-free region proposal network, AF-RPN）替代 Faster R-CNN 中的基于参考框的区域建议方法. 该方法能够摆脱复杂的参考框设计，在水平和多方向文本检测任务中均取得了更高的召回率. 3.1.3 基于 SSD 的方法 SSD[28] 将图片输入到修改后的 VGG16[36] 得不同大小的特征映射，然后抽取 Conv4_3、 Conv7、 Conv8_2、Conv9_2、Conv10_2、Conv11_2 这 6 个卷积层的特征图，并分别在这些特征图上面的每一个点构造不同尺度大小的参考框，最后利用 NMS 对所有的参考框进行处理，抑制非最优参考框，输出最终检测结果. 文献 [37] 提出 SegLink 算法，将图片输入到 SSD 网络中，分别提取文本框和不同框之间的连接信息. 该模型的输出不针对整个文本行或单词，而是文本行或单词的一个部分，被称为“片段（Segment）”. 该片段可以是 1 个或多个字符，或 1 个单词. 通过对文本框连接信息的挖掘，该算法以不同 Segment 的组合为最终输出，避免了连接 Segment 构建文本行的后处理过程. 值得注意的是，SegLink 输出的参考文本框带有角度信息，同时针对特征图上每个点仅输出一个框，大幅度降低了计算复杂度. 文献 [38] 中的 TextBoxes 也是典型的基于 SSD 的算法. TextBoxes 修改了原始 SSD 中卷积核的大小，同时调整了参考框的形状和长宽比，使其更适用于文本检测. 文中还提出端到端的训练框架，采用文本识别任务的结果进一步优化文本行检测模型，在保证效率的情况下取得了良好的结果. 文献 [39] 提出的 TextBoxes++是 TextBoxes 的扩展版，同样基于 SSD 网络. 该方法设计了一种文本框层（Textbox layer）结构，解决了 SSD 无法有效检测极端长宽比文本的问题，进一步提升检测性能. 此外，SSD 和 TextBoxes 仅支持水平方向的检测，而 TextBoxes++可以产生有旋转角度的矩形文本检测框，能够有效检测旋转文本 . 文献 [40] 对 SSD 进行改良，增加角度信息来检测多方向文字. 这一方法采用 Inception[41] 结构优化特征，并在 SSD 的特征融合层增加 Attention 机制，进一步强化文字特征. 文献 [42] 摒弃了 SSD 中分类和回归共享特征图的方式，提出使用两个独立的网络分支分别进行分类和回归. 旋转不变特征用于分类，方向敏感特征用于回归. 该方法可以嵌入到任何已存在的目标检测框架中，并可以在提升精度的前提下大大减少运算时间，对多方向文本进行检测. 文献 [43] 综合了特征金字塔网络（ Feature pyramid networks，FPN）和 SegLink 模型，提出一种高效场景文本检测模型 Seg−FPN. Seg−FPN 一方面将特 · 1438 · 工程科学学报，第 42 卷，第 11 期

白志程等：自然场景文本检测技术研究综述 1439 征金字塔机制与SSD框架相结合，对不同尺度的 2)由RPN生成候选区域(ROI)和候选框；3)通过文本进行特征提取；另一方面通过SegLink链接可 ROI Align层进行尺度转换；4)采用Fast R-CNN回检测元素，实现对不同方向、长宽比的文本进行高归最终边界框；5)采用Mask分支进行像素级的语效检测.FPN的引入扩展了SSD中特征图的尺度，义预测或实例预测能够更好地定位大文本，准确识别小文本文献[5O]于ECCV(European conference on com- 3.1.4其他基于区域建议的方法 puter vision)会议提出一种基于Mask R-CNN的Mask 文献[44]以区域全卷积网络(Region based TextSpotter网络，其主要创新点在于修改了Mask分 fully convolutional network,R-FCN)为基本结构，在支的输出结构，使其包含全局文本实例分割和字其基础上提出了特征强化网络(Feature enhance 符分割功能.该版本的Mask TextSpotter采用字符 network,FEN).FEN融合了高低两个维度的图像级的分割与识别，因而可以对任意不规则形状的语义特征，仅采用固定尺度(3像素×3像素)的滑文本（如曲线文本）进行处理，其局限性在于需要窗也可有效监测小文本，提高模型准确率、召回字符级的标注来完成模型训练.针对该问题，文率.该文中还提出一种自适应权重的位置敏感献[5I]进一步改进了Mask TextSpotter网络（为文 RoI池化层，提高特征融合能力献[50]的期刊版本)，在Mask分支中增加了空间针对文本对象长度不统一，长短差异大的情注意力模块(Spatial attentional module,SAM)支路，况，文献[45]提出“垂直参考框”策略，仅预测文本有效利用空间信息和图像上下文语义，降低网络垂直方向上的位置信息.这些参考框与Faster- 对字符级监督信息的依赖，可实现缺省字符级标 RCNN生成的参考框类似，其主要不同在于采用注情况下的文本行识别与预测了固定的16像素宽度，和11像素到273像素范围文献[52]中提出的SPC Net(Supervised pyramid 内的高度尺寸.这些固定宽度的小尺度文本经由 context network)也采用了实例分割方法，该模型循环神经网络(RNN)进一步加工、连接，得到最终在Mask R-CNN的基础上，针对曲型文本特点，添文本行.文献[46]提出一种基于自适应区域表示加改进的全局文本分割分支，还针对误检问题提的检测方法，在采用区域提取网络(Text region 出文本上下文模块和二次打分机制，使算法能够 proposal network,Text-RPN)RoI(Region of 处理各种形状的文本. interest)时，通过基于RNN的修正网络(Refinement 3.2.3基于FCN的方法 network)对Rol进行验证和改进.该RNN每次预全卷积网络FCN4I是一种端到端的语义分割测一对边界点，直至没有新的边界点出现为止.这方法，不同于Mask R-CNN等算法中带有R-CNN中一过程有效调整了文本区域的生成的区域分类模块与边界框回归模块，在FCN中，网 3.2基于分割的方法络输出是对整个图片的像素级预测 3.2.1基本思想文献[53]先利用FCN对图像进行处理，得到该类方法以语义分割为基本技术手段，通过文本区域的显著图(Salient map),并对该显著图进深度学习语义分割网络对自然场景图片进行处行连通分量分析以得到文本块：在此基础上，利用理，获取像素级别的标签预测.这些像素级的输出 MSER方法提取文本块中的候选字符区域，并结合是文本行构建的基础.常被用于文本检测的分割候选字符的边界框生成每条文本行：该文献设计网络有Mask R-CNNm、全卷积网络（Fully 了质心FCN对每条文本行中字符的质心进行预 convolutional network,FCN)1481 FCIS(Fully convo- 测，利用质心信号过滤非文本行.文献[54]提出了 lutional instance-aware semantic segmentation)49 一种灵活的文本行表征方式Text Snake,.这种 3.2.2基于Mask R-CNN的方法 “Snake”结构主要由多个有序重叠的“圆盘(disk)” Mask R-CNNs7扩展自Faster R-CNN与Fast R- 串联组成，每个圆盘由文本行区域的中心c、半径 CNN,除原检测网络的的两个分支（分类、边界框 r、方向O来表征，这些表征属性借助FCN来预测，回归)外，增加了用于语义分割的、具有像素级预如图4所示.通过对圆盘参数的准确预测及一条测功能的Mask分支.该Mask分支采用平均二值分割出来的中心线，Text Snake可以有效检测曲形交叉嫡损失，与分类损失、边界框回归损失一同组文本，并得到精确的分割区域，还可以有效避免字成网络的损失函数.Mask R-CNN的处理流程与符重叠的情况.Text Snake是一种具有较高借鉴价 Faster R-CNN类似，包括：I)CNN图片特征提取：值的文本行表示方法.文献[55]对VGG16网络进

征金字塔机制与 SSD 框架相结合，对不同尺度的文本进行特征提取；另一方面通过 SegLink 链接可检测元素，实现对不同方向、长宽比的文本进行高效检测. FPN 的引入扩展了 SSD 中特征图的尺度，能够更好地定位大文本，准确识别小文本. 3.1.4 其他基于区域建议的方法文献 [44] 以区域全卷积网络（ Region based fully convolutional network，R-FCN）为基本结构，在其基础上提出了特征强化网络（ Feature enhance network，FEN）. FEN 融合了高低两个维度的图像语义特征，仅采用固定尺度（3 像素×3 像素）的滑窗也可有效监测小文本，提高模型准确率、召回率. 该文中还提出一种自适应权重的位置敏感 RoI 池化层，提高特征融合能力. 针对文本对象长度不统一，长短差异大的情况，文献 [45] 提出“垂直参考框”策略，仅预测文本垂直方向上的位置信息. 这些参考框与 FasterRCNN 生成的参考框类似，其主要不同在于采用了固定的 16 像素宽度，和 11 像素到 273 像素范围内的高度尺寸. 这些固定宽度的小尺度文本经由循环神经网络（RNN）进一步加工、连接，得到最终文本行. 文献 [46] 提出一种基于自适应区域表示的检测方法，在采用区域提取网络（ Text region proposal network， Text-RPN）提取 RoI（ Region of interest）时，通过基于 RNN 的修正网络（Refinement network）对 RoI 进行验证和改进. 该 RNN 每次预测一对边界点，直至没有新的边界点出现为止. 这一过程有效调整了文本区域的生成. 3.2 基于分割的方法 3.2.1 基本思想该类方法以语义分割为基本技术手段，通过深度学习语义分割网络对自然场景图片进行处理，获取像素级别的标签预测. 这些像素级的输出是文本行构建的基础. 常被用于文本检测的分割网络有 Mask R-CNN[47]、全卷积网络（ Fully convolutional network, FCN） [48]、 FCIS（ Fully convolutional instance-aware semantic segmentation） [49] 等. 3.2.2 基于 Mask R-CNN 的方法 Mask R-CNN[47] 扩展自 Faster R-CNN 与 Fast RCNN，除原检测网络的的两个分支（分类、边界框回归）外，增加了用于语义分割的、具有像素级预测功能的 Mask 分支. 该 Mask 分支采用平均二值交叉熵损失，与分类损失、边界框回归损失一同组成网络的损失函数. Mask R-CNN 的处理流程与 Faster R-CNN 类似，包括：1）CNN 图片特征提取； 2）由 RPN 生成候选区域（ROI）和候选框；3）通过 ROI Align 层进行尺度转换；4）采用 Fast R-CNN 回归最终边界框；5）采用 Mask 分支进行像素级的语义预测或实例预测. 文献 [50] 于 ECCV（European conference on computer vision）会议提出一种基于 Mask R-CNN 的 Mask TextSpotter 网络，其主要创新点在于修改了 Mask 分支的输出结构，使其包含全局文本实例分割和字符分割功能. 该版本的 Mask TextSpotter 采用字符级的分割与识别，因而可以对任意不规则形状的文本（如曲线文本）进行处理，其局限性在于需要字符级的标注来完成模型训练. 针对该问题，文献 [51] 进一步改进了 Mask TextSpotter 网络（为文献 [50] 的期刊版本），在 Mask 分支中增加了空间注意力模块（Spatial attentional module, SAM）支路，有效利用空间信息和图像上下文语义，降低网络对字符级监督信息的依赖，可实现缺省字符级标注情况下的文本行识别与预测. 文献 [52] 中提出的 SPC Net（Supervised pyramid context network）也采用了实例分割方法，该模型在 Mask R-CNN 的基础上，针对曲型文本特点，添加改进的全局文本分割分支，还针对误检问题提出文本上下文模块和二次打分机制，使算法能够处理各种形状的文本. 3.2.3 基于 FCN 的方法全卷积网络 FCN[48] 是一种端到端的语义分割方法，不同于 Mask R-CNN 等算法中带有 R-CNN 中的区域分类模块与边界框回归模块，在 FCN 中，网络输出是对整个图片的像素级预测. 文献 [53] 先利用 FCN 对图像进行处理，得到文本区域的显著图（Salient map），并对该显著图进行连通分量分析以得到文本块；在此基础上，利用 MSER 方法提取文本块中的候选字符区域，并结合候选字符的边界框生成每条文本行；该文献设计了质心 FCN 对每条文本行中字符的质心进行预测，利用质心信号过滤非文本行. 文献 [54] 提出了一种灵活的文本行表征方式 Text Snake，这种 “Snake”结构主要由多个有序重叠的“圆盘（disk）” 串联组成，每个圆盘由文本行区域的中心 c、半径 r、方向 θ 来表征，这些表征属性借助 FCN 来预测，如图 4 所示. 通过对圆盘参数的准确预测及一条分割出来的中心线，Text Snake 可以有效检测曲形文本，并得到精确的分割区域，还可以有效避免字符重叠的情况. Text Snake 是一种具有较高借鉴价值的文本行表示方法. 文献 [55] 对 VGG16 网络进白志程等：自然场景文本检测技术研究综述 · 1439 ·

.1440 工程科学学报，第42卷，第11期行修改，引入2个1×1的全卷积层替换原来的全连预测中不仅预测出哪些像素是否为文本，还要预接层，实现了从CNN到FCN的修改，从而可以处测出这些像素能否连接进而组成一个好的文本理多尺度的输入图片.修改后的网络可概括为文框，从而输出更为精确的检测区域，其结构图如本块级CNN和文本行级CNN.面向文本块提取图5所示. 的CNN模型可有效提取图像中的文本区域.随后文献[S刀将Inception结构集成于FCIS分割文本行级CNN对该区域进一步加工，提取其中的框架，针对自然场景下文字的特点设计网络，通过文本行不同尺寸的卷积核检测不同大小和宽高比的文字：该方法设计了柔性可变的卷积层和位置敏感 Text region Text center line 的候选区域池化，用以提升任意方向文字的检测效果.文献[58]提出的FTSN(Fused text segmentation networks)模型是FCIS和FPN的一个组合，它是基于实例分割的端到端可训练多方向文本检测方法，去除了中间冗余的步骤.该文献提出了融合文本分割网络，在特征提取过程中结合了多级特征，并利用分割模型和基于区域建议的对象检测任务的优点同时检测和分割文本实例相较于一般的基于分割的方法，实例分割方法不仅可以像素级别的分类，而且可以通过聚类、 DIsk 度量学习等手段区分并定位不同的实例.这种方图4 Text Snake表征图示网法能够保持更好的底层特征（细节信息和位置信 Fig.4 Illustration of the proposed Text Snake representation 息)，但由于泛化能力较差，因此无法应对实例类 3.2.4基于FCIS的方法别多的复杂场景 FCIS9中采用了类似于Fast R-CNN的结构 3.2.5其他基于分割的方法其主要区别在于FCIS去掉了原R-CNN框架中的考虑到现有文本检测方法多基于四边形或旋边界框回归单元.FCIS采用实例相关的位置敏感转矩形，很难对任意形状的文本进行包闭操作，且大多数基于分割的方法不能很好地区分邻近的文信息为指导，进行特征提取与融合，进而利用这些本实例，文献[59]提出了基于分割的单文本实例特征完成实例分割与分类任务多预测的方法，用于检测任意方向的文本.该算法文献[56]提出PixelLink模型，通过深度学习网络框架从特征金字塔网络中受到启发，采用了网络预测与文字相关的像素与连接关系，采用实 U形的网络框架，先将网络提取出的特征进行融例分割的方法，分割出文本行区域，然后直接找对合，然后再利用分割的方式将提取出的特征进行应文本行的外接矩形框.整个过程包括两部分：根像素分类，最后利用像素的分类结果通过一些后据“链接为正”的预测结果实现对“正像素”的预测处理得到文本检测结果.该方法既能避免现有边和连通，进而得到文本实例的分割图，然后从分割界框回归方法所产生的对弯曲文字检测不准确的图中直接提取文本行的边界框.由于文字检测的缺点，也能改善现有基于分割的方法所产生的对定位与图像分割相比要更加精确，而仅仅采用分 “文字紧靠”现象不易分割的问题.文献[60]提出割的方法不能精确的将距离近的文本很好的定基于像素聚合网络(Pixel aggregation network,.PAN) 位，所以文献[56]采用SegLink中link的思想，在的文本检测方法.该方法的分割模块包含特征金 Text/non-text prediction 1×2 channels Input image CNN Instance segmentation Output bounding boxes Link prediction 8×2 channels 图5 PixelLink结构图 Fig.5 Architecture of PixelLink!s

行修改，引入 2 个 1×1 的全卷积层替换原来的全连接层，实现了从 CNN 到 FCN 的修改，从而可以处理多尺度的输入图片. 修改后的网络可概括为文本块级 CNN 和文本行级 CNN. 面向文本块提取的 CNN 模型可有效提取图像中的文本区域. 随后文本行级 CNN 对该区域进一步加工，提取其中的文本行. 3.2.4 基于 FCIS 的方法 FCIS[49] 中采用了类似于 Fast R-CNN 的结构，其主要区别在于 FCIS 去掉了原 R-CNN 框架中的边界框回归单元. FCIS 采用实例相关的位置敏感信息为指导，进行特征提取与融合，进而利用这些特征完成实例分割与分类任务. 文献 [56] 提出 PixelLink 模型，通过深度学习网络预测与文字相关的像素与连接关系，采用实例分割的方法，分割出文本行区域，然后直接找对应文本行的外接矩形框. 整个过程包括两部分：根据“链接为正”的预测结果实现对“正像素”的预测和连通，进而得到文本实例的分割图，然后从分割图中直接提取文本行的边界框. 由于文字检测的定位与图像分割相比要更加精确，而仅仅采用分割的方法不能精确的将距离近的文本很好的定位，所以文献 [56] 采用 SegLink 中 link 的思想，在预测中不仅预测出哪些像素是否为文本，还要预测出这些像素能否连接进而组成一个好的文本框，从而输出更为精确的检测区域，其结构图如图 5 所示. 文献 [57] 将 Inception 结构集成于 FCIS 分割框架，针对自然场景下文字的特点设计网络，通过不同尺寸的卷积核检测不同大小和宽高比的文字；该方法设计了柔性可变的卷积层和位置敏感的候选区域池化，用以提升任意方向文字的检测效果. 文献 [58] 提出的 FTSN（Fused text segmentation networks）模型是 FCIS 和 FPN 的一个组合，它是基于实例分割的端到端可训练多方向文本检测方法，去除了中间冗余的步骤. 该文献提出了融合文本分割网络，在特征提取过程中结合了多级特征，并利用分割模型和基于区域建议的对象检测任务的优点同时检测和分割文本实例. 相较于一般的基于分割的方法，实例分割方法不仅可以像素级别的分类，而且可以通过聚类、度量学习等手段区分并定位不同的实例. 这种方法能够保持更好的底层特征（细节信息和位置信息），但由于泛化能力较差，因此无法应对实例类别多的复杂场景. 3.2.5 其他基于分割的方法考虑到现有文本检测方法多基于四边形或旋转矩形，很难对任意形状的文本进行包闭操作，且大多数基于分割的方法不能很好地区分邻近的文本实例，文献 [59] 提出了基于分割的单文本实例多预测的方法，用于检测任意方向的文本. 该算法网络框架从特征金字塔网络中受到启发，采用了 U 形的网络框架，先将网络提取出的特征进行融合，然后再利用分割的方式将提取出的特征进行像素分类，最后利用像素的分类结果通过一些后处理得到文本检测结果. 该方法既能避免现有边界框回归方法所产生的对弯曲文字检测不准确的缺点，也能改善现有基于分割的方法所产生的对 “文字紧靠”现象不易分割的问题. 文献 [60] 提出基于像素聚合网络（Pixel aggregation network, PAN）的文本检测方法. 该方法的分割模块包含特征金 Text region Text center line Disk c θ r 图 4 Text Snake 表征图示[54] Fig.4 Illustration of the proposed Text Snake representation[54] Input image CNN Text/non-text prediction 1×2 channels Link prediction 8×2 channels Instance segmentation Output bounding boxes 图 5 PixelLink 结构图[56] Fig.5 Architecture of PixelLink[56] · 1440 · 工程科学学报，第 42 卷，第 11 期

白志程等：自然场景文本检测技术研究综述 1441 字塔增强子模块和特征融合子模块两个部分.其文中设计了基于锚点的模块和基于像素分割的模分割网络可预测文字区域、内核(Kernel,,区分文本块共享主干网络提取的特征，在基于锚点的模块实例的一组权重)以及相似向量，利用该Kernel可中只保留小候选框和长候选框；在基于像素分割重建完整的文字实例.为了保证网络的高效率，的模块中移除小的候选框，保留中等大小的候选 PAN选用了更轻量级的主千网络ResNet1:86lI和更框；然后再聚合两者的候选框，并通过一个级联简单的后处理(Pixel aggregation)来降低上述两步 NMS来得到最终的检测结果.文献[67刀提出了一的耗时，从而在不损失精度的情况下，极大加快了种基于Faster-RCNN的双任务检测模型DSTD(Deep 网络的速度.文献[62]提出一种基于字符识别的 scene text detection).第一个任务为文本像素分割文字检测方法(Character region awareness for text 预测，即区分图片中的文本像素与非文本像素，然 detection,CRAFT).该方法的思路是利用基于单字后在此基础上利用组件连接生成候选框：第二个符分割的方法，先检测单个字符及字符间的连接任务为字符候选框检测，输出一组候选字符，结合关系，然后根据字符间的连接关系确定最终的文之前生成的候选框，通过保留有字符的候选框得本行.文献[63]中设计了一种细分网络对文本对到最终的检测结果象进行互为独立的实例级分割和定位，同时在特 3.4端到端文本识别方法征空间中进行优化，力求使得属于同一文本实例从本质上来说，文本检测和文本识别都属于的像素彼此靠近，不同文本实例的像素彼此疏远分类问题.文本检测主要是区分图像中的文本和该方法引入形状感知损失，对相邻的文本实例进非文本区域，因此可以粗略地看作为一个二分类行分割，并能够对任意形状的文本实例，特别是尺问题：文本识别是要在文本检测结果中进一步区寸较大、较长的文本实例进行有效检测分字符，因此可以看作为一个更精细的分类任务基于分割的文本检测方法的后处理过程往往常见的OCR方法中往往都是把文本检测和文本非常耗时，为此文献[64]提出Differentiable Binari- 识别拆分成两个部分独立进行研究.近年来，一些 zation module(DB module)来简化基于分割的方法方法将文本检测和识别融合到同一个框架中完中繁琐的后处理过程，即如何将分割结果转换为成，同样也能达到很好的效果.一方面文本检测和文本框或文本区域.有别于其他方法采用基于固文本识别可以共享底层特征，这降低了检测到识定阈值的二值化手段生成边界框，该方法采用了别过程的运算参数：另一方面通过反向传播算法像素级的自适应二值化过程，通过网络去预测图利用文本识别的损失能够优化底层特征的提取和片每个位置上的阈值，更为有效的区分出文本.由文本检测.目前已经出现许多优秀的端到端文本于避免了繁琐的后处理过程，该方法运行速度更识别方法. 快，且在多个数据集上取得了目前最好的精度. 文献[68]提出一种端到端的文本检测、识别 3.3混合方法方法Text Perceptron,这种方法通过基于分割的文基于分割的方法由于学习到了像素级的语义字检测方法得到文本的轮廓点，进而通过形状转信息，其准确率较高，但由于小文本区域的特征响换模块对文本区域进行校正，将校正后的结果输应信号较低，容易被漏检，降低了这类方法的召回入文本识别模型，其识别模型的误差可以回传给率.基于区域建议的方法能够捕捉小文本，但往往检测模型用于检测模型的进一步优化.大多数经对文本尺寸不够敏感，易造成文本密集区域的锚典文本检测方法和许多深度学习文本检测方法为点匹配困雅情况.因此综合两种方法优势的混合多步骤方法，其训练过程需要多个环节的调优.这方法往往能够进一步提高文本检测精度种多步结构一方面非常耗时，另一方面，每一步误文献[65]融合了检测和分割的思路，首先通差的累积往往会影响最终的结果.因此文献[69] 过检测过程中的回归方法获得角点，然后对角点提出一种端到端的文本检测方法EAST(Efficient 进行采样和重组，获取候选框.之后通过对旋转位 and accurate scene text detector),省略了候选区域聚置敏感分割图进行预测得到得分，利用分割图的合、文本切分、后处理等中间步骤，直接对文本行信息来辅助判断候选框的好坏，进而可以通过NMS 进行预测.该方法先利用FCN预测单词和文本排除次优框，得到最终的文本检测结果.类似地，行，输出旋转的矩形的文本候选框或者四边形的文献[66]提出一种Pixel--Anchor方法，该方法结合文本候选框，然后使用NMS算法过滤掉冗余的候了基于锚点和基于像素分割的检测方法的特性选框，得到最后的结果.现有的端到端方法中，检

字塔增强子模块和特征融合子模块两个部分. 其分割网络可预测文字区域、内核（Kernel，区分文本实例的一组权重）以及相似向量，利用该 Kernel 可重建完整的文字实例. 为了保证网络的高效率， PAN 选用了更轻量级的主干网络 ResNet18[61] 和更简单的后处理（Pixel aggregation）来降低上述两步的耗时，从而在不损失精度的情况下，极大加快了网络的速度. 文献 [62] 提出一种基于字符识别的文字检测方法（ Character region awareness for text detection, CRAFT）. 该方法的思路是利用基于单字符分割的方法，先检测单个字符及字符间的连接关系，然后根据字符间的连接关系确定最终的文本行. 文献 [63] 中设计了一种细分网络对文本对象进行互为独立的实例级分割和定位，同时在特征空间中进行优化，力求使得属于同一文本实例的像素彼此靠近，不同文本实例的像素彼此疏远. 该方法引入形状感知损失，对相邻的文本实例进行分割，并能够对任意形状的文本实例，特别是尺寸较大、较长的文本实例进行有效检测. 基于分割的文本检测方法的后处理过程往往非常耗时，为此文献 [64] 提出 Differentiable Binarization module（DB module）来简化基于分割的方法中繁琐的后处理过程，即如何将分割结果转换为文本框或文本区域. 有别于其他方法采用基于固定阈值的二值化手段生成边界框，该方法采用了像素级的自适应二值化过程，通过网络去预测图片每个位置上的阈值，更为有效的区分出文本. 由于避免了繁琐的后处理过程，该方法运行速度更快，且在多个数据集上取得了目前最好的精度. 3.3 混合方法基于分割的方法由于学习到了像素级的语义信息，其准确率较高，但由于小文本区域的特征响应信号较低，容易被漏检，降低了这类方法的召回率. 基于区域建议的方法能够捕捉小文本，但往往对文本尺寸不够敏感，易造成文本密集区域的锚点匹配困难情况. 因此综合两种方法优势的混合方法往往能够进一步提高文本检测精度. 文献 [65] 融合了检测和分割的思路，首先通过检测过程中的回归方法获得角点，然后对角点进行采样和重组，获取候选框. 之后通过对旋转位置敏感分割图进行预测得到得分，利用分割图的信息来辅助判断候选框的好坏，进而可以通过 NMS 排除次优框，得到最终的文本检测结果. 类似地，文献 [66] 提出一种 Pixel-Anchor 方法，该方法结合了基于锚点和基于像素分割的检测方法的特性. 文中设计了基于锚点的模块和基于像素分割的模块共享主干网络提取的特征，在基于锚点的模块中只保留小候选框和长候选框；在基于像素分割的模块中移除小的候选框，保留中等大小的候选框；然后再聚合两者的候选框，并通过一个级联 NMS 来得到最终的检测结果. 文献 [67] 提出了一种基于 Faster-RCNN 的双任务检测模型 DSTD（Deep scene text detection）. 第一个任务为文本像素分割预测，即区分图片中的文本像素与非文本像素，然后在此基础上利用组件连接生成候选框；第二个任务为字符候选框检测，输出一组候选字符，结合之前生成的候选框，通过保留有字符的候选框得到最终的检测结果. 3.4 端到端文本识别方法从本质上来说，文本检测和文本识别都属于分类问题. 文本检测主要是区分图像中的文本和非文本区域，因此可以粗略地看作为一个二分类问题；文本识别是要在文本检测结果中进一步区分字符，因此可以看作为一个更精细的分类任务. 常见的 OCR 方法中往往都是把文本检测和文本识别拆分成两个部分独立进行研究. 近年来，一些方法将文本检测和识别融合到同一个框架中完成，同样也能达到很好的效果. 一方面文本检测和文本识别可以共享底层特征，这降低了检测到识别过程的运算参数；另一方面通过反向传播算法利用文本识别的损失能够优化底层特征的提取和文本检测. 目前已经出现许多优秀的端到端文本识别方法. 文献 [68] 提出一种端到端的文本检测、识别方法 Text Perceptron，这种方法通过基于分割的文字检测方法得到文本的轮廓点，进而通过形状转换模块对文本区域进行校正，将校正后的结果输入文本识别模型，其识别模型的误差可以回传给检测模型用于检测模型的进一步优化. 大多数经典文本检测方法和许多深度学习文本检测方法为多步骤方法，其训练过程需要多个环节的调优. 这种多步结构一方面非常耗时，另一方面，每一步误差的累积往往会影响最终的结果. 因此文献 [69] 提出一种端到端的文本检测方法 EAST（Efficient and accurate scene text detector），省略了候选区域聚合、文本切分、后处理等中间步骤，直接对文本行进行预测. 该方法先利用 FCN 预测单词和文本行，输出旋转的矩形的文本候选框或者四边形的文本候选框，然后使用 NMS 算法过滤掉冗余的候选框，得到最后的结果. 现有的端到端方法中，检白志程等：自然场景文本检测技术研究综述 · 1441 ·

点击进入文档下载页（PDF格式）

共17页，试读已结束，阅读完整版请下载

点击下载（PDF格式）

浏览记录

自然场景文本检测技术研究综述