白志程等:自然场景文本检测技术研究综述 1435· 外在、内在两方面的因素制约了对自然场景中文 文本候选,最后通过经验规则分析来识别文本区 本的检测效果.外在因素是指自然场景中常包含 域,并通过项目概况分析来完善文本区域.文献[10] 不同种类的对象如建筑、墙壁、动物、植物、行人 使用傅立叶-拉普拉斯滤波器过滤输入图像,同样 等,这些噪声信号会影响文本检测器的性能]在 采用K均值聚类方法基于最大差异来识别候选文 用手机拍摄图片时,过强或偏暗的光照强度影响 本区域,随后采用文本字符串的直线度和边缘密 着对图片中文本的感知能力.内在因素是指自然 度判断文本候选区域,去除背景区域.文献[11]通 场景中文本可以是任意方向的,所以需要检测的 过候选边缘重组和边缘分类两个步骤优化笔划宽 边界框通常为旋转的矩形或四边形;场景文本边 度变换方法.边缘重组步骤利用分割、区域合并 界框的长宽比变化很大,且通常会存在极端的长 等手段,将输入图像中的边缘信号处理为一组小 宽比:场景文本有字符、单词或者文本行等多种形 单元(边缘片段),利用宽度、颜色等指导信息合并 式.这些因素使算法在定位边界框时会难以判定 这些小单元,从而区分文本边缘和背景:在边界分 文本实例 类的步骤中,首先将候选边界聚合到文本行中,然 相对人脸检测等问题,自然场景文本检测研究 后使用基于字符和基于链的特征对文本行进行分 相对滞后,相关研究工作始于20世纪90年代俐 类.文献[12]基于与周围像素的有效像素强度比 早期的自然场景文本检测算法利用初级、直观的 较,提出一种易于实现的笔划检测器,首先检测特 图像特征;近年来,深度学习方法兴起,通过深度 定的笔划关键点,通过由关键点属性指导的局部 神经网络表示图像信号间,可以避免繁琐低效的 阈值提取文本片段,进而通过特征分析实现分类, 人工特征工程,同时有效提高了场景文本检测的 从而消除非文本区域.基于边缘的文本检测方法 效果 适用于背景简单的图片,在背景比较复杂时,边缘 检测算子极易受到干扰,无法获取有效边缘轮廓 2经典自然场景文本检测方法 2.1.2基于笔划宽度变换的方法 经典的文本检测方法可分为两大类:基于连 笔划宽度变换(Stroke width transform,SWT)是 通域分析的文本检测方法和基于滑动窗口的文本 一种有效的文本区域检测算法,不同于基于边缘 检测方法.连通域方法首先利用边缘提取等数字 的方法从像素梯度、角点等方面获取图片级的特 图像处理技术对输入图片进行预处理,获取文本 征信息,SWT方法更关注于字符级的笔划特征 候选区域,进而采用不同的连通域分析方法对该 如第1节中分析,OCR技术在有噪声的图像上效 区域进行细化加工,实现字符和文本的联通和定 果较差.SWT通过提取出具有一致宽度的带状目 位.根据区域生成和特征表示方法的不同,本文将 标来检测文本,有效消除了大部分噪声,得到更可 基于连通域的方法进一步划分为基于边缘的方 靠的光学字符识别结果 法、基于笔划宽度变换的方法和基于最大稳定极 笔划宽度变换算法由Epshtein等在文献[I3] 值区域的方法并分别进行介绍.基于滑动窗口的 中首次提出,该算法从高对比度边缘上的一点开 方法则采用人工特征对候选区域进行表示,并利 始,在垂直于边缘的方向上逐像素进行分析,找到 用该特征训练分类器,对候选区域进行预测和验 另一条与之平行的边缘上的一点,由这两点构成 证.这两类方法在实际应用中可以互为补充 一个笔划横截面.许多宽度相似的笔划横截面连 2.1基于连通域的方法 接构成一个完整的笔划.笔划宽度的确定过程如 2.1.1基于边缘的方法 图2所示,其中p是笔划边界上的一个像素,沿 自然场景中的文本往往具有丰富的边缘和角 p点梯度方向搜索,就可以找到笔划另一侧对应的 点信息,基于边缘的文本检测方法通过Cannym7边 像素9,w为对应笔划的宽度.在此基础上,笔划组 缘检测算子提取图片边缘和角点来获取文本的候 成字符,字符组成词汇和文本区域.SWT算法的 选区域,进而使用规则或分类器对文本候选区域 一个好处是不需要知道文本的语言和字体类型即 进行定位预测 可实现文本定位 文献[8]首先应用Sobel边缘检测算子例获得 笔划宽度变换算法提出后,文献[14、文献[15] 水平,垂直,右上和左上方向的四个边缘图,然后 对其进行了发展和改进.文献[14]通过笔划宽度 从四个边缘图中提取特征以表示文本的纹理属 变换处理获得文本候选区域,使用文本级分类器 性,进而应用K均值(K-means)聚类算法检测初始 过滤非文本区域:用文本之间的相似性连接文本外在、内在两方面的因素制约了对自然场景中文 本的检测效果. 外在因素是指自然场景中常包含 不同种类的对象如建筑、墙壁、动物、植物、行人 等,这些噪声信号会影响文本检测器的性能[3] . 在 用手机拍摄图片时,过强或偏暗的光照强度影响 着对图片中文本的感知能力. 内在因素是指自然 场景中文本可以是任意方向的,所以需要检测的 边界框通常为旋转的矩形或四边形;场景文本边 界框的长宽比变化很大,且通常会存在极端的长 宽比;场景文本有字符、单词或者文本行等多种形 式. 这些因素使算法在定位边界框时会难以判定 文本实例. 相对人脸检测等问题,自然场景文本检测研究 相对滞后,相关研究工作始于 20 世纪 90 年代[4] . 早期的自然场景文本检测算法利用初级、直观的 图像特征;近年来,深度学习方法兴起,通过深度 神经网络表示图像信号[5] ,可以避免繁琐低效的 人工特征工程[6] ,同时有效提高了场景文本检测的 效果. 2 经典自然场景文本检测方法 经典的文本检测方法可分为两大类:基于连 通域分析的文本检测方法和基于滑动窗口的文本 检测方法. 连通域方法首先利用边缘提取等数字 图像处理技术对输入图片进行预处理,获取文本 候选区域,进而采用不同的连通域分析方法对该 区域进行细化加工,实现字符和文本的联通和定 位. 根据区域生成和特征表示方法的不同,本文将 基于连通域的方法进一步划分为基于边缘的方 法、基于笔划宽度变换的方法和基于最大稳定极 值区域的方法并分别进行介绍. 基于滑动窗口的 方法则采用人工特征对候选区域进行表示,并利 用该特征训练分类器,对候选区域进行预测和验 证. 这两类方法在实际应用中可以互为补充. 2.1 基于连通域的方法 2.1.1 基于边缘的方法 自然场景中的文本往往具有丰富的边缘和角 点信息,基于边缘的文本检测方法通过 Canny[7] 边 缘检测算子提取图片边缘和角点来获取文本的候 选区域,进而使用规则或分类器对文本候选区域 进行定位预测. 文献 [8] 首先应用 Sobel 边缘检测算子[9] 获得 水平,垂直,右上和左上方向的四个边缘图,然后 从四个边缘图中提取特征以表示文本的纹理属 性,进而应用 K 均值(K-means)聚类算法检测初始 文本候选,最后通过经验规则分析来识别文本区 域,并通过项目概况分析来完善文本区域. 文献 [10] 使用傅立叶−拉普拉斯滤波器过滤输入图像,同样 采用 K 均值聚类方法基于最大差异来识别候选文 本区域,随后采用文本字符串的直线度和边缘密 度判断文本候选区域,去除背景区域. 文献 [11] 通 过候选边缘重组和边缘分类两个步骤优化笔划宽 度变换方法. 边缘重组步骤利用分割、区域合并 等手段,将输入图像中的边缘信号处理为一组小 单元(边缘片段),利用宽度、颜色等指导信息合并 这些小单元,从而区分文本边缘和背景;在边界分 类的步骤中,首先将候选边界聚合到文本行中,然 后使用基于字符和基于链的特征对文本行进行分 类. 文献 [12] 基于与周围像素的有效像素强度比 较,提出一种易于实现的笔划检测器,首先检测特 定的笔划关键点,通过由关键点属性指导的局部 阈值提取文本片段,进而通过特征分析实现分类, 从而消除非文本区域. 基于边缘的文本检测方法 适用于背景简单的图片,在背景比较复杂时,边缘 检测算子极易受到干扰,无法获取有效边缘轮廓. 2.1.2 基于笔划宽度变换的方法 笔划宽度变换(Stroke width transform, SWT)是 一种有效的文本区域检测算法. 不同于基于边缘 的方法从像素梯度、角点等方面获取图片级的特 征信息,SWT 方法更关注于字符级的笔划特征. 如第 1 节中分析,OCR 技术在有噪声的图像上效 果较差. SWT 通过提取出具有一致宽度的带状目 标来检测文本,有效消除了大部分噪声,得到更可 靠的光学字符识别结果. 笔划宽度变换算法由 Epshtein 等在文献 [13] 中首次提出,该算法从高对比度边缘上的一点开 始,在垂直于边缘的方向上逐像素进行分析,找到 另一条与之平行的边缘上的一点,由这两点构成 一个笔划横截面. 许多宽度相似的笔划横截面连 接构成一个完整的笔划. 笔划宽度的确定过程如 图 2 所示,其中 p 是笔划边界上的一个像素,沿 p 点梯度方向搜索,就可以找到笔划另一侧对应的 像素 q,w 为对应笔划的宽度. 在此基础上,笔划组 成字符,字符组成词汇和文本区域. SWT 算法的 一个好处是不需要知道文本的语言和字体类型即 可实现文本定位. 笔划宽度变换算法提出后,文献 [14]、文献 [15] 对其进行了发展和改进. 文献 [14] 通过笔划宽度 变换处理获得文本候选区域,使用文本级分类器 过滤非文本区域;用文本之间的相似性连接文本 白志程等: 自然场景文本检测技术研究综述 · 1435 ·