·232· 智能系统学报 第14卷 用计算机对表单图像进行自动化信息提取有着强 图匹配的方法对定位的正确性进行验证。 烈的应用需求，可以大幅度降低工作量，提升工 作效率。 1表单图表示 表单自动化处理的主要过程包括表单图像采 11参考表单的图表示 集、表单定位、信息区域提取、识别等。其中表 11.1参考表单关键区域的选取 单定位和提取是表单识别前重要的预处理过程， 本文在建立参考表单图表示时，由用户手动 预先获取表单关键信息区域有利于更方便、准确 选择能反映表单特征的关键区域，比如具有可区 地识别表单填写的内容信息。本文方法主要工作 分特征的表单公司标志、特定图案、字符块等。 是对物流快递表单中与用户信息相关的文本区域 由于表单图像上字符较多，背景较为复杂，后续 进行定位和提取，如快递表单上收/寄件人姓名、 图匹配过程需要足够多的关键区域实现配准，同 电话号码、地址等信息。该处理过程得到文本图 时匹配计算量适度，建议选取5~8个图案完整、 像块可用于后续识别工作的输入数据，建立字符 清晰、大小适中的图像块作为关键区域，图1给 图像数据库，图像特征学习的训练样本，具有广 出一个从邮政快递包裹面单上选取关键区域的 阔的应用前景。 例子。 表单提取过程中常见的方法是检测表单中的 直线，将其作为表单提取的参考位置。基于直 阳内小包件领年 香职 线的检测法所处理的对象更倾向于类似于表格类 结构化的表单，但对缺乏框线和非固定形式的非 结构化表单的处理存在明显的不足。 另一类表单定位与提取的方法是采用对表单 的布局或表单元素进行描述的方法，如建立搜索 分类树或设定提取信息的关联指令。这种对 图1参考表单关键区域选取样例 表单的布局或表单元素进行描述的方法缺乏灵活性。 Fig.1 An example for key area selection of reference form 表单图像具有特定的布局方式，因此采用参 1.1.2关键区域的图表示 考模板来提取表单也是一种重要的研究方法，如 以关键区域为图结点，建立如图2(a)所示参 使用空白表单模板与待匹配表单基准点对齐6刀 或使用傅里叶-梅林变换重定向表单1的方向。 考表单的全连接无向图表示。将该无向图定义为 Cesarini9提出通过属性图结点的具体数值和图 q=(VE:o,p,其中V为图结点，对应表单的关键 的模型特征实现刚性配准，建立待处理图和参考 区域。E为图的边，对应结点间的相互连接关 图的对应。 系。0表示每个结点v的结点属性，p表示每个 以往的模板匹配方法依赖于对基准点的严格 结点v在图q中的结构属性。图2(b)为图2(a) 要求和预先约定，而基于非层次有向关系属性图例 中结点，的结构属性表示。 方法在寻找对应区域位置时，难以避免预先识别 关键字。本文将模板匹配和图匹配的方法相结 合，提出一种基于图表示和匹配的表单定位与提 取方法。 图匹配方法在计算机视觉领域有着广泛的应 用，如特征点对应0川、形状匹配2)、目标检测和 (a)参考表单图表示 (b),的结构属性 识别1、视频分析6，图像的视觉特征在图匹配 图2参考表单图样例 过程中考虑两图之间最小结构失真以实现对应。 Fig.2 An example for graph of reference form 本文方法在处理多个类别的表单图像时，需 1)结点属性o。SIFT对图像局部特征的描述 要预先选取对应类别表单图像中已有的图案区域 具有良好旋转和尺度不变性，对光照有较强的鲁 设计匹配待处理表单的参考表单模板图，该过程 棒性。采用SIFT来描述图的结点属性表示为 避免了对字符的识别，简化了分类提取的过程。 0=fa,f2,…,fm}m=1,2,…,M(1) 另外，图匹配方法适用于混杂场景下目标检测和 式中：f为128维的SIFT特征向量，表示v,中第 异常点判别，结合这一优势，在定位表单时采用 j个特征点；M为正整数，表示结点y,的特征维度。用计算机对表单图像进行自动化信息提取有着强 烈的应用需求，可以大幅度降低工作量，提升工 作效率。 表单自动化处理的主要过程包括表单图像采 集、表单定位、信息区域提取、识别等[1]。其中表 单定位和提取是表单识别前重要的预处理过程， 预先获取表单关键信息区域有利于更方便、准确 地识别表单填写的内容信息。本文方法主要工作 是对物流快递表单中与用户信息相关的文本区域 进行定位和提取，如快递表单上收/寄件人姓名、 电话号码、地址等信息。该处理过程得到文本图 像块可用于后续识别工作的输入数据，建立字符 图像数据库，图像特征学习的训练样本，具有广 阔的应用前景。 表单提取过程中常见的方法是检测表单中的 直线，将其作为表单提取的参考位置[2-3]。基于直 线的检测法所处理的对象更倾向于类似于表格类 结构化的表单，但对缺乏框线和非固定形式的非 结构化表单的处理存在明显的不足。 另一类表单定位与提取的方法是采用对表单 的布局或表单元素进行描述的方法，如建立搜索 分类树[4] 或设定提取信息的关联指令[5]。这种对 表单的布局或表单元素进行描述的方法缺乏灵活性。 表单图像具有特定的布局方式，因此采用参 考模板来提取表单也是一种重要的研究方法，如 使用空白表单模板与待匹配表单基准点对齐[6-7] 或使用傅里叶−梅林变换重定向表单[8] 的方向。 Cesarini [9] 提出通过属性图结点的具体数值和图 的模型特征实现刚性配准，建立待处理图和参考 图的对应。 以往的模板匹配方法依赖于对基准点的严格 要求和预先约定，而基于非层次有向关系属性图[9] 方法在寻找对应区域位置时，难以避免预先识别 关键字。本文将模板匹配和图匹配的方法相结 合，提出一种基于图表示和匹配的表单定位与提 取方法。 图匹配方法在计算机视觉领域有着广泛的应 用，如特征点对应[10-11] 、形状匹配[12] 、目标检测和 识别[13-15] 、视频分析[16] ，图像的视觉特征在图匹配 过程中考虑两图之间最小结构失真以实现对应。 本文方法在处理多个类别的表单图像时，需 要预先选取对应类别表单图像中已有的图案区域 设计匹配待处理表单的参考表单模板图，该过程 避免了对字符的识别，简化了分类提取的过程。 另外，图匹配方法适用于混杂场景下目标检测和 异常点判别，结合这一优势，在定位表单时采用 图匹配的方法对定位的正确性进行验证。 1 表单图表示 1.1 参考表单的图表示 1.1.1 参考表单关键区域的选取 本文在建立参考表单图表示时，由用户手动 选择能反映表单特征的关键区域，比如具有可区 分特征的表单公司标志、特定图案、字符块等。 由于表单图像上字符较多，背景较为复杂，后续 图匹配过程需要足够多的关键区域实现配准，同 时匹配计算量适度，建议选取 5~8 个图案完整、 清晰、大小适中的图像块作为关键区域，图 1 给 出一个从邮政快递包裹面单上选取关键区域的 例子。 1.1.2 关键区域的图表示 q = (V,E;o,φ) 以关键区域为图结点，建立如图 2(a) 所示参 考表单的全连接无向图表示。将该无向图定义为 ，其中 V 为图结点，对应表单的关键 区域。E 为图的边，对应结点间的相互连接关 系。ω 表示每个结点 v 的结点属性，φ 表示每个 结点 v 在图 q 中的结构属性。图 2(b) 为图 2(a) 中结点 v7 的结构属性表示。 1) 结点属性 o。SIFT 对图像局部特征的描述 具有良好旋转和尺度不变性，对光照有较强的鲁 棒性。采用 SIFT 来描述图的结点属性表示为 oi = {fi1, fi2,··· , fim} m = 1,2,··· , M (1) 式中：fij 为 128 维的 SIFT 特征向量，表示 vi 中第 j 个特征点；M 为正整数，表示结点 vi 的特征维度。 图 1 参考表单关键区域选取样例 Fig. 1 An example for key area selection of reference form (a) 参考表单图表示 (b) v7 的结构属性 v1 v2 v4 v5 v6 v8 v3 θ58 e78 v7 v1 v2 v4 v5 v6 v7 v8 v3 图 2 参考表单图样例 Fig. 2 An example for graph of reference form ·232· 智 能 系 统 学 报 第 14 卷