第2期 谭婷，等：基于图表示和匹配的表单定位与提取 ·235· 3 实验及分析 MAP=num(AO≥T) 1 (13) 3.1数据集 式中：num(AO≥刀表示阈值为T时准确定位的图 对快递包裹分拣机中采集的两类快递表单图 像数量，I为测试图像的数量。 像，建立多联表单(table like form,TF)和热敏表 此外，采用标注工具Lablelmg标记待处理表 单(free form,FF)两类实验数据集，TF和FF共计 单中提取区域真值，计算真值与检测目标交叠率 1477幅灰度快递表单图像。这些表单图像的分 (intersection-over-union,IOU,准确表示为 辨率偏转角度不同，且未进行归一化处理。其中 DetectionResultnGroundTruth IOU= (14) T℉为表格类图像，该类表单由制表单位统一印 DetectionResult UGroundTruth 刷，表单内容依据表格线布局，包括中国邮政国 其中，IOU DetectionResult和GroundTruth表示信 内快递小包邮件详情单(C-XB)和EMS国内标准 息提取区域检测位置和工具标注区域真值位置。 快递(EMS-MULT),这些图像的字符和图案较为 3.3实验结果及分析 清晰，其中有部分图像具有褶皱、模糊、扭曲或缺 通过实验对TF、FF数据集分别计算了阈值 损、遮挡或字迹重叠等问题。FF数据集为非表格 T为0.5、0.6、0.7、0.8、0.9时图像的平均准确率和 类表单图像，该类表单常见于物流集散点、商家 图像的平均重叠率(mean average overlap,MAO)。 网点自行打印，包括EMS标准快递(EMS-FLAT) 当T=0.8时，表示验证过程中参考表单和待处理 和韵达快递表单(YUNDA),除存在上述TF数据 表单中关键区域相互映射的重叠区域高于80%， 集中特点以外，该数据集中表单印刷墨迹清晰度 实验表明：此时用于定位的映射关系相对准确， 不一。另外，为验证算法在光照、尺度、旋转变换 能实现大部分图像的准确定位和提取。因此本文 等情况下具有良好的鲁棒性，本实验将TF、F℉数 实验将该阈值对应的MAP作为算法准确定位的置信度。 据集记为o-i,对o-i进行了旋转、缩放、亮度调节 表1是TF、FF数据集的平均准确率和重叠 等扩展数据集。旋转扩展是对0-i分别旋转45°、 率的实验统计情况，其中MAO反映了样本中通 90°、135°、180°，新增r-1、r-2、r-3、r-4扩展数据 过映射关键区域的整体重合情况。数据显示： 集。缩放扩展是对0-i缩扩放至原表单图像的 TF、FF中原图像数据集和扩展数据集的MAO主 75%、50%、125%、150%,新增s-1、s-2、e-1、e-2扩 要分别在90%以上和80%以上，说明根据图匹配 展数据集。亮度调节扩展是对o-i的亮度提高至 建立的关键区域映射关系，能较好的实现待处理 原来的125%、150%和降低至原来的75%、50%， 表单与参考表单上关键区域的位置对应，因此可 新增b-1、b-2、d-1、d-2扩展数据集。经过数据集 以通过这种映射进行表单的提取。TF、FF数据集 扩充，本文实验的表单图像共计19201幅。 的MAP大部分在87%98%和75%~86%，这表明 3.2评价标准 本文算法对多联表单和热敏表单具有良好的定 本文通过表单图匹配的置信度和表单相关信 位准确率。图6中，当T=0.9时，FF数据集的 息的提取结果准确率来分析算法的性能。 MAP相对TF数据集低约20%~30%，波动幅度较 首先，采用表单图匹配的置信度来衡量根据 大，原因有以下两点：1)T℉数据集中，关键区域均 图匹配所建立的参考表单图像与待处理图像的映射 为表单出厂印制图案和字符，同类表单的差异较 是否可靠，该置信度由重叠率(average overlap,AO) 小，FF数据集表单印制要求不统一，故而差异较 和平均准确率(mean average precision,.MAP)来评 大；2)FF数据集为非表格类表单，其内容的自由 定。如果映射的置信度高，那么表单信息提取的 度较大，选取关键区域的难度较大，可参照的关 准确性也会提高。重叠率定义为映射过程中关键 键区域少，因此建立表单映射时严格匹配的特征 区域重合度比例的均值： 点对较少，因此对阈值高的AO的MAP值相对较 1 AO= 低。图6，T℉中原图像数据集在进行旋转、亮度 overlap(vgt) (12) n 调节变换后，平均准确率的变化趋于重合，F℉数 式中：n,为关键区域的数量，vg为参考表单关键 据集的平均准确率仅有小幅度范围内的波动。因 区域的位置，为待处理表单图像上关键区域的 此，该表单提取算法对旋转和亮度变化的图像具 定位结果，overlap()表示区域的重叠率。 有良好的稳定性。另外，图6中图像缩至75%，T= MAP是当重叠率AO高于某一阈值T时，则 0.8时，TF、FF数据集的分别为79.83%、70.11%， 待处理表单的匹配位置为准确位置，故MAP表 与原图像数据集o-i相比MAP分别下降了48.89%、 示为 19.54%,T℉数据集s-2与原图数据集o-i和其他3 实验及分析 3.1 数据集 对快递包裹分拣机中采集的两类快递表单图 像，建立多联表单 (table like form，TF) 和热敏表 单 (free form，FF) 两类实验数据集，TF 和 FF 共计 1 477 幅灰度快递表单图像。这些表单图像的分 辨率偏转角度不同，且未进行归一化处理。其中 TF 为表格类图像，该类表单由制表单位统一印 刷，表单内容依据表格线布局，包括中国邮政国 内快递小包邮件详情单 (C-XB) 和 EMS 国内标准 快递 (EMS-MULT)，这些图像的字符和图案较为 清晰，其中有部分图像具有褶皱、模糊、扭曲或缺 损、遮挡或字迹重叠等问题。FF 数据集为非表格 类表单图像，该类表单常见于物流集散点、商家 网点自行打印，包括 EMS 标准快递 (EMS-FLAT) 和韵达快递表单 (YUNDA)，除存在上述 TF 数据 集中特点以外，该数据集中表单印刷墨迹清晰度 不一。另外，为验证算法在光照、尺度、旋转变换 等情况下具有良好的鲁棒性，本实验将 TF、FF 数 据集记为 o-i，对 o-i 进行了旋转、缩放、亮度调节 等扩展数据集。旋转扩展是对 o-i 分别旋转 45°、 90°、135°、180°，新增 r-1、r-2、r-3、r-4 扩展数据 集。缩放扩展是对 o-i 缩扩放至原表单图像的 75%、50%、125%、150%，新增 s-1、s-2、e-1、e-2 扩 展数据集。亮度调节扩展是对 o-i 的亮度提高至 原来的 125%、150% 和降低至原来的 75%、50%， 新增 b-1、b-2、d-1、d-2 扩展数据集。经过数据集 扩充，本文实验的表单图像共计19 201 幅。 3.2 评价标准 本文通过表单图匹配的置信度和表单相关信 息的提取结果准确率来分析算法的性能。 首先，采用表单图匹配的置信度来衡量根据 图匹配所建立的参考表单图像与待处理图像的映射 是否可靠，该置信度由重叠率 (average overlap，AO) 和平均准确率 (mean average precision，MAP) 来评 定。如果映射的置信度高，那么表单信息提取的 准确性也会提高。重叠率定义为映射过程中关键 区域重合度比例的均值： AO= 1 nl ∑nl i=1 overlap(vgtq i , v q i ) (12) vgtq i v q i overlap(·) 式中：nl 为关键区域的数量， 为参考表单关键 区域的位置， 为待处理表单图像上关键区域的 定位结果， 表示区域的重叠率。 MAP 是当重叠率 AO 高于某一阈值 T 时，则 待处理表单的匹配位置为准确位置，故 MAP 表 示为 MAP = num(AO ⩾ T) I (13) 式中：num(AO ⩾ T) 表示阈值为 T 时准确定位的图 像数量，I 为测试图像的数量。 此外，采用标注工具 LableImg 标记待处理表 单中提取区域真值，计算真值与检测目标交叠率 (intersection-over-union，IOU)，准确表示为 IOU = DetectionResult∩GroundTruth DetectionResult∪GroundTruth (14) 其中，IOU DetectionResult 和 GroundTruth 表示信 息提取区域检测位置和工具标注区域真值位置。 3.3 实验结果及分析 通过实验对 TF、FF 数据集分别计算了阈值 T 为 0.5、0.6、0.7、0.8、0.9 时图像的平均准确率和 图像的平均重叠率 (mean average overlap，MAO)。 当 T=0.8 时，表示验证过程中参考表单和待处理 表单中关键区域相互映射的重叠区域高于 80%， 实验表明：此时用于定位的映射关系相对准确， 能实现大部分图像的准确定位和提取。因此本文 实验将该阈值对应的MAP作为算法准确定位的置信度。 表 1 是 TF、FF 数据集的平均准确率和重叠 率的实验统计情况，其中 MAO 反映了样本中通 过映射关键区域的整体重合情况。数据显示： TF、FF 中原图像数据集和扩展数据集的 MAO 主 要分别在 90% 以上和 80% 以上，说明根据图匹配 建立的关键区域映射关系，能较好的实现待处理 表单与参考表单上关键区域的位置对应，因此可 以通过这种映射进行表单的提取。TF、FF 数据集 的 MAP 大部分在 87%~98% 和 75%~86%，这表明 本文算法对多联表单和热敏表单具有良好的定 位准确率。图 6 中 ，当 T=0.9 时 ， FF 数据集的 MAP 相对 TF 数据集低约 20%~30%，波动幅度较 大，原因有以下两点：1)TF 数据集中，关键区域均 为表单出厂印制图案和字符，同类表单的差异较 小，FF 数据集表单印制要求不统一，故而差异较 大；2)FF 数据集为非表格类表单，其内容的自由 度较大，选取关键区域的难度较大，可参照的关 键区域少，因此建立表单映射时严格匹配的特征 点对较少，因此对阈值高的 AO 的 MAP 值相对较 低。图 6，TF 中原图像数据集在进行旋转、亮度 调节变换后，平均准确率的变化趋于重合， FF 数 据集的平均准确率仅有小幅度范围内的波动。因 此，该表单提取算法对旋转和亮度变化的图像具 有良好的稳定性。另外，图 6 中图像缩至 75%，T= 0.8 时，TF、FF 数据集的分别为 79.83%、70.11%， 与原图像数据集 o-i 相比 MAP 分别下降了 48.89%、 19.54%， TF 数据集 s-2 与原图数据集 o-i 和其他 第 2 期 谭婷，等：基于图表示和匹配的表单定位与提取 ·235·