利用计算机自动识别和匹配标靶校正摄影镜头畸变

0L:1013374W5sm10010数2000600 第22增第6期 北京科技大学学报 Vol.22 No.6 2000年12月 Journal of University of Sclence and Technology Beljing Dec,2000 利用计算机自动识别和匹配标靶校正 摄影镜头畸变 刘炜刚 洪 源傅昕王贤文刘珍曾祥希 北点科技大学信息工程学院，北京100083 捕要给出丁一套通过近景摄影来进行摄影镜头畸变校正的完整方法，它包括准备标靶并 摄影、计算机自动识别和匹配标靶标志点、运用最小二乘法解镜头畸变校正系数等步骤.详细 讨论了自动识别和匹配标把算法的各个步粟，包括预处理，二值化，图像分割、细化，线条检测， 标志点判别，重建标祀网格和标靶匹配等.在这些算法的基础上，实现了一个完整的系统，通过 实例证明了这套方法的正确性和有效性. 关镶词镜头睛变校正：标靶识别：数字图像处理 分类号TP391.7 文献标识码：A 数字图像处理被广泛地应用到各个领域， 距网格规则排列，在这里采用十字形状的标志 获得数字图像一般是通过照相机、摄像机取得 点（如图1）. 图像然后进行扫描，也可以直接使用数码照相 机或数码摄像机，但是通过这些渠道获得的图 像，都有可能产生镜头琦变。 +++ 镜头琦变校正有多种方法，有一些方法需 ++ ++ 要使用精密的光学仪器，有一些方法只是针对 特殊的专业照相机和专业摄影镜头，本文讨论 +++++ 的是一种不需要额外特殊仪器、可以运用到普 通照相机上的镜头畸变校正方法，镜头畸变校 1 ++++ 正也就是对镜头的喃变做定量的描述，需要找 密1标靶 到合适的数学公式来描述镜头的形变畸变，然 Fig.1 Test target 后求出公式中的参数.镜头畸变的数学表示有 使用待测量的照相机在不同角度对标靶拍 很多种，式(1)是其中较为有效的一种： 摄35张照片.容易知道，在摄影站、物点和对 [△r-(xr)ky+k) (1) 应像点3点之间存在共线关系，如图2所示， △y=wr)ky+kr+ky 共线关系用方程如式(2)表示： 其中，T=√行，kk,k是待求参数 x+△x X-x 实际证明，以上公式可以有效地描述镜头 +△y 3,3)Y- (2) 的球面形变，还可以描述照片在冲印、扫描过程 Z-z] 中的产生的形变， a bi ci 其中，入为比例系数；R=ab2C为旋转矩阵. 1通过近景摄影求畸变系数 as b,c 每张照片上的一个像点可以得到一组方 为了精确求解镜头畸变校正系数，需要准 程，在方程中k,店，高，1，R,名，只，3是未知数. 备一个“标靶”，实际上就是许多标志点按照等 而在实际中，有3一5张不同角度的照片，每张照 2000-03-27收满刘炜刚男，24岁，硕士 片上均匀密布了100个左右的标志点，这样方 ·国家“九五“攻关课题0No,96-91901-01-) 程的个数远大于未知数个数，它可以使用最小

DOI ：10．13374／j ．issn1001－053x．2000．06．020

·562· 北京科技大学学报 2000年第6期 摄影站B 物体（物体是深色，背景是浅色）. Gxy)=1若fxy)2T, Gxy)=0若fxy水T. 摄影站 阅值T可以根据经验来指定，但较好的方 (X,Y.Z.) 法是根据图像的灰度直方图自动找到一个阈 像点 (cy,-) 值.图像的灰度直方图具有明显的双峰特性，这 样可以从2个灰度极值之间找到一个波谷作为 %) 标靶物点（化，Y,) 分割的阅值. 相片A(已经翻转过来) 3.4图像分割 图2摄影示意图 图像分割即能明确问题，又可以降低算法 Fig.2 Sketch map of photographing 的规模.二值化完成后，又已知待识别物体是连 二乘法精确解得各个未知数，求得的飞，，k将 通的，就可以使用连通性的判断来对图像进行 可靠地反映镜头的畸变 分割.也就是说，从任一个物体上的点开始，不 断向外扩展与这个点相连通的点，直到找到包 2标靶的标记和匹配 含所有与这个点连通的点的最小矩形区域.在 二值化效果不理想的情况下，也可以使用“边沿 在上述方法中，为了知道各个标志点的实 检测”的方法来探测物体的边界范围，从而完成 际坐标，需要将各张照片上标靶的各个标志点 分割图像的工作. 进行精确标记，还需要对不同照片上的同一标 3.5细化 志点进行匹配.所谓匹配，就是给不同照片上的 识别物体的关键在于提取出合适的特征， 同一标志点标志上相同的编号，这项繁琐的工 待识别物体的最关键、最本质的特征是标志点 作如果由人工完成的话，需要较长的时间，而且 的十字形状.在数字图像处理中对物体形状描 人会产生疲劳，可能发生标记错误或者匹配错 述有很多参数，如灰度直方图特点、物体的圆 误，这些人工错误将会使计算结果产生较大的 度、物体的矩形度、物体的边界描述特征等，但 误差，通过对数字图像处理和模式识别领域的 是最直接的方法是得到构成十字形状的两条交 研究，可得出用计算机对标靶进行自动识别和 叉线条.为了从分割后的数字图像中提取构成 匹配的算法 物体形状的信息，可以采用细化的方法来提取 物体的形状骨架， 3自动识别和匹配标靶的算法 细化首先标记物体的边界点，但是并不是 31灰度化 马上删除边界点，而是只删除那些不破坏物体 使用亮度公式将彩色数字图像转化为灰度 的连通性的点；不断进行上面的操作，直到剩下 图像，Y-0.299R+0.587G+0.114B(Y亮度；R红光强 的点都是边界点，细化是一个不断剥去物体边 度；G绿光强度；B蓝光强度) 界点的过程，物体经过细化后，最终可以变成单 3.2消除噪声 像素宽的线条，而拓扑学特征不会变化. 采用领域平均法可以消除数字图像上的孤 实现细化算法有2个具体问题需要解决： 点噪声，用fxy),八xy)表示计算后的灰度和原 (1)判断哪些点是物体的边界点；(2)判断删除 来实际灰度，2(i=1,2,,8)表示这点邻近8点的 哪些点将破坏物体的连通性.第1个问题十分 灰度值，则有： 简单，考察与这点邻接的8个点中有没有外部 xw馆犯 当-g2Ope时： 点就可以了.第2个问题比较复杂这里没有采 用复杂的逻辑判别的方法，而是只在一个小的 f'(xy)=fxy)其他. 邻域范围(3*3)内来判断连通性的变化.考虑到 3.3图像二值化 领域8个点只有256种组合可能，那么可以预 图像二值化的目的在于将待识别物体和背 先做好判断，然后查表就可以了，实际证明，这 景区分开.其方法是：设定一个门限阈值T,大 种方法快捷而有效.例如： 于这个值的认为是背景：小于这个值的认为是

北 京 科 技 图 摄影示意图 啥 址 二乘法精确解得各个未知 数 ， 求得 的 丸 ， 棍 ， 允将 可靠地反 映镜 头 的畸变 标靶的标记和 匹 配 在上 述方法 中 ， 为 了知 道各个标志 点 的实 际坐标 ， 需 要将各张照 片上 标靶 的各个标志 点 进行精确标记 ， 还需 要 对 不 同照 片上 的同一标 志 点进行 匹配 所谓 匹 配 ， 就 是给不 同照 片上 的 同一标志 点标志上相 同 的编号 这项繁琐 的工 作如果 由人工 完成 的话 ， 需要 较长 的时 间 ， 而且 人会产生疲 劳 ， 可 能发生标记错误 或 者匹 配错 误 这些人 工 错误将 会使计算结 果 产生较大 的 误差 通过对数字 图像处 理和 模式识 别领域 的 研 究 ， 可得 出用 计算机对标靶进行 自动 识别和 匹 配 的算法 自动识别和 匹配标靶的算法 灰度化 使用亮度公 式将彩色数字 图像转化为灰度 图像 ， 亮度 红光 强 度 绿光强度 蓝光 强度 消 除噪声 采用 领域平均法可 以消除数字 图像上 的孤 点噪声 用 ，必 丈才砂 表示计算后 的灰度和 原 来实际灰度 ， 必 ， ，… ， 表示这 点邻近 点的 灰度值 ， 则有 。间艺 必 气八大砂 图像二值化 当 、 一糕， 时 其他 图像二 值化 的 目的在 于将待识别物体和 背 景 区 分开 其方 法是 设 定 一 个 门限 阂值 ， 大 于 这个值 的认 为是 背景 小 于 这个值 的认 为 是 大 学 学 报 。 年 第 期 物 体 物 体 是 深色 ， 背景 是 浅色 功 若 八大功之 必 若 了卜必 闽值 可 以根据 经验 来指 定 ， 但较好 的方 法 是 根 据 图像 的灰 度 直 方 图 自动 找 到 一 个 阂 值 图像 的灰度直方 图具有 明显 的双峰特性 ， 这 样 可 以从 个灰度极值之 间 找到一 个波谷 作为 分 割 的 阂值 图像分割 图像分割 即能 明确 问题 ， 又可 以降低算法 的规模 二 值化完成后 ， 又 已知 待识别物体是连 通 的 ， 就 可 以使用 连通性 的判 断来对 图像进行 分割 也 就 是 说 ， 从任一 个物 体 上 的点开 始 ， 不 断 向外扩 展 与这个 点相 连通 的点 ， 直 到找到包 含所有 与这个 点连通 的点 的最 小矩形 区 域 在 二值化效果 不 理想 的情况 下 ， 也 可 以使用 “ 边沿 检测 ” 的方法来探测 物体 的边界范 围 ， 从 而完成 分割 图像 的 工 作 细化 识 别 物 体 的关键在 于 提取 出合适 的特征 ， 待识别 物体 的最关键 、 最本质 的特征是标志 点 的十字形 状 在数字 图像处理 中对物体形状描 述有很 多参 数 ， 如灰度直 方 图特 点 、 物体 的圆 度 、 物体 的矩 形 度 、 物 体 的边 界描述特征等 ， 但 是最直接 的方法是得到构 成十字形状 的两条交 叉线条 为 了从 分 割后 的数字 图像 中提取 构成 物 体形状 的信 息 ， 可 以采用 细 化 的方法 来提取 物体 的形状骨架 细 化 首 先 标记物 体 的边 界 点 ， 但是 并不 是 马上 删 除边界 点 ， 而 是 只 删 除那 些不 破 坏物体 的连通性 的点 不 断进行上 面 的操作 ， 直到剩下 的 点都 是 边界 点 细 化 是一 个不 断 剥去物体边 界 点 的过程 ， 物体经过细 化后 ， 最 终可 以变成单 像 素 宽 的线条 ， 而 拓 扑学特征 不会变化 实现 细 化 算 法 有 个 具 体 问题 需要 解 决 判 断 哪 些 点 是 物体 的边 界 点 判 断删 除 哪 些 点将 破坏物 体 的连通性 第 个 问题 十分 简单 ， 考 察与这 点邻接 的 个 点 中有没有外部 点就 可 以了 第 个 问题 比较 复杂 这里 没有采 用 复 杂 的逻辑判 别 的方法 ， 而 是 只 在一 个小的 邻 域 范 围 内来判 断连通性 的变化 考虑到 领域 个 点 只 有 种 组合 可 能 ， 那 么 可 以预 先 做好判 断 ， 然 后 查 表 就 可 以 了 实 际证 明 ， 这 种 方 法快捷而 有 效 例 如

VoL22 No.6 刘炜刚等：利用计算机自动识别和匹配标靶进行摄影镜头畸变校正 563· 标志点的中心位置： 删除中心点不破坏连通性 (1)解析法.联立构成十字形状的2条直线 的方程，求出直线交点， 删除中心点破坏连通性 (2)统计特征法.因为十字形状的对称性， 可以认为图案的重心（灰度平均中心）就是标志 ·表示物体上的点，#表示当前考察的点 点的中心位置. 图3是几个待识别标志点被细化后的效果， 到这一步为止，标志点的识别工作完成了， 下面的步骤是进行标志点的匹配. 3.8重建标靶网格 虽然说标靶上的标志点是按照等距离的网 格规则排列的，但是在摄影时，由于摄影角度和 摄影镜头的影响，产生了视角的透视变形和镜 图3标志点细化效果 头的球面变形.这个标准的矩形网格产生了变 Fig.3 Result of sign thinning 形和错动，在照相角度比较偏时，透视形变会很 严重.因此，需要想办法来重建标靶网格. 3.6线条检测 重建标靶网格从人工指定的一个基准点开 完成细化后，需要找到一种方法，能够根据 始，首先在基准点附近搜索，得到一个基准矩 一些点，来找到这些点所组成的直线，也就是需 形；然后，分别以基准矩形的上两点和下两点为 要进行线条检测，这里不能采用解直线方程或 基准，向两侧搜索扩展出2条水平线；最后，以 者拟合的方法，而是采用了一种检测已知形状 这2条水平线垂直方向上对齐的某两点，向上 曲线的方法，即Houg助变换算法.Houg变换就 下搜索扩展出垂直线条，完成了整个标靶网格 是将直线方程写成参数形式：r=x·cos叶y-sin0, 化，其中，搜索扩展的方法是：根据两点的坐标 每1对(“，)对应着1条直线，考虑1个由参数 推测同方向上第3点的坐标，不断推测，得到这 一日定义的1个二维参数空间一Hough空间， 个方向上的直线， 那么，x-y平面的1条直线经过Houg吵h变换后， 图4说明了重建标靶网格的效果。可以看 映射成了Hough空间的】个点(r,):x-y平面 出，虽然发生了较大的透视形变，但重建标靶网 上的1个点对应了Hough空间的1条正弦曲线， 格后重新找到了标志点的排列规律， 这样将细化得到的点经过Houg助变换，可以得 到许多Hough空间的正弦曲线；再将这些正弦 曲线上的点进行聚类分析，得到Hough空间中 点的密集区域，将这种区域的中心点变换回 x一y空间，就得到需要检测的直线方程，这些直 线将穿过大量的已知点回 3.7标志点判别 标志点的十字形状是判别标志点的最本质 的特征，可以由是否构成十字形状来做决定性 的判别.十字形状可以被描述为：可以检测到2 图4量建标靶网格 条垂直或者接近垂直的线段，而且它们的交点 Fig.4 Grid rebuilding 位于线段的中间部分，为了防止错判，可以再引 3.9匹配标志点 入2个特征：十字形状的大小和十字图形的粗 将各张图像上的标志点都完成重建标靶网 细.可以对这2个特征作阑值的限定.图形的大 格后，就可以进行标志点匹配的工作，以基准标 小特征可以由“图像分割”得到，也就是分割矩 志点为原点，确定各张照片上的各个标志点在 形的大小：图形的粗细可以由“细化”得到，它就 网格上的坐标位置，那么，在不同照片上有同样 是细化的层次， 网格坐标位置的标志点就是同一个标志点， 判别了标志点后，可以有2种方法计算出

·564 北京科技大学学报 2000年第6期 43 实验 可以看出：图像上的绝大部分标志点被识别出 来，并且被精确定位，标志点定位的误差在12 4.1准备和照相 个像素之内.对于不同限片上的同1个标志点， 在一面竖直墙上准备好标靶，标靶由100多 被自动赋予同1个编号，匹配的结果完全正确. 个人工标志点组成，呈网格排列，水平和垂直间 43计算镜头畸变矫正系数 距均为30cm.围绕这个标靶从左到右拍摄了4 按照共线条件以最小二乘法解方程组，计 张照片，将照片输入计算机得到数字图像，（参 算出来的结果是： 见图5). k1=0.00004858,k=-0.00000230, 4,2识别和匹配标志点 k=0.00048950. 用计算机实现算法，对数字图像进行标志 对于同一照相机镜头，使用这组系数进行 点的识别和匹配工作，结果良好.识别和匹配的 镜头畸变校正，结果证实可以大大减少镜头变 结果如图5所示.从(a)和6)不同角度的图像上， 形，提高摄影质量. 田5标志点自动识别和匹配的结果，()和b)角度不同 Fig.5 Result of automatically marking and matching 5结论 参考文献 】王秀美，曾卓乔.计算机无接触三维测量系统的研制和 通过近景摄影和计算机自动识别和匹 应用.江西有色金属，1995,9(2)：1 配标靶来对镜头进行畸变校正的方法是可行 2 Kenneth R Castleman.Digital Image Processing北京， 的，有效的，而且是简单快捷，适用范围广，结果，华大学出版社，19984 精确. 3田村秀行著计算机图像处理技术赫荣威编译北京： 北京师范大学出版杜，19889 Lens-induced Distortion Calibration Using Computer Automatic Target Recognition and Matching LIU Weigang,HONG Yuan,Fu Xin,Wang Xianwei,Liu Zhen,CENG Xiangxi informtion EngineeringSchool,UST Beijing,Beijing 100083,China ABSTRACT A compleled method of Calibration of Lens-induced Distortion is discussed,which on a test photographing.It is described as following:take some pictures on a test target;the signs on the pictures are ma- rked and matched by computer automatically;the parameters of lens-induced distortion can be calculated using least square procedure.The algorithm of automatic marking and matching test target is detailed,which contains several approaches:image pre-processing,image binaryzation,image segmentation,sign thinning,line linking, sign recognition,calculating coordinates,grid rebuiding and grid marching.A completed system is imple- mented based on this algorithm and shows its feasibility and validity in actual usage. KEY WORDS calibration of lens-induced distortion;target recognition;digital image processing