·1034· 智能系统学报 第15卷 统方法需要精确的参照物，通过参照物三维空间 畸变校正部分：如图2所示拍摄的一张包含 的坐标与图像中的对应点，求取内外参数和畸变 棋盘格的图像，通过在成像平面内画出对称的 校正，通过标定物的不同又细分为基于3D和基 点、线，来作为实时检测成像窗口的辅助线，使棋 于2D平面靶标的标定，主要代表算法有张正友 盘平面与像平面平行：通过特征点检测和棋盘格 标定算法和Tsai两步法B6。Chang等根据霍 检测，得到棋盘格内角点数据，并初始化期望角 夫变换峰值的特点，以现有畸变模型为基础，提 点数据。通过检测和期望角点进行曲面拟合，得 出了一种透镜畸变参数辨识方法，该方法只需要 到两个畸变插值曲面。最后使用反向双线性插 场景中存在直线即可进行辨识，更加灵活；自标 值，得到插值表格。检测部分，首先对同一张图 定方法则通过图像自身的信息来对视觉传感器进 片，使用不同方法进行畸变校正，然后逆投影变 行标定，它分为3类，即基于主动视觉、利用矩 估计四和本质矩阵0、利用绝对二次曲线四和极 换到同一个平面和尺度，计算其真实角点（检测 到的棋盘格内角点)与期望角点（根据中心附近 线变换性质。自标定虽然有着无需标定物的优 势，但主动视觉方法需要昂贵的系统成本。也有 的点生成)的误差，最后拟合成误差曲面，转换为 一些特殊的标定方法，例如基于消失点的单张图 误差范围内的正视图，比较有效范围。 片标定)，使用二元三次多项式与三角插值的方 u.v 法剀实现短焦距大广角的非线性畸变校正等。 现有的棋盘检测方法仍然只能检测规则的棋 盘格。广角相机相对于一般相机，视野更加开 阔，能够从图像中获取更多的信息，但是传统二 维标定方法在复杂畸变（透镜有凹陷或突出、透 镜不规则等情况)和广角相机广角方向的畸变校 正，受限于畸变模型，仍然存在一定的误差，影响 成像的有效信息区域，以及应用的测量精度。 图2拍摄位姿 针对上述2种情况，本文改进了棋盘格检测 Fig.2 Shooting pose 方法，使其能够检测不规则的棋盘格。基于传统 1.2 特征点及棋盘格检测 二维标定物，提出了使用插值算法来进行相机畸 相机校正方法涉及两方面的问题：一方面是 变校正。通过本文方法进行畸变校正后，再求取 数据的获取，另一方面是标定的模型。数据获取 内外参数。在应用时，可以根据需要选择将畸变 的关键在于棋盘格检测。 校正部分转换成插值映射表，特殊情况下也可以 现有的棋盘格检测大致分为形态匹配和特征 将拟合曲面以及内外参数合并转换成插值映射 匹配：一种是通过腐蚀膨胀检测正方形，来寻找 表，提高使用时的速度。 棋盘格内角点，然后根据棋盘格特征得到棋盘 1 基于插值算法的广角相机畸变校 格：另一种是通过匹配角点特征寻找内角点，然 正基本原理 后通过棋盘格特征得到棋盘格。而对于畸变较严 重的部分，是无法检测出棋盘格黑色部分为正方 1.1系统流程 形的，故采用后一种基于生长法的角点特征匹配 本文提出的基于插值算法的广角畸变校正的 方法。该方法的主要步骤如下： 流程如图1所示，分为畸变校正与效果检测两部 )角点检测。设置基础模版，并进行角点匹配。 分内容。 2)筛选角点。极大值抑制，去除边沿点，去 除评分较低的点。 40 棋盘 拟合 生成 格检 插值 3)寻找棋盘。以棋盘能量作为生长的依据， 校正 “角 图像 曲面 表 当4个方向上的总能量都大于零时结束。 1.3改进棋盘检测方法 140° 插值表 浙活 效果 无畸变 检测 由于拍摄到的图像不是规则的棋盘格（有一 广角 影变 检测 插值校 相机 正 的图像 换 范围 部分棋盘格未在图像中出现)且棋盘格离像平面 一一一 较近，现有的检测方法无法满足需要。 图1 系统流程 1)改进筛选角点步骤，改进图像中间区域。 Fig.1 System flow 由于距离较近且灰度变换后，在中间区域的梯度统方法需要精确的参照物，通过参照物三维空间 的坐标与图像中的对应点，求取内外参数和畸变 校正，通过标定物的不同又细分为基于 3D 和基 于 2D 平面靶标的标定，主要代表算法有张正友 标定算法[4] 和 Tsai 两步法[5-6]。Chang 等 [7] 根据霍 夫变换峰值的特点，以现有畸变模型为基础，提 出了一种透镜畸变参数辨识方法，该方法只需要 场景中存在直线即可进行辨识，更加灵活；自标 定方法则通过图像自身的信息来对视觉传感器进 行标定，它分为 3 类，即基于主动视觉[8] 、利用矩 估计[9] 和本质矩阵[10] 、利用绝对二次曲线[11] 和极 线变换性质。自标定虽然有着无需标定物的优 势，但主动视觉方法需要昂贵的系统成本。也有 一些特殊的标定方法，例如基于消失点的单张图 片标定[12] ，使用二元三次多项式与三角插值的方 法 [13] 实现短焦距大广角的非线性畸变校正等。 现有的棋盘检测方法仍然只能检测规则的棋 盘格。广角相机相对于一般相机，视野更加开 阔，能够从图像中获取更多的信息，但是传统二 维标定方法在复杂畸变 (透镜有凹陷或突出、透 镜不规则等情况) 和广角相机广角方向的畸变校 正，受限于畸变模型，仍然存在一定的误差，影响 成像的有效信息区域，以及应用的测量精度。 针对上述 2 种情况，本文改进了棋盘格检测 方法，使其能够检测不规则的棋盘格。基于传统 二维标定物，提出了使用插值算法来进行相机畸 变校正。通过本文方法进行畸变校正后，再求取 内外参数。在应用时，可以根据需要选择将畸变 校正部分转换成插值映射表，特殊情况下也可以 将拟合曲面以及内外参数合并转换成插值映射 表，提高使用时的速度。 1 基于插值算法的广角相机畸变校 正基本原理 1.1 系统流程 本文提出的基于插值算法的广角畸变校正的 流程如图 1 所示，分为畸变校正与效果检测两部 分内容。 140° 广角 相机 140° 广角 相机 彩色 图像 棋盘 格检 测 拟合 曲面 生成 插值 表 插值表 插值校 正 无畸变 的图像 逆投 影变 换 检测 有效 范围 畸变 校正 效果 检测 图 1 系统流程 Fig. 1 System flow 畸变校正部分：如图 2 所示拍摄的一张包含 棋盘格的图像，通过在成像平面内画出对称的 点、线 ，来作为实时检测成像窗口的辅助线，使棋 盘平面与像平面平行；通过特征点检测和棋盘格 检测，得到棋盘格内角点数据，并初始化期望角 点数据。通过检测和期望角点进行曲面拟合，得 到两个畸变插值曲面。最后使用反向双线性插 值，得到插值表格。检测部分，首先对同一张图 片，使用不同方法进行畸变校正，然后逆投影变 换到同一个平面和尺度，计算其真实角点 (检测 到的棋盘格内角点) 与期望角点 (根据中心附近 的点生成) 的误差，最后拟合成误差曲面，转换为 误差范围内的正视图，比较有效范围。 Y X Z P c′ (u′, v′) 图 2 拍摄位姿 Fig. 2 Shooting pose 1.2 特征点及棋盘格检测 相机校正方法涉及两方面的问题：一方面是 数据的获取，另一方面是标定的模型。数据获取 的关键在于棋盘格检测。 现有的棋盘格检测大致分为形态匹配和特征 匹配[14] ：一种是通过腐蚀膨胀检测正方形，来寻找 棋盘格内角点，然后根据棋盘格特征得到棋盘 格；另一种是通过匹配角点特征寻找内角点，然 后通过棋盘格特征得到棋盘格。而对于畸变较严 重的部分，是无法检测出棋盘格黑色部分为正方 形的，故采用后一种基于生长法的角点特征匹配 方法。该方法的主要步骤如下： 1) 角点检测。设置基础模版，并进行角点匹配。 2) 筛选角点。极大值抑制，去除边沿点，去 除评分较低的点。 3) 寻找棋盘。以棋盘能量作为生长的依据， 当 4 个方向上的总能量都大于零时结束。 1.3 改进棋盘检测方法 由于拍摄到的图像不是规则的棋盘格 (有一 部分棋盘格未在图像中出现) 且棋盘格离像平面 较近，现有的检测方法无法满足需要。 1) 改进筛选角点步骤，改进图像中间区域。 由于距离较近且灰度变换后，在中间区域的梯度 ·1034· 智 能 系 统 学 报 第 15 卷