第5卷第1期 智能系统学报 Vol.5 No.1 2010年2月 CAAI Transactions on Intelligent Systems Feh.2010 doi:10.3969/i.issn1673-4785.2010.01.004 单目平行线约束下的空间点坐标恢复 张元元，吴晓娟，李秀媛，阮秋琦2 (1.山东大学信息科学与工程学院，山东济南2501002.北京交通大学信息科学研究所，北京100044) 摘要：提出一种从单目像机拍摄的二维投影图像中恢复空间点三维坐标的简化算法.假定摄像机与空间中的一对 平行线的位置关系已知，同时摄像机坐标系下平行线所在平面中的任意空间点在像平面中的投影也已知，通过射影 几何可得图像坐标到目标点三维空间坐标的转换系数，即坐标转换因数，从而估计出三维空间点的坐标.实验中通 过对人体行走轨迹进行估计来测试算法性能，结果表明算法简单有效，计算开销小 关键词：三维重建；单目摄像机；平行线约束；坐标转换因数；坐标恢复 中图分类号：TP391文献标识码：A文章编号：16734785(2010)01002406 Extraction of 3-D coordinates using parallel lines in monocular images ZHANG Yuan-yuan',WU Xiao-juan',LI Xiu-yuan',RUAN Qiu-qi2 (1.School of Information Science and Technology,Shandong University,Ji'nan 250100,China;2.Institute of Information Science, Beijing Jiaotong University,Beijing 100044,China) Abstract:A method was proposed to simplify the extraction of 3-D coordinates from spatial points in 2-D images captured by a monocular camera.Assume that two parallel lines could be known in the image,and also that their relative positions with respect to the video camera were known.In the camera coordinate system,the projection of any spatial point in the plane determined by parallel lines to the image plane of the camera could be measured.By applying the knowledge of projection geometry,a coordinate conversion factor (CCF)for the given point was then calculated;these were used to estimate 3-D spatial coordinates.Estimations of the paths of people walking were then done to analyze the effectiveness of this method.Results showed that the proposed algorithm is simple and ef- fective,and has low computational costs. Keywords:3-D reconstruction;monocular camera;parallel lines constraint;coordinate conversion factor;coordi- nates recovery 视觉传感器如摄像机拍摄到的图像是三维空间 标，确定空间点在拍摄图像中的对应点位置以及摄 的景物在二维空间中的投影，通过投影点估算对应 像机的投影矩阵，通过解析几何的方法进行求解.卡 空间点的三维坐标称为空间点的三维重建.它是计 内基梅隆大学的Kanade3s]和其研究小组在从侧影 算机视觉山中的一个基本问题，在相机标定、三维 中恢复形状的研究中取得了较大的成果.Mikic6]给 重建等很多方面有广泛的应用价值2】.然而正是因 出一种多相机获取人体运动的系统，首先通过 为视觉传感器只能获取三维世界的投影信息，这个 Shape From Silhouette得到人体的voxel数据，然后 过程导致大量信息丢失，使三维重建任务变得更加 通过扩展Kalman filter进行姿态估计.另一类方法 复杂，至今仍是一个亟待解决的问题： 使用单摄目摄像机，通过移动摄像机对目标点进行 利用2幅或多幅图像恢复空间点的三维几何信 多次拍摄，求解其三维坐标.Sminchisescu等]采用 息，具体的做法有2类.一类方法使用双摄像机或多 单目序列图像进行人体运动估计，人体模型采用超 摄像机拍摄空间点的同一点，需要对摄像机进行定 二次曲面加变形参数，模型有30个关节点，选择边 缘和灰度特征设计似然函数.还有文献[89]提出了 收稿日期：2008-1224. 基金项目：国家自然科学基金资助项目(60675024) 利用单目摄像机拍摄的图像序列对目标点的三维运 通信作者：吴晓娟.E-mail:xiaojwu@sdu.cdu.cn. 动轨迹进行估计的算法.这2类方法在本质上是一
第1期 张元元，等：单目平行线约束下的空间点坐标恢复 ·25 样的，需要通过2幅或多幅图像计算目标点的三维 0cZ存在一定的夹角a,且0°<a<90°. 空间坐标，重建的过程通常要求对摄像机进行定标， 3)11和2与像平面平行，且垂线AA2同光轴 并寻找目标点在不同图像上的对应点，即对应元匹 OcZ垂直，此时平面S与像平面平行. 配问题.在实际求解过程中，方法的性能受到2个因 4)1和12在像平面上的投影'1与1'2重合为一 素的影响：定标精度和对应元的匹配精度.通常，较 条直线. 高的精度需要较复杂的定标和匹配过程。 一般而言，在没有任何约束条件的情况下，从单 目摄像机拍摄的图像恢复空间点的三维位置信息是 极其困难的.现有的三维重建算法均需满足一定的约 束条件，约束条件随实际应用场所的不同而有所变 化.例如，Hild利用身高对人体的运动轨迹进行估 计，通过人体实际身高以及图像中的人体像高确定转 (a)情况1) 换系数，求解目标步行轨迹.为了准确地估计转换系 数，该算法要求摄像机的光轴方向垂直于人体站立方 向.然而，实际场景中摄像机的拍摄视角往往不能满 足这一要求.本文提出了一种基于平行线约束的三维 空间点的坐标恢复算法，通过空间中的一组平行线， 确定二维图像坐标到三维空间坐标的转换关系.理论 分析和实验结果表明，该算法在大多数视角下均能较 (b)情况2) 准确地恢复目标点的三维空间坐标 1问题描述 在以Oc为原点的三维坐标系XYZ中，存在一 对平行线l,和2，它们所在的平面为S,一条垂线 A1A2同时垂直于这2条直线.假定焦距为f的摄像 机C位于原点Oc处，1和12在摄像机成像平面I上 (c)情况3) 的投影分别为'，和'2，如图1所示.为简化问题， 本文将摄像机成像模型简化为小孔成像原理。 (d)情况4) 图211和2在像平面中投影的4种情况 图1空间平行线在像平面上的投影 Fig.2 Four cases of projection of parallel lines in image Fig.1 Projections of parallel lines in image plane I plane I 下面研究如何利用1，和2求解平面S中的一 点P在三维空间中的坐标.根据11和2及'1和'2 2特定视角下的坐标恢复 这4条直线的位置关系可将问题分解为以下4种情 本节讨论特定摄像机拍摄视角即第1种情况下 况分别予以讨论，如图2所示 的三维坐标恢复问题.设平行线，和12之间的距离 1)1和2与摄像机光轴0cZ的夹角为0，且 为H,摄像机的焦距为f,平面S到摄像机的距离为 0°<0<90°，1'，与1'2相交于0，垂线AA2同光轴 Z4·P为平面S上介于l1和2之间的任意一点，过P 0cZ垂直. 作垂线P,P2垂直于L1和L2,垂足为P,和P2,如图3 2)L1和12与摄像机光轴0cZ的夹角为0，且 所示.设11和2与光轴的夹角为0,0°<0<90°，则 0°<0<90°，1'1与'2相交于0，垂线A1A2与光轴 11和12在像平面中的投影1'，和2相交于一点0
·26 智能系统学报 第5卷 设垂直于L1和2的另一条直线为AA2,其在像平面 中的投影为a1a2·到此，问题归结为利用投影点p的 坐标(xp,y,)求P点在三维空间中的坐标(Xr,Y, Z).线段P,P2与光轴Z垂直，其在像平面上的投 影过程如图3所示，PP2平行于其在像平面的投影 PP2·通过测量可以获得图像中各点的位置，设PP2 的长度为h. 图4情况2)下PP2在像平面I中的投影 Fig.4 Projection of line PP,in image plane I under Case 2) D I:Z=f S:Z=Z 图3情况1)下P1P2在像平面I中的投影 P: Fig.3 Projection of line P.P in image plane I under case 1) 由射影几何学的知识易知： 图5P1P2与A1A2的投影 PP2⊥0cZ,A1A2⊥0cZ,PP2⊥11l2, Fig.5 Projections of P P2 and AA2 AA2⊥1l2且p1P2⊥0cZ,a1a2⊥0cZ. 在这里，等式PP/PP2=PP/p2已不再成立， 可得 故不能直接使用式(1)求解坐标转化因数72，进而 无法使用式(3)求解P点的三维坐标.为此，过P点 P,P2∥P1P2,AA2∥a1a2,PP2∥a1a2 做垂直于OcZ轴的直线P'P'2,交OcP于P'1,交 由相似性原理可知P,P/PP2=P1P/p2,P,P/P,P2= OcP2于P'2·为求P点的三维坐标，首先需求得转 PP/P1P2.整理可得 换因数P,即P',P'2/pP2·由于pP2可通过对测量 P.P/pup P.P2/pupz Z/f H/h.(1) 图像获得，因此关键是求P'P'2的长度. 进一步，可分别计算P点的坐标分量为 设焦距0c0=∫，P1P、Po、PoP2、P1P2的长度分 Xp =(H/h)*p, 别为y1y2、y3、H.进一步设P,P、PP、PoP2的长度 Yp =(H/h)yp, 分别为x1、23: Zp =(H/h)zp. (2) 1)计算PP,和PP2的长度.根据图4中的几何 将式(2)写为矩阵的形式并进行整理，可得 关系，可以容易地得到用y1y、yα∫和H表示的 [X,Y,Z]T=(H/h)[x。y。fT= 下列正弦函数的值：sin LpOcPo、sin p1OcPo、 7·[。y,f刀. (3) sin∠p20cPo、sin∠0 cP2Po、sin∠OcP,Po和 式中：[Xp Yp Zp]为空间中某点的三维坐标， sin∠OcPP, [y,]为其像点在像平面中的坐标/h为像平 根据正弦定理，可知 面到空间坐标的转换系数，文中将其称为坐标转换 x1+x2 0cP。 sin∠p1OcPo sin∠OcP,Po' 因数，并以η表示. %2 OcPo 3任意视角下的坐标恢复 sin∠pOcPo sin∠OcPPo' 3X3 OcPo 本节讨论任意摄像机拍摄视角下即情况2)时 (4) sin LPoOcP2 sin LOcP2 Po 的坐标恢复问题.如图4所示，摄像机的光轴0cZ 与AA2不垂直，PP2与0cZ相交于Po,夹角为a, PP。_(+）-,用上述正弦函 又因为PP,x+」 x2+3 0°<a<90°，但P1P2与0cP1(或0cP2)不重合 数的值分别代替(x1+x2)、x2和x3,便可得到式(5)： 此时，A1A2与PP2在像平面上的投影a1a2和 y (f sin a-ya cos a) PP2将不再平行，而是相交于像平面中的一点Q,如 [P,P=H(sim +co)' 图5所示. Pp,=Hh+⅓)sin a+(,+⅓)cosa） (y+y2+y3)(f sin a+y2 cos a) (5)
第1期 张元元，等：单目平行线约束下的空间点坐标恢复 ·27 2)计算P'P2和PP'2的长度.类似于第一步， 分量.利用本文的算法来估计相应时刻左脚的空间 首先计算正弦函数sin∠OcP',P'2、sin∠PPP',和 坐标分量X'和Z',通过与真实值的对比来测试算法 sin∠PP2P'2的值，分别用y1y2y3和f来表示. 的性能。 同样，根据正弦定理，可得到式(6)： 4.1摄像机焦距测定 PP PP 像平面中各点的坐标是像素意义上的坐标，并 sin LPP'P sin LPP P' 非常见的米制下的坐标值，而焦距f通常是以米制 的形式给出的.因此，需要通过实验来确定以像素形 PP, PP' 式表示的焦距值.具体方法如下： sin∠Pp2P= sin LPP2P'2 (6) 在场景中设置标志物P:和P,它们到像平面的 进一步可以得到 距离相同均为M,P:和P,之间的距离为D,P:和卫 PP'=yA', 是P:和P在像平面的投影，两者的距离为d,如图 PP'2=(y2+y3)A, 6所示. P'P'2=PP'1+PP'2= D (y1+y2+y3)A. (7) 式中： A*= 像平血/ H(f sin a-y3 cos a)(f sin a+(y +y2)cos a) f(y1+y2 +y3)(f sin a+y2cos a) ,‘焦点O: 3)计算P点的三维坐标.首先求出P点的坐标 转换因数np: 图6估计摄像机焦距 Fig.6 Estimate the focal length of camera PP=m+为+为)A 7p= =A.(8) 由几何关系易知： PiP2 y1+y2+y3 最后，求得P点的三维坐标为 PP∥PP [Xr Yr Zr]T=nlxr yr fi 由相似性原理可得 (9) 情况3)是情况1)的特例，仍可通过式(3)来求 Dy/dy =(M+f)/f. 整理可得 解P点坐标.情况4)时，由于平行线的投影重合，无 f=(M +f)d/D. (10) 法使用平行线约束来恢复P点的三维坐标，此处不 通常情况下，Mf,故式(10)可以近似为 予讨论. f≈M·dg/D (11) 理论分析表明，在大多数情况下，在已知摄像机 式中：M和D的单位是m,d的单位是像素.因此f 焦距的情况下，通过测量图像中的某位置的像素坐 的单位为像素.设置多组标志物，记第k组测得的结 标可估算其相应的三维空间中的坐标.当然这一坐 果为f,将其均值作为摄像机的焦距本实验中测 标是以摄像机位置为原点来建立的空间坐标系。 得摄像机焦距f为430像素。 4实验结果及分析 4.2行走轨迹估计 人在行走过程中，2个相邻的相同姿态可以确 为了测试本文算法的有效性，本文设计了一组 定一对头部和脚部的连线作为空间中的平行线，目 实验进行验证.为简单起见，这里只考虑第一种情 标的真实高度H以及各时刻图像中人体的高度h 况，即摄像机光轴与人体直立方向垂直的情况.设置 这样的场景：将摄像机固定于一处较平坦的地面上， 都容易得到，从而计算相应时刻的？，最后利用本文 算法对人体各时刻关键点的坐标位置进行估计.通 光轴OcZ与地面平行，在地面上画网格建立相应的 过检测可以得到左脚着地时刻的图像帧中脚部的像 平面坐标系，设地面与X0c2Z平面平行，竖直方向为 素坐标，将其与预先记录的真实坐标相比来计算估 Y方向，人在摄像机视野范围内沿直线或分段直线 计误差，表1中给出了某行人行走过程中左脚着地 行走.在左脚鞋底涂上特殊的物质，这样左脚在着地 时刻的估计值、真实值以及相应的误差.计算各个点 时便在预先画好的网格内留下脚印.记录这些脚印 的误差的平均可得平均误差为0.210m. 的位置坐标，即左脚着地时刻的三维坐标中的X、Z
28 智能系统学报 第5卷 表1实验数据 Table 1 Experimental data 图像中的脚部 真实值/m 位置/像素 估计值/m 误差/m y Z X Z x (Z-2')2+(X-X')2)1n 226 95 5.00 -1.00 4.85 -0.91 0.175 248 125 4.30 -0.70 4.09 -0.47 0.331 260 168 3.80 -0.10 3.78 -0.06 0.045 264 197 3.60 0.20 3.64 0.18 0.045 246 234 4.20 0.50 4.14 0.49 0.061 235 280 4.80 1.20 4.53 1.09 0.292 224 309 5.30 1.60 5.14 1.59 0.163 212 339 5.90 2.20 5.78 2.19 0.220 211 300 6.10 1.70 6.05 1.76 0.078 206 263 6.90 1.30 6.64 1.34 0.064 203 224 7.60 0.70 7.64 0.85 0.155 192 197 8.20 0.10 8.05 0.39 0.327 203 127 6.90 -1.00 6.52 -0.78 0.779 将脚部位置的三维坐标分量X和Z的真实值 表2不同距离下的平均误差 与估计值绘制并用线段连接起来，便得到目标行走 Table.2 The average errors in difference distances m 的真实轨迹与估计轨迹，如图7所示.从图中也可以 距离 平均误差 看出，本文的算法可以得到近似精确的结果. 3~4 0.045 8.5 8.0 一真实值 4-5 0.107 十…估计值 7.5 5-6 0.191 7.08 6.5 + >6 0.281 N6.0 5.5 5结束语 5.0 4.5 本文针对计算机视觉中的基本问题—空间点 4.0 的三维坐标恢复进行了研究，提出一种单目摄像机 3. 21-0.500.51.01.52.02.5 单幅图像下空间点的三维坐标估计算法，该算法通 过空间中的一对已知的平行线求解相应的坐标转换 图7真实轨迹与估计轨迹 因数，有效地克服了视角因素的影响，无需处理复杂 Fig.7 Real and estimated trajectories 的定标和对应元匹配问题.本文通过估计行人行走 统计目标离摄像机不同距离时的平均估计误 时的脚部位置验证了算法的有效性，实验中所确立 差，可以获得误差同距离的关系，如表2所示.这里， 的平行线为目标在行走过程中相邻的两个相同姿态 目标离摄像机的距离定义为Z方向上的坐标差.从 下头部和脚部的连线.在实际应用中，可根据实际情 表中可以看出，估计误差随着目标同摄像机距离的 况确定所需平行线.此外，通过估计视频中人体各关 增加而增大，由此，可以得出结论：在视频采集阶段， 键点的坐标可进行人体运动分析，进一步可进行基 摄像机距离目标越近，则使用平行线约束的方法对 于步态的身份识别等研究. 目标进行估计的效果就越好
第1期 张元元，等：单目平行线约束下的空间点坐标恢复 .29· Conference on Intelligent Transportation Systems.Vienna, 参考文献： Austria,2005:1096-1101. [1]马颂德，张正友.计算机视觉[M].北京：科学出版社， [10]HILD M.Estimation of 3D motion trajectory and velocity 1998:52-98. from monocular image sequences in the context of human [2]李立冬，刘教民.单目视图下相机标定和平面测距研究 gait recognition[C]//Proceedings of the 17th Intemational [J].河北科技大学学报，2005,26(1)：47-50. Conference on Pattem Recognition.Cambridge,UK, LI Lidong,LIU Jiaomin.Research on camera calibration 2004:231-235 and plane measurement from a single view[J].Joural of 作者简介： Hebei University of Science and Technology,2005,26(1): 张元元，男，1984年生，博士研究 47.50. 生，主要研究方向为计算机视觉、图像 [3]CHEUNG K M,BAKER S,KANADE T.Shape from sil- 处理和模式识别等。 houette of articulated objects and its use for human body ki- nematics estimation and motion capture[C]//Proceedings of the IEEE Conference on Computer Vision and Pattem Recognition.Madison,USA,2003,1:18-20. 4]CHEUNG K M,BAKER S,HODGINS J K,et al.Marker- 吴晓娟，女，1944年生，教授、博士生 less human motion transfer[C]//Proceedings of 2nd Inter- 导师，主要研究方向为智能信息处理、图 national Symposium on 3D Data Processing,Visualization 像处理、模式识别、计算机视觉等.近几年 and Transmission.Thessaloniki,Greece,2004:373-378. 来主持国家自然科学基金、军工、国际合 5]CHEUNG K M,BAKER S,KANADE T.Shape from sil- 作、教育部、省自然科学基金、省科技攻关 houette across time,part I:theory and algorithms[].In- 等项目20余项，发表学术论文100余篇. ternational Journal of Computer Vision,2005,62(3):221- 247. 李秀媛，女，1972年生，博士研究 [6]MIKIC I,TRIVEDI M,HUNTER E,et al.Human body 生，主要研究方向为无线通信、计算机 model acquisition and tracking using voxel data[J].Inter- 网络、图像处理等。 national Joumal of Computer Vision,2003,33(3):199- 223.. [7]SMINCHISESCU C,TELEA A.Human pose estimation from silhouettes:a consistent approach using distance level sets[C]//International Conference in Central Europe on 阮秋琦，男，1944年生，教授，博士 Computer Graphics,Visualization.Plzen-Bory,Czech Re- 生导师.EEE高级会员，EEE北京分会 public,2002:413420. 技术委员会主席，中国通信学会会士， [8]AVIDAN S,SHASHUA A.Trajectory triangulation:3D re- 中国电子学会会士、理事、学术委员会 construction of moving points from a monocular image se- 副主任，中国图像图形学学会理事、北 quence[J].IEEE Transactions on Pattern Analysis and Ma- 京图像图形学学会副理事长、中国图像 chine Intelligence,2000,22(4):348-357. 图形学学会铁道专业委员会主任委员.主要研究方向为图像 [9]PONSA D,LOPEZ A,LUMBRERAS F,et al.3D vehicle 处理、计算机视觉等.承担和完成国家级和省部级科研项目 sensor based on monocular vision[C]//Proceedings of IEEE 50余项，发表学术论文350余篇，出版专著和教材8部