第四章 立体视觉
第四章 立体视觉
立体视觉是仿照人类利用双目线索感知距离的方法实现对三维信息的感知, 在实现上采用基于三角测量的方法运用两个或多个摄象机对同一景物从不同位置 成象,并进而从视差中恢复距离。 立体视觉中一般需要解决三方面的问题: 中图象面上的视差计算 中由视差恢复某些点的三维坐标 中由稀疏的三维数据恢复表面。 4.1一般性原理 最简单的情况如图4.1所示 C,C分别为左、右二个相机的光心 C与C之间的距离为b,相机焦距为4 P 物体上的点P在左、右相机图象面上C 的投影点分别为P,P, 令AP=l,AP=b,PB=a,则由 图4.1视差测距原理图 相似三角形有 a+
立体视觉是仿照人类利用双目线索感知距离的方法实现对三维信息的感知， 在实现上采用基于三角测量的方法运用两个或多个摄象机对同一景物从不同位置 成象，并进而从视差中恢复距离。 立体视觉中一般需要解决三方面的问题： b f d C A l l a P A B C P l l a l b r r Pr 图4.1视差测距原理图 V 图象面上的视差计算 V 由视差恢复某些点的三维坐标 V 由稀疏的三维数据恢复表面。 4.1一般性原理 最简单的情况如图4.1所示 Cl Cr , 分别为左、右二个相机的光心 Cl 与Cr 之间的距离为b，相机焦距为 f。 物体上的点P在左、右相机图象面上 的投影点分别为Pl Pr , ， 令 A P l l l = a， A P l r r = b ，PrB = a ，则由 相似三角形有： d f d a a l b - = + (4.1)
d-f b-1+l,+a b+Ib (4.2) 由(41)、(42)有 (43) a+ (4. 由上式可以看出,距离d与b、f和-l有关。l-l称为点P在左、右两个 图象面上形成的视差,它表示了P点在左、右两幅图象中成像点的位置差异。 由于b、∫是已知的,因此,要实现双目立体视差测距,最关键的就是要求得视 差n-b,即要实现空间中同一点P在左、右两幅图象上的投影点之间的对应。 两幅图象间对应点的寻求称为两幅图象的配准
d f d b l l a b l a a b b - = - + + + + (4.2) 由(4.1)、(4.2)有 b a b a l l l bl a - - = (4.3) b a b b l l bf l a l d f - = + = (4.4) 由上式可以看出，距离d与b、f 和l l a b - 有关。l l a b - 称为点P 在左、右两个 图象面上形成的视差，它表示了P 点在左、右两幅图象中成像点的位置差异。 由于b、f 是已知的，因此，要实现双目立体视差测距，最关键的就是要求得视 差l l a - b，即要实现空间中同一点P 在左、右两幅图象上的投影点之间的对应。 两幅图象间对应点的寻求称为两幅图象的配准
42内极点、内极线与内极平面 42.1一般情况 光心线与视平面的交点称为视平P 面P的内极点(Epip0lm),光心线与视平面 P2的交点E2称为视平面2的内极点。 图4.2内极点与内极线 设空间中有一点P,在上的投影,则将由点和光心线所确定的平 面称为内极平面( Epipolar plane),内极平面与视平l的交线称为点的内极线 ( Epipolar,记为D4。对称地,由点和光心线所确定的平面与视平砷2的交线 称为点2的内极线,记为D。。 性质: 视平面P上任何内极线D必然通过内极点,视平函2上任何内极线 D必然通过内极点E2。内极线D的解释是,给觉,它在2上可能的对应点 定在内极线D上:反之亦然。 作用:降低搜索空间
P1 P2 P C1 C2 E1 E2 I 1 I2 DE1 DE2 图4.2 内极点与内极线 4.2 内极点、内极线与内极平面 4.2.1 一般情况 光心线与视平面P1 的交点E1 称为视平 面P1 的内极点(Epipolar)，光心线与视平面 P2 的交点E2称为视平面P2 的内极点。 设空间中有一点 P ，在P1 上的投影为I1 ，则将由点1 I 和光心线所确定的平 面称为内极平面(Epipolar plane)，内极平面与视平面P1 的交线称为点I1 的内极线 (Epipolar)，记为DE1 。对称地，由点I2 和光心线所确定的平面与视平面P2 的交线 称为点 2 I 的内极线，记为DE2 。 性质： 视平面 P1 上任何内极线 E1 D 必然通过内极点E1 ，视平面P2 上任何内极线 E2 D 必然通过内极点E2。内极线 E2 D 的解释是，给定1 I ，它在P2 上可能的对应点 一定在内极线 E2 D 上；反之亦然。 作用：降低搜索空间
内极点和内极线的计算。 考虑一般情况,摄象柷1的坐标系 XYz是从世界坐标系 OXYZ原点经旋 D 砖R=()(,/=2,3)和平移 ( X Y Z)形成的,摄象机;的 E 坐标系O""Y"2”是从世界坐标系OXYz 原点经旋转R=()(j=12,3)和平移 I Y 形成的,如图4.3所 图4.3世界坐标系与摄象机坐标系 设H=h2-h 则CE在Oz坐标下的N矢量为m1=N(H),C2E2在Oz坐标下的N矢量为mn=-m2 于是在视平面P1上,内极点E1的N矢量为 mC=r 类似地,在视平曲2上,内极点E2的N矢量为 rm (46)
P 1 P2 P C1 C 2 E1 E2 I1 I2 DE1 DE2 Y' X' Y X Z O Y" X" Z" O" O' Z' h1 h2 1 图4.3 世界坐标系与摄象机坐标系 内极点和内极线的计算。 考虑一般情况，摄象机C1 的坐标系 O¢X¢Y¢Z¢是从世界坐标系OXYZ 原点经旋 转 ( ) (1) 1 ij R = r (i, j = 1,2,3) 和平移 ( ) t XC YC ZC h1 1 1 1 = 形成的，摄象机C2 的 坐标系O¢¢X ¢¢Y¢¢ Z¢¢ 是从世界坐标系OXYZ 原点经旋转 ( ) (2) 2 ij R = r (i, j =1,2,3) 和平移 ( ) t X C YC ZC h2 2 2 2 = 形成的，如图4.3所 示。 设H = h2 - h1， 则C1E1在OXYZ 坐标下的N矢量为m N(H ) C = 1 ，C2E2在OXYZ 坐标下的N矢量为 C1 C2 m = -m 于是在视平面P1上，内极点E1 的N矢量为 1 1 C1 t mC ¢ = R m (4.5) 类似地，在视平面P2 上，内极点E2的N矢量为 2 2 C2 t mC ¢ = R m (4.6)
设点P在视平邮P上象点的N矢量,在OXZ坐标下的N矢量为 (4.7) 内极平面在OYz坐标下的N矢量为 n=Nm,xm2]=k(m,×m2) (48) 视平面P2在OXYz坐标下的N矢量为 2) 内极线2在OYz坐标下的方向矢量为 mp=kInxne]=k(m, xmc Xnp, )=k(R,m, P2 (4.10) 其中 k,..k O化常数 内极线2在 坐标下的方向矢量为 kR!(Rm,xm。x 结论当立体视觉系统的内部参数已知时,对任意给定的视平面P上的点,可根 据其在上的N矢量m,利用(411)式求得其在视平上对应点2所在内极线D 的方向矢量mDE
设点P在视平面P1上象点的N矢量为m¢ I1 ，在OXYZ 坐标下的N矢量为 1 1 1 mI R mI = ¢ (4.7) 内极平面在OXYZ 坐标下的N矢量为 [ ] ( ) 1 2 1 1 C2 n = N mI ´ mC = k mI ´ m (4.8) 视平面P2 在OXYZ 坐标下的N矢量为 ÷ ÷ ÷ ø ö ç ç ç è æ = (2) 33 (2) 23 (2) 13 2 r r r nP (4.9) 内极线DE2 在OXYZ 坐标下的方向矢量为 [ ] ( ) ( ) 2 2 2 1 2 2 1 1 C2 P2 DE P I C P I m = k n´n = k m ´ m ´ n = k R m ¢ ´ m ´ n (4.10) 其中，k ,k ,k 1 2 为归一化常数。 内极线DE2 在 O¢¢X ¢¢Y¢¢Z¢¢坐标下的方向矢量为 ( ) 2 2 1 1 C2 P2 I t DE m¢¢ = kR R m¢ ´ m ´ n (4.11) 结论:当立体视觉系统的内部参数已知时，对任意给定的视平面 P1 上的一点1 I ，可根 据其在P1上的 N 矢量 1 mI ¢ ，利用(4.11)式求得其在视平面P2 上对应点2 I 所在内极线 E2 D 的方向矢量 DE2 m¢¢
实际上,多数的立体视系统其摄象机之 间保持平行的关系,即满足 R1=R2 (4.12) 满足(4.12)式的立体视觉系统称为平行立 体视系统 42.2平行立体视中的内极线约束 为讨论方便,通常取P1的坐标系为世界坐标 系,即h=(000),R=R2=1 图44平行立体视与平移基矢量b 设=b=(b,b2,b),则称表示摄象机平移的矢量b=(b,b2,b)为平移基矢量。平移基 矢量b与摄象机坐标系的关系如图4.4所示 在不考虑N矢量方向的情况下,有 定理4.1平移基矢量为b的平行立体视在视平面上的内极点的N矢量为=N[b],所 有的内极线均过内极点 进一步,有, 命题4.1在基矢量为b的平行立体视中,过N矢量为m的点的内极线的N矢量n(m) 由下式给定 n(m)=Nmxb]1(413
实际上，多数的立体视系统其摄象机之 间保持平行的关系，即满足 R1 = R2 (4.12) 满足(4.12)式的立体视觉系统称为平行立 体视系统。 4.2.2 平行立体视中的内极线约束 为讨论方便，通常取P1 的坐标系为世界坐标 系，即 ( ) t h1 = 0 0 0 ， R = R = I 1 2 设 t h b (b ,b ,b ) 2 = = 1 2 3 ，则称表示摄象机平移的矢量 t b (b ,b ,b ) = 1 2 3 为平移基矢量。平移基 矢量b与摄象机坐标系的关系如图4.4所示。 在不考虑N矢量方向的情况下，有 定理 4.1 平移基矢量为 b 的平行立体视在视平面上的内极点的 N 矢量为u = N[b] ，所 有的内极线均过内极点。 进一步，有， 命题 4.1 在基矢量为 b 的平行立体视中，过 N 矢量为 m 的点的内极线的 N 矢量 n(m) 由下式给定, n(m) = N[m ´ b] (4.13) O X Y O' X' Y' o o' x y x' y' Z Z' P p p' b 图4.4 平行立体视与平移基矢量b
在立体视中实际可测的是视差,而视觉系统要求的却是距离,因此视差与距离 的关系是立体视系统研究的重要内容之 设空间点P在两个视平面上的N矢量分别为m和m,m与m之间的夹角为 0(0≤0≤),称为点P的视差 视差θ的大小,实质上反映了点P与两个视平面位置关系,由此可以计算获得 点P的三维信息。 称函数(m)=cos(m,m)在二维平面上所形成的二维图为视差图。 除了视差以外,视点O到空间点P的距离r(m)也反映P的空间位置,称函数 r(m)所形成的二维图为距离图。 命题42平移基矢量为b的平行立体视的距离图与视差图的关系如下, r(m)=(b, m)+b, m, n(m)ctge(m) (4.14) 其中,m(m)为内极线矢量,O为视差。 证明:如图44,用下列表示记矢量OP和OP OP=rm (4.15) OP=rm 其中r,r为正实数。从而有 b=rm-r'm (4.16)
在立体视中实际可测的是视差，而视觉系统要求的却是距离，因此视差与距离 的关系是立体视系统研究的重要内容之一。 设空间点 P 在两个视平面上的 N 矢量分别为 m 和 m' ，m 与 m'之间的夹角为 q( 2 0 p £q £ )，称为点 P 的视差。 视差q 的大小，实质上反映了点 P 与两个视平面位置关系，由此可以计算获得 点 P 的三维信息。 称函数 ( ) cos ( , ) 1 m m m - q = 在二维平面上所形成的二维图为视差图。 除了视差以外，视点 O 到空间点 P 的距离 r(m)也反映 P 的空间位置，称函数 r(m)所形成的二维图为距离图。 命题 4.2 平移基矢量为 b 的平行立体视的距离图与视差图的关系如下, r(m) = (b,m)+ || b,m,n(m) || ctgq (m) (4.14) 其中，n(m)为内极线矢量，q 为视差。 证明：如图 4.4，用下列表示记矢量 ® OP和 ® O¢P , O P r'm OP rm ¢ = = ® ® (4.15) 其中 r, r'为正实数。从而有 b = rm - r'm (4.16)
现在考虑矢量b,m,n的矢量混合积,并注意到 m×m=±sin6 (m,m×n)=0 于是有, b,m,n|=(b,m×n) r(m,m×n)-r'(m,m×n)=-r'(n,m×m) ±r'sin6 另一方面,对(416式两边作m标量积有,并考虑(m,m)=cose,于是有 (6, m)=(rm-rm', m)=r(m, m)-r'(m, m)=r-r'cos0 (4.1 将(417)式代入(418)式并整理,即得(4.14)式结果
现在考虑矢量b，m，n的矢量混合积，并注意到 m ´ m'= ±sinq (m,m´ n) = 0 于是有， 'sinq ( , ) '( ' , ) '( , ' ) | , , | ( , ) ( ' ' , ) r r m m n r m m n r n m m b m n b m n rm r m m n = ± = ´ - ´ = - ´ = ´ = - ´ (4.17) 另一方面，对(4.16)式两边作m的标量积有，并考虑(m,m') = cosq ，于是有 (b,m) = (rm - rm' ,m) = r(m,m) - r'(m' ,m) = r - r'cosq (4.18) 将(4.17)式代入(4.18)式并整理，即得(4.14)式结果
定理4.2基矢量为b的平行立体视的距离图与视差图满足 r(m)=(b,m)+‖1b×m‖ctge(m) (4.19) 证明:由于 1mm=1m.Nmx=mnm8=m×边x的=四x (4.20) 将其代入(414)式即得。 [证毕] 上述定理说明,距离图(m)可以由视差图和基矢量b唯一的确定。 命题42和定理42说明了,对于平行立体视,只要已知基矢量b和视差(m),距离 图r(m)就可以计算出来 由定理41知,基矢量为b的平行立体视的内极点为=Mb,即应有=,k20 从而有, 推论41设内极点的N矢量为u,则距离图可由下式计算。 r(m=kl(u, m)+ux mctg 0(m) (4.21)
定理4.2 基矢量为b的平行立体视的距离图与视差图满足 r(m) = (b,m)+ || b ´ m || ctgq (m) (4.19) 证明：由于 [ ] m b m b m b m b m b m b b m n m b m N m b b m = ´ ´ ´ ´ = ´ ´ = ´ = ( , ) , , ( ) , , , , (4.20) 将其代入(4.14)式即得。 [证毕] 上述定理说明，距离图r(m)可以由视差图q 和基矢量b唯一的确定。 命题4.2和定理4.2说明了，对于平行立体视，只要已知基矢量b和视差q (m)，距离 图r(m)就可以计算出来。 由定理4.1知，基矢量为b的平行立体视的内极点为u = N[b] ，即应有b = ku, k ³ 0 ， 从而有， 推论4.1 设内极点的N矢量为u，则距离图可由下式计算。 r(m) = k[(u,m)+ || u ´ m || ctgq (m)] (4.21)