第五章 基于其它线索的三维信息恢复
第五章 基于其它线索的三维信息恢复
5.1从阴影恢复三维形状 51.1成像过程的数学模型 图象辐照度的形成 /s=(pq,-1) N=(pq,-1) 影响图象辐照度的因素 1照射到物体表面的光强 2物体表面对光的反射情况 v(0,0,1 (包括反射率以及表面方向 等) 设一点光源发出的光能量为 Φ,则表面光密度表示为: 图5.1表面反射模型 (5.1) O 其中0为单位立体角。设A是点光源所照射到的表面的面积,i为入射角,r为 光源到表面的距离,则有 dA·cosi (52) 从而在法线方向上的表面辐照度为 d=1 COSI dadA r2
5.1 从阴影恢复三维形状 5.1.1 成像过程的数学模型 图象辐照度的形成 影响图象辐照度的因素： 1.照射到物体表面的光强 2.物体表面对光的反射情况 (包括反射率以及表面方向 等)， 设一点光源发出的光能量为 F，则表面光密度表示为： dw d I F = (5.1) 其中dw为单位立体角。设 A 是点光源所照射到的表面的面积，i 为入射角，r 为 光源到表面的距离，则有： 2 cos r dA i d × w = (5.2) 从而在法线方向上的表面辐照度为 2 cos r i I dA d I dA d En = = F = w ? e s=(p ? s ,q s ,-1) N=(p,q,-1) s z y x v(0,0,1) 图5.1表面反射模型
考虑 Lambert表面的反射函数。 Lambert表面是一种理想的漫反射表面,反射 函数表示为 o , = p cosn, n <T/2 其中p称为反射率,它决定于物体的表面材料,n为光线的入射角 表面方向的表示 表面上一点的方向可以用表面法向量N来表 小 中梯度空间表示 设表面S的方程为2=f(X,Y),则点(X,Y) 处的梯度为N=(P,,-1),其中 af(X,)可f(X,) OX (5.5) 由(p,q)组成的空间称为梯度空间。 图52表面方向的表示 中倾斜角σ和歪斜角τ表示 σ定义为表面法线与视线间的夹角 τ定义为表面法线在视平面上的投影与视平面上的水平轴x之间的夹角 中两者的关系
考虑Lambert表面的反射函数。Lambert表面是一种理想的漫反射表面，反射 函数表示为 fl = r cosh, h < p / 2 其中r称为反射率，它决定于物体的表面材料，h为光线的入射角。 P N y x N P s t ' ' 表面方向的表示 表面上一点的方向可以用表面法向量 N 来表 示。 V 梯度空间表示 设表面 S 的方程为Z = f ( X ,Y)，则点(X ,Y) 处的梯度为N = ( p,q,-1) ，其中 p f X Y X = ¶ ¶ ( , ) ， q f X Y Y = ¶ ¶ ( , ) (5.5) 由(p, q)组成的空间称为梯度空间。 V 倾斜角s和歪斜角t表示 s定义为表面法线与视线间的夹角 t定义为表面法线在视平面上的投影与视平面上的水平轴 x 之间的夹角 V 两者的关系 图5.2 表面方向的表示
o=tan"p+ t=tanI Q.5 N6 51.2反射图方法 n是光照方向S与表面法向量N之间的夹角 (如图5.1所示),因而有 N·S (5.7) N、S在梯度空间中分别表示为 N=(pq-1)和S=(P,9-1),从而可得 图53 Lambert表面反射图 p(l+pp+gq) (光源方向)s=(0,0,-1) 1+p2+q√l+p2+q 上式的构成了反射图R(P,q),它是梯度空间中的一些等值线,每一条等值线代表 了相同的亮度。 当光源方向与视线方向一致(光源靠近视点)即S=(0,0,-1)时,反射图表示为 R(p, g 1+p2+q (5.9) 此时反射图是以p,q为函数的同心圆,如图53所示,其中的圆心对应了物体表面 上的最亮点(即光的直射点)
0.9 0.8 0.7 0.6 0.5 q p 图5.3 Lambert表面反射图 (光源方向)s = (0,0,-1) ï î ï í ì = = + - - q p p q 1 1 2 2 tan tan t s (5.6) 5.1.2 反射图方法 h是光照方向 S 与表面法向量 N 之间的夹角 (如图 5.1 所示)，因而有 N S N S × × cosh = (5.7) N 、 S 在梯度空间中分别表示为 N = ( p,q,-1) 和 = ( , ,-1) s s S p q ，从而可得 2 2 2 2 1 1 (1 ) s s s s l p q p q pp qq + + + + + + = r f (5.8) 上式的构成了反射图R( p,q) ，它是梯度空间中的一些等值线，每一条等值线代表 了相同的亮度。 当光源方向与视线方向一致(光源靠近视点)即S = (0,0,-1)时，反射图表示为 2 2 1 ( , ) p q R p q + + = r (5.9) 此时反射图是以 p, q 为函数的同心圆，如图 5.3 所示，其中的圆心对应了物体表面 上的最亮点(即光的直射点)
反射图的获取 中通过对物体表面反射情况的检测由实验得到; 中通过入射角η与表面反射情况的关系推算出来。 由于图象的辐照度(x,y)与反射函数成正比,因此可以得到图象辐照度方程 I(x, y)=R(P, q (5.10) 由于梯度(Pq)是图象函数的一阶偏微分,因此图象照度方程是一个非线性的 阶偏微分方程。由于它存在两个变量p,q,因此该方程是病态的( ill-posed),存在无 穷多个解,仅靠单一的辐照度方程无法求出表面方向。为此,需利用表面上的其 它性质作为约束条件来得到该问题的解。 513球状点假设方法 特点 铲把表面点看成是球状体上的点(以下称为球状点,利用对图象辐照度函数/的 阶偏微分和的分析,求取表面方向的倾斜角和歪斜角,同时借助统计方法估 计表面方向。 中与反射图方法采用图象坐标系即以Z轴作为视线方向)不同,这种方法首先在光 照坐标系(即以Z轴作为光照方向)中恢复表面方向,然后再将所得结果转换到图象 坐标系中
反射图的获取 V 通过对物体表面反射情况的检测由实验得到； V 通过入射角h与表面反射情况的关系推算出来。 由于图象的辐照度I(x, y) 与反射函数fl 成正比，因此可以得到图象辐照度方程 I(x, y) = R( p,q) (5.10) 由于梯度( p,q) 是图象函数的一阶偏微分，因此图象照度方程是一个非线性的一 阶偏微分方程。由于它存在两个变量p,q，因此该方程是病态的(ill-posed)，存在无 穷多个解，仅靠单一的辐照度方程无法求出表面方向。为此，需利用表面上的其 它性质作为约束条件来得到该问题的解。 5.1.3 球状点假设方法 特点 V 把表面点看成是球状体上的点(以下称为球状点)，利用对图象辐照度函数 I 的 一阶偏微分 I x 和 I y 的分析，求取表面方向的倾斜角和歪斜角，同时借助统计方法估 计表面方向。 V 与反射图方法采用图象坐标系(即以Z轴作为视线方向)不同，这种方法首先在光 照坐标系(即以Z轴作为光照方向)中恢复表面方向，然后再将所得结果转换到图象 坐标系中
光照坐标系中歪斜角的计算 Y 令σL和τ分别为光照方向L的倾 斜角和歪斜角,则由L可定义一自然 光照坐标系S,其三个坐标轴为 X',Y,z',其中为光照方向L,A与 平面 L具有相同的歪斜角,为与垂直的 平面与图象平面的交线方向,如图54 所示。这里称平面为S平面,XY 平面为平面。 把表面上的小块区域近似为球状区 v平面 域,因此,当图象的辐照度变化时 用球面曲率特征来代替表面曲率特 图54图象坐标系与光照坐标系 征 考虑半径为R的球面,其方程为 z(x,y)=√R2-x2-y2,R>0,-R≤x,y≤R (5.11) 从而有 (5.12) T yR2-x2 其中
光照坐标系中歪斜角的计算 令sL 和t L 分别为光照方向 L 的倾 斜角和歪斜角，则由 L 可定义一自然 光照坐标系 S ，其三个坐标轴为 X ¢,Y¢,Z¢，其中Z¢ 为光照方向 L， X ¢ 与 L 具有相同的歪斜角，Y¢ 为与Z¢ 垂直的 平面与图象平面的交线方向，如图 5.4 所示。这里称X ¢Y¢ 平面为 - S 平面，XY 平面为V- 平面。 把表面上的小块区域近似为球状区 域，因此，当图象的辐照度变化时， 用球面曲率特征来代替表面曲率特 征。 考虑半径为 R 的球面，其方程为 Z (x, y) = R - x - y , R > 0,-R £ x, y £ R 2 2 2 (5.11) 从而有 ï ï î ï ï í ì = = - = = - - - 2 1 2 1 yT y Z Z xT x Z Z y x ¶ ¶ ¶ ¶ (5.12) 其中 T = R - x - y 2 2 2 。 X Y Z X' Y' Z' 平 面 平 面 V_ S_ 图5.4 图象坐标系与光照坐标系
又由于表面法向量N=(n,myn)在球坐标系中可表示为 R y (5.13) R R R 因此,对于 Lambert表面有 x/R(sin oL CoSTL I(x, y)=pN (=)=pl y/R -sin o, sint =P(xsin, COSTL-ysino sin TL R C/R COSOL (5.14) 从而 sino,cosτ,+ X Coso,T2 R (5.15) (- Sin g sinτ1+ yCOSOL T2) R 在上式中,若=0,则(n,1)代表了歪斜角的方向
又由于表面法向量N n n n x y z = ( , , ) 在球坐标系中可表示为 ï ï ï î ï ï ï í ì - - = = = = R R x y R z n R y n R x n z y x 2 2 2 (5.13) 因此，对于 Lambert 表面有 ( sin cos sin sin R = cos sin sin sin cos / / / ( , ) ( ) L L L L L L L L L x y z R y R x R I x y N z s t s t r s s t s t r r - - - ÷ ÷ ÷ ø ö ç ç ç è æ - - - × ÷ ÷ ÷ ø ö ç ç ç è æ = × - ¢ = (5.14) 从而 ï î ï í ì = - + × = - + × - - ( sin sin cos ) ( sin cos cos ) 2 1 2 1 y T R I x T R I y L L L x L L L s t s r s t s r (5.15) 在上式中，若sin = 0 s L ，则( , ) x y I I 代表了歪斜角的方向
COSO COST 定理5令 L cOSo SInT 则 arctan2是光照坐标系中表 SIn T 面法向量的歪斜角。 证明 sin t (sin o, coSt,+coso,. T 2)+cos, (sino, sinT,+ y coso, T 2) Coso, coSt,(sin o CoST,+coso, T 2)+coso, cost, (sino, sint, +ycoso T2) 1 x sint, coso,. T2+ yost, cOSo,. T 2 sIng cosτ1+ coS 0( X coso cost1·T2+ yCoSOL Sint·T2) xsint, +y CoStL sina1·72+coso(xcosτ+ysin1) (5.16) 又设表面法向量N=(n,n,n)在光照坐标系中为N=(mn,mn,mn),则有 nn COS OL COSTL COS OL SIn tL -sino nx N SIn L COST L nn sin OL COS TL SIn o SIn t COSOL/. 因此
定理5.1 令 ÷ ÷ ø ö ç ç è æ ÷ ÷ ø ö ç ç è æ - = ÷ ÷ ø ö ç ç è æ y x L L L L L L y x I I II II t t s t s t sin cos cos cos cos sin ，则 ÷ ÷ ø ö ç ç è æ x y II II arctan 是光照坐标系中表 面法向量的歪斜角。 证明： sin cos ( cos sin ) sin cos sin cos cos ( cos cos cos sin ) sin cos cos cos cos cos ( sin cos cos ) cos cos ( sin sin cos ) sin ( sin cos cos ) cos ( sin sin cos ) 2 1 2 1 2 1 2 2 1 2 1 2 1 2 1 2 1 2 1 L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L x y T x y x y x T y T x T y T x T y T x T y T II II s s t t t t s t s s t s t t s t s s t s t s s t s t s t s t s t s t s - × + + - + = - + × + × - × + × = - + × + - + × - - + × + - + × = - - - - - - - - (5.16) 又设表面法向量 T x y z N = (n , n , n ) 在光照坐标系中为 T x y z N¢ = (nn , nn , nn ) ，则有 ÷ ÷ ÷ ø ö ç ç ç è æ ÷ ÷ ÷ ø ö ç ç ç è æ - - = ÷ ÷ ÷ ø ö ç ç ç è æ ¢ = z y x L L L L L L L L L L L L z y x n n n nn nn nn N s t s t s t t s t s t s sin cos sin sin cos sin cos 0 cos cos cos sin sin 因此
nnx - COSOL COSTL +Coso, sIntL R Sino1·T R nn Sinτ,+coST R R 而在光照坐标系中表面法向量的歪斜角表示为 xsin, t y COSOL nn sin o, cOSO (cost, +ysin o,)-T2sinOL nn 即 ,因此arnm"为光照坐标系中表面法向量的歪斜角 [证毕] 定理52令PQ为表面上的两个点,当且仅当在光照坐标系中P,Q之表面法向量相同时,P,C 生图象中具有相同的梯度方向
2 1 sin 1 cos cos cos sin - = + - ×T R R y R x nnx L L L L s L s t s t y L L R y R x nn = - sin t + cost 从而在光照坐标系中表面法向量的歪斜角表示为 L L L L L L L x y x y T x y nn nn s s t s s t s sin cos ( cos sin ) sin sin cos 2 1 - + - - + = (5.17) 即 x y x y nn nn II II = ，因此 ÷ ÷ ø ö ç ç è æ x y II II arctan 为光照坐标系中表面法向量的歪斜角。 [证毕] 定理5.2 令P,Q为表面上的两个点，当且仅当在光照坐标系中P,Q之表面法向量相同时，P,Q 在图象中具有相同的梯度方向
证明:令(,)和(1Q,19)分别是V一平面中与PQ点对应的梯度方向,由于它们相 同,则彐c∈R,使得(,)=c(2,19)。由定理5可得(,m)=c(2,m),从而必 要性得证。 由于在光照坐标系中P,Q两点的表面法向量相同,由定理5.1有 Q Q arctan I= arctan 即 从而 充分性得证。 [证毕] 从上面的讨论中可以知道在已知光照方向L的条件下,采用下列步骤计算歪斜角: 1.计算梯度(1x,l,) 2.由定理51计算(x,); 3.由上述量得到在光照坐标系中的歪斜角; 4.利用坐标变换关系得到在视点坐标下的歪斜角 由此可以得到光照坐标系中表面方向的歪斜角。若已知光照方向L,则可通过坐标 变换得到图象坐标系中表面方向的歪斜角
证明：令( , ) P y P x I I 和( , ) Q y Q x I I 分别是V－平面中与P,Q点对应的梯度方向，由于它们相 同，则$cÎ R，使得( , ) ( , ) Q y Q x P y P x I I = c I I 。由定理5.1可得( , ) ( , ) Q y Q x P y P x II II = c II II ，从而必 要性得证。 由于在光照坐标系中 P,Q 两点的表面法向量相同，由定理 5.1 有 ÷ ÷ ø ö ç ç è æ = ÷ ÷ ø ö ç ç è æ Q x Q y P x P y II II II II arctan arctan ，即 Q x Q y P x P y II II II II = ，从而 Q x Q y P x P y nn nn nn nn = ，充分性得证。 [证毕] 从上面的讨论中可以知道在已知光照方向L的条件下，采用下列步骤计算歪斜角： 1. 计算梯度( , ) X Y I I ； 2. 由定理5.1计算( , ) X Y II II ； 3. 由上述量得到在光照坐标系中的歪斜角； 4. 利用坐标变换关系得到在视点坐标下的歪斜角。 由此可以得到光照坐标系中表面方向的歪斜角。若已知光照方向L，则可通过坐标 变换得到图象坐标系中表面方向的歪斜角