第六章 光流分析
第六章 光流分析
61运动场( Velocity)与光流 Optical Flow) 运动场 物体与摄象机之间的任何相对运动都将导致视平面上与空间物体对应点发生变化。严格地说空 间运动在视平面上引起的对应运动称为运动场,如图6.1所示。假定空间点P与摄象机之间相 对运动的速度为V,在视平面上对应点P的运动速度为v,则 dR (6.1) 且由投影关系有 AV8 t R (R,Z) (6.2) st R 从而在投影关系下有 Z v(R,Z)-(V,Z)R(R×V)×z (R,Z) (63) (R,Z) 图61空间运动及其运动场
6.1 运动场(Velocity)与光流(Optical Flow) 一.运动场 物体与摄象机之间的任何相对运动都将导致视平面上与空间物体对应点发生变化。严格地说空 间运动在视平面上引起的对应运动称为运动场，如图 6.1 所示。假定空间点 P 与摄象机之间相 对运动的速度为 V，在视平面上对应点 p 的运动速度为 v，则 dt dr v dt dR V = = (6.1) 且由投影关系有 (R, Z) R r f = r (6.2) 从而在投影关系下有 2 2 ( , ) ( ) ( , ) ( , ) ( , ) R Z R V Z R Z R Z V V Z R f v r r r r r ´ ´ = - = (6.3) O o X,Y x,y Z P p R r v t d V t d 图6.1 空间运动及其运动场
二光流 在图象中可测的是图象辐照度的变化,这种变化并不总是与物体和摄象机间的 相对运动对应的。可以从下面的例子中看出这一点。典型的具有均匀反射特性的球 绕其一轴旋转,从摄得的图象上看不出任何变化;反过来光照条件的变化却会引起 图象的变化,如图62所示。 因此这种从图象上测得的变化并不完全反映实际的运动情况,称之为表观运动 arent motion)。所谓光流是指亮度模式引起的表观运动,理想的情况是这种表观 动反映了实际的运 图62表观运动
二.光流 在图象中可测的是图象辐照度的变化，这种变化并不总是与物体和摄象机间的 相对运动对应的。可以从下面的例子中看出这一点。典型的具有均匀反射特性的球 绕其一轴旋转，从摄得的图象上看不出任何变化；反过来光照条件的变化却会引起 图象的变化，如图 6.2 所示。 因此这种从图象上测得的变化并不完全反映实际的运动情况，称之为表观运动 (Apparent motion)。所谓光流是指亮度模式引起的表观运动，理想的情况是这种表观 运动反映了实际的运动。 图6.2 表观运动
62基于梯度的光流计算 在基于梯度的方法中,时空梯度之间的关系是极其重要的,这个关系被称之为基本 等式,它构成了对光流计算的一个重要约束。 6.2.1基本等式的引入 设图象上的点(x,y)在时刻t的辐照度为f(x,y,1),经过间隔后对应点为 f(x+Ax,y+Ay,+),当4→0时可以认为辐照度不变,于是有 (x,y,t)=∫(x+△x,y+△y,t+△t) (64) 由 Taylor展开 f(x+Ax,y+Δy,t+△t)=f(x,y,t)+x+y+△t+E (6.5) 忽略二阶无穷小,由于M→0,于是 af dx af dy, of Ox dt ay dt ot fu+J,+f1=0 (66)
6.2 基于梯度的光流计算 在基于梯度的方法中，时空梯度之间的关系是极其重要的，这个关系被称之为基本 等式，它构成了对光流计算的一个重要约束。 6.2.1 基本等式的引入 设图象上的点 ( x , y ) 在时刻 t 的辐照度为 f ( x , y , t) ，经过间隔Dt 后对应点为 f ( x + Dx , y + Dy ,t + Dt) ，当Dt ® 0时可以认为辐照度不变，于是有 f ( x, y ,t) = f ( x + Dx, y + Dy ,t + Dt) (6.4) 由 Taylor 展开 f x x y y t t f x y t f x x f y y f t ( + D , + D , + D ) = ( , , ) + D + D + Dt + ¶ ¶ ¶ ¶ ¶ ¶ e (6.5) 忽略二阶无穷小，由于Dt ® 0，于是 ¶ ¶ ¶ ¶ ¶ ¶ f x dx dt f y dy dt f t + + = 0 f u f v f x + y + t = 0 (6.6)
其中 分别是在x和y方向上的光流的分量 dt 对基本等式的理解 约束线 理解之 df 式66)可理解为= 理解之二: 不J )(n)=-f,于是沿(1f,)方 上光流的大小为2+f2 理解之三: 将(66)式看成是平面上的一条直线,一个方程 图63基本等式所确定的约束线 两个未知数,无法定解。为了定解必须附加上其 他约束。 6.2.2光流计算与附加约束 基本等式给出了光流计算的一个约束,但仅有这一个方程,是无法确定两个未 知量u和ν的,必须引入其它附加的约束才有可能唯一确定光流场。研究者们从不 同的角度出发引入不同的约束从而导致产生不同的光流分析方法,下面讨论几种典 型的方法
其中u dx dt v dy dt = = ，分别是在 x 和 y 方向上的光流的分量 对基本等式的理解 理解之一: 式(6.6)可理解为 df dt = 0。 理解之二: ( ) ( ) x y t f f × u v = - f ，于是沿 ( ) x y f f 方向 上光流的大小为 f f f t x y 2 2 + ； 理解之三: 将(6.6)式看成是 uv 平面上的一条直线，一个方程 两个未知数，无法定解。为了定解必须附加上其 他约束。 v u f , f x y 约束线 图6.3 基本等式所确定的约束线 6.2.2 光流计算与附加约束 基本等式给出了光流计算的一个约束，但仅有这一个方程，是无法确定两个未 知量 u 和 v 的，必须引入其它附加的约束才有可能唯一确定光流场。研究者们从不 同的角度出发引入不同的约束从而导致产生不同的光流分析方法，下面讨论几种典 型的方法
622.1基于一阶梯度的方法 Horn和 Schunck所采用方法基本思想是在求解光流时,光流本身尽可能平滑, 即引入对光流的平滑性约束。设平滑性约束项为 E u +u+v+y (67) 由基本等式(66),显然要求 E。=+fy+)hy 6.8 于是由(67)和(68)可知,最后求得的光流应满足(6,9)式,即 mn,=2+2+2+2+1(m++)]o (69) 对形如(6.10)形式的形式变分问题 minI F(u, v,u,, u,,vx,v, )dxdy (6.10) 的解是对应 Euler方程(611)的解 aF OF aF OF 0 ax
6.2.2.1 基于一阶梯度的方法 Horn 和 Schunck 所采用方法基本思想是在求解光流时，光流本身尽可能平滑， 即引入对光流的平滑性约束。设平滑性约束项为 ( ) òò E = u + u + v + v dxdy s x y x y 2 2 2 2 (6.7) 由基本等式(6.6)，显然要求 ( ) òò E = f u + f v + f dxdy c x y t 2 (6.8) 于是由(6.7)和(6.8)可知，最后求得的光流应满足(6.9)式，即 { [ ( ) ] } òò E = u + u + v + v + f u + f v + f dxdy s x y x y x y t 2 2 2 2 2 min l (6.9) 对形如(6.10)形式的形式变分问题 { F u v u x u y vx v y dxdy} òò min ( , , , , , ) (6.10) 的解是对应 Euler 方程(6.11)的解 ï ï î ï ï í ì - - = - - = 0 0 y F x F F y F x F F x y y x v v v u u u ¶ ¶ ¶ ¶ ¶ ¶ ¶ ¶ (6.11)
对于(69)式 F=2+n2+y2+n2+(,n+f+ (6.12 于是对应的Euer方程为 Vu=yf(u+f,v+f) V2v=,(,+f,+f) (6.13) 其中ˇ是 Laplace算子。 (69)式中λ反映对数据及约束的信度。当数据本身含有较多的噪声时,则原始 数据的可信度较低,更多地依赖对光滑性的约束,λ可以取较小的值,反之λ可以取 较大的值。 对于 Euler方程(613)进行研究不难发现对于以下几种情况难以定解: 当区域亮度梯度为零时,无法确定光流; 当物体沿某一边缘运动时,边缘上的光流无法确定; 图象的四周、角点梯度变化较快,计算的光流值有较大的偏差 解决的方法一内插
对于(6.9)式 ( ) 2 2 2 2 2 x y x y x y t F = u + u + v + v + l f u + f v + f (6.12) 于是对应的 Euler 方程为 ïî ï í ì Ñ = + + Ñ = + + ( ) ( ) 2 2 y x y t x x y t v f f u f v f u f f u f v f l l (6.13) 其中Ñ 2 是 Laplace 算子。 (6.9)式中l反映对数据及约束的信度。当数据本身含有较多的噪声时，则原始 数据的可信度较低，更多地依赖对光滑性的约束，l可以取较小的值，反之l可以取 较大的值。 对于 Euler 方程(6.13)进行研究不难发现对于以下几种情况难以定解： l 当区域亮度梯度为零时，无法确定光流； l 当物体沿某一边缘运动时，边缘上的光流无法确定； l 图象的四周、角点梯度变化较快，计算的光流值有较大的偏差。 解决的方法--内插
实际计算时由于计算的对象是离散化的图象,因此需要进行离散化处理。 离散化后光滑性约束变成 t(v 4 1)+( (Vi+1 而基本等式的约束变成 l21+f.:+ 于是极小化目标函数为 mine ∑∑(S+cn) (6.14) 对(614)求关于a和"k的偏导,并令其为零,整理后有 1+/2)ux+0ff,k=lk-2,f n fuk+(1+nf)vk (6.15) 其中、"k分别是和pk的四邻域平均 解(6.15得
实际计算时由于计算的对象是离散化的图象，因此需要进行离散化处理。 离散化后光滑性约束变成 s u u u u v v v v ij i j i j i j i j i j i j i j i j = - + - + - + - + + + + 1 4 1 2 1 2 1 2 1 2 ( ) ( ) ( ) ( ) , , , , , , , , 而基本等式的约束变成 ( ) 2 ij x ij y ij t c = f u + f v + f 于是极小化目标函数为 þ ý ü î í ì = åå + i j ij ij min e (s lc ) (6.14) 对(6.14)求关于ukl和vkl的偏导，并令其为零，整理后有 ïî ï í ì + + = - + + = - y x kl y kl kl y t x kl x y kl kl x t f f u f v v f f f u f f v u f f l l l l l l (1 ) (1 ) 2 2 (6.15) 其中ukl、vkl分别是ukl和vkl的四邻域平均 解(6.15)得
f,uk +f vk+f r 1+λ(x2+fy2) f uk +f vk+ f kl 1+λ(x+fy) 于是得到自然的迭代过程 f uk+f vk +f 1+(fx2+f2) (6.16) fuk +f =-1+(2+2)f 约束线 (P) 上述迭代过程如图64所示。 (utI, y fr,fi 图64迭代求解过程
ï ï î ï ï í ì + + + + = - + + + + = - y x y x kl y kl t kl kl x x y x kl y kl t kl kl f f f f u f v f v v f f f f u f v f u u 1 ( ) 1 ( ) 2 2 2 2 l l 于是得到自然的迭代过程 ï ï î ï ï í ì + + + + = - + + + + = - + + y x y t n y kl n n x kl kl n kl x x y t n y kl n n x kl kl n kl f f f f u f v f v v f f f f u f v f u u 1 ( ) 1 ( ) 2 2 1 2 2 1 l l (6.16) 上述迭代过程如图 6.4 所示。 v u f , f x y 约束线 ( ) u , v n n u , v n+1 n+1 ( ) 图6.4 迭代求解过程
心a2 .鸭部