第八章基于运动视觉的稠密估计 國國國■ 光流法( Optical Flow)
第八章 基于运动视觉的稠密估计 --------光流法 (Optical Flow)
稠密运动估计 flow initial layers final layers 要理睡 layers with pixel assignments and flow 2021/244 CV: Motion 2
稠密运动估计 2021/2/4 CV:Motion 2
光流法 运动场( motion field) 像素运动矢量 光流( optical flow) 图像亮度模式的表观运动 2021/244 CV: Motion
2021/2/4 CV:Motion 3 光流法 ▪ 运动场（motion field） 像素运动矢量 ▪ 光流（optical flow） 图像亮度模式的表观运动
2021/244 CV: Motion
2021/2/4 CV:Motion 4
81二维光流运动估计一 根据图像亮度模式的变化估计物体的 运动 1.基于梯度的方法( Gradient-based) Differential methods 2块匹配方法(B| ock Matching Region Matching 2021/244 CV: Motion
2021/2/4 CV:Motion 5 8.1 二维光流运动估计 ▪ 根据图像亮度模式的变化估计物体的 运动 1. 基于梯度的方法 (Gradient-based) Differential Methods 2. 块匹配方法 (Block Matching) Region Matching
二维光流运动估计 关键性假设 >假设各幅图像的亮度具有一致性 >运动较小 x,y x+dx.y+dv
二维光流运动估计 ▪ 关键性假设 ➢假设各幅图像的亮度具有一致性 ➢运动较小Time = t Time = t+dt (x + d x, y + d y) (x, y) ( , , ) ( , , ) 0 1 I x y t I x + x y + y t + t
8.11基于梯度的方法 基础性假设 点的亮度变化仅由运动引起 (x,t)≈I(x+6x,t+8t) Taylor展开 (x,t)=l(x,)+V·8x+8t1+0 VⅠ·v+l.=0光流约束方程 物理意义:如果一个固定的观察者观察一幅活动的场景,那 么所得图象上某点灰度的(一阶时间变化率是场景亮度变 化率与该点运动速度的乘积 2021/244 CV: Motion
2021/2/4 CV:Motion 7 8.1.1基于梯度的方法 • 基础性假设 点的亮度变化仅由运动引起 Taylor展开 光流约束方程 物理意义:如果一个固定的观察者观察一幅活动的场景，那 么所得图象上某点灰度的(一阶)时间变化率是场景亮度变 化率与该点运动速度的乘积
Tracking in the 1D case (x,t)(x,t+1)
8 v ? Tracking in the 1D case: x I ( x , t) I ( x , t + 1) p
Tracking in the 1D case (x,1)1(x,1+1) emporal derivative P Spatial derivative Assumptions Brightness constancy ·Sma‖ motion
9 v x I Spatial derivative Temporal derivative t I Tracking in the 1D case: x I ( x , t) I ( x , t + 1) p t x x I I = x p t t I I = = x t I I v − Assumptions: • Brightness constancy • Small motion
Tracking in the 1D case Iterating helps refining the velocity vector (x,1)1(x,1+1) Temporal derivative at 2nd iteration P Can keep the same estimate for spatial derivative v←1 Converges in about 5 iterations previous 10
10 Tracking in the 1D case: x I ( x , t) I ( x , t + 1) p x I t I Temporal derivative at 2nd iteration Iterating helps refining the velocity vector Can keep the same estimate for spatial derivative x t previous I I v v − Converges in about 5 iterations