第17卷 智能系统学报 ·62· 式和条带式，不管是哪种模式，都会使得雷达对 此外，配准结果的部分区域没有像素值，如 场景的观测角度和观测距离发生变化，体现在图 图6红框标出的区域所示，这些区域无法用于模 像上就是序列之间会发生平移、旋转、缩放、透视 型初始化和更新。因此，窗口中每一帧与末帧配 等几何畸变。因此在进行像素级背景建模之前， 准时都需要计算出一个有效区域的掩码，将窗口 需要通过配准将同一窗口中的所有图像的背景进 中所有掩码求与，得到窗口掩码，模型初始化、更 行对齐。 新、背景差分均只对窗口掩码区域进行。 配准一组图像的传统方法是直接计算所有图 像相对于参考帧的配准矩阵，假设滑动窗口的总 数是n,长度是s,则每个窗口需要计算s-1次配 准矩阵，一共需要计算n×(s-1)次配准矩阵，计 算量随着窗口长度的线性增加。 因此这里采用文献[2O]提出的一种VideoSAR 图像序列帧间配准方式：对于所有帧，只计算其 与下一帧配准的透视变换矩阵，任意不相邻的 两帧的配准矩阵通过累乘它们之间的所有的配 图6配准产生的无效区域 准矩阵得到。如图4所示，H。~H为图像序列的 Fig.6 Invalid region generated by registration 帧间配准矩阵，当窗口滑动到红色框所示位置 1.3背景建模 时，imgo、img2与img3的配准矩阵分别为 窗口中图像序列进行背景对齐后，使用单高 H×H,×H2、H1×H2、H2,同理当窗口滑动到蓝色框 斯模型进行背景建模，背景像素ⅰ的均值和方差 位置时配准矩阵分别为H1×H2×H3、H2×H、H3。 分别用4和σ表示，初始方差用σ表示，学习率 该方法只需要计算+s-1次配准矩阵，远少于直 用α表示，更新阈值和前景阈值分别用1和2表示， 接配准的n×(s-l)次。 窗口中第1帧中像素点i的值用Ix,y,)表示。本 文中σm2=100,t=1.35,=3,a=0.1,滑动窗口长 度n=20。 首先用窗口中第一帧图像初始化背景，即 img2 img3 1m2 山=I(x,,1),并初始化方差c2=0m2。 然后用第2~n-1帧更新背景和方差，对于 图4帧间快速配准示意图 Fig.4 Schematic diagram of fast inter frame registration I(x,),1e[2,n-1],如果满足： 如图5红框标出区域所示，VideoSAR是对三 (I(,)-4)2<(σ)月 则对和σ进行如下更新，否则不更新： 维场景进行二维成像，对于具有一定高度的物 体，不同的观测角度会得到不同的像，且观测角 02=a(I(x,t)-02+(1-a)c2 4=a(I(x,y,t)-4)+(1-am)4 度差别越大，像的差别越大。理论上两张图像帧 号间隔越小，计算配准矩阵受到干扰越小，因此 最后用第n帧与模型均值进行差分，如果像 素点I(x,y,n)满足： 帧间配准会比直接配准具有更高的精度，第2部 分的实验数据证明确实如此。 (I(,y,n)-4)2>(t2)月 I(xy,n）<4 则判断为前景，否则判断为背景。至此，初步 得到了窗口最后一帧中的动目标阴影。 1.4后处理 1)去除前景中过亮的部分 因为观测角度的变化，静止场景在不同帧之 间的回波强度也会有所不同。图7展示了一个窗 口中的两帧图像，右侧是末帧图像，它既是配准 的参考图，也是需要提取前景的帧；左侧是首帧 图5不同观测角度的成像结果差异 Fig.5 Difference of imaging results from different obser- 图像，它已经和右图配准并用于初始化模型的均 vation angles 值。红框标出了两个同名点，它们在两帧中的灰式和条带式，不管是哪种模式，都会使得雷达对 场景的观测角度和观测距离发生变化，体现在图 像上就是序列之间会发生平移、旋转、缩放、透视 等几何畸变。因此在进行像素级背景建模之前， 需要通过配准将同一窗口中的所有图像的背景进 行对齐。 配准一组图像的传统方法是直接计算所有图 像相对于参考帧的配准矩阵，假设滑动窗口的总 数是 n，长度是 s，则每个窗口需要计算 s－1 次配 准矩阵，一共需要计算 n×(s－1) 次配准矩阵，计 算量随着窗口长度的线性增加。 因此这里采用文献 [20] 提出的一种 VideoSAR 图像序列帧间配准方式：对于所有帧，只计算其 与下一帧配准的透视变换矩阵，任意不相邻的 两帧的配准矩阵通过累乘它们之间的所有的配 准矩阵得到。如图 4 所示，H0～H3 为图像序列的 帧间配准矩阵，当窗口滑动到红色框所示位置 时 ， img 0 、 img 2 与 img 3 的配准矩阵分别 为 H0×H1×H2、H1×H2、H2，同理当窗口滑动到蓝色框 位置时配准矩阵分别为 H1×H2×H3、H2×H、H3。 该方法只需要计算 n+s−1 次配准矩阵，远少于直 接配准的 n×(s−1) 次。 H0 H1 H2 H3 img0 img1 img2 img3 img4 图 4 帧间快速配准示意图 Fig. 4 Schematic diagram of fast inter frame registration 如图 5 红框标出区域所示，VideoSAR 是对三 维场景进行二维成像，对于具有一定高度的物 体，不同的观测角度会得到不同的像，且观测角 度差别越大，像的差别越大。理论上两张图像帧 号间隔越小，计算配准矩阵受到干扰越小，因此 帧间配准会比直接配准具有更高的精度，第 2 部 分的实验数据证明确实如此。 图 5 不同观测角度的成像结果差异 Fig. 5 Difference of imaging results from different obser￾vation angles 此外，配准结果的部分区域没有像素值，如 图 6 红框标出的区域所示，这些区域无法用于模 型初始化和更新。因此，窗口中每一帧与末帧配 准时都需要计算出一个有效区域的掩码，将窗口 中所有掩码求与，得到窗口掩码，模型初始化、更 新、背景差分均只对窗口掩码区域进行。 图 6 配准产生的无效区域 Fig. 6 Invalid region generated by registration 1.3 背景建模 µi σi 2 σinit 2 α t1 t2 I(xi , yi ,t) σinit 2 = 100 t1 = 1.35 t2 = 3 α = 0.1 窗口中图像序列进行背景对齐后，使用单高 斯模型进行背景建模，背景像素 i 的均值和方差 分别用 和 表示，初始方差用 表示，学习率 用 表示，更新阈值和前景阈值分别用 和 表示， 窗口中第 t 帧中像素点 i 的值用 表示。本 文中 ， ， ， ，滑动窗口长 度 n=20。 µi = I(xi , yi ,1) σi 2 = σinit 2 首先用窗口中第一帧图像初始化背景，即 ，并初始化方差 。 I(xi , yi ,t) 然后用第 2～n－1 帧更新背景和方差，对于 ，t∈[2,n－1]，如果满足： (I(xi , yi ,t)－µi) 2 < (t1σi) 2 µi σi 则对 和 2进行如下更新，否则不更新： { σi 2=α(I(xi , yi ,t)−µ) 2 +(1−α)σi 2 µi = α(I(xi , yi ,t)−µi)+(1−α)µi I(xi , yi ,n) 最后用第 n 帧与模型均值进行差分，如果像 素点 满足： { (I(xi , yi ,n)−µi) 2 > (t2σi) 2 I(xi , yi ,n) < µi 则判断为前景，否则判断为背景。至此，初步 得到了窗口最后一帧中的动目标阴影。 1.4 后处理 1) 去除前景中过亮的部分 因为观测角度的变化，静止场景在不同帧之 间的回波强度也会有所不同。图 7 展示了一个窗 口中的两帧图像，右侧是末帧图像，它既是配准 的参考图，也是需要提取前景的帧；左侧是首帧 图像，它已经和右图配准并用于初始化模型的均 值。红框标出了两个同名点，它们在两帧中的灰 第 17 卷 智 能 系 统 学 报 ·62·