第七章运动视觉 7.1概述 72视觉运动的检测和测量 72.1以灰度为基础的方法 (1)速度场和光流 (2)光流 (3)光流的估算 722基于过零点的方法 7.23基于特征的运动检测方法 73运动理解 731基于光流的运动理解 732基于特征的运动理解 7.3.3根据图象流动力学恢复表面结构和三维运动 734基于光流的代数法恢复运动参数和景物深度k96 71概述|7 付运动的分析在生理系统中占中心位置。甚至在简单的动物身上都存在着复杂的观 察、跟踪和利用运动的功能。例如,青蛙可以有效地探测小飞虫。这样的动物可有选择地 对在视场中运动着的小的、深色的物体进行跟踪。家蝇可以跟踪运动物体和发现目标跟背 景之间的相对运动,甚至当物体与背景在纹理上相同,因此如果没有相对运动是区分不开 的情况下也是这样的。 在高等动物包括灵长目动物中,运动的分析从早期视觉处理阶段开始就渗透到视觉系 统中。某些生物,例如鸽子和免子在视网膜的水平上完成基本运动分析。在其他动物,包 括猫和灵长目动物,视觉皮层中从眼睛接受输入的第一个神经里已经涉及到运动的分析: 这些神经对沿某一方向运动的刺激反应很灵敏,但对沿相反方向的运动却反应很小,或根 本不反应。 运动视觉在生理系统中占主要地位不令人奇怪的,因为运动揭示了关于环境的有价值 的信息。本章的研究任务是根据运动发现结构和解释由运动所产生的光流场。对生理系统 运动视觉的研究将有助于时变图象的计算机分析算法的研究。 反之,对时变图象解释的研究可以深化对一般原理的理解,这些理解可增进我们对生 理视觉系统的理解。时变图象分析的基本计算问题可分成两大类:运动的检测和测量,以 及视觉运动的解释 711运动探测和测量 图象中基元和区域的运动不是直接给出的,而是必须根据基本量测来计算得到。由眼 睛或由电子成象系统记录的时变图象可描述为随时间变化的亮度值E(x,y,1)的二维阵 列。图象中的运动可用速度场V(x,y,)来表示。V(x,y,)给出某一时刻t,在图象中 (x,y)处点的运动速度和方向。E(x,y,1)是由原始的测量直接得到的,而(x,y,)不是 这样。因此,分析运动中的第一个问题是根据E(x,y,)计算(x,y,)。这些计算是视觉 运动的量测。 在某些情况下,只要检测速度场V(x,y,1)的某些特性就足够了,而不要完全和精确 的量测。例如,当希望迅速地对运动物体作出响应时,在这种情况下必须检测运动,但不 需要测量 但是,从这里讨论问题的分类来说这两个问题都重要。当研究深入时,这些问题将被 证明比原来所预计的更为困难。因此,对有效和可靠的测量方法的研究是对时变图象分析 方面的重要研究邻域。 130130 第七章 运动视觉 7.1 概述 7.2 视觉运动的检测和测量 7.2.1 以灰度为基础的方法 (1) 速度场和光流 (2) 光流 (3) 光流的估算 7.2.2 基于过零点的方法 7.2.3 基于特征的运动检测方法 7.3 运动理解 7.3.1 基于光流的运动理解 7.3.2 基于特征的运动理解 7.3.3 根据图象流动力学恢复表面结构和三维运动 7.3.4 基于光流的代数法恢复运动参数和景物深度[Tek 96] 7.1 概述[Ull 79] 对运动的分析在生理系统中占中心位置。甚至在简单的动物身上都存在着复杂的观 察、跟踪和利用运动的功能。例如，青蛙可以有效地探测小飞虫。这样的动物可有选择地 对在视场中运动着的小的、深色的物体进行跟踪。家蝇可以跟踪运动物体和发现目标跟背 景之间的相对运动，甚至当物体与背景在纹理上相同，因此如果没有相对运动是区分不开 的情况下也是这样的。 在高等动物包括灵长目动物中，运动的分析从早期视觉处理阶段开始就渗透到视觉系 统中。某些生物，例如鸽子和免子在视网膜的水平上完成基本运动分析。在其他动物，包 括猫和灵长目动物，视觉皮层中从眼睛接受输入的第一个神经里已经涉及到运动的分析： 这些神经对沿某一方向运动的刺激反应很灵敏，但对沿相反方向的运动却反应很小，或根 本不反应。 运动视觉在生理系统中占主要地位不令人奇怪的，因为运动揭示了关于环境的有价值 的信息。本章的研究任务是根据运动发现结构和解释由运动所产生的光流场。对生理系统 运动视觉的研究将有助于时变图象的计算机分析算法的研究。 反之，对时变图象解释的研究可以深化对一般原理的理解，这些理解可增进我们对生 理视觉系统的理解。时变图象分析的基本计算问题可分成两大类：运动的检测和测量，以 及视觉运动的解释。 7.1.1 运动探测和测量 图象中基元和区域的运动不是直接给出的，而是必须根据基本量测来计算得到。由眼 睛或由电子成象系统记录的时变图象可描述为随时间变化的亮度值 E(x, y, t) 的二维阵 列。图象中的运动可用速度场 V(x, y, t) 来表示。 V(x, y, t) 给出某一时刻 t ，在图象中 (x, y) 处点的运动速度和方向。 E(x, y, t) 是由原始的测量直接得到的，而 V(x, y, t) 不是 这样。因此，分析运动中的第一个问题是根据 E(x, y, t) 计算 V(x, y, t) 。这些计算是视觉 运动的量测。 在某些情况下，只要检测速度场 V(x, y, t) 的某些特性就足够了，而不要完全和精确 的量测。例如，当希望迅速地对运动物体作出响应时，在这种情况下必须检测运动，但不 需要测量。 但是，从这里讨论问题的分类来说这两个问题都重要。当研究深入时，这些问题将被 证明比原来所预计的更为困难。因此，对有效和可靠的测量方法的研究是对时变图象分析 方面的重要研究邻域