李帅等：序列图像运动自适应V1-MT光流估计算法 ·1239· 的思想，利用粗算的稀疏特征匹配结合精算的主成分 单细胞和复杂细胞两类，它们的响应可以由一系列滤 分析插值法准确估计光流场[3]，Revaud等提出了一致 波器响应输出的非线性组合模拟得到，其中最为关键 性边缘保持的光流估计算法[.但是，这些算法基于 的是对感受野的恰当分析和模拟.简单细胞感受野可 的数学模型需要一定的先验，算法普适性和鲁棒性均 以看作是线性时空滤波器，滤波输出.复杂细胞感受 不强，而为了提高准确性需要增加模型的复杂性，这必 野输出可以由经过合适的正则化处理叠加得到，一般 然大大增加计算复杂度 有MAX模型、能量模型、学习模型三种叠加方式. 基于生物视皮层机制的运动特征分析通过模拟背 对于一个实测灰度视频序列I(p,t),光流(， 侧通路(dorsal stream)的初级视皮层VI细胞、中层MT 飞，)(P,)可以定义为在一定时间t下序列图像中所有 细胞特性实现对运动感知.目前生物学研究普遍认为 位置p=(x,y)的运动矢量场，其中，，分别表示水 V1细胞对运动方向敏感，而T细胞则对特定速度具 平方向x和垂直方向y上目标的运动速率.本文采用 有差异较大的响应，因此通过模拟这两种生物视觉认 三维Gaor时空滤波器模拟简单细胞的感受野，式(1) 知系统的区域细胞必然可以高效的解决运动感知问 和(2)分别表示时间滤波器H和空间滤波器K 题.由于视觉认知机制这种固有的智能优越性，基于 p,0)=Be-2ae2a(ow,(1) 生物神经科学理论的运动感知及估计逐渐成为神经科 K(If)=e(eRsup) (2) 学与机器视觉交叉研究的热点问题)，但是目前相关 其中，B是定义了滤波器包络幅值的常量，j是标准虚 的研究主要还是针对随机点（或光栅等）序列进行的， 数，0表示简单细胞偏好方向，含有N个分量，即[0， 结合最新的生物模型或改进的模型进行光流估计的研 62,…,,]Jσ和，、T分别定义了细胞感受野的空间 究还相对匮乏.Heeger在1988年首次在文献[6]中提 频率、空间尺度和时间频率、时间尺度，而这些参数决 出利用细胞运动感知特性计算光流，Rust等)]分别对 定了V1简单细胞的偏好方向矢量v,大小为厂f.公 该模型进行了发展，但研究对象都是随机点、光栅等一 式(1)和(2)中最后一项代表Gabor时空滤波器的相 致性较好的生物试验序列图像.Nishimoto和Gallant 位，本文将这一复数展开分别得到时空滤波器的实部 提出了基于Heeger和Simoncelli细胞模型以及Boos- H。、H。和虚部K。、K。,由此可以得到两类（奇函数和偶 ing回归的自然视频序列三维时空感受野模型[s). 函数)三维Gabor时空滤波器， 2015年，Solari等首次提出了前馈V1-MT细胞模型 G.(p,t,0,v)=H.(p,0f)K.(tf)+ (feedforward VI-MT,FFV1MT)估计序列图像的光流 H(p,0f)K (tf), (3) 场，该方法结合横向和反馈交互有效解决了孔径问题， 但是在强纹理和边缘区域估计效果鲁棒性较差[] G(p,t,0,v)=H(p,0,f)K.(t,f)- (4) 基于以上分析，本文从生物神经科学出发，借鉴细 H(p,0f,)K (tf). 这些奇、偶滤波器定义了简单细胞的方向感知特 胞模型前沿研究理论，提出了一种改进的运动自适应 性，视频序列经过奇滤波器的输出为式(5)，其中*表 VI-MT(motion-adaptive V1-MT,MAVIMT)光流估计 示卷积运算.同理可得经过偶滤波器的输出R。 算法，该模型可以作为后续生物与机器视觉交叉学科 研究的基本思路.首先，提出了一种改进的V1-MT细 R.(p,t,0,)=(G.(p,0.y)I)(p,).(5) 胞模型，以三维时空Gabor滤波器模拟VI简单细胞的 V1复杂细胞输出一般采用简单细胞的能量叠加 感受野，结合调谐和非调谐正则化方法拟合V1复杂 及正则化估计得到，如公式(6)、(7)所示，其中E、E 细胞模型.进一步利用Rus细胞模型机器学习训练得 分别表示简单细胞能量叠加结果和正则化输出.并且 到自适应权重，并将V1响应输出加权组合得到MT细 当输入刺激（图像序列）运动方向与V1细胞偏好方向 胞的响应，并结合调谐MT细胞的响应速度空间采样 一致时，V1复杂细胞的响应输出最大 和局部速度解码.最后，针对目前研究细胞特性常使 E(p,t,0,)=√R。(p,l,0,)+R。(p,t,0,y), 用随机点、光栅等一致性较好刺激，且缺乏场景视频时 (6) 空滤波平面等不足，引入金字塔多尺度分层（解决自 E0(p,t,0,v)= E(p,L,0,w)2 (7) 然场景速度跨度范围较大的问题)、响应反馈等提出 ∑E(p,l,0,)2+ VI-MT运动感知模型，并将该模型应用于Middlebury 实际复杂场景的运动目标感知和光流估计中 式(7)为非调谐正则化项，其中的专，是为了避免弱纹 理图像能量为零的情况，可任取远小于1的正数 1MAV1MT细胞模型 但是，非调谐正则化对刺激响应强烈的细胞表达 1.1V1细胞模型 不足，因此本文参考Rust的方法[]，通过引入正常量 初级视皮层(primary visual cortex,V1)常分为简 专2进一步修正响应值，提出调谐正则化(self-normaliza-李 帅等: 序列图像运动自适应 V1鄄鄄MT 光流估计算法 的思想,利用粗算的稀疏特征匹配结合精算的主成分 分析插值法准确估计光流场[3] ,Revaud 等提出了一致 性边缘保持的光流估计算法[4] . 但是,这些算法基于 的数学模型需要一定的先验,算法普适性和鲁棒性均 不强,而为了提高准确性需要增加模型的复杂性,这必 然大大增加计算复杂度. 基于生物视皮层机制的运动特征分析通过模拟背 侧通路(dorsal stream)的初级视皮层 V1 细胞、中层 MT 细胞特性实现对运动感知. 目前生物学研究普遍认为 V1 细胞对运动方向敏感,而 MT 细胞则对特定速度具 有差异较大的响应,因此通过模拟这两种生物视觉认 知系统的区域细胞必然可以高效的解决运动感知问 题. 由于视觉认知机制这种固有的智能优越性,基于 生物神经科学理论的运动感知及估计逐渐成为神经科 学与机器视觉交叉研究的热点问题[5] ,但是目前相关 的研究主要还是针对随机点(或光栅等)序列进行的, 结合最新的生物模型或改进的模型进行光流估计的研 究还相对匮乏. Heeger 在 1988 年首次在文献[6]中提 出利用细胞运动感知特性计算光流,Rust 等[7] 分别对 该模型进行了发展,但研究对象都是随机点、光栅等一 致性较好的生物试验序列图像. Nishimoto 和 Gallant 提出了基于 Heeger 和 Simoncelli 细胞模型以及 Boos鄄 ting 回归的自然视频序列三维时空感受野模型[8] . 2015 年,Solari 等首次提出了前馈 V1鄄鄄 MT 细胞模型 (feedforward V1鄄鄄MT, FFV1MT) 估计序列图像的光流 场,该方法结合横向和反馈交互有效解决了孔径问题, 但是在强纹理和边缘区域估计效果鲁棒性较差[9] . 基于以上分析,本文从生物神经科学出发,借鉴细 胞模型前沿研究理论,提出了一种改进的运动自适应 V1鄄鄄MT(motion鄄adaptive V1鄄鄄 MT, MAV1MT)光流估计 算法,该模型可以作为后续生物与机器视觉交叉学科 研究的基本思路. 首先,提出了一种改进的 V1鄄鄄MT 细 胞模型,以三维时空 Gabor 滤波器模拟 V1 简单细胞的 感受野,结合调谐和非调谐正则化方法拟合 V1 复杂 细胞模型. 进一步利用 Rust 细胞模型机器学习训练得 到自适应权重,并将 V1 响应输出加权组合得到 MT 细 胞的响应,并结合调谐 MT 细胞的响应速度空间采样 和局部速度解码. 最后,针对目前研究细胞特性常使 用随机点、光栅等一致性较好刺激,且缺乏场景视频时 空滤波平面等不足,引入金字塔多尺度分层(解决自 然场景速度跨度范围较大的问题)、响应反馈等提出 V1鄄鄄MT 运动感知模型,并将该模型应用于 Middlebury 实际复杂场景的运动目标感知和光流估计中. 1 MAV1MT 细胞模型 1郾 1 V1 细胞模型 初级视皮层( primary visual cortex, V1) 常分为简 单细胞和复杂细胞两类,它们的响应可以由一系列滤 波器响应输出的非线性组合模拟得到,其中最为关键 的是对感受野的恰当分析和模拟. 简单细胞感受野可 以看作是线性时空滤波器,滤波输出. 复杂细胞感受 野输出可以由经过合适的正则化处理叠加得到,一般 有 MAX 模型、能量模型、学习模型三种叠加方式. 对于一个实测灰度视频序列 I( p, t),光流 v( vx, vy)(p,t)可以定义为在一定时间 t 下序列图像中所有 位置 p = (x, y)的运动矢量场,其中 vx,vy 分别表示水 平方向 x 和垂直方向 y 上目标的运动速率. 本文采用 三维 Gabor 时空滤波器模拟简单细胞的感受野,式(1) 和(2)分别表示时间滤波器 H 和空间滤波器 K. H(p,兹,f s) = Be ( - (x 2 + y 2 ) / (2滓 2 )) e j2仔(f s cos(兹)x + f s sin(兹)y) , (1) K(t,f t) = e ( - t / 子) e j2仔(f t t) . (2) 其中,B 是定义了滤波器包络幅值的常量,j 是标准虚 数,兹 表示简单细胞偏好方向,含有 N 个分量,即[ 兹1 , 兹2 ,…,兹N ],f s、滓 和 f t、子 分别定义了细胞感受野的空间 频率、空间尺度和时间频率、时间尺度,而这些参数决 定了 V1 简单细胞的偏好方向矢量 v c ,大小为 f t / f s . 公 式(1)和(2)中最后一项代表 Gabor 时空滤波器的相 位,本文将这一复数展开分别得到时空滤波器的实部 Ho、He 和虚部 Ko、Ke,由此可以得到两类(奇函数和偶 函数)三维 Gabor 时空滤波器, Go(p,t,兹,v c ) = Ho(p,兹,f s)Ke(t,f t) + He(p,兹,f s)Ko(t,f t), (3) Ge(p,t,兹,v c ) = He(p,兹,f s)Ke(t,f t) - He(p,兹,f s)Ko(t,f t). (4) 这些奇、偶滤波器定义了简单细胞的方向感知特 性,视频序列经过奇滤波器的输出为式(5),其中*表 示卷积运算. 同理可得经过偶滤波器的输出 Re . Ro(p,t,兹,v c ) = (Go(p,t,兹,v c ) * (x,y,t) I)(p,t). (5) V1 复杂细胞输出一般采用简单细胞的能量叠加 及正则化估计得到,如公式(6)、(7)所示,其中 E、E V1 P 分别表示简单细胞能量叠加结果和正则化输出. 并且 当输入刺激(图像序列)运动方向与 V1 细胞偏好方向 一致时,V1 复杂细胞的响应输出最大. E(p,t,兹,v c ) = Ro (p,t,兹,v c ) 2 + Re (p,t,兹,v c ) 2 , (6) E V1 P (p,t,兹,v c ) = E (p,t,兹,v c ) 2 移 N i = 1 E (p,t,兹,v c ) 2 + 孜 2 1 . (7) 式(7)为非调谐正则化项,其中的 孜1 是为了避免弱纹 理图像能量为零的情况,可任取远小于 1 的正数. 但是,非调谐正则化对刺激响应强烈的细胞表达 不足,因此本文参考 Rust 的方法[7] ,通过引入正常量 孜2 进一步修正响应值,提出调谐正则化( self鄄normaliza鄄 ·1239·