工程科学学报，第39卷.第8期：1238-1243,2017年8月 Chinese Journal of Engineering,Vol.39,No.8:1238-1243,August 2017 D0L:10.13374/j.issn2095-9389.2017.08.014;htp:/journals..usth.edu.cn 序列图像运动自适应V1-MT光流估计算法 李帅)，樊晓光)，许悦雷，李文倩)，黄金科” 1)空军工程大学航空航天工程学院，西安7100382)陕西服装工程学院，咸阳712046 ☒通信作者，E-mail:lishuailisuai(@163.com 摘要针对传统算法在抗光照变化影响、大位移光流和异质点滤除等方面的不足，从人类视觉认知机理出发，提出了一种 基于机器学习和生物模型的运动自适应VI-MT(motion-adaptive V1-MT,MAVIMT)序列图像光流估计算法.首先，引入基于 ROF模型的结构纹理分解(structure-texture decomposition,STD)技术，有效解决了光照和色彩变化的影响.其次，利用多V1细 胞加权组合及非线性正则化模拟MT细胞模型，并结合岭回归训练学习得到运动自适应的权重，解决对目标的运动速度感知 问题.最后，引入由粗到精的增强方法和图像金字塔局部运动估计采样，将V1-MT运动估计模型应用于实际大位移视频序 列.理论分析和实验结果表明，新方法能更加拟合人眼视觉信息处理特性，对视频序列具有普适、有效、鲁棒的运动感知 性能. 关键词光流：V1;MT:时空滤波器：运动感知：岭回归 分类号TP183 Bio-inspired motion-adaptive estimation algorithm of sequence image ⅡShuai,FAN Xiao-guang’,XUhe-lei',UWem-gian2”,HUANG Jin--ke) 1)School Aeronautics and Astronautics Engineering,Air Force Engineering University,Xi'an 710038,China 2)Shaanxi Fashion Engineering University,Xianyang 712046,China Corresponding author,E-mail:lishuailisuai@163.com ABSTRACT To overcome the insufficiencies of varying illumination,large displacement estimation,and outlier removal,a motion- adaptive V1-MT(MAVIMT)motion estimation algorithm based on machine learning and a bio-inspired model of sequence image was proposed,starting from the theory of visual cognition.First,a structure-texture decomposition technique based on the Rudin Osher Fatemi ROF)model was introduced to manage the variation in illumination and color.Then,a pooling stage at the MT level with non-normalization,which combines the afferent VI responses using the adaptive weights trained by ridge regression,is modeled to ob- tain the local velocities.Finally,through introducing the coarse-to-fine method and pyramid structure subsampling of the local motion, the MAVIMT model is used on realistic video.Theoretical analysis and experimental results suggest the new algorithm,which is more fitting to information processing features of the human visual system,has universal,effective and robust motion perception perform- ance. KEY WORDS optical flow;V1;MT;spatial-temporal filter;motion perception;ridge regression 运动感知既是生物认知动态世界的关键，也是机计序列图像的光流场成为视频应用的关键.目前， 器视觉系统模拟解译视频序列的核心问题。而运动感 许多研究学者在光流估计领域取得了很多理论研究成 知中的关键研究就是光流估计，即相机与场景目标间 果，如Hom和Schunck首先提出了时空微分估计序列 有相对运动时所观察到的图像亮度模式运动，精确估 图像光流的HS模型[]，Butler等采用sparse-lo-dense 收稿日期：2016-09-13 基金项目：国家自然科学基金资助项目(61372167,61379104)工程科学学报,第 39 卷,第 8 期:1238鄄鄄1243,2017 年 8 月 Chinese Journal of Engineering, Vol. 39, No. 8: 1238鄄鄄1243, August 2017 DOI: 10. 13374 / j. issn2095鄄鄄9389. 2017. 08. 014; http: / / journals. ustb. edu. cn 序列图像运动自适应 V1鄄鄄 MT 光流估计算法 李 帅1) 苣 , 樊晓光1) , 许悦雷1) , 李文倩2) , 黄金科1) 1) 空军工程大学航空航天工程学院, 西安 710038 2) 陕西服装工程学院, 咸阳 712046 苣 通信作者, E鄄mail: lishuailisuai@ 163. com 摘 要 针对传统算法在抗光照变化影响、大位移光流和异质点滤除等方面的不足,从人类视觉认知机理出发,提出了一种 基于机器学习和生物模型的运动自适应 V1鄄鄄MT(motion鄄adaptive V1鄄鄄MT,MAV1MT)序列图像光流估计算法. 首先,引入基于 ROF 模型的结构纹理分解(structure鄄texture decomposition,STD)技术,有效解决了光照和色彩变化的影响. 其次,利用多 V1 细 胞加权组合及非线性正则化模拟 MT 细胞模型,并结合岭回归训练学习得到运动自适应的权重,解决对目标的运动速度感知 问题. 最后,引入由粗到精的增强方法和图像金字塔局部运动估计采样,将 V1鄄鄄 MT 运动估计模型应用于实际大位移视频序 列. 理论分析和实验结果表明,新方法能更加拟合人眼视觉信息处理特性,对视频序列具有普适、有效、鲁棒的运动感知 性能. 关键词 光流; V1; MT; 时空滤波器; 运动感知; 岭回归 分类号 TP183 Bio鄄inspired motion鄄adaptive estimation algorithm of sequence image LI Shuai 1) 苣 , FAN Xiao鄄guang 1) , XU Yue鄄lei 1) , LI Wen鄄qian 2) , HUANG Jin鄄ke 1) 1) School Aeronautics and Astronautics Engineering, Air Force Engineering University, Xi爷an 710038, China 2) Shaanxi Fashion Engineering University, Xianyang 712046, China 苣 Corresponding author, E鄄mail: lishuailisuai@ 163. com ABSTRACT To overcome the insufficiencies of varying illumination, large displacement estimation, and outlier removal, a motion鄄 adaptive V1鄄鄄MT (MAV1MT) motion estimation algorithm based on machine learning and a bio鄄inspired model of sequence image was proposed, starting from the theory of visual cognition. First, a structure鄄texture decomposition technique based on the Rudin Osher Fatemi (ROF) model was introduced to manage the variation in illumination and color. Then, a pooling stage at the MT level with non鄄normalization, which combines the afferent V1 responses using the adaptive weights trained by ridge regression, is modeled to ob鄄 tain the local velocities. Finally, through introducing the coarse鄄to鄄fine method and pyramid structure subsampling of the local motion, the MAV1MT model is used on realistic video. Theoretical analysis and experimental results suggest the new algorithm, which is more fitting to information processing features of the human visual system, has universal, effective and robust motion perception perform鄄 ance. KEY WORDS optical flow; V1; MT; spatial鄄temporal filter; motion perception; ridge regression 收稿日期: 2016鄄鄄09鄄鄄13 基金项目: 国家自然科学基金资助项目(61372167, 61379104) 运动感知既是生物认知动态世界的关键,也是机 器视觉系统模拟解译视频序列的核心问题. 而运动感 知中的关键研究就是光流估计,即相机与场景目标间 有相对运动时所观察到的图像亮度模式运动,精确估 计序列图像的光流场成为视频应用的关键[1] . 目前, 许多研究学者在光流估计领域取得了很多理论研究成 果,如 Horn 和 Schunck 首先提出了时空微分估计序列 图像光流的 HS 模型[2] ,Butler 等采用 sparse鄄to鄄dense