。658 北京科技大学学报 第31卷 其中，Φ为BP神经网络逼近的状态转移模型，w 的卡尔曼滤波追踪效果图.由图7和图8可以看 为系统的噪声，符合正态分布：~(0，Q).使用 出，改进后的卡尔曼滤波追踪效果较好，基本满足瞳 z=(c,r),表示特征检测器估计t时刻瞳孔的位 孔追踪的实时性和稳定性的要求， 置，则测量模型为： =Ht十 (3) 式中，矩阵H表示了对当前测量值的相对状态.由 于瞳孔在相邻两帧图像中的移动距离相对较小，并 且具有类似的运动趋势，为了简化成只含有瞳孔位 置的信息，H矩阵可以表示为： 1000 H- L0100 以为噪声，符合~N(0,R). 当系统成功得到相邻两帧图像的瞳孔位置信息 图7瞳孔追踪实际效果图 时，系统初始状态通过相邻的两帧1和t十1得到： Fig 7 Sketch of pupil moving tracing r0=r+1,Co=C什1， 350 l0=C+1一C,V0=r+1-rt. 基于BP网络的瞳孔运动卡尔曼预测+° 初始协方差矩阵根据像素的偏差和矢量的偏差 300 +预测运动曲线 。实际运动曲线 得到： 250 0 *0a。 100 0 0 0 100 0 0= 0 ←200 0 0 25 0 150 L 0 0 0 26 初始误差的协方差矩阵为： 100 「160 00 90100110120130140150 0 1600 「40 500 列 0= R= 0 040 L04 图8瞳孔运动实际曲线和预测曲线 L0004 Fig.8 Trajectory of the real and estimated pupil positions 有了上述两个模型及初始条件，根据卡尔曼滤 波原理（式(4）~(8))，就可以对下一时刻瞳孔的位 2.3视线映射模型设计 置做出比较精确的预测，并使系统一直运行下去. 瞳孔定位和追踪完成后，就可以通过前面得到 x什1=④ (4) 的瞳孔中心和普尔软斑中心的矢量信息来计算眼晴 +1=ΦΣΦ+Q (5) 盯视计算机屏幕的具体位置.视线的映射模型用 +1H 式(9)表示： K=HH+R (6 xe=a0十a1x十a2y,+a3xgy,十a4x+asy2 x什1=x1十K+1(z什1-Hx+1) (7) ye=a6+a7x,十a8y:十a9xgy.+a0x+aly2 子+1=(I-K+1H)1 (8) (9) 其中，+1为系统在1十1时刻状态估计值的协方 其中，(xe,ye)为用户盯视落点，(x,y)为普尔钦斑 差矩阵，为求和变量；Q为1时刻系统模型的方差： 和瞳孔在x和y方向的盯视矢量值，代表局部的视 x+1为系统在t十1时刻的状态估计值.式(4)和式 线盯视方向，a(i=0,L,…,1)为二阶方程组系数. 当用户在盯视目标时，左右眼的盯视矢量方向是一 (5)为状态预测和误差协方差预测，式(6)和式(8)为 卡尔曼增益更新和误差协方差更新，式(7)为求取状 致的，这样就可以综合两眼的町视矢量信息，作为最 态最优解. 后的输入.盯视矢量值可由左右眼的盯视矢量值计 通过初始条件和预测模型，就可以实时追踪瞳 算得出： 孔的位置.图7为瞳孔追踪效果图，图8为改进后 2,⅓山十 x=十x 2其中, Υ为 BP 神经网络逼近的状态转移模型, wt 为系统的噪声, 符合正态分布 wt ～ ( 0, Q) .使用 zt =( c t , r t), 表示特征检测器估计 t 时刻瞳孔的位 置, 则测量模型为: zt =Hxt +vt ( 3) 式中, 矩阵 H 表示了对当前测量值的相对状态 .由 于瞳孔在相邻两帧图像中的移动距离相对较小, 并 且具有类似的运动趋势, 为了简化成只含有瞳孔位 置的信息, H 矩阵可以表示为 : H = 1 0 0 0 0 1 0 0 , vt 为噪声, 符合 vt ～ N( 0, R) . 当系统成功得到相邻两帧图像的瞳孔位置信息 时, 系统初始状态通过相邻的两帧 t 和 t +1 得到: r 0 =rt+1, c0 =ct+1, u0 =ct+1 -ct , v 0 =rt+1 -rt . 初始协方差矩阵根据像素的偏差和矢量的偏差 得到 : ΢0 = 100 0 0 0 0 100 0 0 0 0 25 0 0 0 0 26 . 初始误差的协方差矩阵为 : Q = 16 0 0 0 0 16 0 0 0 0 4 0 0 0 0 4 , R = 4 0 0 4 . 有了上述两个模型及初始条件, 根据卡尔曼滤 波原理( 式( 4) ～ ( 8) ) , 就可以对下一时刻瞳孔的位 置做出比较精确的预测, 并使系统一直运行下去. x - t+1 =Υxt ( 4) ΢ - t +1 =Υ΢t Υ t +Qt ( 5) Kt+1 = ΢ - t+1 H T H΢- t +1H T +R ( 6) xt+1 =x - t+1 +Kt +1( zt+1 -Hx - t +1) ( 7) ΢t +1 =( I -Kt+1H) ΢- t+1 ( 8) 其中, ΢- t+1为系统在 t +1 时刻状态估计值的协方 差矩阵, 为求和变量;Qt 为 t 时刻系统模型的方差 ; x - t +1为系统在 t +1 时刻的状态估计值.式( 4) 和式 ( 5) 为状态预测和误差协方差预测, 式( 6) 和式( 8) 为 卡尔曼增益更新和误差协方差更新, 式( 7) 为求取状 态最优解 . 通过初始条件和预测模型, 就可以实时追踪瞳 孔的位置.图 7 为瞳孔追踪效果图, 图 8 为改进后 的卡尔曼滤波追踪效果图.由图 7 和图 8 可以看 出, 改进后的卡尔曼滤波追踪效果较好, 基本满足瞳 孔追踪的实时性和稳定性的要求 . 图7 瞳孔追踪实际效果图 Fig.7 Sketch of pupil moving tracing 图 8 瞳孔运动实际曲线和预测曲线 Fig.8 T rajectory of the real and estimated pupil positions 2.3 视线映射模型设计 瞳孔定位和追踪完成后, 就可以通过前面得到 的瞳孔中心和普尔钦斑中心的矢量信息来计算眼睛 盯视计算机屏幕的具体位置 .视线的映射模型用 式( 9) 表示: xe =a0 +a1 x s +a2 y s +a3 x sy s +a4 x 2 s +a5 y 2 s ye =a6 +a7 x s +a8 y s +a9 x sy s +a10 x 2 s +a11 y 2 s ( 9) 其中, ( x e, y e) 为用户盯视落点, ( x s, y s) 为普尔钦斑 和瞳孔在 x 和y 方向的盯视矢量值, 代表局部的视 线盯视方向, ai ( i =0, 1, …, 11) 为二阶方程组系数. 当用户在盯视目标时, 左右眼的盯视矢量方向是一 致的, 这样就可以综合两眼的盯视矢量信息, 作为最 后的输入.盯视矢量值可由左右眼的盯视矢量值计 算得出 : x s = x 1 +x r 2 , ys = y 1 +y r 2 . · 658 · 北 京 科 技 大 学 学 报 第 31 卷