一种非接触式实时视线追踪系统的设计

D01:10.13374.ism1001053x.2009.06.位1 第31卷第5期 北京科技大学学报 Vol.31 No.5 2009年5月 Journal of University of Science and Technology Beijing May 2009 一种非接触式实时视线追踪系统的设计 张鹏翼王志良迟健男张闯 北京科技大学信息工程学院。北京100083 摘要为方便残疾人和老年人使用计算机进行信息交互，设计了一种非接触式低成本视线追踪系统.系统设计了一种双环 形红外光源.通过交替照射用户脸部，用单CCD摄像机得到亮瞳”衢暗瞳”的相邻两帧图像.将这两帧图像做差得到瞳孔的 位置，使用椭圆拟合方式求得瞳孔中心，加之在“暗瞳”图像上得到的普弭钦斑中心.从而确定了局部视线的盯视方向.基于人 类视线移动的特点，提出了使用神经网络和卡尔曼波相结合的方法进行瞳孔跟踪，最后给出了视线映射模型和校准方式. 关键词视线追踪人机交互：瞳孔：普尔钦斑 分类号TP391.41 Design of a real-time eye tracking system based on contactless configuration ZHANG Peng yi.WANG Zhi-liang,CHI Jian-nan.ZHANG Chuang School of Infomation Ergineering.University of Science and Technobgy Beijing.Beijing 100083.China ABSTRACT In order to help the handicapped and the elderly use computer for information interacting,a low-cost and nomcontact eye gaze tracking system is designed.This system is composed of twoloop illuminators and a CCD camera.The way of getting pupil position is to do subtraction of the tw o images,"bright pupil and"dark pupil,w hich are gained by illuminating user's eyes alter- nate.The pupil center is localized by dlipse fitting.and the Purkinje image can be obtained in the"dark pupir image.then the local gazing diredion can be determined.Based on the characteristic of human gazing movement,the tracking strategy of pupil that is de- signed by neural ne tw ork and Kalman filtering is discussed.At last,an eye gaze mapping model and its calibration are given. KEY WORDS eye gaze tracking:humarrcomputer interaction pupik Purkinje image 早在1989年，Hutchinson等就提出用视线与计 算机进行交互的思想).多年来，信息领域的众多 1视线追踪系统组成及原理 学者也都致力于这一研究使人机交互形式更加自 在保证视线追踪精度的基础上，为了给用户提 然，和谐).近些年，随着对视线追踪技术的深入 供一个更加舒适的使用环境，视线追踪系统采用了 研究及其应用领域的不断拓宽，非接触式视线追踪 非接触式的单摄像机、双环形红外光源照明的思路 技术作为人机交互的主要手段得到了很大的进 进行设计. 步9.虹膜检测和瞳孔定位追踪技术的不断更新以 硬件系统主要由CCD(charge coupled device)摄 及映射模型的逐步改善，也促使非接触式视线追踪 像机、图像采集卡，计算机、微处理器和光源组成. 技术向着更精准、更高效和更廉价的趋势发 摄像机主要用于采集用户脸部和头部图像，采 展一0.为使老年人和残疾人能够更加方便地使用 用PAL(phase alternating line)制式的模拟输出方 计算机进行信息交互，本文采用了一种新的检测和 式，在得到人脸图像后，传输至图像采集卡进行AD 追踪技术，在提高系统实时性和降低成本方面做了 (analog-to-digital)转换和预处理，最后输入至计算 一些尝试，取得了较好的效果. 机进行图像处理， 收稿日期：200812-25 基金项目：国家自然科学基金资助项目(N0.60775042):国家高技术研究发展计划资助项目(No.2007AA01Z160) 作者简介：张鹏翼(1981一），男，博士研究生：王志良(1956-一)，男，教授，博士生导师，E-maik wz@ies ust b..du.cm

一种非接触式实时视线追踪系统的设计 张鹏翼 王志良 迟健男 张 闯 北京科技大学信息工程学院, 北京 100083 摘 要 为方便残疾人和老年人使用计算机进行信息交互, 设计了一种非接触式低成本视线追踪系统.系统设计了一种双环 形红外光源, 通过交替照射用户脸部, 用单 CCD 摄像机得到“ 亮瞳” 和“ 暗瞳” 的相邻两帧图像.将这两帧图像做差得到瞳孔的 位置, 使用椭圆拟合方式求得瞳孔中心, 加之在“暗瞳” 图像上得到的普洱钦斑中心, 从而确定了局部视线的盯视方向.基于人 类视线移动的特点, 提出了使用神经网络和卡尔曼滤波相结合的方法进行瞳孔跟踪, 最后给出了视线映射模型和校准方式. 关键词 视线追踪;人机交互;瞳孔;普尔钦斑 分类号 TP391.41 Design of a real-time eye tracking system based on contactless configuration ZHANG Peng-yi , WANG Zhi-liang, CHI J ian-nan , ZHANG Chuang S chool of Inf ormation Engineering, University of S cience and Technology Beijing, Beijing 100083, China ABSTRACT In o rder to help the handicapped and the elderly use computer for information interacting , a low-cost and no n-contact eye g aze tracking system is designed .This system is composed of tw o-loop illuminato rs and a CCD camera.The w ay o f getting pupil positio n is to do subtractio n of the tw o images, “ brig ht pupil” and “ dark pupil” , w hich are g ained by illuminating user' s eyes alter￾nate.The pupil center is localized by ellipse fitting, and the Purkinje image can be obtained in the “ dark pupil” image, then the local g azing direction can be determined .Based o n the characteristic of human g azing movement, the tracking strategy of pupil that is de￾signed by neural ne tw ork and Kalman filtering is discussed.At last, an eye gaze mapping model and its calibratio n are given . KEY WORDS eye gaze tracking;human-computer interactio n;pupil;Purkinje image 收稿日期:2008-12-25 基金项目:国家自然科学基金资助项目( No .60775042) ;国家高技术研究发展计划资助项目( No .2007AA01Z160) 作者简介:张鹏翼( 1981—) , 男, 博士研究生;王志良( 1956—) , 男, 教授, 博士生导师, E-mail:wzl@ies.ustb.edu.cn 早在 1989 年, Hutchinson 等就提出用视线与计 算机进行交互的思想[ 1] .多年来, 信息领域的众多 学者也都致力于这一研究使人机交互形式更加自 然、和谐[ 2-5] .近些年, 随着对视线追踪技术的深入 研究及其应用领域的不断拓宽, 非接触式视线追踪 技术作为人机交互的主要手段得到了很大的进 步 [ 6] .虹膜检测和瞳孔定位追踪技术的不断更新以 及映射模型的逐步改善, 也促使非接触式视线追踪 技术向 着更 精 准、更 高效 和 更廉 价 的趋 势 发 展[ 7-10] .为使老年人和残疾人能够更加方便地使用 计算机进行信息交互, 本文采用了一种新的检测和 追踪技术, 在提高系统实时性和降低成本方面做了 一些尝试, 取得了较好的效果 . 1 视线追踪系统组成及原理 在保证视线追踪精度的基础上, 为了给用户提 供一个更加舒适的使用环境, 视线追踪系统采用了 非接触式的单摄像机 、双环形红外光源照明的思路 进行设计. 硬件系统主要由 CCD( charge coupled device) 摄 像机、图像采集卡 、计算机、微处理器和光源组成 . 摄像机主要用于采集用户脸部和头部图像, 采 用 PAL( phase alternating line) 制式的模拟输出方 式, 在得到人脸图像后, 传输至图像采集卡进行 AD ( analog-to-digital) 转换和预处理, 最后输入至计算 机进行图像处理. 第 31 卷 第 5 期 2009 年 5 月 北 京 科 技 大 学 学 报 Journal of University of Science and Technology Beijing Vol .31 No.5 May 2009 DOI :10.13374/j .issn1001 -053x.2009.05.021

。656 北京科技大学学报 第31卷 采集卡选用黑白工业专用图像采集卡，适用于 图3(b):反之，当红外光源远离摄像机的光轴时，所 工业检测和科学图像处理及医疗影像等科研开发领 发出的光线与摄像机的光轴夹角较大，这样照射到 域.图像采集卡除了将采集到的视频图像传输至计 瞳孔的光线几乎很少反射回CCD摄像机，图像中就 算机外，还提取了图像的帧同步信号以供微处理器 出现了“暗瞳”现象，如图3(a). 读取并作相应的处理. (a) 微处理器选用了STC12C5410AD型单片机，用 其外部中断捕获图像采集卡提供的图像帧同步信 号.当微处理器捕获到奇帧同步信号时，便输出信 号控制光源外环亮、内环灭：当微处理器捕获到偶帧 同步信号时，便输出信号控制光源内环亮、外环灭. 图3“亮暗瞳”实际图 如此交替进行，即可在相邻两帧图像中分别得到用 Fig.3 Photos of bright pupil and dark pupil 户的“亮瞳”和“暗瞳”两种图像.红外光源使用了 近红外LED(light emitting diode)发光二极管，波长 1.2红外光源系统设计 为880nm,在配合了相应的滤光片后，既可以产生 基于上述原理，设计了双环形红外光源以实现 “亮暗瞳”，又不会由于光照影响用户的使用.图1 “亮暗瞳”效果.为了不影响用户的使用，并能产生 为视线追踪系统原理图. 相对较好的亮度效果，红外光源选用了880nm波长 的近红外发光二极管，同时为CCD摄像机配置了相 同波段的干涉窄带滤光片，以消除可见光和自然光 微处理器 采集卡 对图像的干扰.内环光源直径接近CCD摄像机外 径，除了可以产生“亮瞳”外，还可以产生普尔钦斑： 外环远离光轴，在不产生“亮瞳”的情况下，选用了与 计算机 内环数量相同的发光二极管，以保证“暗瞳”图像中 其他像素的灰度值与“亮瞳”图像中的相近，方便后 续的图像处理.图4为红外光源的原理图. 外环光源内环光源 图1视线追踪系统原理图 红外光源 CCD Fig.I Sketch of an eye tracking system 光圈 摄像头 11红外光源设计原理 红外光照射产生“亮瞳”的原理与照相机拍摄照 片时产生的“红眼”原理类似.图2为“亮暗瞳”产生 滤光片 原理图，图3为“亮暗瞳”实际图.当红外光源靠近 正面图 侧面图 摄像机的光轴时，所发出的光线与摄像机的光轴近 似平行，这样大部分照射到瞳孔的光线就可以反射 图4红外光源原理图 回CCD摄像机，图像中就出现了“亮瞳”现象，如 Fig 4 Sketch of IR light source 红外光源 瞳孔 2视线追踪系统算法设计 CCD 反射光线 摄像机 依据硬件系统的设计，视线追踪系统算法主要 入射光线 分为瞳孔位置检测、瞳孔位置追踪和视线映射模型 红外光源 眼睛 设计三大部分 2.1瞳孔位置检测 人射光线 CCD ()“亮暗瞳”图像做差.为了得到瞳孔的位 摄像机 反射光线 置，首先要进行的是对相邻两帧的“亮瞳”和“暗瞳” 瞳孔 图像做差 图2“亮暗瞳”产生原理图 图5显示了“亮暗瞳”图像做差及处理后的效 Fig.2 Principle of bright and dark pupils 果.图5中(a)和(b)分别为相邻两帧的“亮瞳”和

采集卡选用黑白工业专用图像采集卡, 适用于 工业检测和科学图像处理及医疗影像等科研开发领 域.图像采集卡除了将采集到的视频图像传输至计 算机外, 还提取了图像的帧同步信号以供微处理器 读取并作相应的处理 . 微处理器选用了 STC12C5410AD 型单片机, 用 其外部中断捕获图像采集卡提供的图像帧同步信 号.当微处理器捕获到奇帧同步信号时, 便输出信 号控制光源外环亮、内环灭;当微处理器捕获到偶帧 同步信号时, 便输出信号控制光源内环亮 、外环灭 . 如此交替进行, 即可在相邻两帧图像中分别得到用 户的 “亮瞳”和“暗瞳” 两种图像.红外光源使用了 近红外 LED( lig ht emitting diode) 发光二极管, 波长 为880 nm, 在配合了相应的滤光片后, 既可以产生 “亮暗瞳”, 又不会由于光照影响用户的使用 .图 1 为视线追踪系统原理图. 图 1 视线追踪系统原理图 Fig.1 Sketch of an eye tracking system 图 2 “亮暗瞳”产生原理图 Fig.2 Principle of brigh t and dark pupils 1.1 红外光源设计原理 红外光照射产生“亮瞳”的原理与照相机拍摄照 片时产生的“红眼”原理类似.图 2 为“亮暗瞳”产生 原理图, 图 3 为“ 亮暗瞳”实际图 .当红外光源靠近 摄像机的光轴时, 所发出的光线与摄像机的光轴近 似平行, 这样大部分照射到瞳孔的光线就可以反射 回CCD 摄像机, 图像中就出现了“亮瞳” 现象, 如 图 3( b) ;反之, 当红外光源远离摄像机的光轴时, 所 发出的光线与摄像机的光轴夹角较大, 这样照射到 瞳孔的光线几乎很少反射回 CCD 摄像机, 图像中就 出现了“暗瞳”现象, 如图 3( a) . 图 3 “亮暗瞳”实际图 Fig.3 Phot os of bright pupil and dark pupil 1.2 红外光源系统设计 基于上述原理, 设计了双环形红外光源以实现 “亮暗瞳”效果.为了不影响用户的使用, 并能产生 相对较好的亮度效果, 红外光源选用了 880 nm 波长 的近红外发光二极管, 同时为CCD 摄像机配置了相 同波段的干涉窄带滤光片, 以消除可见光和自然光 对图像的干扰.内环光源直径接近 CCD 摄像机外 径, 除了可以产生“亮瞳” 外, 还可以产生普尔钦斑; 外环远离光轴, 在不产生“亮瞳”的情况下, 选用了与 内环数量相同的发光二极管, 以保证“暗瞳”图像中 其他像素的灰度值与“ 亮瞳”图像中的相近, 方便后 续的图像处理.图 4 为红外光源的原理图. 图 4 红外光源原理图 Fig.4 Sketch of IR light source 2 视线追踪系统算法设计 依据硬件系统的设计, 视线追踪系统算法主要 分为瞳孔位置检测、瞳孔位置追踪和视线映射模型 设计三大部分. 2.1 瞳孔位置检测 ( 1) “亮暗瞳” 图像做差 .为了得到瞳孔的位 置, 首先要进行的是对相邻两帧的“亮瞳”和“暗瞳” 图像做差. 图 5 显示了“亮暗瞳” 图像做差及处理后的效 果 .图 5 中( a) 和( b) 分别为相邻两帧的“亮瞳” 和 · 656 · 北 京 科 技 大 学 学 报 第 31 卷

第5期 张鹏翼等：一种非接触式实时视线追踪系统的设计 657。 “暗瞳”图像，（©为两帧做差后的图像.由图(c)可 状大小和灰度值的选择，确定了相应的阈值和判断 以看到，除瞳孔外，由于光照灰度的差异，脸部的轮 条件，基本消除了脸部轮廓带来的干扰，处理后的图 廓在做差后也显现出来.为了不影响后续图像的处 像如图5(d所示 理，通过对图像中连通区域的分析，以及根据瞳孔形 (间)“亮髓”图像 (“暗瞻”图像 (©)图像做差 (d图像处理 图5“亮暗瞳”图像做差及处理 Fig.5 Image subtraction and processing (2)瞳孔和普尔钦斑定位.在消除干扰后，图 因普尔钦斑在瞳孔内并且具有较高的灰度值，所以 像中只剩下了两个瞳孔，接着就可进行瞳孔中心和 确定瞳孔位置后，就可在“暗瞳”的图像中依据灰度 普尔钦斑的定位.用全局搜索找到瞳孔的位置，且 值搜索出普尔钦斑的位置，如图6所示. (a)“暗瞳”图像 ()普尔钦斑定位 (c)椭圆拟合 图6普尔钦斑及瞳孔中心定位 Fig 6 Gint and pupil center bealzation 通过对瞳孔的椭圆拟合得到瞳孔中心点位置. 测模型和测量模型.由于人类视线运动带有很强的 在离散数据中，一般由6个点确定一个椭圆，从30 随机性，尤其是面对分布式信息时，视线运动呈现为 个边界点中随机选取6个，用基于代数距离的最小 复杂的非线性运动，并且与个人习惯密切相关，所以 二乘法进行椭圆拟合，继而可得到椭圆中心.椭圆 要建立精准的视线状态预测模型是非常困难的.为 可以用一般的圆锥曲线方程表示： 了解决这个问题，利用BP(back propagation)神经网 Ax+Bxw十G+Dx,十Ey,+F=0(1) 络的非线性映射能力对视线状态转移模型进行逼 其中，(x,y)为椭圆上任意点坐标值.分别将6组 近.选用x=(c,n,,v)作为BP神经网络的 点坐标代入式(I),即可求出椭圆方程参数A、B、 输入，它代表瞳孔在t时刻的状态向量.其中，(， C、D、E和F,则椭圆中心坐标为： r)代表瞳孔在t时刻的像素位置（质心），(，v) X=8服c2gY=8Mc2s 作为t时刻瞳孔在c和r方向的矢量，+1=(c+1, 在30个点中随机取点计算若干次，求各次所得 r+1,u什1，+)T作为BP神经网络的输出，它代 椭圆中心坐标的平均值作为最终的瞳孔中心坐标. 表瞳孔在t十1时刻的状态向量.BP网络选用两 22瞳孔位置追踪 层，隐层使用sigmoid函数，输出层使用pureline函 为了能够实时得到视线落点，当检测到瞳孔位 数.为了能尽可能精确的逼近真实函数，在同一分 置后，在接下来的图像序列中就要不断对瞳孔位置 布式信息源测量的情况下，选取多个年龄的样本，使 进行追踪，因而选用卡尔曼滤波的方法进行瞳孔追 得网络在学习后的模型能够具有普适性. 踪 通过训练后，预测模型可以表示为： 根据卡尔曼滤波原理，首先需要建立系统的预 x+1=④x,十w, (2)

“暗瞳”图像, ( c) 为两帧做差后的图像.由图( c) 可 以看到, 除瞳孔外, 由于光照灰度的差异, 脸部的轮 廓在做差后也显现出来.为了不影响后续图像的处 理, 通过对图像中连通区域的分析, 以及根据瞳孔形 状大小和灰度值的选择, 确定了相应的阈值和判断 条件, 基本消除了脸部轮廓带来的干扰, 处理后的图 像如图 5( d) 所示. 图 5 “亮暗瞳”图像做差及处理 Fig.5 Image sub traction and processing ( 2) 瞳孔和普尔钦斑定位 .在消除干扰后, 图 像中只剩下了两个瞳孔, 接着就可进行瞳孔中心和 普尔钦斑的定位.用全局搜索找到瞳孔的位置, 且 因普尔钦斑在瞳孔内并且具有较高的灰度值, 所以 确定瞳孔位置后, 就可在“暗瞳”的图像中依据灰度 值搜索出普尔钦斑的位置, 如图 6 所示. 图 6 普尔钦斑及瞳孔中心定位 Fig.6 Glint and pupil cent er localization 通过对瞳孔的椭圆拟合得到瞳孔中心点位置 . 在离散数据中, 一般由 6 个点确定一个椭圆, 从 30 个边界点中随机选取 6 个, 用基于代数距离的最小 二乘法进行椭圆拟合, 继而可得到椭圆中心.椭圆 可以用一般的圆锥曲线方程表示: Ax 2 i +B xiyi +Cy 2 i +Dx i +Eyi +F =0 ( 1) 其中, ( xi , yi ) 为椭圆上任意点坐标值.分别将 6 组 点坐标代入式( 1) , 即可求出椭圆方程参数 A 、B 、 C 、D 、E 和F, 则椭圆中心坐标为: X c =BE -2CD 4AC -B 2 , Y c =BD -2 AE 4AC -B 2 . 在 30 个点中随机取点计算若干次, 求各次所得 椭圆中心坐标的平均值作为最终的瞳孔中心坐标 . 2.2 瞳孔位置追踪 为了能够实时得到视线落点, 当检测到瞳孔位 置后, 在接下来的图像序列中就要不断对瞳孔位置 进行追踪, 因而选用卡尔曼滤波的方法进行瞳孔追 踪. 根据卡尔曼滤波原理, 首先需要建立系统的预 测模型和测量模型 .由于人类视线运动带有很强的 随机性, 尤其是面对分布式信息时, 视线运动呈现为 复杂的非线性运动, 并且与个人习惯密切相关, 所以 要建立精准的视线状态预测模型是非常困难的.为 了解决这个问题, 利用 BP( back propagation) 神经网 络的非线性映射能力对视线状态转移模型进行逼 近 .选用 xt =( ct , rt , ut , v t) T 作为 BP 神经网络的 输入, 它代表瞳孔在 t 时刻的状态向量 .其中, ( ct , rt ) 代表瞳孔在 t 时刻的像素位置( 质心) , ( ut , v t ) 作为 t 时刻瞳孔在c 和r 方向的矢量, xt +1 =( ct +1, rt +1, ut+1, vt +1) T 作为 BP 神经网络的输出, 它代 表瞳孔在 t +1 时刻的状态向量.BP 网络选用两 层, 隐层使用 sigmoid 函数, 输出层使用 pureline 函 数 .为了能尽可能精确的逼近真实函数, 在同一分 布式信息源测量的情况下, 选取多个年龄的样本, 使 得网络在学习后的模型能够具有普适性. 通过训练后, 预测模型可以表示为: xt +1 =Υxt +wt ( 2) 第 5 期 张鹏翼等:一种非接触式实时视线追踪系统的设计 · 657 ·

。658 北京科技大学学报 第31卷 其中，Φ为BP神经网络逼近的状态转移模型，w 的卡尔曼滤波追踪效果图.由图7和图8可以看 为系统的噪声，符合正态分布：~(0，Q).使用 出，改进后的卡尔曼滤波追踪效果较好，基本满足瞳 z=(c,r),表示特征检测器估计t时刻瞳孔的位 孔追踪的实时性和稳定性的要求， 置，则测量模型为： =Ht十 (3) 式中，矩阵H表示了对当前测量值的相对状态.由 于瞳孔在相邻两帧图像中的移动距离相对较小，并 且具有类似的运动趋势，为了简化成只含有瞳孔位 置的信息，H矩阵可以表示为： 1000 H- L0100 以为噪声，符合~N(0,R). 当系统成功得到相邻两帧图像的瞳孔位置信息 图7瞳孔追踪实际效果图 时，系统初始状态通过相邻的两帧1和t十1得到： Fig 7 Sketch of pupil moving tracing r0=r+1,Co=C什1， 350 l0=C+1一C,V0=r+1-rt. 基于BP网络的瞳孔运动卡尔曼预测+° 初始协方差矩阵根据像素的偏差和矢量的偏差 300 +预测运动曲线 。实际运动曲线 得到： 250 0 *0a。 100 0 0 0 100 0 0= 0 ←200 0 0 25 0 150 L 0 0 0 26 初始误差的协方差矩阵为： 100 「160 00 90100110120130140150 0 1600 「40 500 列 0= R= 0 040 L04 图8瞳孔运动实际曲线和预测曲线 L0004 Fig.8 Trajectory of the real and estimated pupil positions 有了上述两个模型及初始条件，根据卡尔曼滤 波原理（式(4）~(8))，就可以对下一时刻瞳孔的位 2.3视线映射模型设计 置做出比较精确的预测，并使系统一直运行下去. 瞳孔定位和追踪完成后，就可以通过前面得到 x什1=④ (4) 的瞳孔中心和普尔软斑中心的矢量信息来计算眼晴 +1=ΦΣΦ+Q (5) 盯视计算机屏幕的具体位置.视线的映射模型用 +1H 式(9)表示： K=HH+R (6 xe=a0十a1x十a2y,+a3xgy,十a4x+asy2 x什1=x1十K+1(z什1-Hx+1) (7) ye=a6+a7x,十a8y:十a9xgy.+a0x+aly2 子+1=(I-K+1H)1 (8) (9) 其中，+1为系统在1十1时刻状态估计值的协方 其中，(xe,ye)为用户盯视落点，(x,y)为普尔钦斑 差矩阵，为求和变量；Q为1时刻系统模型的方差： 和瞳孔在x和y方向的盯视矢量值，代表局部的视 x+1为系统在t十1时刻的状态估计值.式(4)和式 线盯视方向，a(i=0,L,…,1)为二阶方程组系数. 当用户在盯视目标时，左右眼的盯视矢量方向是一 (5)为状态预测和误差协方差预测，式(6)和式(8)为 卡尔曼增益更新和误差协方差更新，式(7)为求取状 致的，这样就可以综合两眼的町视矢量信息，作为最 态最优解. 后的输入.盯视矢量值可由左右眼的盯视矢量值计 通过初始条件和预测模型，就可以实时追踪瞳 算得出： 孔的位置.图7为瞳孔追踪效果图，图8为改进后 2,⅓山十 x=十x 2

其中, Υ为 BP 神经网络逼近的状态转移模型, wt 为系统的噪声, 符合正态分布 wt ～ ( 0, Q) .使用 zt =( c t , r t), 表示特征检测器估计 t 时刻瞳孔的位 置, 则测量模型为: zt =Hxt +vt ( 3) 式中, 矩阵 H 表示了对当前测量值的相对状态 .由 于瞳孔在相邻两帧图像中的移动距离相对较小, 并 且具有类似的运动趋势, 为了简化成只含有瞳孔位 置的信息, H 矩阵可以表示为 : H = 1 0 0 0 0 1 0 0 , vt 为噪声, 符合 vt ～ N( 0, R) . 当系统成功得到相邻两帧图像的瞳孔位置信息 时, 系统初始状态通过相邻的两帧 t 和 t +1 得到: r 0 =rt+1, c0 =ct+1, u0 =ct+1 -ct , v 0 =rt+1 -rt . 初始协方差矩阵根据像素的偏差和矢量的偏差 得到 : ΢0 = 100 0 0 0 0 100 0 0 0 0 25 0 0 0 0 26 . 初始误差的协方差矩阵为 : Q = 16 0 0 0 0 16 0 0 0 0 4 0 0 0 0 4 , R = 4 0 0 4 . 有了上述两个模型及初始条件, 根据卡尔曼滤 波原理( 式( 4) ～ ( 8) ) , 就可以对下一时刻瞳孔的位 置做出比较精确的预测, 并使系统一直运行下去. x - t+1 =Υxt ( 4) ΢ - t +1 =Υ΢t Υ t +Qt ( 5) Kt+1 = ΢ - t+1 H T H΢- t +1H T +R ( 6) xt+1 =x - t+1 +Kt +1( zt+1 -Hx - t +1) ( 7) ΢t +1 =( I -Kt+1H) ΢- t+1 ( 8) 其中, ΢- t+1为系统在 t +1 时刻状态估计值的协方 差矩阵, 为求和变量;Qt 为 t 时刻系统模型的方差 ; x - t +1为系统在 t +1 时刻的状态估计值.式( 4) 和式 ( 5) 为状态预测和误差协方差预测, 式( 6) 和式( 8) 为 卡尔曼增益更新和误差协方差更新, 式( 7) 为求取状 态最优解 . 通过初始条件和预测模型, 就可以实时追踪瞳 孔的位置.图 7 为瞳孔追踪效果图, 图 8 为改进后 的卡尔曼滤波追踪效果图.由图 7 和图 8 可以看 出, 改进后的卡尔曼滤波追踪效果较好, 基本满足瞳 孔追踪的实时性和稳定性的要求 . 图7 瞳孔追踪实际效果图 Fig.7 Sketch of pupil moving tracing 图 8 瞳孔运动实际曲线和预测曲线 Fig.8 T rajectory of the real and estimated pupil positions 2.3 视线映射模型设计 瞳孔定位和追踪完成后, 就可以通过前面得到 的瞳孔中心和普尔钦斑中心的矢量信息来计算眼睛 盯视计算机屏幕的具体位置 .视线的映射模型用 式( 9) 表示: xe =a0 +a1 x s +a2 y s +a3 x sy s +a4 x 2 s +a5 y 2 s ye =a6 +a7 x s +a8 y s +a9 x sy s +a10 x 2 s +a11 y 2 s ( 9) 其中, ( x e, y e) 为用户盯视落点, ( x s, y s) 为普尔钦斑 和瞳孔在 x 和y 方向的盯视矢量值, 代表局部的视 线盯视方向, ai ( i =0, 1, …, 11) 为二阶方程组系数. 当用户在盯视目标时, 左右眼的盯视矢量方向是一 致的, 这样就可以综合两眼的盯视矢量信息, 作为最 后的输入.盯视矢量值可由左右眼的盯视矢量值计 算得出 : x s = x 1 +x r 2 , ys = y 1 +y r 2 . · 658 · 北 京 科 技 大 学 学 报 第 31 卷

第5期 张鹏翼等：一种非接触式实时视线追踪系统的设计 ·659· 其中，(x1,y1)为左眼盯视矢量值，(x,y)为右眼盯 2 Colombo C.Bimbo A D.Interacting through eyes J Rob Auton 视矢量值. Sy.1997.193):359 为了能够使模型适用于每个使用者，在使用前 [3 Zhai S M.What is the eyes for attentive input?J Commun ACM.2003.46(3):34 加入了校准过程，通过让每个用户依次盯视屏幕上 [4 Ohm T.A free-head,simple calbration,gaze tracking system 的9个已知点，得到9个视线特征值(x,y),这样 that enables gare-based interction /Procedings of the 2004 通过9组方程就可以求出不同的系数值a,从而使 Symposium on Eye tracking Research and App lications ETRA' 每个用户拥有适合自己的唯一映射模型. 04),San Antonio:ACM Pres,2004:115 [5 Yin H R.Tu D W.Human-computer interaction techndlogy 3结语 though eye-gaze based on infrared TV method.Infrared Tech- nol,2002.244):1 实验证明，基于双眼数据综合的视线方向映射 (尹海荣，屠大维.基于红外电视法的眼睛盯视人机交互技术 方法使系统的有效测量视角为水平40，竖直32°， 红外技术，2002,244)：1) 基本到达了眼球相对于面部旋转的最大限度，系统 Morimoto C H.Mimica M R M.Eye gaze tracking techniques for 的实时性很高，算法速度达到了50ms.使用BP神 interactive applicat ions.Comput Vision Image Understanding. 2005,98(1):4 经网络对卡尔曼滤波中的预测模型进行了非线性映 [7]Wang JG.Sung E.Study on eye gaze estimation.IEEE Trans 射，得到较好的逼近效果，提高了瞳孔的追踪性能， Syst Man Cybern Part B.2002.32(3):332 且所设计的实时视线追踪系统比其他同类系统的成 [8 Beymer D.Flickner M.Eye tracking using an active stereo head 本要低得多. /Procedings of 2003 IEEE Computer Society Conference on Computer Vision and Pattern Remgnition,Madson,2003:451 参考文献 [9Hiley J B.Redekopp A H.A bw cost human computer interface based on eye tmcking //Prowedingsof the 28th IEEE EMBS An- [1]Hutchinson T E,White K P Jr Martin W N,et al.Human- ntl International Conference,New York,2006:3226 computer interaction using eye gaze input.IEEE Trans Syst Man [10 Daugman J.New methods in iris wecognit ion.IEEE Trans Sys Cben,1989,196:1527 Man Cybern Part B.2007,35(5):1167

其中, ( x 1, y 1) 为左眼盯视矢量值, ( x r, y r) 为右眼盯 视矢量值 . 为了能够使模型适用于每个使用者, 在使用前 加入了校准过程, 通过让每个用户依次盯视屏幕上 的9 个已知点, 得到 9 个视线特征值( x s, y s) , 这样 通过 9 组方程就可以求出不同的系数值 ai , 从而使 每个用户拥有适合自己的唯一映射模型 . 3 结语 实验证明, 基于双眼数据综合的视线方向映射 方法使系统的有效测量视角为水平 40°, 竖直 32°, 基本到达了眼球相对于面部旋转的最大限度, 系统 的实时性很高, 算法速度达到了 50 ms .使用 BP 神 经网络对卡尔曼滤波中的预测模型进行了非线性映 射, 得到较好的逼近效果, 提高了瞳孔的追踪性能, 且所设计的实时视线追踪系统比其他同类系统的成 本要低得多. 参 考 文 献 [ 1] Hut chinson T E, White K P Jr, Martin W N, et al.Human￾computer in teraction using eye-gaze input.IEEE Trans Syst Man Cybern , 1989, 19( 6) :1527 [ 2] Colombo C, Bimbo A D .Int eracting through eyes.J Rob Auton S yst, 1997, 19( 3) :359 [ 3] Zhai S M .What is the eyes for att enti ve inpu t? J Comm un ACM, 2003, 46( 3) :34 [ 4] Oh no T .A free-head, simple calib ration, gaze tracking system that enables gaze-based interacti on ∥Proceed ings of the 2004 S ymposiu m on Eye tracking Research and App lications ( ETR A' 04 ) , San Ant onio :ACM Press, 2004:115 [ 5] Yin H R, Tu D W.Human-computer interaction technology though eye-gaze based on infrared TV method.In frared Tech￾nol, 2002, 24( 4) :1 ( 尹海荣, 屠大维.基于红外电视法的眼睛盯视人机交互技术. 红外技术, 2002, 24( 4) :1) [ 6] Morimot o C H, Mimica M R M .Eye gaze tracking techniques for interactive applications.Compu t Vision Image Un derstanding , 2005, 98( 1) :4 [ 7] Wang J G, Sung E .Study on eye gaze estimation.IEEE Trans S yst Man Cybern Part B, 2002, 32( 3) :332 [ 8] Beymer D, Flickner M .Eye tracking using an acti ve st ereo head ∥Proceed ings of 2003 IEEE Comp uter Society Con ference on Comput er Vision and Patter n Recognition , Madison, 2003:451 [ 9] Hiley J B, Redekopp A H .A low cost human computer in terf ace based on eye tracking ∥Proceed ings of the 28th IEEE E MBS An￾n ua l Inter national Con f erence, New York, 2006:3226 [ 10] Daugman J.New methods in iris recognition.IE EE Tr ans Syst Man Cyber n Part B , 2007, 35( 5) :1167 第 5 期 张鹏翼等:一种非接触式实时视线追踪系统的设计 · 659 ·