D01:10.13374.ism1001053x.2009.06.位1 第31卷第5期 北京科技大学学报 Vol.31 No.5 2009年5月 Journal of University of Science and Technology Beijing May 2009 一种非接触式实时视线追踪系统的设计 张鹏翼王志良迟健男张闯 北京科技大学信息工程学院。北京100083 摘要为方便残疾人和老年人使用计算机进行信息交互，设计了一种非接触式低成本视线追踪系统.系统设计了一种双环 形红外光源.通过交替照射用户脸部，用单CCD摄像机得到亮瞳”衢暗瞳”的相邻两帧图像.将这两帧图像做差得到瞳孔的 位置，使用椭圆拟合方式求得瞳孔中心，加之在“暗瞳”图像上得到的普弭钦斑中心.从而确定了局部视线的盯视方向.基于人 类视线移动的特点，提出了使用神经网络和卡尔曼波相结合的方法进行瞳孔跟踪，最后给出了视线映射模型和校准方式. 关键词视线追踪人机交互：瞳孔：普尔钦斑 分类号TP391.41 Design of a real-time eye tracking system based on contactless configuration ZHANG Peng yi.WANG Zhi-liang,CHI Jian-nan.ZHANG Chuang School of Infomation Ergineering.University of Science and Technobgy Beijing.Beijing 100083.China ABSTRACT In order to help the handicapped and the elderly use computer for information interacting,a low-cost and nomcontact eye gaze tracking system is designed.This system is composed of twoloop illuminators and a CCD camera.The way of getting pupil position is to do subtraction of the tw o images,"bright pupil and"dark pupil,w hich are gained by illuminating user's eyes alter- nate.The pupil center is localized by dlipse fitting.and the Purkinje image can be obtained in the"dark pupir image.then the local gazing diredion can be determined.Based on the characteristic of human gazing movement,the tracking strategy of pupil that is de- signed by neural ne tw ork and Kalman filtering is discussed.At last,an eye gaze mapping model and its calibration are given. KEY WORDS eye gaze tracking:humarrcomputer interaction pupik Purkinje image 早在1989年，Hutchinson等就提出用视线与计 算机进行交互的思想).多年来，信息领域的众多 1视线追踪系统组成及原理 学者也都致力于这一研究使人机交互形式更加自 在保证视线追踪精度的基础上，为了给用户提 然，和谐).近些年，随着对视线追踪技术的深入 供一个更加舒适的使用环境，视线追踪系统采用了 研究及其应用领域的不断拓宽，非接触式视线追踪 非接触式的单摄像机、双环形红外光源照明的思路 技术作为人机交互的主要手段得到了很大的进 进行设计. 步9.虹膜检测和瞳孔定位追踪技术的不断更新以 硬件系统主要由CCD(charge coupled device)摄 及映射模型的逐步改善，也促使非接触式视线追踪 像机、图像采集卡，计算机、微处理器和光源组成. 技术向着更精准、更高效和更廉价的趋势发 摄像机主要用于采集用户脸部和头部图像，采 展一0.为使老年人和残疾人能够更加方便地使用 用PAL(phase alternating line)制式的模拟输出方 计算机进行信息交互，本文采用了一种新的检测和 式，在得到人脸图像后，传输至图像采集卡进行AD 追踪技术，在提高系统实时性和降低成本方面做了 (analog-to-digital)转换和预处理，最后输入至计算 一些尝试，取得了较好的效果. 机进行图像处理， 收稿日期：200812-25 基金项目：国家自然科学基金资助项目(N0.60775042):国家高技术研究发展计划资助项目(No.2007AA01Z160) 作者简介：张鹏翼(1981一），男，博士研究生：王志良(1956-一)，男，教授，博士生导师，E-maik wz@ies ust b..du.cm一种非接触式实时视线追踪系统的设计 张鹏翼 王志良 迟健男 张 闯 北京科技大学信息工程学院, 北京 100083 摘 要 为方便残疾人和老年人使用计算机进行信息交互, 设计了一种非接触式低成本视线追踪系统.系统设计了一种双环 形红外光源, 通过交替照射用户脸部, 用单 CCD 摄像机得到“ 亮瞳” 和“ 暗瞳” 的相邻两帧图像.将这两帧图像做差得到瞳孔的 位置, 使用椭圆拟合方式求得瞳孔中心, 加之在“暗瞳” 图像上得到的普洱钦斑中心, 从而确定了局部视线的盯视方向.基于人 类视线移动的特点, 提出了使用神经网络和卡尔曼滤波相结合的方法进行瞳孔跟踪, 最后给出了视线映射模型和校准方式. 关键词 视线追踪;人机交互;瞳孔;普尔钦斑 分类号 TP391.41 Design of a real-time eye tracking system based on contactless configuration ZHANG Peng-yi , WANG Zhi-liang, CHI J ian-nan , ZHANG Chuang S chool of Inf ormation Engineering, University of S cience and Technology Beijing, Beijing 100083, China ABSTRACT In o rder to help the handicapped and the elderly use computer for information interacting , a low-cost and no n-contact eye g aze tracking system is designed .This system is composed of tw o-loop illuminato rs and a CCD camera.The w ay o f getting pupil positio n is to do subtractio n of the tw o images, “ brig ht pupil” and “ dark pupil” , w hich are g ained by illuminating user' s eyes alter￾nate.The pupil center is localized by ellipse fitting, and the Purkinje image can be obtained in the “ dark pupil” image, then the local g azing direction can be determined .Based o n the characteristic of human g azing movement, the tracking strategy of pupil that is de￾signed by neural ne tw ork and Kalman filtering is discussed.At last, an eye gaze mapping model and its calibratio n are given . KEY WORDS eye gaze tracking;human-computer interactio n;pupil;Purkinje image 收稿日期:2008-12-25 基金项目:国家自然科学基金资助项目( No .60775042) ;国家高技术研究发展计划资助项目( No .2007AA01Z160) 作者简介:张鹏翼( 1981—) , 男, 博士研究生;王志良( 1956—) , 男, 教授, 博士生导师, E-mail:wzl@ies.ustb.edu.cn 早在 1989 年, Hutchinson 等就提出用视线与计 算机进行交互的思想[ 1] .多年来, 信息领域的众多 学者也都致力于这一研究使人机交互形式更加自 然、和谐[ 2-5] .近些年, 随着对视线追踪技术的深入 研究及其应用领域的不断拓宽, 非接触式视线追踪 技术作为人机交互的主要手段得到了很大的进 步 [ 6] .虹膜检测和瞳孔定位追踪技术的不断更新以 及映射模型的逐步改善, 也促使非接触式视线追踪 技术向 着更 精 准、更 高效 和 更廉 价 的趋 势 发 展[ 7-10] .为使老年人和残疾人能够更加方便地使用 计算机进行信息交互, 本文采用了一种新的检测和 追踪技术, 在提高系统实时性和降低成本方面做了 一些尝试, 取得了较好的效果 . 1 视线追踪系统组成及原理 在保证视线追踪精度的基础上, 为了给用户提 供一个更加舒适的使用环境, 视线追踪系统采用了 非接触式的单摄像机 、双环形红外光源照明的思路 进行设计. 硬件系统主要由 CCD( charge coupled device) 摄 像机、图像采集卡 、计算机、微处理器和光源组成 . 摄像机主要用于采集用户脸部和头部图像, 采 用 PAL( phase alternating line) 制式的模拟输出方 式, 在得到人脸图像后, 传输至图像采集卡进行 AD ( analog-to-digital) 转换和预处理, 最后输入至计算 机进行图像处理. 第 31 卷 第 5 期 2009 年 5 月 北 京 科 技 大 学 学 报 Journal of University of Science and Technology Beijing Vol .31 No.5 May 2009 DOI :10.13374/j .issn1001 -053x.2009.05.021