第7卷第5期 智能系统学报 Vol.7 No.5 2012年10月 CAAI Transactions on Intelligent Systems 0ct.2012 D0I:10.3969/i.issn.16734785.201112013 网络出版t地址：htp://www.cnki.net/kcma/detail/23.1538.TP.20120527.1340.003.html 基于图像处理技术的瞳孔和角膜反射中心提取算法 王锦榕，袁学海，刘增良2 (1.大连理工大学控制科学与工程学院，辽宁大连116024；2.中国人民解放军国防大学信息作战与指挥训练教研 部，北京100091) 摘要：为了提高瞳孔中心的实时提取精度和抗干扰能力，利用基于瞳孔一角膜跟踪法原理和图像处理的眼动跟踪技 术，实现瞳孔和角膜反射中心的精确提取.首先在红外光源条件下，用摄像机捕获人眼图像，通过图像自适应二值化 阈值确定图像处理区域，以减小处理时间；其次，利用高低2次二值化阚值提取角膜反射中心；然后求取自适应最佳 阈值确定瞳孔位置和大小；最后用梯度法提取瞳孔轮廊特征点，并用椭圆拟合瞳孔的方法确定瞳孔中心.实验结果 表明，该算法在保证瞳孔和角膜反射中心提取的准确性和稳定性的同时，能满足实时处理要求. 关键词：瞳孔中心；角膜反射中心；图像处理；瞳孔角膜跟踪法；自适应最佳阈值；椭圆拟合；提取算法 中图分类号：TP751.1文献标志码：A文章编号：16734785(2012)05042306 An extraction method of pupil and corneal reflection centers based on image processing technology WANG Jinrong,YUAN Xuehai,LIU Zengliang? (1.School of Control Science and Engineering,Dalian University of Technology,Dalian 116024,China;2.Institute of Information Operation,National Defense University of PLA,Beijing 100091,China) Abstract:In order to improve the real-time localization accuracy and anti-jamming capability of the pupil center,an eye-tracking method was used based on the pupil-cornea tracking principle and image processing.As a result,ac- curate measurements of the centers of the pupil and corneal reflection were obtained.First,under the infrared light,an eye image was captured by a camera.In order to reduce the processing time,the image processing area was acquired by applying an adaptive binarization threshold.Second,the center of the comeal reflection was ex- tracted by using a high threshold value and a low threshold value.Then,the optimum adaptive threshold value was calculated to get the location and size of the pupil.Finally,the feature points of the pupil edge were obtained by applying the gradient method,and the center of the pupil was located by a fitting ellipse.The results show that this algorithm can not only guarantee the accuracy and stability of obtaining the center of the pupil and the center of cor- neal reflection,but also meet the demands of real-time processing. Keywords:pupil center;corneal reflection center;image processing;pupil-comeal tracking method;optimum a- daptive threshold;ellipse fitting;extraction method 人总是通过五官从周围世界获取信息，并根据熟，在工业控制、机器人学和临床医学上有着广泛的 这些信息指导自己的行为，而其中80%~90%的信 应用前景.目前主要的测量方法有眼电图法山、角 息是由视觉来获得的，因此，对如何利用眼睛获取视 膜反射法「2]、电磁线圈法「3]、红外光电反射法[41、红 觉信息进行研究是至关重要的.眼动测量一直是国 外TV法51、角膜反射法6、瞳孔-角膜跟踪法7)、 内外有关学者关注与研究的热点课题.近年来，随着 Purkinje影像追踪法7等.在以上各种方法中，瞳孔- 传感技术和微电子技术的飞速发展，眼动测量技术 角膜跟踪法测量淮确、误差小，且对人无干扰，是目 得到了很大的发展，测量眼球运动的方法已日趋成 前较为理想的一种眼动测量方法. 文献[8]中采用星射线方法获取瞳孔边界点， 收稿日期：2011-12-08.网络出版日期：2012-05-27 基金项目：国家自然科学基金资助项目(90818025). 但在眼脸遮挡部分瞳孔的情况下，易受到眼睑和睫 通信作者：袁学海.E-mail:yuanxuehai@yahoo.com.cm. 毛的干扰，很难获取准确的瞳孔边界点.基于最小二
.424 智能系统学报 第7卷 乘法和随机原理的椭圆拟合方法[91]，通过对48个 摄像机实时采集人眼图像视频中的人眼图像，见图 瞳孔边界特征点进行椭圆拟合，考虑到算法的准确 1(a).图像中有一个很亮的反射光斑，即角膜反射 性和实时性，执行的次数一般取100~150之间，该 光斑.瞳孔的形状近似为椭圆，颜色较暗，其外围虹 算法的执行时间约为8s.为了进一步减小瞳孔椭 膜颜色较亮，瞳孔与虹膜的边界清晰可见.角膜反射 圆拟合时间，以及在眼脸遮挡部分瞳孔的情况下实 中心和瞳孔中心的提取过程可分为6个步骤：图像 现瞳孔中心的准确定位，本文提出了一种基于图像 预处理、获取图像处理区域、提取角膜反射中心、求 处理技术的瞳孔和角膜反射中心提取算法， 取自适应最佳阈值确定瞳孔位置和大小、用梯度法 获取瞳孔轮廓特征点、使用椭圆拟合瞳孔轮廓确定 1角膜反射中心和瞳孔中心的提取 瞳孔中心.如图1所示 在红外光源下，用红外滤光片滤去可见光，通过 (a)人眼图像 (b)图像处理区域 (c)角膜反射中心 (d)瞄孔所在的矩形区域 (e)障孔轮绑特征点 (f)椭圆拟合 (g)障孔部分被遮住 ()啼孔一半被遮住 图1图像处理结果 Fig.1 The results of image processing 1.1图像预处理 积s和所在的矩形区域R. 图像在拍摄和传送过程中会不可避免地受到噪 2)当s小于某个设定门限阈值时，t加1，再求 声的干扰，因此先要对图像进行平滑处理以抑制噪 出s和R. 声，改善图像质量.常用的平滑处理方法有邻域平均 3)重复执行步骤2)，当t达到某个设定值，且s 法、中值滤波、高斯滤波等.由于高斯滤波能有效地 小于设定门限值时，则认为眼睛闭着，退出循环；反 去除服从正态分布的噪声，且不会被无用的高频信 之，则继续循环，直到s达到设定门限时求出R,并 号污染，同时保留了大部分所需要的信号，故采用高 退出. 斯滤波对人眼图像进行平滑处理。 将R各边扩大80个像数，使瞳孔和角膜反射 1.2获取图像处理区域 光斑在R内，令R为图像处理区域，处理结果见 在图像处理过程中，主要任务是提取角膜反射 图1(b). 中心和瞳孔中心，因此只需要对图像中眼睛所在的 1.3提取角膜反射中心 区域进行处理即可，从而提高处理速度.由于人眼图 由图1(a)可知，角膜反射光斑最大、中心最亮， 像中，瞳孔颜色较暗，即灰度值较低，因此可以采用 从中心由里往外亮度逐渐变暗，其中还有一些较小 具有自适应于每帧图像变化的阈值分割法，来获取 的杂质光斑.当取较大的图像二值化阈值时，角膜反 瞳孔所在的区域。 射光斑的面积较小，几乎没有杂质点，但提取的角膜 一般把包含某个目标物体的矩形外框称为该物 反射中心误差较大.随着二值化阈值的减小，角膜反 体所在的矩形区域，它由矩形的左上角坐标和右下 射光斑的面积逐渐变大，同时引入的杂质点也逐渐 角坐标表示.获取图像处理区域的算法如下 增加.因此，要使提取的角膜反射中心误差减小，必 1)取一个较低的阈值t,求出灰度值低于t的面 须使角膜反射光斑面积足够大，且杂质点很少
第5期 王锦榕，等：基于图像处理技术的瞳孔和角膜反射中心提取算法 ·425 由于角膜反射光斑中心最亮，因此可以用高低 2)当t0.05且p>0.6,则此时的t为最 2)以这个角膜反射中心为圆心，r为半径的圆 佳阈值，退出；反之，则继续执行 形区域作为图像处理区域，其中r的取值要使得角 4)求R1的长度a和宽度b,若满足a>110或 膜反射光斑在圆形区域内。 b>100,则继续执行；反之，令p=P1,R=R1返回到 3)在图像处理区域内，取一个较小的二值化阈 步骤2)执行. 值，求取角膜反射中心坐标(x。,y。). 5)令R=R1,R,由矩形的左上角坐标(x1,y1) 此方法增大了角膜反射光斑面积的同时，消除 和右下角坐标(x2,y2)表示.求出瞳孔中心坐标(x, 了杂质光斑的干扰，既提高了角膜反射中心的提取 y),再求瞳孔中心到矩形区域各边的距离，即= 精度，同时又减少了处理时间，处理结果见图1(c). x-x:=x2-x,t=y-y1,0,=y2-y. 1.4求取自适应阈值确定瞳孔位置和大小 6)若满足a>110,则当l>T.时，令x1=x-T, 由于瞳孔较暗，灰度值比较小，因此可以采用具 x2=x2+10,y1=y1-10,y2=y2+10;当1.100,则当t,b,时，令y1=y-b,y2= 瞳孔的一小部分.随着阈值的增加，瞳孔面积和瞳孔 y2+10. 所在的矩形区域面积逐渐加大.由于瞳孔分布均匀， 8)令R,为图像处理区域，t减2，求出p和R, 灰度值大小差不多，故瞳孔面积增大的速度比矩形 返回到步骤2)执行. 区域快，即瞳孔面积与矩形区域面积的比值逐渐增 通过求出的自适应最佳阈值确定瞳孔位置和大 大.当阈值达到一定值时，即扩大到瞳孔的边缘时， 小，该方法具有很强的鲁棒性，其处理结果见 瞳孔面积增加速度逐渐变慢，而矩形区域面积则会 图1(d). 继续增加，若继续增加阈值，则瞳孔面积与矩形区域 面积的比值逐渐减小，该比值可以表示为 形 S 式中：S表示瞳孔面积，S表示矩形区域面积.随着 二值化阈值的逐渐增大，卫是一个先增后减的比率 函数，此函数极点所对应的阈值就是提取瞳孔的最 佳二值化阈值.通过这个最佳阈值就可以求出瞳孔 图2设置处理区域 Fig.2 Set the processing area 的位置和大小 由于人的眼睑张合度的不同，会出现眼睫毛遮 1.5用梯度法提取瞳孔轮廓特征点 在人眼图像中，瞳孔和虹膜具有明显的颜色差 住瞳孔的现象，造成瞳孔中心与矩形区域中心位置 相差很大.在处理过程中，取一个大于瞳孔实际大小 异，瞳孔的灰度值较低，虹膜的灰度值较高.因此可 以通过灰度的变化率和变化方向来衡量障孔与虹膜 的设定值，当瞳孔所在的矩形区域的长度或宽度大 于该设定值时，则认为眼睫毛遮住了瞳孔，由于瞳孔 边界的灰度变化，这里分别用梯度的幅值和方向表 中心与矩形区域中心位置相差很大，因此可以通过 示.对于某一方向上一定范围内的连续像素点集合， 瞳孔中心到矩形区域各边的距离来重新设置图像处 可以用特定的算子求取任意像素点在该方向上的梯 理区域，从而消除眼睫毛的影响，见图2. 度值，梯度值最大的像素点为边界点 在图像处理区域中，求取自适应最佳阈值的具 通过自适应最佳阈值法确定的瞳孔中心坐标为 体步骤如下. (x。,y),瞳孔在x方向和y方向上的半径分别为T 1)设置初始二值化阈值t=25,求出初始比率p 和，这些值具有很高的精度和稳定性.令 和矩形区域R,其中矩形区域由矩形的左上角坐标 r=+) 2 (x10,y1o)和右下角坐标(x20,y0)表示. 因此，瞳孔轮廓特征点一般在以(x,y,)为圆心，半
·426 智能系统学报 第7卷 径为τ的圆附近.用梯度法提取瞳孔轮廓特征点的 2)统计所有特征点与椭圆的距离小于设定值ε 具体步骤如下. 的特征点数目n,当n大于设定值时，则拟合成功， 1)以(x。,y。)为圆心，半径为n的圆环区域作 执行步骤5)；否则继续执行步骤3). 为图像处理区域，见图3，其中r-7≤ro≤r+7. 3)以(xp,yp)为椭圆中心，nmr=0,令a的初始 值为r-7,终止值为r+7,步长为1，b的初始值为 r-7,终止值为r+7,步长为1，进行双重循环，求取 每一组a和b对应的n值，当nx<n时，令nr= n,并保存这一组的a和b. 4)当nm大于设定值时，则拟合成功，保存的a 和b就是最佳的长半轴和短半轴，执行步骤5)；反 之，拟合失败，并退出。 图3圆环区域 5)除去与椭圆的距离大于设定值ε的特征点， Fig.3 The ring area 重新求取特征点的几何中心为瞳孔中心 2)如图3，在处理区域内，每一组角度0和半径 对150张图像进行瞳孔椭圆拟合，基于最小二 :都可以在圆上确定一个相应的像素点P其中T:= T-7+i(i=0,1,…,14),0为眼图坐标系中，以(x, 乘法和随机原理拟合椭圆方法和基于几何参数拟合 y)为出发点的射线与横轴之间的夹角，0≤0<2π 椭圆方法的比较结果如表1.从表1中可以看出，该 这样可以求出像素点P:在图像中的坐标为(，y:), 方法具有很高的拟合精度，且执行时间短，其处理结 果见图1(f). 其中， 表12种拟合算法的结果比较 ∫：=xp+TC080, Table 1 Comparison of the results of two algorithms Lyi yp +risin 0. 拟合成功 平均运行 3)将像数点P:(i=1,2,…,14)与圆心相连，在 方法 图像总数 数量 时间/ms 连线上取P:的相邻像数点P:-1,求取乃：在日方向上 的梯度值T,设像数点P:的灰度值为L:,则 最小二乘法 150 128 6.748 T:=L-L-1,i=1,2,…,14. 几何参数法 150 133 0.323 令梯度值最大的像数点为0方向上瞳孔与虹膜的边 界点 2实验结果与分析 4)取一组不同的0，执行步骤2)和3)就可以求 瞳孔和角膜反射中心的提取算法在以VC+6.0 出一组瞳孔轮廓的特征点。 为平台的P42.4GHz主频、512MB内存的P℃机上实 通过此方法求出的特征点是一组准确的边界 现用该算法对人眼图像进行处理，得到准确的瞳孔 点，其处理结果见图1(e) 中心和角膜反射中心以及最优的瞳孔椭圆拟合，见图 1.6椭圆拟合瞳孔轮廓 1().在眼脸遮挡部分瞳孔的情况下，该算法也能拟 提取的瞳孔轮廓特征点是一组离散数据，可以 合出正确的瞳孔轮廓，见图1(g)和(h).此算法的平 通过椭圆拟合来确定瞳孔中心.基于最小二乘法和 均运行时间为15ms,完全满足实时系统要求.因此可 随机原理拟合椭圆的方法具有很高的精度，但需要 以通过此算法对从摄像机实时采集的人眼图像进行 一定的执行时间且鲁棒性较差，并且在实时系统中， 处理，获取瞳孔中心坐标(x。y。)和角膜反射中心坐 容易出现干忧数据.由于用梯度法求取的特征点是 标(x。,y).瞳孔中心相对于角膜反射中心的偏移量 一组精确的边界点，故可以采用基于几何参数拟合 称为角膜瞳孔坐标(xpyp),即 椭圆的方法，椭圆的标准方程为 ∫xp=p-x, -+y-2 =1 yp=y。-yp a b 眼睛注视运动和平滑跟踪运动们所对应的角 式中：椭圆中心坐标为(x,ya),长半轴为a,短半轴 膜瞳孔位置坐标和实时曲线见图4.图4(a)和(b) 为b,长轴的转角为0.在人眼图像中，令0=0，具体 为眼睛注视前方某一目标物体所得到的角膜瞳孔 的椭圆拟合步骤如下. 位置坐标和实时曲线；图4(c)和(d)为眼睛围绕着 1)求取瞳孔轮廓特征点的几何中心(x。,y,),以 液晶显示屏外框做平滑跟踪运动所得到的角膜瞳 (xp,y。)为椭圆中心，a=T,b=T,拟合椭圆. 孔位置坐标和实时曲线.实验表明，在眼脸遮住部分
第5期 王锦榕，等：基于图像处理技术的瞳孔和角膜反射中心提取算法 ·427. 瞳孔的情况下新算法实现了瞳孔中心的准确提取， 大减少了处理的数据量，然后用梯度法提取瞳孔轮 且满足实时性要求.由角膜瞳孔坐标的实时曲线可 廓特征点，避免了因眼脸、眼睫毛干扰产生的虚假特 知，提取的瞳孔中心和角膜反射中心在实时系统中 征点，最后基于几何参数法的椭圆拟合提取了准确 具有较强的抗干扰能力. 的瞳孔中心，并有效地减少了椭圆拟合时间.后续将 通过角膜瞳孔坐标确定视线方向，进一步研究眼控 304 鼠标 20 104 参考文献： [1]ROBINSON D A.A method of measuring eye movements u- -10 -20H sing a scleral search coil in a magnetic field [J].IEEE -30H Transactions on Biomedical Engineering,1963,BME-10: 137-145. -40-30-20-i001020303 [2]SHUPERT C,FUCHS A F.Development of conjugate hu- (a)注视运动的角膜瞳孔位置坐标 man eye movements[J].Vision Research,1988,28(5): 585-596. 30 201 [3]GAUTHIER G M.Vertical and horizontal eye movement re- 10A cording in the unrestrained cat[J].IEEE Transactions on 0 -10H Biomedical Engineering,1975,BME-22(3):202-207. t/s -20 --x坐标曲线 [4]JONES R.Two dimensional eve movement recording using a -30 一坐标曲线 photoelectric matrix method J].Vision Research,1973. 13(2):425431. (b)注视运动的角膜瞳孔坐标实时曲线 [5]王朝英，赵乐军，陈怀琛.红外TV法眼动测量系统及实 y 现[J].西安电子科技大学学报，1999,26(3)：709-712. WANG Chaoying,ZHAO Lejun,CHEN Huaichen.A sys 四 tem and the implementation of eye movement measurement based on the infrared TV[J].Joumal of Xidian University, 0 1999,26(3):709-712. -10 [6]闫国利，田宏杰.眼动记录技术与方法综述[J].应用心 理学，2004,10(2)：55-58. YAN Guoli,TIAN Hongjie.A review of eye movement re- -30 cording methods and techniques[J].Chinese Journal of Ap- -30-20-100102030x plied Psychology,2004,10(2):55-58. (c)平滑跟踪运动的角膜瞳孔位置坐标 [7]赵新灿，左洪福，任勇军.眼动仪与视线跟踪技术综述 [J].计算机工程与应用，2006,42(12)：118-120. 30 ZHAO Xincan,ZUO Hongfu,REN Yongjun.A review of 20 10 eye tracker and eye tracking techniques[J].Computer En- gineering and Application,2006,42(12):118-120. -10 [8]王军宁，刘涛，何迪，等.红外头盔式眼动议的瞳孔中心 -20k 定位算法[J].西安电子科技大学学报，2011,38(3)：8 -30 --x坐标曲线 坐标曲线 12. (d)平滑跟踪运动的角膜瞳孔坐标实时曲线 WANG Junning,LIU Tao,HE Di,et al.Pupil center lo- 图4注视运动和平滑跟踪运动 calization algorithm used for the IR head-mounted eye track- Fig.4 The fixation and smooth pursuit er[J].Journal of Xidian University,2011,38(3):8-12. [9]周嘉宾.眼动跟踪系统算法研究与实现[D].西安：西安 3结束语 电子科技大学，2010：241-298. ZHOU Jiabin.Study and implementation on the algorithm of 瞳孔中心是确定视线方向最主要的因素，能否 eye tracking system[D].Xi'an:Xidian University,2010: 提取稳定、准确的瞳孔中心直接影响视线方向的准 241-298. 确性.本算法采用自适应阈值法确定瞳孔的位置，大 [10]阁蓓，王斌，李媛.基于最小二乘法的椭圆拟合改进算
·428 智能系统学报 第7卷 法[J刀.北京航空航天大学学报，2008,34(3)：295 袁学海，男，1960年生，教授，博士生 298. 导师，博士，主要研究方向为智能控制和 YAN Bei,WANG Bin,LI Yuan.Optmial ellipse fitting 模糊系统理论.先后主持辽宁省教育厅 method based on least square principle[J].Joural of Bei- 科研项目4项，参与国家自然科学基金 jing University of Aeronautics and Astronautics,2008,34 项目1项、数学天元基金项目1项.曾获 (3):295-298. 辽宁省教委科技进步奖二等奖和辽宁省 [11]罗军辉，冯平.MATLAB7.0在图像处理中的应用[M]. 自然科学成果奖二等奖各1项，发表学术论文120余篇。 北京：机械工业出版社，2005：252-257. 作者简介： 刘增良，男，1958年生，教授，博士 王锦榕，男，1986年生，硕士研究 生导师，理学博士，计算机博士后，国防 生，主要研究方向为运动控制算法和机 大学信息作战学科带头人.主要研究方 器人视觉处理。 向为智能系统工程、信息对抗和指挥自 动化.先后主持国家自然科学基金、国 家“863”计划及军队“十五”计划等科 研项目20余项.曾获国家科技进步奖二等奖2项，发表学术 论文40余篇，出版专著5部. 控制理论与应用（中文刊） Journal of Control Theory and Applications(英文f刊) 主办单位：华南理工大学；中国科学院数学与系统科学研究院 主要报道系统控制科学中具有新观念、新思想的理论研究成果及其在各个领域中，特别是高科技领域中 的应用研究成果和在国民经济有关领域技术开发、技术改造中的应用成果.内容包括：系统理论与控制理论， 非线性系统，复杂性与复杂系统理论，分布参数系统，混杂系统与DEDS,大系统，随机系统，稳定性与镇定， 建模、辨识与信号处理，最优控制与优化，鲁棒控制与H,控制，自适应控制与学习控制，变结构控制，神经网 络，模糊系统与模糊控制，模式识别，控制设计方法，遗传算法与演化计算，运动控制，智能机器人，分布式控 制系统，信息处理系统，故障诊断，通讯网络系统，CMS与制造系统，交通系统，生物与生态系统，社会经济系 统，工业系统，系统控制科学中的其他重要问题. 本刊特别欢迎内容全面、有分析、有见解的综述性文章。 本刊特别欢迎有关系统控制设计和应用方面的文章. 本刊优先刊登获各类科学基金项目资助的文章， 中英文版刊载的内容互不重复，各自独立. 栏目：论文，短文，书刊评介，国内外学术活动信息等。 读者对象是从事控制理论与应用研究的科技人员、高校师生及其他有关人员， 邮发代号：46-11（中文刊），46-319（英文刊） 中文版：月刊，A4开本，120页，15.00元/册 英文版：季刊，A4开本，120页，25.00元/册 地址：广州市五山华南理工大学510640 电子信箱：aukzllyy@scut.edu.cn 网 址：jcta.alljournals.ac.cn 电 话：020-87111464