工程科学学报.第41卷.第11期：1484-1492.2019年11月 Chinese Journal of Engineering,Vol.41,No.11:1484-1492,November 2019 D0L:10.13374/.issn2095-9389.2017.09.06.005,http://journals.ustb.edu.cn 视线追踪中一种新的由粗及精的瞳孔定位方法 李擎)，胡京尧，迟健男，张晓翠，张国胜) 1)北京科技大学自动化学院.北京1000832)交通运输部公路科学研究院.北京100088 ☒通信作者，E-mail:sy inchi@126.com 摘要基于图像处理的方法，采用了由粗及精的瞳孔定位思想，提出了一种高精度的瞳孔定位算法.该算法首先利用瞳孔 区域的直方图，采用改进的最大类间方差法自适应地分割瞳孔区域，实现粗略定位，然后利用瞳孔灰度的梯度特性来精确定 位瞳孔边缘点，最后在像素级瞳孔边缘点的基础上，采用亚像素定位方法，更精确地求得亚像素级瞳孔边缘点，并通过椭圆拟 合的方法来精确确定瞳孔的中心位置.另外，针对瞳孔被遮挡的情况，本文提出了一种等距离补偿瞳孔的方法.多次实验结 果证明了该算法对遮挡瞳孔的定位有较强的鲁棒性，可以准确地定位瞳孔的位置 关键词人机交互：视线追踪：瞳孔定位：亚像素定位：遮挡补偿 分类号TP391.4 A new pupil localization method from rough to precise in gaze tracking LI Qing.HU Jing-yao,CHI Jian-nan,ZHANG Xiao-cui,ZHANG Guo-sheng? 1)School of Automation and Electrical Engineering,University of Science and Technology Beijing,Beijing 100083,China 2)Research Institute of Highway Ministry of Transport,Beijing 100088,China Corresponding author,E-mail:sy_jnchi@126.com ABSTRACT The gaze tracking technology is widely used in many fields,and it has a broad application prospect in the field of human- computer interaction.The technology is based on the eye characteristic parameters and the gaze parameters,and it estimates the direction of sight and placement of sight based on the eye model.Therefore,accurately locating the pupil position is important in the gaze tracking technology,and it directly affects the accuracy of the gaze tracking result.Presently,there are numerous algorithms used in eye detection;however,most of them are characterized by some problems,such as the low accuracy of locating the pupil position,high detection error,and slow operation speed;thus,they cannot meet the accuracy requirements of locating the pupil position.To solve these problems,in this study,a concept of pupil localization method from rough to precise was adopted,and a high-accuracy pupil localization method based on image processing was proposed.In this method,first,the improved maximal between-cluster variance algorithm used the histogram of the pupil region to adaptively segment region to roughly locate the pupil region.Then the pupil edge points can be accurately located by the gradient of the pupil grayscale.Finally,a sub-pixel localization method was adopted on the basis of the pixel level edge points of the pupil to locate the sub-pixel level edge points of pupil more accurately,and the center position of the pupil was accurately determined by the method of ellipse fitting.In addition,an equidistance pupil compensation method was proposed in this paper for the situation of pupil occlusion.Several experimental results show that the algorithm is robust to locate the position of pupil occlusion and that it can achieve accurate pupil localization. KEY WORDS human-computer interaction:gaze tracking:pupil localization;sub-pixel localization;occlusion compensation 收稿日期：2017-09-06 基金项目：国家重点研发计划资助项目(2017YFB1002804):运输车辆运行安全技术交通行业重点实验室开放课题资助项目：北京市自然 科学基金资助项目(4172040)
视线追踪中一种新的由粗及精的瞳孔定位方法 李 擎1)，胡京尧1)，迟健男1) 苣，张晓翠1)，张国胜2) 1) 北京科技大学自动化学院，北京 100083 2) 交通运输部公路科学研究院，北京 100088 苣通信作者，E-mail: sy_jnchi@126.com 摘 要 基于图像处理的方法，采用了由粗及精的瞳孔定位思想，提出了一种高精度的瞳孔定位算法. 该算法首先利用瞳孔 区域的直方图，采用改进的最大类间方差法自适应地分割瞳孔区域，实现粗略定位，然后利用瞳孔灰度的梯度特性来精确定 位瞳孔边缘点，最后在像素级瞳孔边缘点的基础上，采用亚像素定位方法，更精确地求得亚像素级瞳孔边缘点，并通过椭圆拟 合的方法来精确确定瞳孔的中心位置. 另外，针对瞳孔被遮挡的情况，本文提出了一种等距离补偿瞳孔的方法. 多次实验结 果证明了该算法对遮挡瞳孔的定位有较强的鲁棒性，可以准确地定位瞳孔的位置. 关键词 人机交互；视线追踪；瞳孔定位；亚像素定位；遮挡补偿 分类号 TP391.4 A new pupil localization method from rough to precise in gaze tracking LI Qing1) ，HU Jing-yao1) ，CHI Jian-nan1) 苣 ，ZHANG Xiao-cui1) ，ZHANG Guo-sheng2) 1) School of Automation and Electrical Engineering, University of Science and Technology Beijing, Beijing 100083, China 2) Research Institute of Highway Ministry of Transport, Beijing 100088, China 苣 Corresponding author, E-mail: sy_jnchi@126.com ABSTRACT The gaze tracking technology is widely used in many fields, and it has a broad application prospect in the field of humancomputer interaction. The technology is based on the eye characteristic parameters and the gaze parameters, and it estimates the direction of sight and placement of sight based on the eye model. Therefore, accurately locating the pupil position is important in the gaze tracking technology, and it directly affects the accuracy of the gaze tracking result. Presently, there are numerous algorithms used in eye detection; however, most of them are characterized by some problems, such as the low accuracy of locating the pupil position, high detection error, and slow operation speed; thus, they cannot meet the accuracy requirements of locating the pupil position. To solve these problems, in this study, a concept of pupil localization method from rough to precise was adopted, and a high-accuracy pupil localization method based on image processing was proposed. In this method, first, the improved maximal between-cluster variance algorithm used the histogram of the pupil region to adaptively segment region to roughly locate the pupil region. Then the pupil edge points can be accurately located by the gradient of the pupil grayscale. Finally, a sub-pixel localization method was adopted on the basis of the pixel level edge points of the pupil to locate the sub-pixel level edge points of pupil more accurately, and the center position of the pupil was accurately determined by the method of ellipse fitting. In addition, an equidistance pupil compensation method was proposed in this paper for the situation of pupil occlusion. Several experimental results show that the algorithm is robust to locate the position of pupil occlusion and that it can achieve accurate pupil localization. KEY WORDS human-computer interaction；gaze tracking；pupil localization；sub-pixel localization；occlusion compensation 收稿日期: 2017−09−06 基金项目: 国家重点研发计划资助项目（2017YFB1002804）；运输车辆运行安全技术交通行业重点实验室开放课题资助项目；北京市自然 科学基金资助项目（4172040） 工程科学学报，第 41 卷，第 11 期：1484−1492，2019 年 11 月 Chinese Journal of Engineering, Vol. 41, No. 11: 1484−1492, November 2019 DOI：10.13374/j.issn2095-9389.2017.09.06.005; http://journals.ustb.edu.cn
李擎等：视线追踪中一种新的由粗及精的瞳孔定位方法 ·1485 在日常生活中，人们获取到的外界信息的方 获取待分割 改进的OTSL 瞳孔区域粗 瞳孔边缘点 式有80%是通过眼睛.视线直接性、自然性和双 人眼图像 分割瞳孔 定位 提取 向性等特点使得视线追踪技术在许多领域有着广 遮挡瞳孔 拟合瞳孔 泛的应用，如广告分析研究、人机交互、场景研 亚像素定位 的补偿 椭圆 瞳孔边缘点 究、动态分析等-习 图1算法流程图 视线追踪技术的基本原理是对眼部图像进行 Fig.1 Flow diagram of algorithm 处理，提取眼晴特征，得到视线参数，最后根据模 型估算出用户的屏幕注视点或者视线方向.眼睛 眼图像，采用改进的最大类间方差法4(OTSU) 特征提取是视线追踪技术中的重要部分.其中，视 自适应分割人眼图像，先粗定位瞳孔区域.然后利 线追踪系统中瞳孔的精确定位又是重中之重 用瞳孔边缘像素的灰度梯度特性准确提取瞳孔边 目前人眼检测算法主要包括基于图像处理 缘点，排除亮斑对瞳孔边缘点提取的影响，亚像素 的方法和基于统计学习的方法.基于图像处理的 定位瞳孔边缘点，最后利用最小二乘法对瞳孔边 瞳孔检测的方法主要有基于灰度积分投影的方 缘点进行多次拟合，求出瞳孔边缘点所在的椭圆 法-6和基于霍夫圆变换的瞳孔检测-等方法 如果瞳孔存在遮挡，对遮挡瞳孔提出了一种等距 灰度积分投影算法利用了瞳孔区域灰度值较低的 离瞳孔补偿的方法 特性，对图像水平方向进行积分投影，投影所得的 1.1瞳孔粗定位 曲线上会有一个明显的波谷区域，该波谷区域是 最大类间方差(OTSU)分割通常是全局寻找 瞳孔部分在垂直方向上的大致投影位置.该算法 最优阈值，由于实验中拍摄的图像整体较暗，直接 只计算图像像素的灰度值，计算量小，处理速度 用全局OTSU分割效果不好，因此本文提出了一 快.睫毛、眼镜和不均匀光照等干扰因素会使得 种改进的OTSU自适应阈值分割算法对人眼图像 灰度积分投影曲线的波谷区域发生变化，出现多 进行分割 个波谷或波谷偏移的情况，因此检测误差较大 对一幅灰度图像进行阈值分割时，需要通过 基于Hough变换的椭圆检测算法较早用于瞳孔 一个灰度级（假定为k)去进行类别的区分，假定这 检测，利用边缘提取算法定位出瞳孔边界点，再 幅灰度图像的灰度级分为[0,1，…，t-2,t-1],再令 用霍夫圆变换的方法对瞳孔边缘点进行拟合，该 C代表前景（瞳孔），C代表背景（瞳孔以外部分）， 方法具有瞳孔边缘提取不准确，圆拟合速度慢的 则Co表示灰度级为0,1，…，k-1]的像素点，C1表示 缺点.文献[9]存在瞳孔边缘点检测速度慢的问 灰度级为k,…,-1]的像素点.式中为灰度值， 题，而且对遮挡瞳孔的定位效果不好，不能精确 o为前景（瞳孔）像素点占整幅图像像素点的比 定位瞳孔遮挡时瞳孔的精确位置，基于统计学习 例，w为背景（瞳孔以外部分）像素点占整幅图像 的人眼检测算法主要有adaboost算法uo-和deep 像素点的比例.对于每一类出现的概率P()如式(1) learning算法I),这两种算法在人眼检测领域都有 所示： 较好的效果.基于统计的算法需要大量的训练样 本，其训练过程和分类器构成复杂，基于统计学习 wo=P(Co) 的算法无法精确定位瞳孔，无法满足瞳孔定位的 (1) 精度要求 w1=P(C1)= 视线追踪中需要精确定位瞳孔，本文基于图 像处理的方法，采用了由粗及精的瞳孔定位思想， 其中，p为灰度级i出现的概率，o+w1=1.另外， 提出了一种高精度的瞳孔定位算法.首先粗定位 定义w(为结合灰度值的概率计算函数，并令 瞳孔区域，然后精确定位瞳孔边缘点，亚像素定位 wk=wo,则每一类的平均灰度如式(2)所示： 瞳孔边缘点，最后拟合出瞳孔边缘点所在的椭圆， k- -1 针对瞳孔遮挡，提出了一种等距离瞳孔补偿的方 i·PdCo=∑i-p,/wo=uk/w肉 法.该算法有效提高了瞳孔定位的精度 i=0 t-1 1算法原理 M= i·P(C)=〉i·P/w1=u总-u/[1-w(k] i= 本文算法流程图如图1所示，首先相机拍摄人 (2)
在日常生活中，人们获取到的外界信息的方 式有 80% 是通过眼睛. 视线直接性、自然性和双 向性等特点使得视线追踪技术在许多领域有着广 泛的应用，如广告分析研究、人机交互、场景研 究、动态分析等[1−3] . 视线追踪技术的基本原理是对眼部图像进行 处理，提取眼睛特征，得到视线参数，最后根据模 型估算出用户的屏幕注视点或者视线方向. 眼睛 特征提取是视线追踪技术中的重要部分. 其中，视 线追踪系统中瞳孔的精确定位又是重中之重. 目前人眼检测算法主要包括基于图像处理 的方法和基于统计学习的方法. 基于图像处理的 瞳孔检测的方法主要有基于灰度积分投影的方 法[4−6] 和基于霍夫圆变换的瞳孔检测[7−8] 等方法. 灰度积分投影算法利用了瞳孔区域灰度值较低的 特性，对图像水平方向进行积分投影，投影所得的 曲线上会有一个明显的波谷区域，该波谷区域是 瞳孔部分在垂直方向上的大致投影位置. 该算法 只计算图像像素的灰度值，计算量小，处理速度 快. 睫毛、眼镜和不均匀光照等干扰因素会使得 灰度积分投影曲线的波谷区域发生变化，出现多 个波谷或波谷偏移的情况，因此检测误差较大. 基于 Hough 变换的椭圆检测算法较早用于瞳孔 检测，利用边缘提取算法定位出瞳孔边界点，再 用霍夫圆变换的方法对瞳孔边缘点进行拟合，该 方法具有瞳孔边缘提取不准确，圆拟合速度慢的 缺点. 文献 [9] 存在瞳孔边缘点检测速度慢的问 题，而且对遮挡瞳孔的定位效果不好，不能精确 定位瞳孔遮挡时瞳孔的精确位置. 基于统计学习 的人眼检测算法主要有 adaboost 算法[10−12] 和 deep learning 算法[13] ，这两种算法在人眼检测领域都有 较好的效果. 基于统计的算法需要大量的训练样 本，其训练过程和分类器构成复杂，基于统计学习 的算法无法精确定位瞳孔，无法满足瞳孔定位的 精度要求. 视线追踪中需要精确定位瞳孔，本文基于图 像处理的方法，采用了由粗及精的瞳孔定位思想， 提出了一种高精度的瞳孔定位算法. 首先粗定位 瞳孔区域，然后精确定位瞳孔边缘点，亚像素定位 瞳孔边缘点，最后拟合出瞳孔边缘点所在的椭圆. 针对瞳孔遮挡，提出了一种等距离瞳孔补偿的方 法. 该算法有效提高了瞳孔定位的精度. 1 算法原理 本文算法流程图如图 1 所示，首先相机拍摄人 眼图像，采用改进的最大类间方差法[14−15] （OTSU） 自适应分割人眼图像，先粗定位瞳孔区域. 然后利 用瞳孔边缘像素的灰度梯度特性准确提取瞳孔边 缘点，排除亮斑对瞳孔边缘点提取的影响，亚像素 定位瞳孔边缘点，最后利用最小二乘法对瞳孔边 缘点进行多次拟合，求出瞳孔边缘点所在的椭圆. 如果瞳孔存在遮挡，对遮挡瞳孔提出了一种等距 离瞳孔补偿的方法. 1.1 瞳孔粗定位 最大类间方差（OTSU）分割通常是全局寻找 最优阈值，由于实验中拍摄的图像整体较暗，直接 用全局 OTSU 分割效果不好，因此本文提出了一 种改进的 OTSU 自适应阈值分割算法对人眼图像 进行分割. k [0,1,··· ,t−2,t−1] C0 C1 C0 [0,1,··· , k−1] C1 [k,··· ,t−1] t w0 w1 对一幅灰度图像进行阈值分割时，需要通过 一个灰度级（假定为 ）去进行类别的区分. 假定这 幅灰度图像的灰度级分为 ，再令 代表前景（瞳孔）， 代表背景（瞳孔以外部分）， 则 表示灰度级为 的像素点， 表示 灰度级为 的像素点. 式中 为灰度值 ， 为前景（瞳孔）像素点占整幅图像像素点的比 例， 为背景（瞳孔以外部分）像素点占整幅图像 像素点的比例. 对于每一类出现的概率 P( ) 如式 (1) 所示： w0 = P(C0) = ∑ k−1 i=0 pi w1 = P(C1) = ∑t−1 i=k pi （1） pi i w0 +w1 = 1 w(k) w(k) = w0 其中， 为灰度级 出现的概率， . 另外， 定 义 为结合灰度值的概率计算函数 ，并令 ，则每一类的平均灰度如式 (2) 所示： u0 = ∑ k−1 i=0 i· P(i|C0) = ∑ k−1 i=0 i· pi/w0 = u(k)/w(k) u1 = ∑t−1 i=k i· P(i|C1)= ∑t−1 i=k i· pi/w1 = [ u总−u(k) ] / [1−w(k)] （2） 获取待分割 人眼图像 改进的OTSU 分割瞳孔 瞳孔区域粗 定位 瞳孔边缘点 提取 亚像素定位 瞳孔边缘点 拟合瞳孔 椭圆 遮挡瞳孔 的补偿 图 1 算法流程图 Fig.1 Flow diagram of algorithm 李 擎等： 视线追踪中一种新的由粗及精的瞳孔定位方法 · 1485 ·
·1486 工程科学学报，第41卷，第11期 其中，令u因=，图像的总平均灰度值u 样图像的灰度直方图如图3所示.由图3可以看 出，该图中较低灰度值区间内的像素点较多，眼部 i=0 P=woo+w1,且o是前景（瞳孔）像素 图片具有较低的灰度值 均灰度值，1是背景（瞳孔以外部分）像素点的平均 灰度值.这样，类间方差、类内方差及总方差如式 (3)所示： 灰度值 6=wo∑(i-uo)P(ilCo)+w 分G-yrC) 图3眼部图像灰度直方图 i=0 Fig.3 Gray histogram of eye image a=6间k)+k)=-const (3) 经过分析后可知，由于人眼区域图像灰度值 式中，6间为类间方差，层)为类内方差，为总 分布的特殊性，下采样图像中大部分像素的灰度 方差.由于总方差为常量(const),计算最大类间方 值小于100，因此对于瞳孔区域的分割来说，可以 差得到的阈值k即为最优，下面记“)”（类间方 将分割所用的阈值的寻找范围设定在灰度值0到 差)为“2(”，然后简化类间方差如式(4)所示： 100之间.首先，在灰度值0到100之间寻找灰度 直方图达到最高峰值点时对应的灰度值1，灰度值 =严色·-u2 (4) 0到之间的直方图的分布有一定的规律，可看作 wk)·[1-w] 由两类像素组成，在这个区间内进行OTSU分割 选择适当的k使得62()最大即可，这个k也就是最大 得到阈值2，这个阈值基本上可以分割这两类像 类间方差法要得到的阈值 素.然后，在灰度值0到2的范围之间寻找灰度直 本文提出了一种改进的OTSU自适应阈值分 方图达到最高峰值点时对应的灰度值3，综合2和 割算法，首先寻找人眼区域图像的灰度直方图最 3两个参数来进行调整，得到最终进行自适应分割 高峰值点对应的灰度值，大于该灰度值的像素忽 的阈值的结果，如式（⑤）所示： 略不计，对小于该灰度值的像素进行OTSU分割， 将得到的结果作为最终阈值计算时的一个参数 T=5+2-3 2 (5) 然后寻找小于该阈值的部分直方图的最高峰值点 人眼区域图像经过阈值T分割后的二值化图 所对应的灰度值，作为最终阈值计算时的另一个 像结果如图4所示，可以看出，阈值T已经可以较 参数.最后对这两个参数进行调整，将得到的结果 好地将瞳孔所在区域分割出来，证明由本文提出 作为最终的阈值，来对人眼区域进行图像分割，从 的算法进行计算所得的阈值的误差较小，只在瞳 而得到瞳孔区域的图像 孔区域以外仍含有部分干扰区域，对瞳孔区域的 在红外光源下拍摄的瞳孔，瞳孔区域的灰度 分割不造成影响.对于这些无效的干扰区域，我们 值比周围区域的灰度值低.相机拍摄的图像较大， 对自适应阈值分割后的图像进一步进行腐蚀膨胀 像素较多，因此为了提高图像处理的速度，感兴趣 处理即可将其去除，经过形态学处理后的瞳孔区 区域(region of interest,ROI)的提取在经过l/4× 域图像如图5所示 1/4的下采样图像上进行，下采样后的图像如图2 去除干扰后的二值化图像可以比较容易地粗 所示，瞳孔的定位就在该下采样图像上进行，下采 略定位瞳孔的中心位置.在图像上选择一个包括 图2下采样后图像 图4自适应倒值分割图 Fig.2 Image after down-sampling Fig.4 Adaptive threshold segmentation image
u(k) = ∑ k−1 i=0 i· pi u总 = ∑t−1 i=0 i· pi=w0u0 +w1u1 u0 u1 其中，令 ，图像的总平均灰度值 ，且 是前景（瞳孔）像素点的平 均灰度值， 是背景（瞳孔以外部分）像素点的平均 灰度值. 这样，类间方差、类内方差及总方差如式 (3) 所示： δ 2 间 (k) = w0 ( u0 −u总 )2 +w1 ( u1 −u总 )2 δ 2 内 (k) = w0 ∑ k i=0 (i−u0) 2P(i|C0)+w1 ∑t−1 i=k+1 (i−u1) 2P(i|C1) δ 2 总 =δ 2 间 (k)+δ 2 内 (k)=const （3） δ 2 间 (k) δ 2 内 (k) δ 2 总 k δ 2 间 (k) δ 2 (k) 式中， 为类间方差， 为类内方差， 为总 方差. 由于总方差为常量（const），计算最大类间方 差得到的阈值 即为最优，下面记“ ”（类间方 差）为“ ”，然后简化类间方差如式 (4) 所示： δ 2 (k) = [ u总 ·w(k)−u(k) ]2 w(k)·[1−w(k)] （4） k δ 2 选择适当的 使得 (k) 最大即可，这个 k 也就是最大 类间方差法要得到的阈值. 本文提出了一种改进的 OTSU 自适应阈值分 割算法，首先寻找人眼区域图像的灰度直方图最 高峰值点对应的灰度值，大于该灰度值的像素忽 略不计，对小于该灰度值的像素进行 OTSU 分割， 将得到的结果作为最终阈值计算时的一个参数. 然后寻找小于该阈值的部分直方图的最高峰值点 所对应的灰度值，作为最终阈值计算时的另一个 参数. 最后对这两个参数进行调整，将得到的结果 作为最终的阈值，来对人眼区域进行图像分割，从 而得到瞳孔区域的图像. 在红外光源下拍摄的瞳孔，瞳孔区域的灰度 值比周围区域的灰度值低. 相机拍摄的图像较大， 像素较多，因此为了提高图像处理的速度，感兴趣 区域 （ region of interest，ROI）的提取在经过 1/4 × 1/4 的下采样图像上进行，下采样后的图像如图 2 所示，瞳孔的定位就在该下采样图像上进行，下采 样图像的灰度直方图如图 3 所示. 由图 3 可以看 出，该图中较低灰度值区间内的像素点较多，眼部 图片具有较低的灰度值. t1 t1 t2 t2 t3 t2 t3 经过分析后可知，由于人眼区域图像灰度值 分布的特殊性，下采样图像中大部分像素的灰度 值小于 100，因此对于瞳孔区域的分割来说，可以 将分割所用的阈值的寻找范围设定在灰度值 0 到 100 之间. 首先，在灰度值 0 到 100 之间寻找灰度 直方图达到最高峰值点时对应的灰度值 ，灰度值 0 到 之间的直方图的分布有一定的规律，可看作 由两类像素组成，在这个区间内进行 OTSU 分割 得到阈值 ，这个阈值基本上可以分割这两类像 素. 然后，在灰度值 0 到 的范围之间寻找灰度直 方图达到最高峰值点时对应的灰度值 ，综合 和 两个参数来进行调整，得到最终进行自适应分割 的阈值的结果，如式 (5) 所示： T = t3 + t2 −t3 2 （5） T T 人眼区域图像经过阈值 分割后的二值化图 像结果如图 4 所示，可以看出，阈值 已经可以较 好地将瞳孔所在区域分割出来，证明由本文提出 的算法进行计算所得的阈值的误差较小，只在瞳 孔区域以外仍含有部分干扰区域，对瞳孔区域的 分割不造成影响. 对于这些无效的干扰区域，我们 对自适应阈值分割后的图像进一步进行腐蚀膨胀 处理即可将其去除，经过形态学处理后的瞳孔区 域图像如图 5 所示. 去除干扰后的二值化图像可以比较容易地粗 略定位瞳孔的中心位置. 在图像上选择一个包括 图 2 下采样后图像 Fig.2 Image after down-sampling 灰度值 像素点 图 3 眼部图像灰度直方图 Fig.3 Gray histogram of eye image 图 4 自适应阈值分割图 Fig.4 Adaptive threshold segmentation image · 1486 · 工程科学学报，第 41 卷，第 11 期
李擎等：视线追踪中一种新的由粗及精的瞳孔定位方法 1487 图9二值化图 图5腐蚀膨胀后的图 Fig.9 Binary image Fig.5 Image after erosion and dilation 明显不同，一般情况下，瞳孔所在区域的灰度值比 全部瞳孔范围的区域作为ROL,用于后续的处理， 较低，虹膜所在区域的灰度值较高，可以利用瞳孔 如图6所示，面积较小的白色框的区域表示瞳孔 边缘点的灰度值梯度，先对瞳孔边缘点精确定位， 的粗定位的位置，面积较大的白色框的区域作为 然后用椭圆拟合的方法将瞳孔边缘点拟合来求出 ROI区域，单独的包括全部瞳孔范围的ROI图像 瞳孔中心.如图10所示，先利用瞳孔粗定位算法 如图7所示 求出大致的瞳孔中心所在位置p,坐标为(xpyp), 图I0中pm点的灰度值较小，Pm+i的灰度值较大.可 以求出以(xpyp)为起点的射线，1上相邻像素点灰 度值的差值.利用不同像素点梯度的差异可以精 确定位瞳孔边缘点.瞳孔在x方向上的半径为x, 瞳孔在y方向上的半径为5，一般来说，瞳孔在x方 图6瞳孔粗定位 向的半径和在y方向的半径比较稳定.r如式(6) Fig.6 Pupil coarse localization 所示. =+ (6) 2 图7瞳孔ROI P. Fig.7 Region of interest of the pupil 当瞳孔有部分被遮挡时，采用本文提出的改 进的OTSU自适应阈值分割算法仍然可以很好地 将未被遮挡住的部分瞳孔区域分割出来.部分被 图10射线图 遮挡的瞳孔图像如图8所示，经分割后的二值化 Fig.10 Ray diagram 图像如图9所示.可以看出，瞳孔未被遮挡的区域 般瞳孔的边界点分布在以(xp,yp)为圆心，半 依旧可以被很好地分割出来，对二值化图像进行 径大小为r的圆附近.每一组不同角度的和半径 腐蚀膨胀处理后即可以去除周围无效的干扰区域. m在圆上可以确定一个不同的坐标点Pm,其中 1.2瞳孔精确定位 rn=r-10+n(n=0,1,…,20,0是以中心(xpyp)为起 使用上述方法粗定位瞳孔区域后，需要对瞳 点的射线与横轴方向的夹角，其中0≤0<2元，可以 孔边缘点进行精确定位.人眼的灰度图像中，可以 求出射线上某一个像素点Pn的坐标，pPm点坐标为 看出瞳孔所在区域和虹膜所在区域的灰度值具有 (xmyn,如式(7)所示： xn =xp+rncos0 yn yp+rn sine (7) 假定瞳孔灰度梯度值最大的像素点为方向上瞳 孔边缘点所在位置，由此可知，若图像上像素点 Pn的灰度值为tn,像素点pn在方向的灰度梯度值 图8遮挡瞳孔 为Dm,则Dn=tn-tn-1(=0,1,…,20). Fig.8 Pupil occlusion 当某一射线方向上有亮斑时，如图11所示，亮
全部瞳孔范围的区域作为 ROI，用于后续的处理， 如图 6 所示，面积较小的白色框的区域表示瞳孔 的粗定位的位置，面积较大的白色框的区域作为 ROI 区域，单独的包括全部瞳孔范围的 ROI 图像 如图 7 所示. 当瞳孔有部分被遮挡时，采用本文提出的改 进的 OTSU 自适应阈值分割算法仍然可以很好地 将未被遮挡住的部分瞳孔区域分割出来. 部分被 遮挡的瞳孔图像如图 8 所示，经分割后的二值化 图像如图 9 所示. 可以看出，瞳孔未被遮挡的区域 依旧可以被很好地分割出来，对二值化图像进行 腐蚀膨胀处理后即可以去除周围无效的干扰区域. 1.2 瞳孔精确定位 使用上述方法粗定位瞳孔区域后，需要对瞳 孔边缘点进行精确定位. 人眼的灰度图像中，可以 看出瞳孔所在区域和虹膜所在区域的灰度值具有 (xp, yp) pn pn+1 (xp, yp) x rx y ry x y r 明显不同，一般情况下，瞳孔所在区域的灰度值比 较低，虹膜所在区域的灰度值较高，可以利用瞳孔 边缘点的灰度值梯度，先对瞳孔边缘点精确定位， 然后用椭圆拟合的方法将瞳孔边缘点拟合来求出 瞳孔中心. 如图 10 所示，先利用瞳孔粗定位算法 求出大致的瞳孔中心所在位置 p，坐标为 ， 图 10 中 点的灰度值较小， 的灰度值较大. 可 以求出以 为起点的射线[9,16] 上相邻像素点灰 度值的差值. 利用不同像素点梯度的差异可以精 确定位瞳孔边缘点. 瞳孔在 方向上的半径为 ， 瞳孔在 方向上的半径为 ，一般来说，瞳孔在 方 向的半径和在 方向的半径比较稳定. 如式 (6) 所示. r = ( rx +ry ) 2 （6） (xp, yp) r θ rn pn rn = r −10+n(n = 0,1,··· ,20) θ (xp, yp) 0 ⩽ θ < 2π pn pn (xn, yn) 一般瞳孔的边界点分布在以 为圆心，半 径大小为 的圆附近. 每一组不同角度的 和半径 在圆上可以确定一个不同的坐标点 ，其中 ， 是以中心 为起 点的射线与横轴方向的夹角，其中 ，可以 求出射线上某一个像素点 的坐标， 点坐标为 ，如式 (7) 所示： { xn = xp +rn cos θ yn = yp +rn sinθ （7） θ pn tn pn θ Dn Dn = tn −tn−1(n = 0,1,··· ,20) 假定瞳孔灰度梯度值最大的像素点为 方向上瞳 孔边缘点所在位置，由此可知，若图像上像素点 的灰度值为 ，像素点 在 方向的灰度梯度值 为 ，则 . 当某一射线方向上有亮斑时，如图 11 所示，亮 图 5 腐蚀膨胀后的图 Fig.5 Image after erosion and dilation 图 6 瞳孔粗定位 Fig.6 Pupil coarse localization 图 7 瞳孔 ROI Fig.7 Region of interest of the pupil 图 8 遮挡瞳孔 Fig.8 Pupil occlusion 图 9 二值化图 Fig.9 Binary image θ pn (xp , y p ) pn+1 图 10 射线图 Fig.10 Ray diagram 李 擎等： 视线追踪中一种新的由粗及精的瞳孔定位方法 · 1487 ·
1488 工程科学学报.第41卷第11期 域（方向1(1）、方向2(2)、方向3(3)、方向4(4) (2)如图12所示，若瞳孔边缘点的梯度方向及 瞳孔边缘点所处区域为方向1或(1)，则根据点 (-1y+1)和点(y#1)的像素梯度值，利用线性插 值的方法得到方向1与边界交叉点位置（图中数 图11亮斑干扰示意图 字1所示位置)的梯度值G(x1,y根据点(x,y-1)和 Fig.11 Diagram of light spot interference 点(+y-1)的像素梯度值，利用线性插值的方法 斑边缘点的梯度值很大，此时的边缘点并不是瞳 得到方向(1)与边界交叉点位置（图中数字(1）所 孔的边缘点，而且亮斑的边缘点会对瞳孔边缘点 示位置)的梯度值G(x,y),其他方向上的处理方 的提取带来较大干扰.因此，遇到亮斑边缘点时， 法同上 需将射线转过一定角度，避开亮斑干扰，继续提取 (3)计算G(x1,y),G(xuu)及G(x,)(即三点 的梯度值)，然后做梯度方向上的二次曲线拟合， 瞳孔的边缘点 求解极值点，所求即为亚像素级瞳孔边缘点 1.3瞳孔亚像素边缘检测 根据上述方法得到像素级瞳孔边缘点，然后 2瞳孔参数计算 进行瞳孔亚像素边缘点检测，如图12所示，首 2.1无遮挡计算 先根据眼睛图像中像素级瞳孔边缘点(x,y)梯度 瞳孔参数计算即对椭圆中心、长短轴、旋转角 方向上的信息，确定瞳孔边缘点的亚像素边缘位 度的求解.提取的瞳孔边缘点是一组离散数据，通 置；然后通过沿瞳孔像素级边缘点的梯度方向寻 过椭圆拟合的方法来确定瞳孔中心.基于最小二 找瞳孔边缘点局部梯度的极大值，计算得到亚像 乘法来求解具有很高的精度，由于用上文所述 素级瞳孔边缘点；最后处理所有的像素级瞳孔边 方法求取的特征点是一组精确的边界点，可以采 缘点，求出所有的亚像素级瞳孔边缘点所在位置. 用最小二乘法拟合椭圆的方法，设椭圆的方程如 式(IO)所示，A,B,C,D,E为待优化参数，N为样本 (x--） (xr-》 (X-1V) 个数，式(13)代表求解出的五个椭圆参数： x2+Axy+By2+Cx+Dy+E=0 (10) N F(A,B,C,D,E)= (+Axy+By+Cx+Dy+E)2 作y-)◆ (以 (XiVm) (11) OF OF OF OFOF 0) (12) (4) 0丽丽cD证=0 2BC-AD 0= ⊙ A2-4B C-) (2) (+ (r-y) 2D-AD y0= A2-4B 图12亚像素边缘检测 2(ACD-BC2-D2+4BE-A2E) Fig.12 Sub-pixel edge detection wid= N(A2-4B)(B-VA2+(1-B)2+1) 设二次拟合曲线的形式为： 2(ACD-BC2-D2+4BE-A2E) y=ax2+bx+c (8) hig= (42-4B)(B+VA2+(1-B2+1) 式中，a,b,c为需拟合计算出的参数，则极值点横 a-b2B 坐标为： a=tan-I a2B-b2 b (13) x=-2a (9) 式中，xo和yo为椭圆中心的坐标，wid和hig为椭圆 (I)计算像素级瞳孔边缘点(x,y)的梯度，得到 的长短轴，a为椭圆的倾斜角.本文取π/12角度的 瞳孔边缘点的灰度梯度方向及瞳孔边缘点所处区 间隔来提取瞳孔边缘点，边缘点的图像如图13所
斑边缘点的梯度值很大，此时的边缘点并不是瞳 孔的边缘点，而且亮斑的边缘点会对瞳孔边缘点 的提取带来较大干扰. 因此，遇到亮斑边缘点时， 需将射线转过一定角度，避开亮斑干扰，继续提取 瞳孔的边缘点. 1.3 瞳孔亚像素边缘检测 (xi , y j) 根据上述方法得到像素级瞳孔边缘点，然后 进行瞳孔亚像素边缘点[17] 检测，如图 12 所示，首 先根据眼睛图像中像素级瞳孔边缘点 梯度 方向上的信息，确定瞳孔边缘点的亚像素边缘位 置；然后通过沿瞳孔像素级边缘点的梯度方向寻 找瞳孔边缘点局部梯度的极大值，计算得到亚像 素级瞳孔边缘点；最后处理所有的像素级瞳孔边 缘点，求出所有的亚像素级瞳孔边缘点所在位置. 设二次拟合曲线的形式为： y = ax2 +bx+c （8） 式中，a，b，c 为需拟合计算出的参数，则极值点横 坐标为： x = − b 2a （9） (xi (1) 计算像素级瞳孔边缘点 , y j) 的梯度，得到 瞳孔边缘点的灰度梯度方向及瞳孔边缘点所处区 域（方向 1(1)、方向 2(2)、方向 3(3)、方向 4(4)）. (xi−1, y j+1) (xi , y j+1) G(x1, y1) (xi , y j−1) (xi+1, y j−1) G(x(1), y(1)) (2) 如图 12 所示，若瞳孔边缘点的梯度方向及 瞳孔边缘点所处区域为方向 1 或 (1)，则根据点 和点 的像素梯度值，利用线性插 值的方法得到方向 1 与边界交叉点位置（图中数 字 1 所示位置）的梯度值 ；根据点 和 点 的像素梯度值，利用线性插值的方法 得到方向 (1) 与边界交叉点位置（图中数字 (1) 所 示位置）的梯度值 ，其他方向上的处理方 法同上. G(x1, y1) G(x(1), y(1)) G(xi (3) 计算 ， 及 , yi) （即三点 的梯度值），然后做梯度方向上的二次曲线拟合， 求解极值点，所求即为亚像素级瞳孔边缘点. 2 瞳孔参数计算 2.1 无遮挡计算 瞳孔参数计算即对椭圆中心、长短轴、旋转角 度的求解. 提取的瞳孔边缘点是一组离散数据，通 过椭圆拟合的方法来确定瞳孔中心. 基于最小二 乘法[18] 来求解具有很高的精度，由于用上文所述 方法求取的特征点是一组精确的边界点，可以采 用最小二乘法拟合椭圆的方法，设椭圆的方程如 式 (10) 所示，A，B，C，D，E 为待优化参数，N 为样本 个数，式 (13) 代表求解出的五个椭圆参数： x 2 + Axy+ By2 +Cx+ Dy+ E = 0 （10） F(A,B,C,D,E) = ∑ N i=1 (x 2 i + Axiyi + By2 i +Cxi + Dyi + E) 2 （11） ∂F ∂A = ∂F ∂B = ∂F ∂C = ∂F ∂D = ∂F ∂E = 0 （12） x0 = 2BC − AD A2 −4B y0 = 2D− AD A2 −4B wid = vut 2(ACD− BC2 − D 2 +4BE − A 2E) (A2 −4B)(B− √ A2 +(1− B) 2 +1) hig = vut 2(ACD− BC2 − D 2 +4BE − A 2E) (A2 −4B)(B+ √ A2 +(1− B) 2 +1) α = tan−1 √ a 2 −b 2B a 2B−b 2 （13） x0 y0 α π/12 式中， 和 为椭圆中心的坐标，wid 和 hig 为椭圆 的长短轴， 为椭圆的倾斜角. 本文取 角度的 间隔来提取瞳孔边缘点，边缘点的图像如图 13 所 图 11 亮斑干扰示意图 Fig.11 Diagram of light spot interference 1 4 3 2 (xi−1,yj−1) (xi−1,yj ) (xi−1,yj+1) (xi ,yj+1 (xi ,yj−1) ) (xi ,yj ) (xi+1,yj−1) (xi+1,yj ) (xi+1,yj+1) (2) (3) (1) (4) j i 图 12 亚像素边缘检测 Fig.12 Sub-pixel edge detection · 1488 · 工程科学学报，第 41 卷，第 11 期
李擎等：视线追踪中一种新的由粗及精的瞳孔定位方法 1489 示.用最小二乘法进行第一次椭圆拟合，拟合结果 如图14所示. 图5髓孔左右边缘 Fig.15 Left and right margins of pupil N个瞳孔中心坐标，再求出N个瞳孔中心围成的 图13臃孔边缘点 Fig.13 Pupil margin point 图形的质心坐标，最终所求的质心位置即为遮挡 瞳孔的中心位置 由于眼脸和眼睫毛遮挡了部分瞳孔区域，首 先检测瞳孔中心所在水平线下方的边缘点，如图16 上的点P1、P2、P3、P4、Ps等，假定瞳孔对称边缘点 到瞳孔中心距离大致相等，如图16中的P1O=OP, 补偿出关于瞳孔中心对称的另一侧的P、P?、P3、 图14瞳孔椭圆 P、P;等点.然后根据瞳孔下方和补偿出的上方对 Fig.14 Pupil ellipse 称边缘点拟合出瞳孔，拟合出的瞳孔椭圆如图17 所示. 第一次拟合后，有些瞳孔边缘点到拟合椭圆 的距离比较大，本文定义瞳孔边缘点到拟合椭圆 P P 的距离为dist. dist =x2+Axy+By2+Cx+Dy+E (14) 瞳孔边缘点到拟合椭圆平均距离为μ，标准差 为σ，然后采用“3σ”原则，将dist-μ>3σ的瞳孔边 缘点排除，再利用最小二乘法进行一次瞳孔椭圆 的拟合，以此来提高瞳孔椭圆拟合的精度. 2.2遮挡瞳孔的补偿 P P3 针对遮挡瞳孔，本文提出了一种等距补偿的 图16补偿示意图 方法.首先确定遮挡瞳孔的大概中心位置，然后提 Fig.16 Diagram of compensation 取瞳孔下半部分的瞳孔边缘点，由于瞳孔对称边 缘点到瞳孔中心距离大致相等，可以补偿出关于 瞳孔中心对称的另一侧的边缘点 首先用瞳孔粗定位算法粗略估计瞳孔位置， 为了提高图像处理的速度，在瞳孔粗定位后的图 像上选取单独的包括全部瞳孔范围的图像作为 ROI图像（图8）来进行处理.然后确定遮挡瞳孔的 中心位置，对二值化后的人眼图像（图9）做一条水 平线，如图15所示，水平线与瞳孔边缘相交于两 点90，计算瞳孔左右两个边缘点的距离.依次向 图17瞳孔拟合图 上移动水平线并计算，找到最左端和最右端两个 Fig.17 Pupil fitting image 瞳孔边缘点之间的距离最大的位置，这个位置所 3实验结果与分析 在的水平线就是瞳孔中心所在的水平线，将这两 个边缘点连线的中点假定为瞳孔中心.求出N条 为了观察本文方法的实验结果，对不同环境 瞳孔边缘点的最大距离所在的水平线，进而求出 下的眼部图像进行实验，眼部图像为752×480像
示. 用最小二乘法进行第一次椭圆拟合，拟合结果 如图 14 所示. dist 第一次拟合后，有些瞳孔边缘点到拟合椭圆 的距离比较大，本文定义瞳孔边缘点到拟合椭圆 的距离为 . dist =x 2 + Axy+ By2 +Cx+ Dy+ E （14） µ σ 3σ dist−µ > 3σ 瞳孔边缘点到拟合椭圆平均距离为 ，标准差 为 ，然后采用“ ”原则，将 的瞳孔边 缘点排除，再利用最小二乘法进行一次瞳孔椭圆 的拟合，以此来提高瞳孔椭圆拟合的精度. 2.2 遮挡瞳孔的补偿 针对遮挡瞳孔，本文提出了一种等距补偿的 方法. 首先确定遮挡瞳孔的大概中心位置，然后提 取瞳孔下半部分的瞳孔边缘点，由于瞳孔对称边 缘点到瞳孔中心距离大致相等，可以补偿出关于 瞳孔中心对称的另一侧的边缘点. 首先用瞳孔粗定位算法粗略估计瞳孔位置， 为了提高图像处理的速度，在瞳孔粗定位后的图 像上选取单独的包括全部瞳孔范围的图像作为 ROI 图像 (图 8) 来进行处理. 然后确定遮挡瞳孔的 中心位置，对二值化后的人眼图像 (图 9) 做一条水 平线，如图 15 所示，水平线与瞳孔边缘相交于两 点[19−20] ，计算瞳孔左右两个边缘点的距离. 依次向 上移动水平线并计算，找到最左端和最右端两个 瞳孔边缘点之间的距离最大的位置，这个位置所 在的水平线就是瞳孔中心所在的水平线，将这两 个边缘点连线的中点假定为瞳孔中心. 求出 N 条 瞳孔边缘点的最大距离所在的水平线，进而求出 N 个瞳孔中心坐标，再求出 N 个瞳孔中心围成的 图形的质心坐标，最终所求的质心位置即为遮挡 瞳孔的中心位置. P1 P2 P3 P4 P5 P1O = OP′ 1 P ′ 1 P ′ 2 P ′ 3 P ′ 4 P ′ 5 由于眼睑和眼睫毛遮挡了部分瞳孔区域，首 先检测瞳孔中心所在水平线下方的边缘点，如图 16 上的点 、 、 、 、 等，假定瞳孔对称边缘点 到瞳孔中心距离大致相等，如图 16 中的 ， 补偿出关于瞳孔中心对称的另一侧的 、 、 、 、 等点. 然后根据瞳孔下方和补偿出的上方对 称边缘点拟合出瞳孔，拟合出的瞳孔椭圆如图 17 所示. 3 实验结果与分析 为了观察本文方法的实验结果，对不同环境 下的眼部图像进行实验，眼部图像为 752 × 480 像 图 13 瞳孔边缘点 Fig.13 Pupil margin point 图 14 瞳孔椭圆 Fig.14 Pupil ellipse 图 15 瞳孔左右边缘 Fig.15 Left and right margins of pupil O P1 P2 P3 P4 P5 P′1 P′2 P′3 P′4 P′5 图 16 补偿示意图 Fig.16 Diagram of compensation 图 17 瞳孔拟合图 Fig.17 Pupil fitting image 李 擎等： 视线追踪中一种新的由粗及精的瞳孔定位方法 · 1489 ·
·1490 工程科学学报.第41卷，第11期 素的灰度图像，来自一段视频图像.在3.2GHz CPU、2G内存的硬件设备下进行实验，用VS2010 编程实现.本文的头盔式视线追踪系统硬件如图18 相机 所示. 半透半反镜 本文的瞳孔定位过程包括如下步骤：图像预处 屏幕 理、自适应阈值分割、腐蚀膨胀、瞳孔粗定位、用 梯度法获取瞳孔轮廓特征点、使用椭圆拟合瞳孔 腮托 轮廓确定瞳孔中心、瞳孔的亚像素定位，如图19所示 当眼睑遮挡瞳孔时，采用文献[9]方法拟合与 采用本文方法拟合的两种结果如图20所示.将两 种拟合结果进行对比，明显可以看出按照本文方 法拟合的椭圆更接近瞳孔的真正边缘，可以更好 图18系统硬件 地恢复出完整的瞳孔椭圆，具有良好的鲁棒性 Fig.18 Hardware of the system (a) (b) (c) (d) (e) (① 图19图像处理结果(a)人眼图像；(b)二值化：(c)腐蚀膨胀；(d)瞳孔粗定位：(e)瞳孔精确分割：（田瞳孔拟合 Fig.19 Results of image processing:(a)eye image;(b)binarization;(c)erosion and dilation;(d)pupil coarse localization;(e)accurate pupil segmentation;(f)pupil fitting 距离的平方和（不计算瞳孔遮挡边缘部分），平均 误差率的含义是平均误差值除以实际瞳孔边缘点 到标定瞳孔中心的欧氏距离的平方和，把大量手 工标定出的瞳孔中心的位置定为瞳孔标定中心 (a) (b) 与此同时，本文也对两种算法检测瞳孔所在椭圆 的检测速度进行了比较.表1是采用文献[9]方法 的检测误差和本文方法的检测误差的结果对比， 表2是两种算法的检测速度的对比，可以看出，采 用本文的方法拟合的瞳孔边缘时，拟合的误差更 (c) (d) 小，精度更高，但相应的检测速度略慢 图20两种方法结果对比.(a)示例1文献[9方法；(b)示例2本文 瞳孔中心定位实验中分别对10个人的左、右 方法，(c)示例1文献[9]方法，(d)示例2本文方法 表1算法检测误差比较 Fig.20 Comparison of the methods of fitting results:(a)result of literature [9]method:(b)result of this paper's method,(c)result of Table 1 Comparison of measurement errors between algorithms literature [9]method;(d)result of this paper's method 平均误差率/% 示例 为了度量提取的瞳孔所在椭圆的精度，使用 文献[9]方法 本文方法 平均误差值来度量椭圆拟合的精度.平均误差值 Fig.2O(a) 9.82 5.47 的含义是实际瞳孔边缘点到拟合出的椭圆边界点 Fig.20(c) 7.73 4.52
素的灰度图像，来自一段视频图像. 在 3.2 GHz CPU、2G 内存的硬件设备下进行实验，用 VS2010 编程实现. 本文的头盔式视线追踪系统硬件如图 18 所示. 本文的瞳孔定位过程包括如下步骤：图像预处 理、自适应阈值分割、腐蚀膨胀、瞳孔粗定位、用 梯度法获取瞳孔轮廓特征点、使用椭圆拟合瞳孔 轮廓确定瞳孔中心、瞳孔的亚像素定位，如图 19 所示. 当眼睑遮挡瞳孔时，采用文献 [9] 方法拟合与 采用本文方法拟合的两种结果如图 20 所示. 将两 种拟合结果进行对比，明显可以看出按照本文方 法拟合的椭圆更接近瞳孔的真正边缘，可以更好 地恢复出完整的瞳孔椭圆，具有良好的鲁棒性. 为了度量提取的瞳孔所在椭圆的精度，使用 平均误差值来度量椭圆拟合的精度. 平均误差值 的含义是实际瞳孔边缘点到拟合出的椭圆边界点 距离的平方和（不计算瞳孔遮挡边缘部分），平均 误差率的含义是平均误差值除以实际瞳孔边缘点 到标定瞳孔中心的欧氏距离的平方和，把大量手 工标定出的瞳孔中心的位置定为瞳孔标定中心. 与此同时，本文也对两种算法检测瞳孔所在椭圆 的检测速度进行了比较. 表 1 是采用文献 [9] 方法 的检测误差和本文方法的检测误差的结果对比， 表 2 是两种算法的检测速度的对比，可以看出，采 用本文的方法拟合的瞳孔边缘时，拟合的误差更 小，精度更高，但相应的检测速度略慢. 瞳孔中心定位实验中分别对 10 个人的左、右 表 1 算法检测误差比较 Table 1 Comparison of measurement errors between algorithms 示例 平均误差率/% 文献[9]方法 本文方法 Fig.20(a) 9.82 5.47 Fig.20(c) 7.73 4.52 相机 半透半反镜 屏幕 腮托 图 18 系统硬件 Fig.18 Hardware of the system (a) (d) (b) (e) (c) (f) 图 19 图像处理结果. (a) 人眼图像; (b) 二值化; (c) 腐蚀膨胀; (d) 瞳孔粗定位; (e) 瞳孔精确分割; (f) 瞳孔拟合 Fig.19 Results of image processing: (a) eye image; (b) binarization; (c) erosion and dilation; (d) pupil coarse localization; (e) accurate pupil segmentation; (f) pupil fitting (a) (b) (c) (d) 图 20 两种方法结果对比. (a) 示例 1 文献 [9] 方法; (b) 示例 2 本文 方法; (c) 示例 1 文献 [9] 方法; (d) 示例 2 本文方法 Fig.20 Comparison of the methods of fitting results: (a) result of literature [9] method; (b) result of this paper ’s method; (c) result of literature [9] method; (d) result of this paper’s method · 1490 · 工程科学学报，第 41 卷，第 11 期
李擎等：视线追踪中一种新的由粗及精的瞳孔定位方法 1491 表2瞳孔定位算法速度比较 研究分析，改进光源的效果以提高瞳孔定位算法 Table 2 Comparison pupil localization speeds between algorithms 速度与精度. 时间开销/ms 示例 参考文献 文献[9]方法 本文方法 Fig.20(a) 13 6 [1]Zhang C,Chi J N,Zhang Z H,et al.Gaze estimation in a gaze Fig.20(c) 14 公 tracking system.Scientia Sinica Informationis,2011,41(5):580 (张闯，迟健男，张朝晖，等.视线追踪系统中视线估计方法研究 眼进行了图像采集，每只眼睛的瞳孔图像挑选了 中国科学：信息科学，2011,41(5)：580) [2] Zhu B,Chi J N,Zhang T X.Gaze point compensation method 40幅，共400幅图像，并对图像按质量分为中和低 under head movement in gaze tracking system.J Higlnway 2类，其中，中等质量的图像200幅，低质量的图像 Transportation Res Dev,2013,30(10):105 200幅.中等质量的图像没有离焦模糊和运动模 (朱博，迟健男，张天侠.视线追踪系统头动状态下的视线落点 糊，清晰度较高，儿乎不受眼睑和睫毛等的影响； 补偿方法.公路交通科技，2013,30(10)：105) 低等质量的图像清晰度一般，有部分的睫毛或眼 [3]Chi J N,Zhang C,Qin Y J,et al.Pupil tracking method based on particle filtering in gaze tracking system.Int J Phys Sci,2011, 睑遮挡等影响.表3给出了文献[9)算法对不同质 6(5):1233 量图像进行瞳孔边界定位的处理精度，通过典型 [4]Jarjes AA,Wang K Q,Mohammed G J.Iris localization: 算法对不同质量图像的实验结果分析可知：就定 Detecting accurate pupil contour and localizing limbus 位精度而言，对于中等质量的瞳孔图像，本文提出 boundaryll2nd International Asia Conference on Informatics in 的瞳孔定位算法与文献[9]算法都能准确地进行 Control,Automation and Robotics.Wuhan,2010:349 瞳孔边界定位，对于低等质量的瞳孔图像，本算法 [5]Tian Z C.Qin H B.Real-time driver's eye state detection//IEEE International Conference on Vehicular Electronics and Safety. 的瞳孔定位精度要高于文献[9算法.综上所述， Xan,2005:285 文献[9]提出的算法对瞳孔图像质量要求高，本文 [6]Kallel I K,Masmoudi D S,Derbel N.Fast pupil location for better 提出的算法对图像质量要求低，且处理精度更高， iris detection//6th International Multi-Conference on Systems. 能够较好地定位瞳孔，尤其是有部分遮挡的瞳孔. Signals and Devices.Djerba,2009:1 [7]Nair P S,Saunders Jr A T.Hough transform based ellipse 表3瞳孔定位算法精度比较 detection algorithm.Pattern Recognit Len,199,17(7):777 Table 3 Comparison of pupil localization accuracies between algorithms [8] Wang Y H,Zhu Y,Tan T N.Biometrics personal identification based on iris patter.Acta Autom Sinica,2002,28(1):1 定位精度% 算法 (王蕴红，朱勇，谭铁牛基于虹膜识别的身份鉴别.自动化学报 一般质量图片 低质量图片 2002,28(1):1) 文献[9]方法 92.0 67.5 [9] Wang JN.Liu T,He D.et al.Pupil center localization algorithm 本文方法 96.0 78.5 used for the IR head-mounted eye tracker.J Xidian Univ Nat Sci, 2011,38(3):7 4结论 (王军宁，刘涛，何迪，等.红外头盔式眼动仪的瞳孔中心定位算 法.西安电子科技大学学报（自然科学版），2011,38(3)：7) 本文采用了由粗及精的瞳孔定位的思想，提 [10]Liu Y,Gong W G,Li W H.Robust classifier based two-layer 出了一种高精度的瞳孔定位算法，依次使用改进 Adaboost for precise eye location.Comput Appl,08,28(3): 的OT$U自适应阈值分割，瞳孔粗定位，瞳孔边缘 801 点提取和亚像素精确定位.通过实验验证，证明了 (刘艺，龚卫国，李伟红.双层结构Adaboost健壮分类器用于人眼 该算法是一种实现简单、定位精确的算法.对于 精确定位.计算机应用，2008,28(3)：801) 暗光照下的瞳孔、部分遮挡的瞳孔，本文方法均具 [11]Xu P,Tong G,Qu J.Face detection in video based on AdaBoost 有良好的鲁棒性和较高的精度 algorithm and eye location.Video Eng,2011,35(9):114 实验过程中同时发现，当遮挡超过瞳孔椭圆 (徐品，童癸，瞿静，基于AdaBoost算法和人眼定位的动态人脸 检测.电视技术，2011,35(9)：114) 面积的一半时，本文的方法无法精确检测.因此， [12]Long L M.Research on Face Detection Method and Eye 如何在遮挡面积比较大的情况下，进行瞳孔参数 Localization Algorithm Based on Adaboost[Dissertation]. 的精确检测是今后工作的重点.另外，今后还需要 Chengdu:University of Electronic Science and Technology of 进行大规模的实验样本（包括不同种族的人群）的 China.2008
眼进行了图像采集，每只眼睛的瞳孔图像挑选了 40 幅，共 400 幅图像，并对图像按质量分为中和低 2 类，其中，中等质量的图像 200 幅，低质量的图像 200 幅. 中等质量的图像没有离焦模糊和运动模 糊，清晰度较高，几乎不受眼睑和睫毛等的影响； 低等质量的图像清晰度一般，有部分的睫毛或眼 睑遮挡等影响. 表 3 给出了文献 [9] 算法对不同质 量图像进行瞳孔边界定位的处理精度，通过典型 算法对不同质量图像的实验结果分析可知：就定 位精度而言，对于中等质量的瞳孔图像，本文提出 的瞳孔定位算法与文献 [9] 算法都能准确地进行 瞳孔边界定位，对于低等质量的瞳孔图像，本算法 的瞳孔定位精度要高于文献 [9] 算法. 综上所述， 文献 [9] 提出的算法对瞳孔图像质量要求高，本文 提出的算法对图像质量要求低，且处理精度更高， 能够较好地定位瞳孔，尤其是有部分遮挡的瞳孔. 4 结论 本文采用了由粗及精的瞳孔定位的思想，提 出了一种高精度的瞳孔定位算法，依次使用改进 的 OTSU 自适应阈值分割，瞳孔粗定位，瞳孔边缘 点提取和亚像素精确定位. 通过实验验证，证明了 该算法是一种实现简单、定位精确的算法. 对于 暗光照下的瞳孔、部分遮挡的瞳孔，本文方法均具 有良好的鲁棒性和较高的精度. 实验过程中同时发现，当遮挡超过瞳孔椭圆 面积的一半时，本文的方法无法精确检测. 因此， 如何在遮挡面积比较大的情况下，进行瞳孔参数 的精确检测是今后工作的重点. 另外，今后还需要 进行大规模的实验样本（包括不同种族的人群）的 研究分析，改进光源的效果以提高瞳孔定位算法 速度与精度. 参 考 文 献 Zhang C, Chi J N, Zhang Z H, et al. Gaze estimation in a gaze tracking system. Scientia Sinica Informationis, 2011, 41（5）: 580 （张闯, 迟健男, 张朝晖, 等. 视线追踪系统中视线估计方法研究. 中国科学: 信息科学, 2011, 41（5）：580 ） [1] Zhu B, Chi J N, Zhang T X. Gaze point compensation method under head movement in gaze tracking system. J Highway Transportation Res Dev, 2013, 30（10）: 105 （朱博, 迟健男, 张天侠. 视线追踪系统头动状态下的视线落点 补偿方法. 公路交通科技, 2013, 30（10）：105 ） [2] Chi J N, Zhang C, Qin Y J, et al. Pupil tracking method based on particle filtering in gaze tracking system. Int J Phys Sci, 2011, 6（5）: 1233 [3] Jarjes A A, Wang K Q, Mohammed G J. Iris localization: Detecting accurate pupil contour and localizing limbus boundary//2nd International Asia Conference on Informatics in Control, Automation and Robotics. Wuhan, 2010: 349 [4] Tian Z C, Qin H B. Real-time driver's eye state detection//IEEE International Conference on Vehicular Electronics and Safety. Xi'an, 2005: 285 [5] Kallel I K, Masmoudi D S, Derbel N. Fast pupil location for better iris detection//6th International Multi-Conference on Systems, Signals and Devices. Djerba, 2009: 1 [6] Nair P S, Saunders Jr A T. Hough transform based ellipse detection algorithm. Pattern Recognit Lett, 1996, 17（7）: 777 [7] Wang Y H, Zhu Y, Tan T N. Biometrics personal identification based on iris pattern. Acta Autom Sinica, 2002, 28（1）: 1 （王蕴红, 朱勇, 谭铁牛. 基于虹膜识别的身份鉴别. 自动化学报, 2002, 28（1）：1 ） [8] Wang J N, Liu T, He D, et al. Pupil center localization algorithm used for the IR head-mounted eye tracker. J Xidian Univ Nat Sci, 2011, 38（3）: 7 （王军宁, 刘涛, 何迪, 等. 红外头盔式眼动仪的瞳孔中心定位算 法. 西安电子科技大学学报(自然科学版), 2011, 38（3）：7 ） [9] Liu Y, Gong W G, Li W H. Robust classifier based two-layer Adaboost for precise eye location. J Comput Appl, 2008, 28（3）: 801 （刘艺, 龚卫国, 李伟红. 双层结构Adaboost健壮分类器用于人眼 精确定位. 计算机应用, 2008, 28（3）：801 ） [10] Xu P, Tong G, Qu J. Face detection in video based on AdaBoost algorithm and eye location. Video Eng, 2011, 35（9）: 114 （徐品, 童癸, 瞿静. 基于AdaBoost算法和人眼定位的动态人脸 检测. 电视技术, 2011, 35（9）：114 ） [11] Long L M. Research on Face Detection Method and Eye Localization Algorithm Based on Adaboost[Dissertation]. Chengdu: University of Electronic Science and Technology of China, 2008 [12] 表 2 瞳孔定位算法速度比较 Table 2 Comparison pupil localization speeds between algorithms 示例 时间开销/ms 文献[9]方法 本文方法 Fig.20(a) 13 16 Fig.20(c) 14 17 表 3 瞳孔定位算法精度比较 Table 3 Comparison of pupil localization accuracies between algorithms 算法 定位精度/% 一般质量图片 低质量图片 文献[9]方法 92.0 67.5 本文方法 96.0 78.5 李 擎等： 视线追踪中一种新的由粗及精的瞳孔定位方法 · 1491 ·
.1492 工程科学学报，第41卷，第11期 (龙伶敏.基于Adaboost的人脸检测方法及限睛定位算法研究 射中心提取算法.智能系统学报，2012,7(5)：423) [学位论文].成都：电子科技大学，2008) [17]Liu R A,Jin S J,Li WQ,et al.Subpixel edge detection and center [13]Lin M Z.Research on Face Recognition Based on Deep localization of the pupil.Compu Eng ppl,2007,43(5):200 Learning[Dissertation].Dalian:Dalian University of Technology (刘瑞安，靳世久，李文清，等.瞳孔亚像素边缘检测与中心定位 2013 计算机工程与应用，2007,43(5)：200) (林妙真.基于深度学习的人脸识别研究学位论文].大连：大连 [18]Yan B.Wang B.Li Y.Optimal ellipse fitting method based on 理工大学，2013) least-square principle.J Beijing Univ Aeron Astron,2008,34(3): [14]Otsu N.A threshold selection method from gray-level histograms. 295 IEEE Trans Syst Man Cybern,1979,9(1):62 (阁蓓，王斌，李媛.基于最小二乘法的椭圆拟合改进算法.北京 [15]Yang X F,Qin Y C.Li T,et al.Eye localization optimization 航空航天大学学报，2008.34(3)：295) method based on YCb'Cr'skin color feature and Otsu algorithm.J [19]Pan L,Wei L F,Zheng B K,et al.Improved method for the pupil Nanjing Univ Posts Telecommun Nat Sci,2014,34(1):99 measurement under occlusion.J Image Graphics,2012,17(2): (杨秀芳，戚银城，李婷，等.基于YCb'Cr'肤色特征和Otsu算法的 229 人眼定位优化方法.南京邮电大学学报（自然科学版），2014， (潘林，魏丽芳，郑炳锟，等.改进的遮挡条件下瞳孔检测方法 34(1):99） 中国图象图形学报，2012,17(2)：229) [16]Wang J R,Yuan X H,Liu Z L.An extraction method of pupil and [20]Yuan WQ,Qiao Y Q.Detection of eyelash occlusions method for corneal reflection centers based on image processing technology. the iris recognition.Opto-Electron Eng,2008,35(6):124 CAAI Trans Intell Syst,2012,7(5):423 (苑玮琦，乔一勤.一种用于虹膜识别的眼睫毛遮挡检测算法， (王锦榕，袁学海，刘增良.基于图像处理技术的瞳孔和角膜反 光电工程，2008,35(6)：124)
（龙伶敏. 基于Adaboost的人脸检测方法及眼睛定位算法研究 [学位论文]. 成都: 电子科技大学, 2008） Lin M Z. Research on Face Recognition Based on Deep Learning[Dissertation]. Dalian: Dalian University of Technology, 2013 （林妙真. 基于深度学习的人脸识别研究[学位论文]. 大连: 大连 理工大学, 2013） [13] Otsu N. A threshold selection method from gray-level histograms. IEEE Trans Syst Man Cybern, 1979, 9（1）: 62 [14] Yang X F, Qin Y C, Li T, et al. Eye localization optimization method based on YCb’Cr’ skin color feature and Otsu algorithm. J Nanjing Univ Posts Telecommun Nat Sci, 2014, 34（1）: 99 （杨秀芳, 戚银城, 李婷, 等. 基于YCb’Cr’肤色特征和Otsu算法的 人眼定位优化方法. 南京邮电大学学报(自然科学版), 2014, 34（1）：99 ） [15] Wang J R, Yuan X H, Liu Z L. An extraction method of pupil and corneal reflection centers based on image processing technology. CAAI Trans Intell Syst, 2012, 7（5）: 423 （王锦榕, 袁学海, 刘增良. 基于图像处理技术的瞳孔和角膜反 [16] 射中心提取算法. 智能系统学报, 2012, 7（5）：423 ） Liu R A, Jin S J, Li W Q, et al. Subpixel edge detection and center localization of the pupil. Comput Eng Appl, 2007, 43（5）: 200 （刘瑞安, 靳世久, 李文清, 等. 瞳孔亚像素边缘检测与中心定位. 计算机工程与应用, 2007, 43（5）：200 ） [17] Yan B, Wang B, Li Y. Optimal ellipse fitting method based on least-square principle. J Beijing Univ Aeron Astron, 2008, 34（3）: 295 （阎蓓, 王斌, 李媛. 基于最小二乘法的椭圆拟合改进算法. 北京 航空航天大学学报, 2008, 34（3）：295 ） [18] Pan L, Wei L F, Zheng B K, et al. Improved method for the pupil measurement under occlusion. J Image Graphics, 2012, 17（2）: 229 （潘林, 魏丽芳, 郑炳锟, 等. 改进的遮挡条件下瞳孔检测方法. 中国图象图形学报, 2012, 17（2）：229 ） [19] Yuan W Q, Qiao Y Q. Detection of eyelash occlusions method for the iris recognition. Opto-Electron Eng, 2008, 35（6）: 124 （苑玮琦, 乔一勤. 一种用于虹膜识别的眼睫毛遮挡检测算法. 光电工程, 2008, 35（6）：124 ） [20] · 1492 · 工程科学学报，第 41 卷，第 11 期