李擎等：视线追踪中一种新的由粗及精的瞳孔定位方法 ·1485 在日常生活中，人们获取到的外界信息的方 获取待分割 改进的OTSL 瞳孔区域粗 瞳孔边缘点 式有80%是通过眼睛.视线直接性、自然性和双 人眼图像 分割瞳孔 定位 提取 向性等特点使得视线追踪技术在许多领域有着广 遮挡瞳孔 拟合瞳孔 泛的应用，如广告分析研究、人机交互、场景研 亚像素定位 的补偿 椭圆 瞳孔边缘点 究、动态分析等-习 图1算法流程图 视线追踪技术的基本原理是对眼部图像进行 Fig.1 Flow diagram of algorithm 处理，提取眼晴特征，得到视线参数，最后根据模 型估算出用户的屏幕注视点或者视线方向.眼睛 眼图像，采用改进的最大类间方差法4(OTSU) 特征提取是视线追踪技术中的重要部分.其中，视 自适应分割人眼图像，先粗定位瞳孔区域.然后利 线追踪系统中瞳孔的精确定位又是重中之重 用瞳孔边缘像素的灰度梯度特性准确提取瞳孔边 目前人眼检测算法主要包括基于图像处理 缘点，排除亮斑对瞳孔边缘点提取的影响，亚像素 的方法和基于统计学习的方法.基于图像处理的 定位瞳孔边缘点，最后利用最小二乘法对瞳孔边 瞳孔检测的方法主要有基于灰度积分投影的方 缘点进行多次拟合，求出瞳孔边缘点所在的椭圆 法-6和基于霍夫圆变换的瞳孔检测-等方法 如果瞳孔存在遮挡，对遮挡瞳孔提出了一种等距 灰度积分投影算法利用了瞳孔区域灰度值较低的 离瞳孔补偿的方法 特性，对图像水平方向进行积分投影，投影所得的 1.1瞳孔粗定位 曲线上会有一个明显的波谷区域，该波谷区域是 最大类间方差(OTSU)分割通常是全局寻找 瞳孔部分在垂直方向上的大致投影位置.该算法 最优阈值，由于实验中拍摄的图像整体较暗，直接 只计算图像像素的灰度值，计算量小，处理速度 用全局OTSU分割效果不好，因此本文提出了一 快.睫毛、眼镜和不均匀光照等干扰因素会使得 种改进的OTSU自适应阈值分割算法对人眼图像 灰度积分投影曲线的波谷区域发生变化，出现多 进行分割 个波谷或波谷偏移的情况，因此检测误差较大 对一幅灰度图像进行阈值分割时，需要通过 基于Hough变换的椭圆检测算法较早用于瞳孔 一个灰度级（假定为k)去进行类别的区分，假定这 检测，利用边缘提取算法定位出瞳孔边界点，再 幅灰度图像的灰度级分为[0,1，…，t-2,t-1],再令 用霍夫圆变换的方法对瞳孔边缘点进行拟合，该 C代表前景（瞳孔），C代表背景（瞳孔以外部分）， 方法具有瞳孔边缘提取不准确，圆拟合速度慢的 则Co表示灰度级为0,1，…，k-1]的像素点，C1表示 缺点.文献[9]存在瞳孔边缘点检测速度慢的问 灰度级为k,…,-1]的像素点.式中为灰度值， 题，而且对遮挡瞳孔的定位效果不好，不能精确 o为前景（瞳孔）像素点占整幅图像像素点的比 定位瞳孔遮挡时瞳孔的精确位置，基于统计学习 例，w为背景（瞳孔以外部分）像素点占整幅图像 的人眼检测算法主要有adaboost算法uo-和deep 像素点的比例.对于每一类出现的概率P()如式(1) learning算法I),这两种算法在人眼检测领域都有 所示： 较好的效果.基于统计的算法需要大量的训练样 本，其训练过程和分类器构成复杂，基于统计学习 wo=P(Co) 的算法无法精确定位瞳孔，无法满足瞳孔定位的 (1) 精度要求 w1=P(C1)= 视线追踪中需要精确定位瞳孔，本文基于图 像处理的方法，采用了由粗及精的瞳孔定位思想， 其中，p为灰度级i出现的概率，o+w1=1.另外， 提出了一种高精度的瞳孔定位算法.首先粗定位 定义w(为结合灰度值的概率计算函数，并令 瞳孔区域，然后精确定位瞳孔边缘点，亚像素定位 wk=wo,则每一类的平均灰度如式(2)所示： 瞳孔边缘点，最后拟合出瞳孔边缘点所在的椭圆， k- -1 针对瞳孔遮挡，提出了一种等距离瞳孔补偿的方 i·PdCo=∑i-p,/wo=uk/w肉 法.该算法有效提高了瞳孔定位的精度 i=0 t-1 1算法原理 M= i·P(C)=〉i·P/w1=u总-u/[1-w(k] i= 本文算法流程图如图1所示，首先相机拍摄人 (2)在日常生活中，人们获取到的外界信息的方 式有 80% 是通过眼睛. 视线直接性、自然性和双 向性等特点使得视线追踪技术在许多领域有着广 泛的应用，如广告分析研究、人机交互、场景研 究、动态分析等[1−3] . 视线追踪技术的基本原理是对眼部图像进行 处理，提取眼睛特征，得到视线参数，最后根据模 型估算出用户的屏幕注视点或者视线方向. 眼睛 特征提取是视线追踪技术中的重要部分. 其中，视 线追踪系统中瞳孔的精确定位又是重中之重. 目前人眼检测算法主要包括基于图像处理 的方法和基于统计学习的方法. 基于图像处理的 瞳孔检测的方法主要有基于灰度积分投影的方 法[4−6] 和基于霍夫圆变换的瞳孔检测[7−8] 等方法. 灰度积分投影算法利用了瞳孔区域灰度值较低的 特性，对图像水平方向进行积分投影，投影所得的 曲线上会有一个明显的波谷区域，该波谷区域是 瞳孔部分在垂直方向上的大致投影位置. 该算法 只计算图像像素的灰度值，计算量小，处理速度 快. 睫毛、眼镜和不均匀光照等干扰因素会使得 灰度积分投影曲线的波谷区域发生变化，出现多 个波谷或波谷偏移的情况，因此检测误差较大. 基于 Hough 变换的椭圆检测算法较早用于瞳孔 检测，利用边缘提取算法定位出瞳孔边界点，再 用霍夫圆变换的方法对瞳孔边缘点进行拟合，该 方法具有瞳孔边缘提取不准确，圆拟合速度慢的 缺点. 文献 [9] 存在瞳孔边缘点检测速度慢的问 题，而且对遮挡瞳孔的定位效果不好，不能精确 定位瞳孔遮挡时瞳孔的精确位置. 基于统计学习 的人眼检测算法主要有 adaboost 算法[10−12] 和 deep learning 算法[13] ，这两种算法在人眼检测领域都有 较好的效果. 基于统计的算法需要大量的训练样 本，其训练过程和分类器构成复杂，基于统计学习 的算法无法精确定位瞳孔，无法满足瞳孔定位的 精度要求. 视线追踪中需要精确定位瞳孔，本文基于图 像处理的方法，采用了由粗及精的瞳孔定位思想， 提出了一种高精度的瞳孔定位算法. 首先粗定位 瞳孔区域，然后精确定位瞳孔边缘点，亚像素定位 瞳孔边缘点，最后拟合出瞳孔边缘点所在的椭圆. 针对瞳孔遮挡，提出了一种等距离瞳孔补偿的方 法. 该算法有效提高了瞳孔定位的精度. 1    算法原理 本文算法流程图如图 1 所示，首先相机拍摄人 眼图像，采用改进的最大类间方差法[14−15] （OTSU） 自适应分割人眼图像，先粗定位瞳孔区域. 然后利 用瞳孔边缘像素的灰度梯度特性准确提取瞳孔边 缘点，排除亮斑对瞳孔边缘点提取的影响，亚像素 定位瞳孔边缘点，最后利用最小二乘法对瞳孔边 缘点进行多次拟合，求出瞳孔边缘点所在的椭圆. 如果瞳孔存在遮挡，对遮挡瞳孔提出了一种等距 离瞳孔补偿的方法. 1.1    瞳孔粗定位 最大类间方差（OTSU）分割通常是全局寻找 最优阈值，由于实验中拍摄的图像整体较暗，直接 用全局 OTSU 分割效果不好，因此本文提出了一 种改进的 OTSU 自适应阈值分割算法对人眼图像 进行分割. k [0,1,··· ,t−2,t−1] C0 C1 C0 [0,1,··· , k−1] C1 [k,··· ,t−1] t w0 w1 对一幅灰度图像进行阈值分割时，需要通过 一个灰度级（假定为 ）去进行类别的区分. 假定这 幅灰度图像的灰度级分为 ，再令 代表前景（瞳孔）， 代表背景（瞳孔以外部分）， 则 表示灰度级为 的像素点， 表示 灰度级为 的像素点. 式中 为灰度值 ， 为前景（瞳孔）像素点占整幅图像像素点的比 例， 为背景（瞳孔以外部分）像素点占整幅图像 像素点的比例. 对于每一类出现的概率 P( ) 如式 (1) 所示：    w0 = P(C0) = ∑ k−1 i=0 pi w1 = P(C1) = ∑t−1 i=k pi （1） pi i w0 +w1 = 1 w(k) w(k) = w0 其中， 为灰度级 出现的概率， . 另外， 定 义 为结合灰度值的概率计算函数 ，并令 ，则每一类的平均灰度如式 (2) 所示：    u0 = ∑ k−1 i=0 i· P(i|C0) = ∑ k−1 i=0 i· pi/w0 = u(k)/w(k) u1 = ∑t−1 i=k i· P(i|C1)= ∑t−1 i=k i· pi/w1 = [ u总−u(k) ] / [1−w(k)] （2） 获取待分割 人眼图像 改进的OTSU 分割瞳孔 瞳孔区域粗 定位 瞳孔边缘点 提取 亚像素定位 瞳孔边缘点 拟合瞳孔 椭圆 遮挡瞳孔 的补偿 图 1    算法流程图 Fig.1    Flow diagram of algorithm 李    擎等： 视线追踪中一种新的由粗及精的瞳孔定位方法 · 1485 ·