一种近红外眼睛定位及眼睛状态识别方法

摘要

本发明公开了一种近红外眼睛定位及眼睛状态识别方法，属于图像处理和模式识别领域，适用于驾驶员疲劳检测，视线跟踪。该方法首先对输入的近红外图像进行人脸定位，然后利用基于级联结构的近红外眼睛定位算法定位眼睛区域，最后利用基于HOG-LBP特征融合的眼睛状态识别算法判定眼睛状态。该方法在红外条件下能够鲁棒地定位睁闭眼睛两种情况，并准确地识别眼睛状态，同时计算复杂度不高，满足实时性要求。

说明书

技术领域

本发明属于图像处理和模式识别领域，具体涉及一种近红外眼睛定位及眼睛状态识别 方法。

背景技术

眼睛是人脸生物特征识别的重要组成部分，因此眼睛的精确位置信息及眼睛状态在驾 驶员疲劳检测、视线跟踪等智能系统有广泛应用。

根据眼睛定位方法所采用的特征和模型可以分为以下三类：

第一类是基于眼睛外观特征的定位方法，如眼睛固有形状、瞳孔、虹膜和眼白的灰度 分布、亮瞳效应。这类定位方法依赖于好的成像条件，在驾驶环境中，需克服光照、头部 转动、戴眼镜等诸多不可控条件，才能有较好定位效果。

第二类是基于特征描述子的统计学习方法，即提取有用的视觉特征，在大量眼睛训练 样本基础上建立眼睛定位模型。如通过Adaboost算法训练基于Haar特征的眼睛级联分类 器，但是目前方法大部分只提取睁眼时的特征描述子，因此，定位睁眼的眼睛具有较好的 性能，而闭眼时定位算法失效。

第三类方法是利用眼睛的空间结构信息建立眼睛定位模型。主动形状模型是一种具有 代表性的图形结构模型，这种模型用形状向量来描述物体形状的变化，这类方法能同时定 位睁眼和闭眼，但是计算复杂度高，不能满足实时性要求。

根据眼睛状态识别方法采用的特征和模型可以分为以下两类：

第一类是基于外貌特征的眼睛状态判别方法，利用眼睛的一些固有外观特征进行识别， 比如眼睛虹膜的形状、眼睑的曲率、眼睛的灰度分布等。眼睛的一些固有外观特征会受到 外界的环境影响而发生改变，在实际不可控的条件下，这种方法往往变得并不可靠。

第二类是基于统计学习的眼睛状态判别方法，这种方法往往需要大量不同变化模式下 的训练样本，这样才能让学习模型能够有足够好的泛化能力，因此它在处理不确定样本数 据时，比基于外貌特征的识别方法表现出更好的稳定性和鲁棒性。

在实际应用中，为了减少复杂光照的影响，同时满足夜间使用的要求，很多智能系统 采用主动近红外光源和窄带滤光片相结合的图像采集系统。然而近红外眼睛图像中虹膜消 失，图像噪声增大，与自然光谱下图像有较大差别，并且在实际应用环境中，眼镜反光、 睁闭眼、头部转动使得目前存在的眼睛定位及眼睛状态识别算法性能都出现大幅度下降， 使用单一的特征或定位方法不能保证在所有应用环境下的鲁棒性。

发明内容

本发明的目的在于提出一种近红外眼睛定位及眼睛状态识别方法，在红外条件下，能 够克服睁闭眼、眼镜反光、头部转动等因素的影响，实时地准确定位眼睛位置并输出眼睛 状态，从而提高相应智能系统的鲁棒性。

实现本发明目的的技术解决方案为：

一种近红外眼睛定位及眼睛状态识别方法，包括如下步骤：

步骤1：获取一帧近红外图像，所述近红外图像由具有850nm主动近红外光源和窄带滤 光片的图像采集系统获得，在获取的近红外图像上定位人脸区域，如果定位成功，获取人 脸图像，执行步骤2，否则继续获取下一帧红外图像；

步骤2：在获取的人脸图像上利用基于级联结构的近红外眼睛定位算法定位眼睛区域， 如果定位成功，获取眼睛图像，执行步骤3，否则执行步骤1；

步骤3：在获取的眼睛图像上利用基于HOG-LBP特征融合的近红外眼睛状态识别算法 判定眼睛状态，输出眼睛状态识别结果；

步骤4：重复步骤1～3，实时输出眼睛状态识别结果。

进一步的，步骤2具体包括以下步骤：

步骤2.1：利用人脸三庭五眼的比例划分人脸图像获得眼睛感兴趣区域，在获取的眼睛 感兴趣区域利用基于Haar特征的眼睛级联分类检测器定位眼睛区域，如果定位成功，即可 输出眼睛精确位置，获取眼睛图像，否则执行步骤2.2；

步骤2.2：在获取的眼睛感兴趣区域利用基于形态学的方法定位眼睛区域，如果定位成 功，即可输出眼睛精确位置，获取眼睛图像，否则这帧图像眼睛定位失败。

进一步的，所述步骤2.2中在获取的眼睛感兴趣区域利用基于形态学的方法定位眼睛 区域包括以下步骤：

步骤2.2.1：对眼睛感兴趣区域进行对数变换，并利用基于最大熵的自适应阈值分割算 法分割对数变换后的眼睛感兴趣区域，得到分割后的图像；

步骤2.2.2：利用形态学闭操作处理分割后的图像，并进行团块提取，根据团块的大小 和的设定值，去除不在设定值范围内的团块；

步骤2.2.3：计算团块的包围盒，如果团块的包围盒的宽度大于长度，则去除该团块；

步骤2.2.4：计算团块的质心位置，并搜索质心坐标在眼睛感兴趣区域中心点附近的矩 形区域内的最大团块，该最大团块的包围盒即为眼睛所在矩形位置，完成眼睛精确定位。

进一步的，所述基于Haar特征的眼睛级联分类检测器的训练包括：通过与步骤1相 同的图像采集系统采集适量近红外眼睛图像，包括睁眼和闭眼，将包含眉毛和眼睛的图像 作为正样本，非眼睛图像作为负样本，通过Adaboost算法训练基于Haar特征的眼睛级联 分类检测器。

进一步的，步骤3具体包括以下步骤：

将步骤2获取的眼睛图像大小归一化到近红外眼睛状态识别模型所采用的样本图像大 小，分别提取训练样本图像的HOG特征向量和LBP特征向量，并利用PCA方法进行降维， 串联两种降维后的特征向量得到HOG-LBP融合特征向量，利用训练得到的近红外眼睛状 态识别模型进行眼睛状态识别，最终输出此帧图像眼睛状态。

进一步的，近红外眼睛状态识别模型通过如下方法训练得到：

通过与步骤1中相同的图像采集系统，采集适量红外眼睛图像，包括睁眼和闭眼红外 眼睛图像，并归一化到64×48像素大小，作为训练样本图像；

分别提取训练样本图像的HOG(Histogram of Oriented Gradient,方向梯度直方图)特征 向量和LBP(Local Binary Pattern,局部二值模式)特征向量，并利用PCA(Principal Component  Analysis,主成分分析)方法进行降维，串联两种降维后的特征向量得到HOG-LBP融合特征 向量；

把所有训练样本图像的HOG-LBP融合特征向量输入到基于径向基核函数SVM(Support  Vector Machine,支持向量机)模型进行训练，得到近红外眼睛状态识别模型。

与现有技术相比，本发明具有如下优点和技术效果：

1、提出了一种近红外眼睛定位及眼睛状态识别方法，在红外条件下，能够克服睁闭眼、 眼镜反光、头部转动等因素的影响，鲁棒地定位眼睛位置并准确输出眼睛状态信息，从而 提高相应智能系统的鲁棒性；

2、本方法计算复杂度低，能够满足智能系统的实时性要求；

3、本方法采用图像采集系统应用广泛，配置简单、硬件成本低，易于推广。

附图说明

图1是本发明一种近红外眼睛定位及眼睛状态识别方法的整体流程图。

图2是近红外眼睛定位流程图。

图3是近红外眼睛状态识别流程图。

具体实施方式

下面结合附图对本发明的具体实施方式做进一步说明，以下仅为本发明的一种实施方 式，其具体步骤顺序和内容不用于限制本发明的所有可行的实施方式。

结合图1，本发明一种近红外眼睛定位及眼睛状态识别方法，具体实施方式如下：

步骤1：训练基于Haar特征的眼睛级联分类检测器，通过由850nm主动近红外光源和 窄带滤光片相结合的图像采集系统采集适量近红外眼睛图像，包括睁眼和闭眼，将包含眉 毛和眼睛的图像作为正样本，非眼睛图像作为负样本，通过Adaboost算法训练基于Haar 特征的眼睛级联分类检测器。

步骤2：训练近红外眼睛状态识别模型，结合图3，具体步骤如下：

2.1)：通过与步骤1中相同的图像采集系统适量红外眼睛图像，包括睁眼和闭眼，并归 一化到64×48像素大小，作为训练样本图像。

2.2)：提取样本图像的HOG特征，具体步骤如下：

a)：计算样本图像的梯度幅值和方向，使用一维微分模板对眼睛图像进行卷积计算，设 f(x,y)是(x,y)坐标像素点的灰度值，则像素点(x,y)的梯度幅值G(x,y)和梯度方向θ(x,y)如式 (1)和式(2)所示。

$G(x,y)=\sqrt{{(f(x+1,y)-f(x-1,y))}^2+{(f(x,y+1)-f(x,y-1))}^2}---\left(1\right)$

$\theta (x,y)={\tan }^{-1}\left(\frac{f(x,y+1)-f(x,y-1)}{f(x+1,y)-f(x-1,y)}\right)---\left(2\right)$

b)：计算细胞单元的方向梯度直方图，将整幅图像分割成8×8像素的细胞单元，计算 每一个细胞单元的梯度方向直方图。将梯度方向0-179度等分为9个等间隔的区间(bin)， 即(0,19)，(20,39)，…，(160,179)共9个方向区间，根据式(14)中计算得出的每个像素的梯 度方向投影到对应的细胞单元的9个方向区间，然后根据该像素的梯度幅值对相应方向区 间作加权累加。

c)：将每4个相邻的细胞单元组合一成16×16大小的块，同时采用滑动块对整幅眼睛 图像进行采样，滑动距离采用8个像素点，共得到35个块。对每个块提取36维方向直方 图向量，然后利用L2范数对齐进行归一化，形成HOG特征向量。

2.3)：提取样本图像的全局LBP特征，具体步骤如下：

a)：利用式(3)计算每个像素点的LBP_P,R特征值。

${\mathrm{LBP}}_{P,R}=\underset{P=0}{\overset{P-1}{\Sigma }}s(g_p-g_c)2^p---\left(3\right)$

其中，$s\left(x\right)=\left(\begin{array}{cc}1,& x\ge 0\\ 0,& x<0\end{array}\right),$g_c表示圆形中心点灰度值，g_p(p＝0,1,…,P-1)表示环绕以g_c为中心，R为半径圆形分布的像素点灰度值，R＞0。本方法取P为8，R为1。

b)：利用查表法将每个像素点的LBP_P,R特征值转换为均匀模式的LBP特征值，对整幅 样本图像进行直方图统计及L2范数归一化后，得到LBP特征向量，

2.4)：利用PCA方法分别对得到的HOG特向量征和LBP向量特征进行降维，串联两 种降维后的特征向量得到HOG-LBP融合特征向量。

2.5)：将所有样本图像的HOG-LBP特征向量输入基于径向基核函数的SVM模型中进 行训练，得到眼睛状态识别模型。

步骤3：获取一帧近红外图像，并在获取的近红外图像上利用基于Haar特征的人脸级 联分类检测器定位人脸区域，如果定位成功，获取人脸图像，执行步骤4，否则跳过此帧 图像，继续获取下一帧红外图像。

步骤4：在获取的人脸图像上利用基于级联结构的近红外眼睛定位算法定位眼睛区域， 结合图2，具体步骤如下

4.1)：利用人脸三庭五眼的比例划分步骤3获取的人脸图像，获取眼睛感兴趣区域，完 成眼睛区域粗定位。

4.2)：在获取的眼睛感兴趣区域利用步骤1训练得到的基于Haar特征的眼睛级联分类 检测器定位眼睛区域，具体步骤如下：

a)：提取眼睛感兴趣区域的所有待检测子窗口。

b)：利用训练得到的眼睛级联分类器中的各级强分类器对扫描窗口进行逐级筛选，如果 最终有窗口筛选通过，即为眉毛与眼睛区域，否则基于Haar特征的眼睛级联分类检测器定 位眼睛区域失败，继续执行步骤4.3)。

c)：利用眉毛眼睛区域的比例，去除获取的眉毛与眼睛区域中的眉毛，获取眼睛位置准 确信息，获取眼睛图像，执行步骤5。

4.3)：在获取的眼睛感兴趣区域利用基于形态学的方法定位眼睛区域，具体步骤如下：

a)：利用对数变化对获取的眼睛感兴趣区域进行图像预处理，如式(4)所示。

f(x,y)′＝c×log(k+f(x,y))   (4)

其中c和k为常数，且k≥0，f(x,y)和f(x,y)′是变换前后的像素灰度值。

b)：利用基于最大熵的自适应阈值分割算法分割眼睛感兴趣区域。通过一维灰度直方图 选择阈值，将图像分割为目标和背景，使得目标和背景的灰度概率分布信息熵之和最大。 假设分割阈值k将图像一维灰度直方图分割为目标和背景两部分，可以得到目标和背景的 灰度概率分布A，B：

$A:\frac{p_1}{P_k},\frac{p_2}{P_k},...,\frac{p_k}{P_k}---\left(5\right)$

$B:\frac{p_{k+1}}{{1-P}_k},\frac{p_{k+2}}{{1-P}_k},...,\frac{p_L}{{1-P}_k}---\left(6\right)$

$P_k={\Sigma }_{i=1}^k{p}_i,1-P_k={\Sigma }_{i=k+1}^L{p}_i---\left(7\right)$

则目标的信息熵H(A)如式(8)所示，背景的信息熵H(B)如式(9)所示。

$H\left(A\right)=-{\Sigma }_{i=1}^k\frac{p_i}{P_k}\ln \left(\frac{p_i}{P_k}\right)---\left(9\right)$

$H\left(B\right)=-{\Sigma }_{i=k+1}^L\frac{p_i}{1-P_k}\ln \left(\frac{p_i}{1-P_k}\right)---\left(9\right)$

图像分割后的总信息熵为H(k)＝H(A)+H(B)，求出使总信息熵H(k)最大的阈值k即 为最佳阈值。

c)：利用3×3结构元B对分割后的图像A进行闭操作，表示为A·B，定义如式(10)所 示。

其中，表示B对A进行膨胀，表示B对A进行腐蚀。膨胀使图像扩大而腐 蚀使图像缩小，从而填补轮廓线的断裂。

d)：对闭操作后的图像进行团块提取，根据团块大小的设定值，去除不在设定值范围内 的团块，其中设定值为团块大小应为50-300像素值之间。

e)：计算团块的包围盒，如果团块的包围盒的宽度大于长度，则去除该团块；。

f)：计算团块的质心位置。定义大小M×N的图像f(x,y)的二维(p+q)阶矩m_p,q如式(11) 所示，其中p为水平方向阶值,q为垂直方向阶值。

$m_{p,q}={\Sigma }_{y=1}^M{\Sigma }_{x=1}^N{x}^p{y}^{q}f(x,y)---\left(11\right)$

分别计算水平和垂直方向的一阶矩m₁₀,m₀₁，与零阶矩m₀₀相比即可得到团块的质心坐 标(x_center,y_center)，如式(12)所示。

$x_{\mathrm{center}}=\frac{m_{10}}{m_{00}},y_{\mathrm{cenyer}}=\frac{m_{01}}{m_{00}}---\left(12\right)$

g)：搜索质心坐标在眼睛感兴趣区域中心点附近的矩形区域内最大团块，设眼睛感兴趣 区域的宽为w，高为h，则搜索区域为最大团块即为眼睛团块, 该最大团块的包围盒即正好包含眼睛团块的最小矩形，为眼睛所在矩形位置，完成眼睛精 确定位。如果定位成功，即可获取眼睛图像，执行步骤5，否则此帧图像眼睛定位失败， 继续执行步骤3，获取下一帧红外图像。

步骤5：结合图3，将步骤3获取的眼睛区域大小归一化到64×48像素大小，按照步骤 2.3)-2.5)分别提取HOG特征向量和LBP特征向量，并利用PCA方法进行降维，串联两种 降维后的特征向量得到HOG-LBP融合特征向量，输入到步骤2训练得到的近红外眼睛状 态识别模型进行眼睛状态识别，最终输出此帧图像眼睛状态。

步骤6：重复步骤3～5，实时输出眼睛状态识别结果。