一种精准感知机动车驾驶人员头部动作的视觉感知系统

摘要

本申请实施例提供了一种精准感知机动车驾驶人员头部动作的视觉感知系统，用于对驾驶人员的头部动作进行精准识别，分析预警危险驾驶行为，提升行车的安全性。本申请实施例系统包括：头部姿态数据集标注单元、头部姿态算法单元、头部姿态估计单元和连续帧头部动作判定单元；头部姿态数据集标注单元用于对样本数据进行头部姿态分类标注，构建头部姿态估计训练数据集，样本数据包含至少一组驾驶人员头部视觉图像数据；头部姿态算法单元用于利用预设神经网络对头部姿态估计训练数据集进行学习，构建头部姿态估计模型；头部姿态估计单元用于利用头部姿态估计模型对驾驶人员头部姿态进行预测；连续帧头部动作判定单元用于判断并输出头部动作类型。

说明书

技术领域

本申请实施例涉及数据处理领域，尤其涉及一种精准感知机动车驾驶人员头部动作的视觉感知系统。

背景技术

近年来，随着社会的进步以及人民生活水平的提高，我国机动车保有量和驾驶人员的数量呈现井喷式增长，从而对道路交通的通畅以及道路道路交通安全带来了严峻的挑战。据统计，90％以上的道路交通安全事故与道路交通拥堵均由驾驶人员不良的驾驶行为因素引起。

现有技术中，可以实现对驾驶人员在驾驶过程中的头部动作进行一定的识别，但该识别依赖于使用传统的人脸关键点检测(眼睛、鼻子、嘴角等)和相机标定算法来计算欧拉角数值，再结合该欧拉角数值进行头部动作的判断。使用该方法所识别出的头部动作准确率不高，且在低分辨率场合可能会出现无法判断的情况。

发明内容

本申请实施例提供了一种精准感知机动车驾驶人员头部动作的视觉感知系统，用于对驾驶人员的头部动作进行精准识别，分析预警危险驾驶行为，提升行车的安全性。

本申请实施例提供了一种精准感知机动车驾驶人员头部动作的视觉感知系统，包括：头部姿态数据集标注单元、头部姿态算法单元、头部姿态估计单元和连续帧头部动作判定单元；

所述头部姿态数据集标注单元用于对样本数据进行头部姿态分类标注，构建头部姿态估计训练数据集，所述样本数据包含至少一组驾驶人员头部视觉图像数据；

所述头部姿态算法单元用于利用预设神经网络对所述头部姿态估计训练数据集进行学习，构建头部姿态估计模型；

所述头部姿态估计单元用于利用所述头部姿态估计模型对驾驶人员头部姿态进行预测；

所述连续帧头部动作判定单元用于判断并输出头部动作类型。

可选的，所述头部姿态数据集标注单元包括：视觉图像数据采集模块、第一人脸检测模块、面部角度分类标注模块和头部姿态数据集输出模块。

可选的，所述面部角度分类标注模块用于对所述样本数据分别在水平和垂直方向上进行角度分类标注。

可选的，所述头部姿态估计单元包括：视觉感知模块、预处理模块、第二人脸检测模块和头部姿态估计模块。

可选的，所述视觉感知模块用于利用单通道视觉感知设备采集驾驶人员在行驶过程中的视觉图像数据。

可选的，所述第二人脸检测模块用于通过人脸检测算法seetaface2检测人脸面部区域，并将截取的人脸面部图像输入所述头部姿态估计模块进行预测。

可选的，所述预设神经网络由6个卷积计算层、3个最大池化层和2个全连接层构成，采用交叉熵作为损失函数，采用Adam算法作为梯度下降优化方法。

可选的，所述预设神经网络的全连接层使用Leaky ReLU函数作为激活函数，最后一个全连接层使用softmax函数对图像进行水平和垂直方向分类。

可选的，所述头部姿态算法单元还用于对所述样本数据进行增广处理，所述增广处理包括使用角度旋转、缩放比例、裁剪、移位和高斯噪声等图像增广处理方法中的至少一种处理方法。

可选的，所述头部动作类型包括观察左视镜、观察右视镜、观察左右后视镜、低头挂挡中的至少一种类型。

从以上技术方案可以看出，本申请实施例具有以下优点：

本发明提供驾驶人员头部动作的视觉感知系统，本系统通过头部姿态数据集标注单元和头部姿态算法单元进行对驾驶人员头部视觉图像数据进行深度学习，建立头部姿态估计模型，头部姿态估计单元则采集驾驶人员在行驶过程中的视觉图像数据，并通过该头部姿态估计模型对驾驶人员头部姿态进行分类，进而通过连续帧头部动作判定单元来结合连续帧判断头部动作类型。本系统可适用于低分辨率以及部分面部特征缺失等场景，准确率高，鲁棒性强。

通过本系统，可在驾驶过程中对驾驶人员的头部动作进行精准识别，分析预警危险驾驶行为，提升行车的安全性。本系统还可用于对特定驾驶人的驾驶能力、安全驾驶意识以及安全驾驶行为习惯进行过程化评价，进而将评价结果实时反馈给学员和教练人员，从而显著提升培训效率和培训质量。

附图说明

图1为本申请实施例中精准感知机动车驾驶人员头部动作的视觉感知系统一个实施例结构示意图；

图2为本申请实施例中精准感知机动车驾驶人员头部动作的视觉感知系统另一实施例结构示意图。

具体实施方式

本申请实施例提供了一种精准感知机动车驾驶人员头部动作的视觉感知系统，用于对驾驶人员的头部动作进行精准识别，分析预警危险驾驶行为，提升行车的安全性。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本申请实施例提供的精准感知机动车驾驶人员头部动作的视觉感知系统一个实施例包括：头部姿态数据集标注单元101、头部姿态算法单元102、头部姿态估计单元103和连续帧头部动作判定单元104；

所述头部姿态数据集标注单元101用于对样本数据进行头部姿态分类标注，构建头部姿态估计训练数据集，所述样本数据包含至少一组驾驶人员头部视觉图像数据；

所述头部姿态算法单元102用于利用预设神经网络对所述头部姿态估计训练数据集进行学习，构建头部姿态估计模型；

所述头部姿态估计单元103用于利用所述头部姿态估计模型对驾驶人员头部姿态进行预测；

所述连续帧头部动作判定单元104用于判断并输出头部动作类型。

需要说明的是，头部姿态数据标注单元101在实际应用中，可通过采集若干名不同年龄段和性别的驾驶人员驾驶过程中在水平和垂直方向不同角度(-90°至90°，步长设置为30°)的面部图像，并将每种头部姿态作为一个分类，因此在水平和垂直方向上各有7个分类，以此构建头部姿态估计的训练数据集。

而在该头部姿态估计的训练集输入神经网络之前，还需要对数据集进行适当的增广处理，增广处理的目的是为了增加不同示例样本的数量，以及避免神经网络训练时发生过拟合的现象。在实际应用中，可通过角度旋转、缩放比例、裁剪、移位和高斯噪声等图像增广方法来增加不同示例样本的数量，每种增广技术确保增广后图像的含义与原图一致，使用增广处理可使所建CNN模型对真实环境下的轻微变化更为鲁棒。

需要说明的是，本发明中定义的神经网络模型由6个卷积计算层、3个最大池化层和2个全连接层构成，采用交叉熵作为损失函数，Adam作为梯度下降优化方法。卷积计算层使用ReLU作为激活函数，每两个卷积层后添加一个池化层，以减少可训练参数数量，并使用Dropout正则化技术防止过拟合现象；所述全连接层使用Leaky ReLU作为激活函数，最后一个全连接层使用softmax对图像进行水平和垂直方向分类。在实际应用中，为了同时训练水平和垂直方向两个分类，该神经网络最终的损失函数是两个分类产生的交叉熵损失的加权和。即通过训练最终构建出基于深度学习的头部姿态估计模型，用于对驾驶人员发生头部动作时水平和垂直方向的角度预测。

头部姿态估计模块103则是利用上述训练得到的头部姿态估计模型来对驾驶人员的头部姿态进行预测并获取驾驶人员面部在水平和垂直方向上的角度分类，再结合连续帧头部动作判定单元104来判定头部动作类型。在实际应用中，可以将其设定为如果连续n帧输出脸部朝向角度在水平或垂直方向与某头部动作的角度范围一致时，则输出最终的头部动作类型。

在本实施例中，通过头部姿态数据集标注单元101和头部姿态算法单元102进行对驾驶人员头部视觉图像数据进行深度学习，建立头部姿态估计模型，头部姿态估计单元103则采集驾驶人员在行驶过程中的视觉图像数据，并通过该头部姿态估计模型对驾驶人员头部姿态进行分类，进而通过连续帧头部动作判定单元104来结合连续帧判断头部动作类型。本系统可适用于低分辨率以及部分面部特征缺失等场景，准确率高，鲁棒性强。通过本系统，可在驾驶过程中对驾驶人员的头部动作进行精准识别，分析预警危险驾驶行为，提升行车的安全性。

下面对本申请实施例提供的精准感知机动车驾驶人员头部动作的视觉感知系统构成进行详细说明，请参阅图2，本申请实施例中精准感知机动车驾驶人员头部动作的视觉感知系统另一实施例包括：

头部姿态数据集标注单元201、头部姿态算法单元202、头部姿态估计单元203和连续帧头部动作判定单元204；

所述头部姿态数据集标注单元201用于对样本数据进行头部姿态分类标注，构建头部姿态估计训练数据集，所述样本数据包含至少一组驾驶人员头部视觉图像数据；

所述头部姿态算法单元202用于利用预设神经网络对所述头部姿态估计训练数据集进行学习，构建头部姿态估计模型；

所述头部姿态估计单元203用于利用所述头部姿态估计模型对驾驶人员头部姿态进行预测；

所述连续帧头部动作判定单元204用于判断并输出头部动作类型。

在本实施例中，所述头部姿态数据集标注单元201具体包括：视觉图像数据采集模块2011、第一人脸检测模块2012、面部角度分类标注模块2013和头部姿态数据集输出模块2014。

其中，所述面部角度分类标注模块2013具体用于对所述样本数据分别在水平和垂直方向上进行角度分类标注。

在本实施例中，所述头部姿态估计单元203具体包括：视觉感知模块2031、预处理模块2032、第二人脸检测模块2033和头部姿态估计模块2034。

其中，所述视觉感知模块2031用于利用单通道视觉感知设备采集驾驶人员在行驶过程中的视觉图像数据。

其中，所述第二人脸检测模块2033用于通过人脸检测算法seetaface2检测人脸面部区域，并将截取的人脸面部图像输入所述头部姿态估计模块进行预测。

在本实施例中，头部姿态估计单元203通过在主驾驶位置前方上安装车载视觉感知设备，即视觉感知模块2031，并调试使其能拍摄到驾驶人员的头部，获取实时视频感知数据；然后第二人脸检测模块2033通过人脸检测算法seetaface2检测人脸面部区域，并将截取的人脸面部图像输入头部姿态估计模型进行预测，获取驾驶人员面部在水平和垂直方向上的角度分类。连续帧头部动作判定模块104再结合神经网络输出的头部姿态欧拉角连续帧数值判定头部动作类型。其中头部动作类型包含观察左后视镜、观察右后视镜、观察左右后视镜以及低头切换档位等头部动作行为。

本系统通过对驾驶人员在行驶过程中的的头部动作进行全面检测，并输出头部动作信号，可用于对特定驾驶人的行为数据以及群体的驾驶行为数据进行分析，并结合结果对驾驶人的驾驶能力、安全驾驶意识以及安全驾驶行为习惯进行过程化的评价；进而将评价结果实时反馈给学员和教练人员，从而显著提升培训效率与培训质量；其次，该方案有利于对驾驶人员的操作习惯和驾驶行为进行规范与校正，有助于帮助驾驶人员养成良好的安全驾驶习惯，对提高全社会道路交通安全水平具有重要意义，社会效益显著。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，read-onlymemory)、随机存取存储器(RAM，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。