基于视频序列的驾驶员分心行为检测研究与实现

摘要

道路交通安全一直是大家所关注的热点问题，而驾驶员分心驾驶是造成道路交通事故的重要原因之一。随着车载娱乐系统多样化发展与自动驾驶技术的迅速推进，驾驶员的注意力极其容易分散，往往容易造成严重的致死、致伤交通事故。驾驶员分心检测可以检测驾驶员分心行为并识别造成分心的原因，进而警告司机不要分心或采取预防措施。另一方面，在自动驾驶情况下，有助于判断驾驶员是否具有接管车辆的能力，汽车可以通过警告驾驶员停止分心行为，集中注意力投入到车辆驾驶中，减少意外的发生。这使得驾驶员分心检测系统成为车辆智能化的一个重要系统组件。　　本文提出了一种基于图卷积的多信息融合驾驶员分心行为检测方法，制作了一个驾驶员分心驾驶视频片段数据集，同时在JetsonTX2嵌入式系统中搭建了驾驶员分心检测硬件平台，并验证了算法的准确性、实时性与鲁棒性。本文创新和工作如下：　　(1)针对驾驶室环境与驾驶员的姿态特性，设计了一种驾驶员姿态时空图。采用Openpose进行人体关键点提取，并根据驾驶员的动作集中于手部与头部的特点对驾驶员姿态估计图进行了改进。针对目前缺少驾驶员分心视频数据集，从拍摄角度、驾驶员体型、光照、干扰物等方面，制作了驾驶员分心驾驶视频片段数据集，并将驾驶员分心数据集转化为了驾驶员姿态时空图数据集。　　(2)针对驾驶员姿态估计时空图的非欧式空间数据结构，基于图卷积网络并融合骨架与关键物体信息，提出了一种驾驶员分心行为检测算法。针对驾驶员分心检测高鲁棒性的要求，本文算法基于图卷积网络提取驾驶员骨架图在时域和空间上的特征，采用全连接层对驾驶员的分心行为进行判别。融合关键物体与人体关节点共现性特征，得到一个能实时检测的高鲁棒性驾驶员分心行为检测模型。　　(3)针对本文算法在嵌入式系统中无法实时运行的问题，采用MobileNet与空洞卷积对驾驶员分心检测算法进行轻量化处理，减少计算量，加快运算速度。同时在JetsonTX2开发者套件上搭建了驾驶员分心检测平台，并将轻量化后的算法在平台上进行了验证。

目录

声明

第 1 章 绪论

1.1 课题研究背景及意义

1.2 国内外研究现状

1.2.1接触式传感器检测法

1.2.2 非接触式传感器检测法

1.3 本文研究的主要内容

第2章行为识别相关理论与方法概述

2.1 引言

2.2 行为识别技术

2.2.1传统行为识别算法

2.2.2 基于深度学习的行为识别算法

2.3 卷积神经网络

2.3.1 卷积层和池化层

2.3.2全连接

2.3.3 批量归一化

2.3.4 激活函数

2.4 图卷积神经网络

2.4.1 图论基础知识

2.4.2 图上的卷积

2.5 本章小结

第 3 章 驾驶员姿态时空图与分心行为数据集设计

3.1 引言

3.2 OpenPose 人体关键点检测算法

3.2.1网络结构

3.2.2关键点置信图预测

3.2.3关键点连接

3.3 基于 OpenPose 的驾驶员姿态估计图检测

3.3.1 基于 Openpose 的驾驶员关键点估计

3.3.2 驾驶员姿态估计图设计

3.3.3 驾驶员姿态时空图

3.4 基于 Openpose 的驾驶员分心行为数据集设计

3.4.1 StateFarm 数据集

3.4.2自制数据集

3.4.3驾驶员姿态数据集

3.5本章小结

第 4 章 基于图卷积的多信息融合驾驶员分心行为检测

4.1 引言

4.2 算法概述

4.3基于GCN的驾驶员行为识别

4.3.1 时空图卷积

4.3.2 划分策略

4.3.3 网络结构

4.4 融合关键目标的行为识别

4.4.1 基于 YoloV3 的目标检测算法

4.4.2 融合算法

4.5 实验及结果分析

4.5.1实验设计

4.5.2实验环境及参数设置

4.5.3实验结果与分析

4.6 本章小结

第 5 章 网络轻量化及嵌入式实现

5.1 引言

5.2 网络轻量化

5.2.1 MobileNet 与空洞卷积

5.2.2 Openpose 轻量化

5.2.3 YoloV3 轻量化

5.3 嵌入式实现

5.4 结果分析

5.5 本章小结

总结与展望

参考文献

致谢

附录 A 攻读学位期间所发表的学术论文目录