一种基于单目视觉的非主动车道偏离预警方法及系统

摘要

本发明提供了一种基于单目视觉的非主动车道偏离预警方法及系统，基于单目视觉实时获取车辆行进方向道路的图像；在所获取图像的基础上，通过车道线提取算法，得到行车方向左右两条车道线位置及车道线类型；根据得到的车道线位置、车道线类型以及车辆左右转向灯状态，判断非主动车辆偏离情况；根据非主动车辆偏离情况，对车辆驾驶过程中出现的非主动车道偏离进行辅助预警。本发明有效减少车辆在行驶过程中的非主动车辆偏移行为，而非主动车道偏离行为是车辆违法驾驶和行车事故的主要因素之一，本发明能够有效给出司机提醒，避免压线等车辆违法驾驶行为的发生，并减少因车辆偏移导致的事故发生概率。

说明书

技术领域

本发明涉及图像处理技术领域，具体地，涉及一种基于单目视觉的非主动车道偏离预警方法及系统。

背景技术

自驾出行已经成为人们日常出行的一种常用交通方式，而驾驶过程中的行车安全，对人们的正常生活具有重要的影响，已经越来越受到人们的重视，基于此，行车辅助系统应运而生。

经过检索发现：

申请号为201910008697.X、申请日为2019年1月4日的中国发明专利申请《用于辅助驾驶的车道线检测方法》，公开了一种用于辅助驾驶的车道线检测方法，通过基于多任务卷积神经网络对图像样本训练，利用车辆与车道线的关联性来辅助车道线的识别，提高对实际行车环境复杂多变自动驾驶的检测安全性，降低硬件算力处理要求；本发明的车道线检测方法不仅使辅助驾驶更安全，还具有工作效率更高、识别精度更准、减少误判等优点。该技术与本发明所涉及的车道偏离预警方法相比，具有如下问题：

1.该技术利用神经网络提取图像特征，然后通过训练svm模型进行车道线分类，属于two-stage的方法。

2.该技术不能给出车辆本身偏移车道线中心的距离估计。

3.该技术不能结合车辆转向灯状态区分主动变道与非主动车道偏移，不能给出预警。

综上所述，现有的辅助驾驶技术，不能很好的满足人们在驾驶过程中对车辆驾驶辅助预警的需求，目前没有发现同本发明类似技术的说明或报道，也尚未收集到国内外类似的资料。

发明内容

本发明针对现有技术中存在的上述不足，提供了一种基于单目视觉的非主动车道偏离预警方法及系统。

本发明是通过以下技术方案实现的。

根据本发明的一个方面，提供了一种基于单目视觉的非主动车道偏离预警方法，包括：

基于单目视觉，实时获取行进方向道路的图像；

在所获取图像的基础上，通过车道线提取算法，得到行车方向左右两条车道线位置及车道线类型；

根据得到的车道线位置、车道线类型及车辆左右转向灯状态，判断非主动车辆偏离情况；

根据非主动车辆偏离情况，对车辆驾驶过程中出现的非主动车道偏离进行辅助预警。

优选地，所述车道线提取算法，包括训练和部署两个阶段；其中：

所述训练阶段，对大量实际路况图片进行车道线区域的标注，形成训练数据集；利用训练数据集，对深度神经网络进行训练，并在深度神经网络的基础上设置网络分支以及相应的损失函数，生成车道线检测模型；

所述部署阶段，利用生成的车道线检测模型，对实时行进方向道路的图像进行车道线位置及车道线类型获取。

优选地，所述训练阶段，对实际路况图片进行车道线区域标注的方法，包括：

将车道线检测问题看作基于行的锚点选择问题，则车道线检测问题表示如下：

P

式中，X表示CNN提取的全局图像特征，f

将实际路况图片划分为h*w个网格，其中h表示锚点行数，w表示瞄点列数；设定需要检测的车道线数目为C，那么对于每个锚点行，最多有C个网格被标记为车道线位置。

优选地，所述网络分支包括两个全连接层和一个Softmax层，用于获取车道线的类型。

优选地，所述损失函数L

L

式中：

L

L

L

α，β为损失加权系数；

所述结构性损失函数L

L

优选地，对生成的车道线检测模型进行辅助分割任务训练，用于车道线检测模型学习车道线的语义特征；其中，所述辅助分割任务训练的损失函数为L

优选地，所述部署阶段，还包括：

对误检的车道线进行过滤，其中，当将测到的车道线出现以下任意一种情况时，判断为未检测到车道线或者为误检到的车道线可信度较低，即为误检的车道线：

情况一：检测到的车道线点对小于设定阈值三对；

情况二：检测到的车道线点对中，由近及远的相邻两个点对之间距离满足递减趋势，且这种情况出现大于等于两次。

优选地，所述根据得到的车道线位置及车道线类型，判断非主动车辆偏离情况，包括：

车辆于车道线正中心的偏移距离为：

departance＝imgW/2-(x

式中：

imgW/2为车辆中心在图像中的横坐标位置；

(x

Departance为车辆中心偏移车道线中心的图像距离，当departance>0时，车辆向右偏离；当departance<0时，车辆向左偏移。

优选地，所述判断非主动车辆偏离情况的方法中：

设平均车道宽度为3.7米，则车辆中心偏移车道线的实际距离为：

carDepartance＝departance*(3.7/(x

根据车辆偏移车道线的距离以及左右车道线类型，当车辆偏移车道线超过0.76米的距离并且偏离侧车道为实线，相应转向灯信号未打开的情况时，判断为非主动车辆偏离情况。

根据本发明的另一个方面，提供了一种基于单目视觉的非主动车道偏离预警系统，包括：

摄像头，所述摄像头用于实时获取行进方向道路的图像；

非主动车辆偏离估计模块，所述非主动车辆偏离估计模块根据获取的行进方向道路图像，通过车道线提取算法，得到行车方向左右两条车道线位置及车道线类型；根据得到的车道线位置、车道线类型以及车辆左右转向灯状态，判断非主动车辆偏离情况；

辅助预警模块，所述辅助预警模块根据非主动车辆偏离情况，通过设定的阈值，对车辆驾驶过程中出现的非主动车道偏离进行辅助预警。

优选地，所述摄像头设置于车前窗上方正中间位置。

由于采用了上述方案，本发明与现有技术相比，具有如下的有益效果：

本发明提供的基于单目视觉的非主动车道偏离预警方法及系统，可有效减少车辆在行驶过程中的非主动车道偏离行为，而非主动车道偏离行为是车辆违法驾驶和行车事故的主要因素之一，本发明能够有效给出司机提醒，避免压线等车辆违法驾驶行为的发生，并减少因车辆偏移导致的事故发生概率。

本发明提供的基于单目视觉的非主动车道偏离预警方法及系统，将车道线检测问题视为锚点选择问题，直接通过设计的网络结构预测得到车道线位置及类型，属于one-stage方法。

本发明提供的基于单目视觉的非主动车道偏离预警方法及系统，属于端到端的神经网络，更加直观，且计算量更低，推理时间更短，易于部署。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明一优选实施例中实时获取行进方向道路的图像的工作示意图；

图2为本发明一优选实施例中得到行车方向左右两条车道线位置及车道线类型的示意图；

图3为本发明一优选实施例中训练阶段神经网络整体框架图；

图4为本发明一优选实施例中部署阶段神经网络结构图；

图5为本发明一优选实施例中低质量车道线(误检)过滤算法流程图；

图6为本发明一优选实施例中非主动车道偏离报警流程图。

图7为本发明一优选实施例中基于单目视觉的非主动车道偏离预警方法流程图。

具体实施方式

下面对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

本发明一实施例提供了一种基于单目视觉的非主动车道偏离预警方法，该方法实时获取前方视野图像数据，通过车道线偏离计算，避免压线等车辆违法驾驶行为的发生，并减少因车辆偏移导致的事故发生概率。

本实施例所提供的基于单目视觉的非主动车道偏离预警方法，如图7所示，包括如下步骤：

步骤S1，基于单目视觉，实时获取行进方向道路的图像；

步骤S2，在所获取图像的基础上，通过车道线提取算法，得到行车方向左右两条车道线位置及车道线类型；

步骤S3，根据得到的车道线位置、车道线类型以及车辆左右转向灯状态，判断非主动车辆偏离情况；

步骤S4，根据非主动车辆偏离情况，对车辆驾驶过程中出现的非主动车道偏离进行辅助预警。

作为一优选实施例，步骤S1中，通过设置于车前窗上方正中间位置的摄像头，实时获取行进方向道路的图像。

作为一优选实施例，步骤S2中，车道线提取算法，包括训练(train phase)和部署(deploy)两个阶段；其中：

训练阶段，对大量实际路况图片进行车道线区域的标注，形成训练数据集；利用训练数据集，对深度神经网络进行训练，并在深度神经网络的基础上设置网络分支以及相应的损失函数，生成车道线检测模型；

部署阶段，利用生成的车道线检测模型，对实时行进方向道路的图像进行车道线位置及车道线类型获取。

作为一优选实施例，训练阶段中，对实际路况图片进行车道线区域标注的方法为：

将车道线检测问题看作基于行的锚点选择问题，则车道线检测问题表示如下：

P

式中，X表示CNN提取的全局图像特征，f

将实际路况图片划分为h*w个网格，其中h表示锚点行数，w表示瞄点列数；设定需要检测的车道线数目为C，那么对于每个锚点行，最多有C个网格被标记为车道线位置。

作为一优选实施例，网络分支包括两个全连接层和一个Softmax层，用于获取车道线的类型。

作为一优选实施例，损失函数L

L

式中：

L

L

L

α，β为损失加权系数；

结构性损失函数L

L

作为一优选实施例，训练阶段，还包括：

对生成的车道线检测模型进行辅助分割任务训练，用于车道线检测模型学习车道线的语义特征；辅助分割任务训练的损失函数为L

作为一优选实施例，部署阶段，还包括对误检的车道线进行过滤，其中，当将测到的车道线出现以下任意一种情况时，判断为未检测到车道线或者为误检到的车道线可信度较低，即为误检的车道线：

情况一：检测到的车道线点对小于设定阈值三对；

情况二：检测到的车道线点对中，由近及远的相邻两个点对之间距离满足递减趋势，且这种情况出现大于等于两次。

作为一优选实施例，步骤S3中，根据得到的车道线位置、车道线类型及左右转向灯状态，判断非主动车辆偏离情况，包括：

车辆于车道线正中心的偏移距离为：

departance＝imgW/2-(x

式中：

imgW/2为车辆中心在图像中的横坐标位置；

(x

Departance为车辆中心偏移车道线中心的图像距离，当departance>0时，车辆向右偏离；当departance<0时，车辆向左偏移。

作为一优选实施例，设平均车道宽度为3.7米，则车辆中心偏移车道线的(近似)实际距离为：

carDepartance＝departance*(3.7/(x

根据车辆偏移车道线的距离以及左右车道线类型，当车辆偏移车道线超过0.76米的距离并且偏离侧车道为实线，相应转向灯信号未打开的情况时，判断为非主动车辆偏离情况。

作为一优选实施例，步骤S4中，设定车辆偏离阈值，通过阈值比较，对车辆驾驶过程中出现的非主动车道偏离行为进行辅助预警。

下面结合附图，对本发明上述实施例所提供的技术方案进一步详细描述如下。

如图1所示，为基于单目视觉，实时获取行进方向道路的图像的工作示意图。

基于单目视觉，将摄像头悬挂在车前窗上方正中间位置，摄像头可以实时获取行进方向道路的图像。

通过车道线提取算法，得到行车方向左右两条车道线位置及车道线类型(单白虚/实线，单黄虚/实线，双黄虚/实线，双白虚/实线等)，如图2所示。

车道线检测算法基于深度神经网络，深度神经网络算法分为训练(train phase)和部署(deploy)两个阶段。其中，在训练阶段，对摄像头捕获到的大量实际路况图片进行车道线区域的标注，形成训练数据集，共计约13w张图片。神经网络的输入大小固定设为800*288，其中w＝800，h＝288。在训练阶段，通过设计多个loss函数来对神经网络的学习进行牵引。训练阶段神经网络整体框架图如图3所示：

与传统车道线检测算法和基于分割任务的车道线检测算法不同，在本发明上述实施例所提供的框架中，将车道线检测问题看作基于行的锚点选择问题。在的训练数据标定中，将图像划分为h*w个网格，其中h表示锚点行数，w表示瞄点列数。预先设定要检测的车道线数目为C，比如C＝2时，表示只检测车辆左右侧两个车道线。那么对于每个锚点行，最多有C个网格被标记为车道线位置。

假设以X表示CNN提取的全局图像特征，f

P

这里P

以T

除此之外，为了更好的对车道线的结构特性进行描述，采用了另外两个损失函数来抑制车道线的结构特性。一是车道线的连续性特性，即相邻锚点行之间的车道线锚点应该彼此近邻，因此通过设计连续行性损失函数来描述这一特性：

其中P

第二个结构性损失函数主要关注车道线的形状，即通常情况下车道线为近似直线，因此其二次导数应接近于零，损失函数描述如下：

其中

线性加权上述两个损失函数，可得到整体的结构性损失描述为：

L

另外，为了让神经网络能够车道线的类型，增加了一个网络分支，它包含两个全连接层和一个Softmax层，损失函数表示为L

L

这里的α，β，γ为损失加权系数。在训练过程中，将λ，α，β，γ均设置为1，同时将batchSize设为32。共计训练100个epoch，得到最终的车道线检测模型。

另外需要注意的是，辅助的车道线分割任务分支只在训练被用到，在模型部署阶段，将车道线分割分支去掉，即部署阶段的神经网络结构如图4所示。

低质量(误检)车道线过滤算法，避免不必要的预警。过滤逻辑:正常的车道线检测结果，理论上应该包含18个点对，且由于摄像头视角，18个点对之间的距离由近及远应当逐渐减小，因此，当检测到的车道线出现以下任一种情况时，认为未检测到车道线或者检测到的车道线可信度较低。

情况一：检测到的车道线点对小于三对

情况二：检测到的车道线点对中，由近及远的相邻两个点对距离并为满足递减趋势，且这种情况出现超过两次。

数学上表示为：

x

这里：

x

x

x

x

如图5所示，为低质量车道线(误检)过滤算法流程图。

车道偏离判断，根据国家《道路交通标志和标线》规定，在一般高速道路和城市道路，设计道路应满足3.5米宽度或3.75米宽度的要求。在进行车道偏离判断时，按照假设车道宽度为3.7米来进行计算。另外，由于摄像头部署于前车窗上方正中间位置，因此拍摄到图像中，车辆中心理论上于图像中心位置重合(或接近重合)，因此，以图像中心位置近似为车辆中心位置。

基于上述条件，可以计算得到车辆相对于车道线正中心的偏移距离：

departance＝imgW/2-(x

其中，

imgW/2——车辆中心在图像中的横坐标位置

(x

departance——车辆中心偏移车道线中心的图像距离，当departance>0时，车辆向右偏离；当departance<0时，车辆向左偏移。

按照平均车道宽度为3.7米的假设，可以得到车辆中心偏移车道线的(近似)实际距离为：

carDepartance＝departance*(3.7/(x

车道线偏离报警系统，根据车辆偏移车道线的距离以及左右车道线类型，当车辆偏移车道线超过0.76米的距离并且偏离侧车道为实线(单实线，双实线等不满足变道条件)，结合相应转向灯信号未打开的情况时，系统给出报警信息。

如图6所示，为非主动车道偏离报警流程图。

本发明另一实施例提供了一种基于单目视觉的非主动车道偏离预警系统，包括：

摄像头，用于实时获取行进方向道路的图像；

非主动车道偏离估计模块，根据获取的行进方向道路图像，通过车道线提取算法，得到行车方向左右两条车道线位置及车道线类型；根据得到的车道线位置、车道线类型以及车辆左右转向灯状态，判断非主动车道偏离情况；

辅助预警模块，根据非主动车道偏离情况，通过设定的阈值，对车辆驾驶过程中出现的非主动车道偏离进行辅助预警。

作为一优选实施例，摄像头设置于车前窗上方正中间位置。

本发明上述实施例提供的基于单目视觉的非主动车道偏离预警方法及系统，可有效减少车辆在行驶过程中的非主动车道偏离行为，而非主动车道偏离行为是车辆违法驾驶和行车事故的主要因素之一，本发明上述实施例所提供的技术方案能够有效给出司机提醒，避免压线等车辆违法驾驶行为的发生，并减少因车辆偏移导致的事故发生概率。

需要说明的是，本发明提供的方法中的步骤，可以利用系统中对应的模块、装置、单元等予以实现，本领域技术人员可以参照方法的技术方案实现系统的组成，即，方法中的实施例可理解为构建系统的优选例，在此不予赘述。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。