一种基于深度学习的车险核保验车图片采集方法及系统

摘要

本发明公开了一种基于深度学习的车险核保验车图片采集方法及系统，包括：扫描左前侧车辆外观图片、右前侧车辆外观图片、左后侧车辆外观图片或右后侧车辆外观图片；实时对扫描视频的图像帧进行车辆姿态识别和姿态校验；校验通过后，捕获左前侧车辆四角图片、右前侧车辆四角图片、左后侧车辆四角图片或右后侧车辆四角图片；对车辆四角图片进行灯具部件检测；检测到灯具后，以灯具为锚点，变焦拉近相机镜头，捕获对应的四角图片的局部图片；上传对应的车辆四角图片和局部图片。本发明基于深度神经网络的分类方法，能获取极高的准确率和召回率。

说明书

技术领域

本发明涉及车辆定损技术领域，具体涉及一种基于深度学习的车险核保验车图片采集方法及系统。

背景技术

车辆外观部件：通常指车辆的外观组成部分，例如保险杠总成、叶子板总成、车门总成、轮胎轮毂等，不包括类似打开前机盖后可见的发动机，水箱等配件。

核保验车：车辆参加保险需要由车辆车主在投保保单上输入车辆投保的车辆信息，保险公司会派验车员进行验车，除了比对车辆身份信息外,通常还需要采集车辆四角图片(如图1所示，包括左前侧车辆四角图片、右前侧车辆四角图片、左后侧车辆四角图片和右后侧车辆四角图片)用于档案储存，便于日后理赔过程中的车辆外观细节比对使用。

现有在核保验车时，需对汽车外观四角图片进行采集，而后人工基于采集后的四角图片对汽车外观进行损伤核查；该需求在汽车业务中比较常见，例如汽车保险承保、分时租赁以及汽车日租的取车还车环节，都需要确认汽车外观是否有损伤。

针对车辆图片的采集，现有技术方案包括：

现有专利CN108647700A公开了基于深度学习的多任务车辆部件识别模型、方法和系统，该方法对远距离车辆图片进行图像增强后，训练了一个多标签的ResNet分类网络；该识别系统支持识别的车辆部件共有3类，分别为：车灯-后视镜、车标、风挡玻璃；另外该系统支持车型和车身颜色的识别。

现有专利CN201711347241.3公开了车险的自助理赔方法、装置、设备和计算机存储介质；其为是一种车险的自助理赔方法，用于定损的报案信息采集和定损结束后推送给客户，从而完成自助理赔。

现有专利CN111652087A公开了验车方法、装置、电子设备和存储介质，该发明是核保验车时对车辆身份做图像识别和校验，流程是图像识别车辆外观，再结合样本库该类型车辆图片做相似性度量。

现有的系统存在以下问题：

1、用户在拍照过程中主要是基于语音提示或示例图对车辆四个角度进行拍照，但客户认知相对有限且上传的图片需要经过后台人工或机器校验后才知道是否符合拍摄规范，延迟性高，二次拍摄影响客户体验；

2、车辆外观四角图片上传以后，再由核保人员进行外观损伤评估，由于车辆外观四角图片需要看清楚车辆外观全貌，因此拍摄距离通常较远，这也就导致了外观损伤(尤其是小面积的刮擦或凹陷)成像尺寸较小，人工核验困难；同时，保险公司通常会对上传图片做质量压缩以后再存储到系统中，导致图片质量进一步降低，因此极大地消耗了核保人员的精力和历史经验，审核效率低下。

发明内容

针对现有技术中存在的上述问题，本发明提供一种基于深度学习的车险核保验车图片采集方法及系统。

本发明公开了一种基于深度学习的车险核保验车图片采集方法，包括：

扫描左前侧车辆外观图片、右前侧车辆外观图片、左后侧车辆外观图片或右后侧车辆外观图片；

实时对扫描视频的图像帧进行车辆姿态识别和姿态校验；

校验通过后，捕获左前侧车辆四角图片、右前侧车辆四角图片、左后侧车辆四角图片或右后侧车辆四角图片；

对车辆四角图片进行灯具部件检测；

检测到灯具后，以灯具为锚点，变焦拉近相机镜头，捕获对应的四角图片的局部图片；

上传对应的车辆四角图片和局部图片。

作为本发明的进一步改进，所述姿态校验包括：

设置姿态阈值；

当图像帧的车辆姿态的识别概率大于姿态阈值时，则姿态校验通过；

当图像帧的车辆姿态的识别概率不大于姿态阈值时，则姿态校验不通过。

作为本发明的进一步改进，所述姿态阈值为0.9。

作为本发明的进一步改进，当姿态校验不通过后，提示“远离车辆左前侧45°方向拍摄”、“远离车辆右前侧45°方向拍摄”、“远离车辆左后侧45°方向拍摄”或“远离车辆右后侧45°方向拍摄”。

作为本发明的进一步改进，对左前侧车辆四角图片的左前侧灯具、右前侧车辆四角图片的右前侧灯具、左后侧车辆四角图片的左后侧灯具或右后侧车辆四角图片的右后侧灯具进行检测时，间隔3～8帧完成一次。

作为本发明的进一步改进，还包括：

设置灯具部件的检测时间阈值；

在所述检测时间阈值内检测到灯具后，则以灯具为锚点，变焦拉近相机镜头，捕获对应的四角图片的局部图片；

在所述检测时间阈值内未检测到灯具后，则超时退出。

作为本发明的进一步改进，所述检测时间阈值为30s。

作为本发明的进一步改进，在所述检测时间阈值内未检测到灯具后，上传车辆四角图片和异常状态码，不上传局部图片。

本发明还公开了一种基于深度学习的车险核保验车图片采集系统，包括：

采集模块，用于扫描左前侧车辆外观图片、右前侧车辆外观图片、左后侧车辆外观图片或右后侧车辆外观图片；

姿态识别与校验模块，用于实时对扫描视频的图像帧进行车辆姿态识别和姿态校验；

第一捕获模块，用于在校验通过后，捕获左前侧车辆四角图片、右前侧车辆四角图片、左后侧车辆四角图片或右后侧车辆四角图片；

灯具部件检测模块，用于对车辆四角图片进行灯具部件检测；

第二捕获模块，用于检测到灯具后，以灯具为锚点，变焦拉近相机镜头，捕获对应的四角图片的局部图片；

上传模块，用于上传对应的车辆四角图片和局部图片。

作为本发明的进一步改进，所述采集模块、姿态识别与校验模块、第一捕获模块、灯具部件检测模块、第二捕获模块和上传模块集成在手机上。

与现有技术相比，本发明的有益效果为：

1、本发明基于深度神经网络的分类方法，能获取极高的准确率和召回率；

2、本发明可实时校验反馈调整拍摄图片的车辆姿态，便于用户提交标准规范的四角图片，避免后台人工校验高延时，用户体验性好。

3、本发明对标准规范的四角图片进行实时部件检测，并基于灯具部件锚点做镜头变焦拉近，然后触发捕获到该视角下的车辆外观局部图片，便于后台人工评估损伤细节或智能损伤检测系统进行损伤核验，其相比直接用四角图片在损伤细节方面更加合理。

附图说明

图1为车辆四角图片；

图2为本发明一种实施例公开的基于深度学习的车险核保验车图片采集方法的流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合附图对本发明做进一步的详细描述：

如图2所示，本发明提供一种基于深度学习的车险核保验车图片采集方法，包括：

步骤1、扫描左前侧车辆外观图片、右前侧车辆外观图片、左后侧车辆外观图片或右后侧车辆外观图片；

其中，

上述步骤1基于手机摄像头实现；

一种实现方法为：打开该程序的摄像头，直接从车辆四角的任一方位扫描车辆外观图片；

另一种实现方法为：先在手机显示屏上选择所需捕获的车辆四角图片，而后打开该程序的摄像头，从选择的车辆四角图片的方位上扫描车辆外观图片；例如，先在手机显示屏上选择所需捕获的左前侧车辆四角图片，而后打开该程序的摄像头，扫描左前侧车辆外观图片；

步骤2、实时对扫描视频的图像帧进行车辆姿态识别和姿态校验；

其中，

上述步骤1基于手机内部处理器实现；

具体实现方法包括：

逐帧对扫描视频的图像帧进行车辆姿态识别，得出图像帧的车辆姿态的识别概率；当图像帧的车辆姿态的识别概率大于姿态阈值(优选为0.9)时，则姿态校验通过；当图像帧的车辆姿态的识别概率不大于姿态阈值时，则姿态校验不通过。

进一步，当姿态校验不通过后，提示“远离车辆左前侧45°方向拍摄”、“远离车辆右前侧45°方向拍摄”、“远离车辆左后侧45°方向拍摄”或“远离车辆右后侧45°方向拍摄”；例如，当对左前侧车辆外观图片的车辆姿态校验未通过，则通过手机显示屏提示调整手机姿态和距离，即提示“远离车辆左前侧45°方向拍摄”。

步骤3、当对当前车辆姿态校验通过后，对应捕获左前侧车辆四角图片、右前侧车辆四角图片、左后侧车辆四角图片或右后侧车辆四角图片；

例如，当对当对左前侧车辆外观图片的车辆姿态校验通过后，手机捕获到左前侧车辆四角图片作为四角图片的第1张图片。

步骤4、对车辆四角图片进行灯具部件检测；

其中，

对左前侧车辆四角图片进行左前侧灯具部件检测，或

对右前侧车辆四角图片进行右前侧灯具部件检测，或

对左后侧车辆四角图片进行左后侧灯具部件检测，或

对右后侧车辆四角图片进行右后侧灯具部件检测。

步骤5、检测到灯具后，以灯具为锚点，变焦拉近相机镜头，捕获对应的四角图片的局部图片；

其中，

局部图片为以灯具为锚点中心的局部图片，其包含四分之一的车辆外观部件；例如，左前侧局部图片应包含左前侧车辆外观部件。

进一步，对左前侧车辆四角图片的左前侧灯具、右前侧车辆四角图片的右前侧灯具、左后侧车辆四角图片的左后侧灯具或右后侧车辆四角图片的右后侧灯具进行检测时，间隔3～8帧完成一次；优选为间隔5帧完成一次。

进一步，在检测时间阈值内未检测到灯具后，则超时退出(通常超时时间设置成30s)，不上传局部图片，仅提交一个异常状态码。

步骤6、上传对应的车辆四角图片和局部图片；

其中，

将车辆四角图片(4张)与对应的局部图片(4张)上传至后端系统，供核保人员或智能损伤检测系统进行损伤细节评估。其中，车辆四角图片与局部图片可同时上传、也可实时上传。

进一步，在检测时间阈值内未检测到灯具后，上传车辆四角图片和异常状态码，不上传局部图片。例如，若左前侧车辆四角图片中在预设的时间内未检测到灯具，其他三角均检测到灯具；则将车辆四角图片(4张)、左前侧的异常状态码、对应的局部图片(3张，右前、左后、右后)。

进一步，手机端车辆姿态识别采用了深度学习网络mobilenet，类别包括四个视角；手机端车辆灯具部件检测模型采用了深度学习网络Frcnn结构，仅检测车辆灯具，包括大灯和尾灯部件。

本发明还公开了一种基于深度学习的车险核保验车图片采集系统，包括：

采集模块，用于实现上述步骤1；

姿态识别与校验模块，用于实现上述步骤2；

第一捕获模块，用于实现上述步骤3；

灯具部件检测模块，用于实现上述步骤4；

第二捕获模块，用于实现上述步骤5；

上传模块，用于实现上述步骤6。

进一步，采集模块、姿态识别与校验模块、第一捕获模块、灯具部件检测模块、第二捕获模块和上传模块集成在手机上。

实施例：

1、左前侧车辆四角图片采集

客户手持手机扫描左前侧车辆外观图片，手机端会实时对扫描视频的图像帧进行车辆姿态识别；图像帧的车辆姿态的识别概率大于0.9，姿态校验通过，手机捕获到左前侧车辆四角图片；

当上传完左前侧车辆图片后，对左前侧车辆图片进行左前侧灯具部件检测；当检测到灯具后，以灯具作为锚点，变焦镜头，待视场图像稳定后捕获到左前侧车辆的局部图片上传，该图片供核保人员或智能损伤检测系统进行损伤细节评估。

2、右前侧车辆四角图片采集

客户手持手机扫描右前侧车辆外观图片，手机端会实时对扫描视频的图像帧进行车辆姿态识别；图像帧的车辆姿态的识别概率小于0.9，姿态校验不通过后，提示“远离车辆右前侧45°方向拍摄”，直至图像帧的车辆姿态的识别概率大于0.9；姿态校验通过，手机捕获到右前侧车辆四角图片；

当上传完右前侧车辆图片后，对右前侧车辆图片进行右前侧灯具部件检测；当检测到灯具后，以灯具作为锚点，变焦镜头，待视场图像稳定后捕获到左前侧车辆的局部图片上传，该图片供核保人员或智能损伤检测系统进行损伤细节评估。

3、左后侧车辆四角图片采集

客户手持手机扫描左后侧车辆外观图片，手机端会实时对扫描视频的图像帧进行车辆姿态识别；图像帧的车辆姿态的识别概率大于0.9，姿态校验通过，手机捕获到左后侧车辆四角图片；

当上传完左后侧车辆图片后，对左后侧车辆图片进行左后侧灯具部件检测；当30s内未检测到左后侧灯具，则不上传局部图片，仅提交一个异常状态码。

4、右后侧车辆四角图片采集

客户手持手机扫描右后侧车辆外观图片，手机端会实时对扫描视频的图像帧进行车辆姿态识别；图像帧的车辆姿态的识别概率小于0.9，姿态校验不通过后，提示“远离车辆右前侧45°方向拍摄”，直至图像帧的车辆姿态的识别概率大于0.9；姿态校验通过，手机捕获到右后侧车辆四角图片；

当上传完右后侧车辆图片后，对右后侧车辆图片进行右后侧灯具部件检测；当30s内未检测到右后侧灯具，则不上传局部图片，仅提交一个异常状态码。

本方法是核保验车的四角图片自助采集过程，具有以下优点：

1、本发明基于深度神经网络的分类方法，能获取极高的准确率和召回率；

2、本发明可实时校验反馈调整拍摄图片的车辆姿态，便于用户提交标准规范的四角图片，避免后台人工校验高延时，用户体验性好。

3、本发明对标准规范的四角图片进行实时部件检测，并基于灯具部件锚点做镜头变焦拉近，然后触发捕获到该视角下的车辆外观局部图片，便于后台人工评估损伤细节或智能损伤检测系统进行损伤核验，其相比直接用四角图片在损伤细节方面更加合理。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。