一种基于司机状态的派单优先度调整方法及装置

摘要

本发明公开了一种基于司机状态的派单优先度调整方法，包括获取视频数据，所述视频数据包括司机的人眼图像数据和面部图像数据；对所述人眼图像数据进行驾驶疲劳参数PERCOLOS值计算，当驾驶疲劳参数PERCOLOS值大于预设参数时，判断为疲劳驾驶状态；对所述面部图像数据进行面部表情识别，得到面部表情信息；判断面部表情信息是否包含消极情绪，若是则确定为负面情绪状态；基于疲劳驾驶状态和/或负面情绪状态，调整司机的派单优先级策略。本发明通过获取网约车用车订单服务过程中的实时的视频数据，基于所述实时的视频数据，识别用车订单的司机在用车订单服务过程中的状态、异常行为等；以在出现异常状态时进行及时反馈、调整派单优先级，有助于及早发现隐藏风险，避免交通事故等的发生。

说明书

技术领域

本发明属于网约车派单的技术领域，具体涉及一种基于司机状态的派单优先度调整方法及装置。

背景技术

网约车是基于互联网技术构建服务平台，接入符合条件的车辆和司机，通过整合供需信息，提供预约出租汽车服务。随着打车出行越来越受到大众的青睐，如何提高司机安全驾驶的服务质量，也变成服务商重点关注的问题。

网约车服务的质量与司机的状态极为关联,如司机的健康状态，是否疲劳直接影响行驶安全。而监测和智能评估司机的状态，有助于及早发现隐藏风险，避免交通事故的发生。

经申请人研究发现，现有技术存在如下缺陷：

在现有技术中，仅对司机是否疲劳进行监测，其通过摄像头拍摄司机的眼睛，监测司机是否疲劳。单方面的监测手段，参考价值有限，亦难以识别出司机的其他不宜继续服务的信息。

发明内容

本发明的目的是要解决上述的技术问题，提供一种基于司机状态的派单优先度调整方法及装置。

为了解决上述问题，本发明按以下技术方案予以实现的：

第一方面，本发明所述一种基于司机状态的派单优先度调整方法，包括：

获取视频数据，所述视频数据包括司机的人眼图像数据和面部图像数据；

对所述人眼图像数据进行驾驶疲劳参数PERCOLOS值计算，当驾驶疲劳参数PERCOLOS值大于预设参数时，判断为疲劳驾驶状态；

对所述面部图像数据进行面部表情识别，得到面部表情信息；判断面部表情信息是否包含消极情绪，若是则确定为负面情绪状态；

基于疲劳驾驶状态和/或负面情绪状态，调整司机的派单优先级策略。

结合第一方面，本发明提供了第一方面的第一种可能的实施方式，所述视频数据还包括司机的头部姿态图像数据；在驾驶疲劳参数PERCOLOS值计算和面部表情识别之前，还包括：

对头部姿态图像数据进行头部姿态识别，得到司机的头部姿态信息；

当判断头部姿态信息为仰头姿态、歪头姿态和低头姿态的其中一种时，计算在当前姿态下的时间；

若时间大于预设时间阈值时，则输出司机异常警报。

结合第一方面，本发明提供了第二方面的第一种可能的实施方式，，所述视频数据包括语音数据，还包括：

对所述语音数据进行识别，得到司机情绪信息；

从所述语音数据中提取出文本信息，识别文本信息中是否包含敏感词语；若文本信息包含敏感词语，则输出服务异常警报；

基于疲劳驾驶状态、负面情绪状态和/或司机情绪信息，调整司机的派单优先级策略。

结合第一方面，本发明提供了第一方面的第三种可能的实施方式，所述调整司机的派单优先级策略，包括：

当存在疲劳驾驶状态和/或负面情绪状态时，降低司机的派单优先级；且当前有服务订单时，推送完成该订单后进行休息的信息；若当前无服务订单时，则推送下线休息的信息；

以及，当不存在疲劳驾驶状态和/或负面情绪状态时，提高司机的派单优先级。

结合第一方面，本发明提供了第四方面的第一种可能的实施方式，在获取视频数据之前，还包括：

当接收到司机的上线服务请求时，建立与该司机对应终端的通信，以获取视频数据。

第二方面，本发明还提供了一种基于司机状态的派单优先度调整装置，包括获取模块、处理模块和调整模块：

所述获取模块，用于获取视频数据，所述视频数据包括司机的人眼图像数据和面部图像数据；

所述处理模块，用于对所述人眼图像数据进行驾驶疲劳参数PERCOLOS值计算，当驾驶疲劳参数PERCOLOS值大于预设参数时，判断为疲劳驾驶状态；

以及，对所述面部图像数据进行面部表情识别，得到面部表情信息；判断面部表情信息是否包含消极情绪，若是则确定为负面情绪状态；

所述调整模块，用于基于疲劳驾驶状态和/或负面情绪状态，调整司机的派单优先级策略。

结合第二方面，本发明提供了第二方面的第二种可能的实施方式，还包括识别模块，所述视频数据还包括司机的头部姿态图像数据；在驾驶疲劳参数PERCOLOS值计算和面部表情识别之前；

所述识别模块，用于对头部姿态图像数据进行头部姿态识别，得到司机的头部姿态信息；

当判断头部姿态信息为仰头姿态、歪头姿态和低头姿态的其中一种时，计算在当前姿态下的时间；

若时间大于预设时间阈值时，则输出司机异常警报。

结合第二方面，本发明提供了第二方面的第三种可能的实施方式，所述视频数据包括语音数据；

所述处理装置，用于对所述语音数据进行识别，得到司机情绪信息；

从所述语音数据中提取出文本信息，识别文本信息中是否包含敏感词语；若文本信息包含敏感词语，则输出服务异常警报；

所述调整模块，用于基于疲劳驾驶状态、负面情绪状态和/或司机情绪信息，调整司机的派单优先级策略。

结合第二方面，本发明提供了第二方面的第三种可能的实施方式，所述调整模块，用于根据以下步骤调整司机的派单优先级策略，包括：

当存在疲劳驾驶状态和/或负面情绪状态时，降低司机的派单优先级；且当前有服务订单时，推送完成该订单后进行休息的信息；若当前无服务订单时，则推送下线休息的信息；

以及，当不存在疲劳驾驶状态和/或负面情绪状态时，提高司机的派单优先级。

结合第二方面，本发明提供了第二方面的第四种可能的实施方式，还包括通信模块，所述通信模块用于在获取视频数据之前，当接收到司机的上线服务请求时，建立与该司机对应终端的通信，以获取视频数据。

与现有技术相比，本发明的有益效果是：

本发明通过获取网约车用车订单服务过程中的实时的视频数据，基于所述实时的视频数据，识别用车订单的司机在用车订单服务过程中的状态、异常行为等；在确定实时的视频数据中包含疲劳驾驶状、负面情绪状等异常状态时，调整司机的派单优先级策略。基于对打车服务过程中获得的视频数据，进行多方面分析，以在出现异常状态时进行及时反馈、调整派单优先级，有助于及早发现隐藏风险，避免交通事故等的发生。

附图说明

下面结合附图对本发明的具体实施方式作进一步详细的说明，其中：

图1是本发明的基于司机状态的派单优先度调整方法及装置的架构示意图；

图2是本发明的基于司机状态的派单优先度调整的方法的流程示意图；

图3是本发明的头部姿态识别的流程示意图；

图4是本发明的驾驶疲劳参数PERCOLOS值计算的流程示意图；

图5是本发明的基于司机状态的派单优先度调整装置框架示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。

所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

为了使得本领域技术人员能够使用本申请内容，结合特定应用场景“网约车打车场景”，给出以下实施方式。对于本领域技术人员来说，在不脱离本申请的精神和范围的情况下，可以将这里定义的一般原理应用于其他实施例和应用场景。虽然本申请主要围绕“网约车打车场景”进行描述，但是应该理解，这仅是一个示例性实施例。本申请可以应用于任何其他交通运输的交通工具，可以包括出租车、私家车、顺风车、公共汽车等，或其任意组合。本申请还可以包括用于网约车打车的任何服务系统。

需要说明的是，本申请实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。

为了解决本申请背景技术中所述的至少一种技术问题，本申请实施例提供一种基于司机状态的派单优先度调整方法及装置，可通过获取网约车用车订单服务过程中的实时的视频数据，基于所述实时的视频数据，识别用车订单的司机在用车订单服务过程中的状态、异常行为等；在确定实时的视频数据中包含疲劳驾驶状、负面情绪状等异常状态时，调整司机的派单优先级策略。基于对打车服务过程中获得的视频数据，进行多方面分析，以在出现异常状态时进行及时反馈、调整派单优先级，有助于及早发现隐藏风险，避免交通事故等的发生，下面通过可能的实现方式对本申请的技术方案进行说明。

基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

实施例一

图1是本申请一种基于司机状态的派单优先度调整方法及装置的架构示意图。例如，基于司机状态的派单优先度调整的系统可以是用于诸如网约车、出租车、代驾服务、快车服务、拼车服务、公共汽车服务、驾驶员租赁服务、或班车服务之类的运输服务、或其上述任意服务之间的组合服务所依赖的在线运输服务平台。

基于司机状态的派单优先度调整的系统可以包括服务端、网络、服务请求终端(用户端)、服务提供终端(司机端)，服务端中可以包括执行指令操作的处理器等。

此外，基于司机状态的派单优先度调整的的系统还可包括监控终端，该监控终端可为具有图像采集功能的行车记录仪，或者是设置在车内的视频拍摄设备、如摄像头，又或者是安装运输服务平台应用程序的智能手机。该监控终端可与服务器通信连接，以将采集的视频数据发送至服务端。

此外，该系统中的服务端还可与客服平台进行通信连接，该客服平台可为提供行程客服服务的后台。图1所示的监测网约车司机异常行为并告警的系统的一种可行的示例，在其它可行的实施例中，该监测网约车司机异常行为并告警的系统也可以仅包括图1所示组成部分的其中一部分或者还可以包括其它的组成部分。

在一些实施例中，服务端可以是单个服务器，也可以是一个服务器组。服务端可以经由网络访问存储在服务请求终端(用户端)、服务提供终端(司机端)、监控终端。在一些实施例中，服务端可以在云平台上实现；仅作为示例，云平台可以包括私有云、公有云、混合云、社区云(community cloud)、分布式云、跨云(inter-cloud)、多云(multi-cloud)等，或者它们的任意组合。

在一些实施例中，服务请求终端(用户端)、服务提供终端(司机端)可以是智能手机或平板计算机。

在一种实施方式中，所述服务请求终端(用户端)用于发出用车订单。服务提供终端(司机端)或监控终端用于获取用车订单服务过程中的实时的视频数据；服务提供终端(司机端) 或监控终端将实时的视频数据通过网络上传至服务端。服务端获取实时的视频数据，并基于实时的视频数据，识别用车订单的司机在用车订单服务过程中的状态、异常行为等。在确定视频数据中包含疲劳驾驶状态、负面情绪状态、司机情绪信息、司机异常时，调整司机的派单优先级策略或输出司机异常警报。发送司机异常警报可以包括发送至用户服务请求终端(用户端)、服务提供终端(司机端)、客服平台中。

在另一种实施例中，用服务请求终端(用户端)、服务提供终端(司机端)包括处理器。处理器可以处理用车订单服务过程中的信息和/或数据，以执行本申请中描述的一个或多个功能。

实施例二

图2示出了本申请的基于司机状态的派单优先度调整的方法的流程示意图，本申请所提供的基于司机状态的派单优先度调整的方法可应用于上述的服务端或司机端中。

应当理解，在其它实施例中，本实施例所述的基于司机状态的派单优先度调整的方法其中部分步骤的顺序可以根据实际需要相互交换，或者其中的部分步骤也可以省略或删除。该基于司机状态的派单优先度调整的方法的详细步骤介绍如下。

本申请旨在提供一种采集司机服务过程中的视频数据，以检测出车辆的驾驶员是否存在异常状态、行为等。并以在出现异常状态时进行及时反馈、调整派单优先级，有助于及早发现隐藏风险，避免交通事故等的发生。并且还可向用车服务的司机端、用户端和客服平台发送提示信息，以对车辆驾驶员达到警示的作用，对用户达到提醒的作用，客服平台及时联系用户确认用户安全并作出应对措施。当风险度较高时，还可自动向外部的相关部门推送报警信息。

本申请实施例二提供的一种基于司机状态的派单优先度调整方法，包括：

S100：获取视频数据，所述视频数据包括司机的人眼图像数据和面部图像数据。

S200:对所述人眼图像数据进行驾驶疲劳参数PERCOLOS值计算，当驾驶疲劳参数PERCOLOS 值大于预设参数时，判断为疲劳驾驶状态。

在本发明中，通过采集驾驶员的人眼图像数据，以识别驾驶员的眼睛状态，并运用眼睛状态数据计算驾驶疲劳参数PERCOLOS值，当驾驶疲劳参数PERCOLOS值大于预设参数时，判断为疲劳驾驶状态。运用视觉疲劳检测方式检测驾驶员眼睛疲劳状态，可以减少对驾驶员驾驶行为的干扰；通过视频流实时检测驾驶员的疲劳驾驶状态。

S300:对所述面部图像数据进行面部表情识别，得到面部表情信息；判断面部表情信息是否包含消极情绪，若是则确定为负面情绪状态。

交通事故的发生有多种原因，一般来说是人的因素、车辆因素、道路和环境因素等，其中人的因素居首位。人的因素中又以驾驶员的因素最为重要。驾驶员的不良情绪是造成交通事故的重要原因。当受到刺激时一般人都是通过面部、动作、眼神等表现出来。在驾驶车辆行驶过程中，当驾驶员心情愉快、满意时能感到心情舒畅、心理舒适，对事物的观察和判断具有积极的促进作用，常常表现出感受力强，勤于观察，反应迅速，判断准确，动作敏捷，有利于车辆行驶安全。反之，如果产生忧愁、恐惧、苦恼、愤怒等情绪波动时，则感受力下降、精力分散、懒于观察思考，开起车来胆大气粗，一但遇到紧急情况和突发事件时，则发生反应迟钝，判断失误等不良行为。因此，要确保安全行车，及时检测驾驶员面部等处的变化从而判断其情绪变化，及时提醒驾驶员保持情绪稳定及施加相应的车辆控制是非常重要的。

在本发明中，基于司机的微表情进对司机情绪是否稳定进行判断，通过采集司机的面部表情进行实现，较为准确地反应司机当前的情绪。进一步的，还可以结合语音数据一同反应司机当前的驾驶状态，结合这两个方面的数据能够及时准确地捕捉到驾驶过程中的不安全因素，及时采取规避措施，降低安全隐患，保证驾驶安全。

在一种实施中，服务器可通过预先建立的机器学习识别模型，对面部图像数据进行识别处理，获得代表情绪的面部表情信息。如无表情，高兴，极高兴，生气，极生气，吃惊，极吃惊，恐惧，极恐惧，厌恶，极厌恶，悲伤，极悲伤等。

具体的，视频数据中包含数多图像帧，在相应的机器学习识别模型中，得到的多个面部表情信息的概率值，将概率值最大的面部表情信息作为目标情绪。应当说明的是，可以根据获取面部图像数据的时间顺序进行识别。

具体的，本实施例优选地，所述视频数据包括语音数据，基于司机状态的派单优先度调整方法还包括：

S310:对所述语音数据进行识别，得到司机情绪信息。

通过获取司机当前的语音数据，对该语音数据进行分析数据。在执行订单时，即可获取司机当前的语音数据，通过语音数据反映出司机当前的倾斜信息，如激动、愤怒、愉悦、悲伤等。在实际服务过程中，语音数据可以是服务过程中，驾驶员与乘客的交流、或驾驶员的其他谈话内容。

在一种具体实施中，对语音数据的识别可采用保存于服务器的声学特征分类鉴别的算法策略，它通过对语音中的音调，音量高低，语速快慢和声道特征等特征值综合分析，甄别当前用户的情绪状态。是现有技术，本领域的技术人员可实现，在此不过多说明。

S320：从所述语音数据中提取出文本信息，识别文本信息中是否包含敏感词语；若文本信息包含敏感词语，则输出服务异常警报。

在本实施例汇总，通过将语音数据转换为文本信息，并通过关键词识别文本信息中的敏感词语，如暴力倾向、不健康色彩的词或不文明词语等。当检测识别出时，则输出服务异常警报至客服平台、用服务请求终端(用户端)和服务提供终端(司机端)等进行告警。

进一步的，基于面部特征与语音特征的情绪识别方法，能够提高对驾驶员的情绪识别的准确率，从而为提醒驾驶员合理驾驶，避免潜在的交通事故打下基础。

S400：基于疲劳驾驶状态、负面情绪状态和/或司机情绪信息，调整司机的派单优先级策略。

在本发明中，所述调整司机的派单优先级策略包括：

当存在疲劳驾驶状态、负面情绪状态和/或司机情绪信息时，降低司机的派单优先级；且当前有服务订单时，推送完成该订单后进行休息的信息；若当前无服务订单时，则推送下线休息的信息；以及，当不存在疲劳驾驶状态、负面情绪状态和/或司机情绪信息时，提高司机的派单优先级。

具体的，提高或降低设计的派单优先级调整，会持续至司机从服务提供终端(司机端)下线或下线后的规定时间段内，不得再提供服务。

具体的，在在获取视频数据之前，还包括：

当接收到司机的上线服务请求时，建立与该司机对应的智能终端的通信，以获取视频数据。

在本实施例汇总，所述智能终端可以是服务提供终端(司机端)、摄像头、车载终端等。

实施例三

如图3所示，本申请实施例还提供一种基于司机状态的派单优先度调整方法的实施方式，其中，所述视频数据还包括司机的头部姿态图像数据；在驾驶疲劳参数PERCOLOS值计算和面部表情识别之前，还包括：

S10：对头部姿态图像数据进行头部姿态识别，得到司机的头部姿态信息。

在一种实施例汇中，通过识别头部状态图像数据中，司机的多个关键的五官部位的二维轮廓及位置信息，其中多个五官部位包括左眼部位、右眼部位、鼻子部位、左耳部位、右耳部位和脸部轮廓等，继而并获取上述部位的二维轮廓及位置信息。

进一步的，将司机的多个五官部位的二维轮廓及位置信息，与预设标准的人脸信息进行比对，即可得到比对结果。头部姿态信息包括正视状态、仰头姿态、歪头姿态和低头姿态。

具体的，预设标准的人脸信息为人脸正视前方的标准头部状态。

而预先地，将预设标准的人脸信息存储在服务器中。

S20：当判断头部姿态信息为仰头姿态、歪头姿态和低头姿态的其中一种时，计算在当前姿态下的时间。

当检测出司机的头部姿态信息为仰头姿态、歪头姿态和低头姿态的其中一种时，则对该头部姿态下的停留时间进行计时。通过此设计，避免因为司机的正常头部活动触发异常警报，提高检测精度和效率。同时，当司机低头或仰头时，服务器无法再视频数据中检测出疲劳驾驶状态，存在无法识别的问题，而本发明增设了该前置条件，更好的解决了上述问题。

S30：若时间大于预设时间阈值时，则输出司机异常警报。

在一种具体实施中，在服务过程中，获取服务提供终端(司机端)的行驶数据，基于行驶数据判断车辆在行驶时，计算在当前姿态下的时间：仰头姿态停留超过5s时，则输出司机异常警报至客服平台、用服务请求终端(用户端)和服务提供终端(司机端)等进行告警。歪头姿态停留超过5s时，则输出司机异常警报至客服平台、用服务请求终端(用户端)和服务提供终端(司机端)等进行告警。低头姿态停留超过3s时，则输出司机异常警报至客服平台、用服务请求终端(用户端)和服务提供终端(司机端)等进行告警。行驶数据包括速度、位置信息等。

实施例四

如图4所示，本申请实施例还提供一种基于司机状态的派单优先度调整方法的实施方式，对所述人眼图像数据进行驾驶疲劳参数PERCOLOS值计算，当驾驶疲劳参数PERCOLOS值大于预设参数时，判断为疲劳驾驶状态，具体包括：

S211：对视频数据进行处理，得到人眼图像数据；

在一种优选实施中，先对视频数据的图像帧进行裁剪，截取眼部的图像数据。人眼图像数据为眼部的图像帧。通过裁剪，能够降低视频流的处理量。

S212：识别人眼图像数据中的眼睛是睁开或闭合。

具体的，根据眼睛睁开程度，将所采集的人眼图像数据分为睁开和闭合两类。其中，通过设定眼睛瞳孔开度大于20％是睁开，眼睛瞳孔开度小于或等于20％是闭合。

S213：对所述人眼图像数据进行驾驶疲劳参数PERCOLOS值计算。

眼睛闭开闭是测量时间内眼睛闭合的时间与眼睛睁开的时间之比，时间是通过每帧图像处理的时间计算得到。驾驶疲劳参数PERCOLOS值计算是本领域的技术人员可知晓的，在此不过多说明。

实施例五

如图5所示，本发明还提供了一种基于司机状态的派单优先度调整装置，包括获取模块、处理模块、调整模块和通信模块。

所述获取模块，用于获取视频数据，所述视频数据包括司机的人眼图像数据、面部图像数据和语音数据；

所述处理模块，用于对所述人眼图像数据进行驾驶疲劳参数PERCOLOS值计算，当驾驶疲劳参数PERCOLOS值大于预设参数时，判断为疲劳驾驶状态；

以及，对所述面部图像数据进行面部表情识别，得到面部表情信息；判断面部表情信息是否包含消极情绪，若是则确定为负面情绪状态；

所述调整模块，用于基于疲劳驾驶状态和/或负面情绪状态，调整司机的派单优先级策略；

所述通信模块，所述通信模块用于在获取视频数据之前，当接收到司机的上线服务请求时，建立与该司机对应终端的通信，以获取视频数据。

其中，所述处理装置，用于对所述语音数据进行识别，得到司机情绪信息；

从所述语音数据中提取出文本信息，识别文本信息中是否包含敏感词语；若文本信息包含敏感词语，则输出服务异常警报；

所述调整模块，用于基于疲劳驾驶状态、负面情绪状态和/或司机情绪信息，调整司机的派单优先级策略。

本实施例优选地，包括识别模块，所述视频数据还包括司机的头部姿态图像数据；在驾驶疲劳参数PERCOLOS值计算和面部表情识别之前；

所述识别模块，用于对头部姿态图像数据进行头部姿态识别，得到司机的头部姿态信息；

当判断头部姿态信息为仰头姿态、歪头姿态和低头姿态的其中一种时，计算在当前姿态下的时间；

若时间大于预设时间阈值时，则输出司机异常警报。

进一步的，所述调整模块，用于根据以下步骤调整司机的派单优先级策略，包括：

当存在疲劳驾驶状态和/或负面情绪状态时，降低司机的派单优先级；且当前有服务订单时，推送完成该订单后进行休息的信息；若当前无服务订单时，则推送下线休息的信息；

以及，当不存在疲劳驾驶状态和/或负面情绪状态时，提高司机的派单优先级。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，故凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何修改、等同变化与修饰,均仍属于本发明技术方案的范围内。