驾驶员辅助装置、存储有驾驶员辅助程序的非暂时性存储介质和驾驶员辅助系统

摘要

一种驾驶员辅助装置，包括显示器、扬声器、麦克风以及处理器，该处理器包括硬件，并且被配置为：从安装在被配置为执行外部通信的车辆中的第一装置获取指示与车辆的驾驶员的行为有关的信息的第一信息；以及当第一信息包括驾驶员的异常行为时，在显示器上显示从设置在车辆中的摄像机获取的车辆的内部的图像，并使扬声器和麦克风建立允许与车辆中的驾驶员的对话的状态。

说明书

技术领域

本公开涉及一种驾驶员辅助装置、存储有驾驶员辅助程序的非暂时性存储介质和驾驶员辅助系统。

背景技术

日本未审查专利申请公开第2014-044691号(JP2014-044691A)公开了一种行车记录仪系统，该行车记录仪系统包括设置在车辆内部和外部的摄像机，并且在行车记录仪系统检测到驾驶员的异常行为(诸如睡着)的情况下，发出警报(警告)并记录车厢内部。

发明内容

需要进一步提高驾驶员的驾驶安全性的技术。

本公开提供了一种驾驶员辅助装置、存储有驾驶员辅助程序的非暂时性存储介质和驾驶员辅助系统，其能够提高驾驶安全性。

根据本公开的第一方案的驾驶员辅助装置包括：显示器；扬声器；麦克风；以及处理器，其包括硬件并且被配置为从安装在车辆中的第一装置获取指示与车辆的驾驶员的行为有关的信息的第一信息，所述车辆被配置为执行外部通信；以及当第一信息包括驾驶员的异常行为时，在显示器上显示从设置在车辆中的摄像机获取的车辆的内部的图像，并使扬声器和麦克风建立允许与车辆中的驾驶员的对话的状态。

根据本公开的第二方案的非暂时性存储介质存储有驾驶员辅助程序，该驾驶员辅助程序使包括硬件的处理器执行：从安装在车辆中的第一装置获取指示与车辆的驾驶员的行为有关的信息的第一信息，所述车辆被配置为执行外部通信；以及当第一信息包括驾驶员的异常行为时，在驾驶员辅助装置上设置的显示器上显示从设置在车辆中的摄像机获取的车辆内部的图像，并且使为驾驶员辅助装置设置的扬声器和麦克风建立允许与车辆中的驾驶员的对话的状态。

根据本公开的第三方案的驾驶员辅助系统包括：第一装置，其包括第一处理器，该第一处理器包括硬件，第一装置安装在被配置为执行外部通信的车辆中，并且第一处理器被配置为发送指示与驾驶员的行为有关的信息的第一信息；以及服务器，其包括显示器、扬声器、麦克风以及第二处理器，该第二处理器具有硬件并且被配置为：从第一装置获取第一信息；以及当第一信息包括驾驶员的异常行为时，显示从设置在车辆中的摄像机获取的车辆的内部的图像，并且使扬声器和麦克风建立允许与车辆中的驾驶员的对话的状态。

根据本公开，在驾驶员的异常行为发生的情况下，由于驾驶员辅助系统分发车辆内部的图像并允许操作者与驾驶员进行对话，因此，操作者例如可以指导驾驶员正确地驾驶车辆，同时实时检查车辆的状况。因此，能够提高驾驶安全性。

附图说明

下面将参照附图描述本发明的示例性实施例的特征、优点以及技术和工业意义，其中，相同的标号示出相同的元件，并且其中：

图1是示意性地示出包括根据第一实施例的驾驶员辅助装置的驾驶员辅助系统的配置的框图；

图2是示出由根据第一实施例的驾驶员辅助装置的显示控制单元在显示单元上显示的显示画面的示例的图；

图3是示出由根据第一实施例的驾驶员辅助系统执行的驾驶员辅助方法的处理过程的流程图；以及

图4是示意性地示出包括根据第二实施例的驾驶员辅助装置的驾驶员辅助系统的配置的框图。

具体实施方式

第一实施例

将参照图1至图3描述根据本公开的第一实施例的驾驶员辅助装置、驾驶员辅助程序和驾驶员辅助系统。注意，以下实施例的组成元件包括可由本领域技术人员替换且容易实现的元件和实质上相同的元件。

驾驶员辅助系统

将参照图1描述包括根据第一实施例的驾驶员辅助装置的驾驶员辅助系统。驾驶员辅助系统基于从车载装置接收(获取)的与驾驶员的行为有关的信息来提供驾驶员辅助。如图1所示，驾驶员辅助系统包括服务器1、数字行车自动记录仪(digital tachograph)3和驾驶员状态监视器(以下称为“DSM”)4。具体地，根据第一实施例的驾驶员辅助装置由服务器1实现。

数字行车自动记录仪3和DSM 4作为车载装置安装在车辆2中。车辆2是能够与外部进行通信的移动体，并且例如是能够自动驾驶的自动驾驶车辆。除了数字行车自动记录仪3和DSM 4之外，车辆2还包括通信单元5、电子控制单元(Electronic Control Unit，ECU)6、扬声器7和麦克风8。尽管图1中仅示出一台车辆2，但可以设置多台车辆2。

车辆2的服务器1、数字行车自动记录仪3、DSM 4和通信单元5被配置为能够经由网络NW彼此通信。网络NW例如由互联网和移动电话网络构成。

服务器

服务器1经由网络NW获取从数字行车自动记录仪(第二装置)3输出的数据(例如，车辆行为信息(第二信息))以及从DSM(第一装置)4输出的数据(例如，驾驶员行为信息(第一信息))，以同步可再现的状态累积上述输出数据，并且彼此同步地再现数据。服务器1包括控制单元11、通信单元12、存储单元13、显示单元(显示器)14、扬声器15和麦克风16。

具体地，控制单元11包括处理器以及存储器(主存储单元)，处理器具有中央处理单元(Central Processing Unit，CPU)、数字信号处理器(Digital Signal Processor，DSP)和现场可编程门阵列(Field-Programmable Gate Array，FPGA)等，存储器具有随机存取存储器(Random Access Memory，RAM)和只读存储器(Read Only Memory，ROM)等。

控制单元11通过将存储在存储单元13中的程序加载到主存储单元的工作空间，执行该程序，并通过执行该程序来控制各个构成单元，从而实现匹配预定目的的功能。通过执行该程序，控制单元11用作同步单元111、显示控制单元112和分发单元113。

同步单元111以同步可再现的方式将经由网络NW接收到的车辆行为信息和驾驶员行为信息累积在存储单元13中。在从数字行车自动记录仪3接收到车辆行为信息并且从DSM4接收到驾驶员行为信息之后，同步单元111基于车辆行为信息和驾驶员行为信息中包括的时间信息在时间方面使车辆行为信息与驾驶员行为信息同步，并将同步的信息累积在存储单元13中。

这里，车辆行为信息是与车辆2的行为有关的、并且是由数字行车自动记录仪3生成的信息。车辆行为信息包括由传感器组36检测的的传感器值(例如车速、角速度、与周围车辆的车辆间距离、重力加速度(G)值(前后G、左右G和垂直G))、由定位单元35检测的车辆位置(坐标)、与车辆2的异常行为是否发生有关的信息以及时间信息。车辆2的异常行为的示例包括迅速加速、急转弯、迅速接近周围车辆或车辆2越过车道标线。数字行车自动记录仪3将由摄像机34拍摄的图像和上述车辆行为信息输出到服务器1的同步单元111。

驾驶员行为信息是与车辆2的驾驶员的行为有关的并且由DSM 4生成的信息。驾驶员行为信息包括关于驾驶员的异常行为(例如驾驶员转移视线(驾驶员侧视)、驾驶员的闭眼(睡着)、驾驶员的头部的摆动和驾驶员的驾驶姿势受到干扰)是否发生的信息。DSM 4将由摄像机44拍摄的图像和上述驾驶员行为信息输出到服务器1的同步单元111。

例如，假设在确定的时间沿着确定的路线行驶的运输车辆和路线公共汽车为利用根据第一实施例的驾驶员辅助系统而操作的车辆2。也就是说，假定专门从事驾驶的专业驾驶员作为车辆2的驾驶员。因此，可以说，车辆行为信息和驾驶员行为信息是从在相同的时间(一天中的相同时间)沿着相同的路线重复行驶的车辆2接收到的信息。

显示控制单元112使车辆行为信息与驾驶员行为信息同步，并使显示单元14显示同步的信息。图2示出显示控制单元112使显示单元14显示的显示画面9的示例。例如，显示画面9被配置为包括显示由为数字行车自动记录仪3设置的摄像机34中的拍摄车辆2中的驾驶员的图像(以下称为“车内图像”)的摄像机34拍摄的图像的图像显示区域91、能够进行再现车内图像的操作的操作区域92、显示驾驶员行为信息的驾驶员行为信息显示区域93和显示车辆行为信息的车辆行为信息显示区域94。图2中的图像显示区域91显示车内图像。然而，图像显示区域91可以显示由为数字行车自动记录仪3设置的摄像机34中的拍摄车辆2外部的图像(在下文中称为“外部图像”)的摄像机34拍摄的图像。此外，显示控制单元112可以在图像显示区域91中显示切换按钮等，以在车内图像与外部图像之间进行切换。

例如，显示控制单元112在图像显示区域91中显示坐在驾驶员座位上的驾驶员Dr的车内图像。显示控制单元112在操作区域92中显示包括例如用于车内图像的播放按钮、暂停按钮、停止按钮、倒退按钮和快进按钮的操作按钮组921和搜索条922。操作按钮组921和搜索条922可通过诸如鼠标的指示装置进行操作。搜索条922的可移动方向(图2中的左右方向)与时间轴方向一致。因此，通过左右移动搜索条922，可以在图像显示区域91中显示与特定时间点对应的车内图像。

当显示控制单元112使车辆行为信息与驾驶员行为信息同步并将同步的信息显示在显示单元14上时，显示控制单元112将不同的颜色应用于异常行为的类型(例如，驾驶员转移视线、驾驶员的闭眼、驾驶员头部的摆动和驾驶员的驾驶姿势受到干扰)，并根据应用于异常行为的颜色显示驾驶员的异常行为发生的区间。如图2所示，例如，显示控制单元112在驾驶员行为信息显示区域93中沿着时间轴方向并排显示以预定时间划分的网格状的区域，并且根据异常行为的类型用不同的颜色显示各个网格。例如，图2中的部分A中的网格中的颜色表示驾驶员闭上了他或她的眼睛。如上所述，根据异常行为的类型，以不同的颜色显示驾驶员的异常行为发生的区间。这使得能够一目了然地掌握驾驶员的异常行为。

如图2所示，例如，显示控制单元112在车辆行为信息显示区域94中显示表示关于例如车速、角速度、与周围车辆的车辆间距离和G值的信息的曲线图。此外，除了图2所示的曲线图之外，显示控制单元112可以例如在地图上显示车辆位置的坐标，或者根据异常行为的类型(例如，迅速加速、急转弯、迅速接近周围车辆或车辆2越过车道标线)使用不同的颜色显示车辆2的异常行为发生的区间。如上所述，在曲线图中显示车辆2的行为或者使用不同的颜色显示车辆2的异常行为发生的区间使得能够一目了然地掌握车辆2的异常行为。

当显示控制单元112使车辆行为信息与驾驶员行为信息同步并将同步的信息显示在显示单元14上时，显示控制单元112可以仅显示驾驶员行为信息中包括的驾驶员的异常行为持续的区间。也就是说，如图2中的部分A所示，显示控制单元112可以提取驾驶员的相同异常行为(例如，闭眼)持续的部分的信息和图像，并在显示单元14上显示所提取的信息和图像。利用这种配置，管理服务器1的用户(下文中称为“操作者”)可以仅优先检查驾驶员的异常行为很有可能发生的部分。

此外，当显示控制单元112使车辆行为信息与驾驶员行为信息同步并将同步的信息显示在显示单元14上时，显示控制单元112可以仅提取车辆行为信息中包括车辆2的异常行为持续的部分的信息和图像，并将提取的信息和图像显示在显示单元14上。因此，操作者可以仅优先检查车辆2的异常行为很有可能发生的部分。

当驾驶员行为信息包括驾驶员的异常行为时，即，当分发单元113从DSM4接收指示“驾驶员的异常行为发生”的信息时，分发单元113在显示单元14上显示从数字行车自动记录仪3的摄像机34接收的图像。因此，从数字行车自动记录仪3的摄像机34接收的图像通过显示单元14被分发给操作者。同时，分发单元113激活扬声器15和麦克风16，以建立车辆中的驾驶员可以与操作者对话的状态。利用这种配置，在驾驶员的异常行为发生的情况下，操作者可以在实时检查车辆2中的状况的同时，指导驾驶员适当地驾驶车辆2。

分发单元113可以在驾驶员的异常行为发生之前分发车内图像。也就是说，即使在从DSM 4接收到的驾驶员行为信息不包括指示“驾驶员的异常行为发生”的信息的情况下，当分发单元113根据预定的判定标准判定驾驶员行为信息包括驾驶员的异常行为的发生迹象时，分发单元113将从数字行车自动记录仪3的摄像机34接收到的图像显示在显示单元14上。因此，从数字行车自动记录仪3的摄像机34接收到的图像通过显示单元14被分发给操作者。同时，分发单元113激活扬声器15和麦克风16，以建立车辆中的驾驶员可以与操作者通信的状态。利用这种配置，仅在驾驶员的异常行为很有可能发生的情况下，操作者可以在实时地检查车辆2中的状况的同时，指导驾驶员适当地驾驶车辆2。

例如，可以针对基于图像分析的驾驶员的面部的角度的变化率、眼睛的睁开程度的变化率以及驾驶员的头部和身体的位置的变化率来设定驾驶员的异常行为的发生的迹象的判定标准。

通信单元12被配置为包括例如局域网(LAN)接口板和用于执行无线通信的无线通信电路。通信单元12连接到网络NW(例如作为公共通信网络的互联网)。通信单元12连接到网络NW，以与车辆2的数字行车自动记录仪3、DSM 4和通信单元5进行通信。

存储单元13被配置为包括诸如可擦可编程ROM(EPROM)、硬盘驱动器(HDD)和可移除介质的记录介质。可移除介质的示例包括通用串行总线(USB)存储器和诸如光盘(CD)、数字多功能光盘(DVD)和蓝光(注册商标)光盘(BD)的光盘记录介质。存储单元13可以存储操作系统(OS)、各种程序、各种表格和各种类型的数据库(DB)等。

存储单元13包括车辆行为DB 131和驾驶员行为DB 132。上述数据库以由控制单元11执行的数据库管理系统(DBMS)的程序控制待存储在存储单元13中的数据的方式构建。

例如，车辆行为DB 131被配置为包括以可搜索的方式存储从数字行车自动记录仪3接收到的车辆行为信息的关系数据库。此外，例如，驾驶员行为DB 132被配置为包括以可搜索的方式存储从DSM 4接收到的驾驶员行为信息的关系数据库。

显示单元14被配置为包括液晶显示器(LCD)或有机电致发光显示器(OLED)等。显示单元14基于由显示控制单元112执行的控制彼此同步地显示车辆行为信息和驾驶员行为信息。显示单元14还能够基于由显示控制单元112执行的控制实时彼此同步地显示车辆行为信息和驾驶员行为信息，或者，能够在稍后的时刻使车辆行为信息与驾驶员行为信息同步的同时，显示在不同的时刻存储在存储单元13中的车辆行为信息和驾驶员行为信息。

扬声器15是将语音信息输出到管理服务器1的操作者的输出单元。例如，当操作者经由网络NW与车辆2的驾驶员对话时，使用扬声器15。另外，扬声器15可以用于在车辆2或驾驶员的异常行为发生时将警报通知操作者的目的。

麦克风16是接收来自操作者的语音输入的输入单元。例如，当操作者经由网络NW与车辆2的驾驶员对话时，使用麦克风16。

数字行车自动记录仪(车辆信息获取单元)3包括控制单元31、通信单元32、存储单元33、摄像机34、定位单元35和传感器组36。控制单元31、通信单元32和存储单元33在物理上与控制单元11、通信单元12和存储单元13相同。控制单元31通过执行存储在存储单元33中的程序来用作车辆行为检测单元311和通知单元312。

车辆行为检测单元311基于从传感器组36输入的传感器数据检测车辆2的行为(例如，车速、角速度、与周围车辆的车辆间距离、G值和车辆位置)和车辆2的异常行为(例如，迅速加速、急转弯、迅速接近周围车辆或车辆2越过车道标线)是否发生。

例如，车辆行为检测单元311针对车速、角速度、与周围车辆的车辆间距离、G值和到车道标线的距离来设定阈值(第二判定标准)。当从传感器组36输入的传感器数据超过阈值时或者基于超过阈值后经过的时间，车辆行为检测单元311判定车辆2的异常行为发生。

当车辆行为检测单元311检测到车辆2的异常行为时，通知单元312通过安装在车辆2中的扬声器7将警报通知给驾驶员。注意，通知单元312可以输出提示校正异常行为的语音(例如，当车辆越过车道标线时，指示“车辆越过车道标线”的语音)来代替警报。此外，数字行车自动记录仪3本身可以包括扬声器，并且可以从扬声器输出警报或语音。

各个摄像机34例如是具有诸如电荷耦合装置(CCD)或CMOS图像传感器(CIS)的内置成像元件的摄像机。例如，摄像机34布置在车辆的内部和外部，并且分别布置在能够拍摄车辆2前方的图像的位置、能够拍摄车辆2后方的图像的位置以及能够拍摄车辆2中的驾驶员的图像的位置。摄像机34将拍摄到的图像数据输出到车辆行为检测单元311。

定位单元35从全球定位系统(GPS)卫星接收无线电波并检测车辆位置。检测车辆位置的方法不限于使用GPS卫星的方法，而是可以是将光检测和测距或激光成像检测和测距(LiDAR)与三维数字地图结合的方法等。

传感器组36被配置为包括车速传感器、发动机转速传感器、G传感器和陀螺仪传感器等。传感器组36将检测到的传感器数据输出到控制单元31。

DSM(驾驶员信息获取单元，第一装置)4包括控制单元41、通信单元42、存储单元43和摄像机44。控制单元41、通信单元42和存储单元43在物理上与控制单元11、通信单元12和存储单元13相同。控制单元41通过执行存储在存储单元43中的程序来用作驾驶员行为检测单元411和通知单元412。

驾驶员行为检测单元411通过分析由摄像机44拍摄的图像来检测驾驶员的异常行为。当驾驶员行为检测单元411检测到驾驶员的异常行为时，驾驶员行为检测单元411可以使用诸如深度学习的机器学习技术。

例如，驾驶员行为检测单元411针对基于图像分析的驾驶员的面部的角度、驾驶员的眼睛的睁开程度以及驾驶员的头部和身体的位置等预先设定阈值(第一判定标准)。当图像分析的结果超过阈值时或者基于超过阈值后经过的时间，驾驶员行为检测单元411判定驾驶员的异常行为发生。

当驾驶员行为检测单元411检测到驾驶员的异常行为时，通知单元412通过安装在车辆2中的扬声器7将警报通知给驾驶员。注意，通知单元412可以输出提示校正异常行为的语音(例如，当驾驶员转移视线时，指示“注意前方”的语音)来代替警报。此外，DSM 4本身可以包括扬声器，并且可以从扬声器输出警报或语音。

摄像机44例如是红外摄像机，并且布置在能够拍摄车辆2中的驾驶员的图像的位置。摄像机44将拍摄到的图像数据输出到车辆行为检测单元311。

通信单元5被配置为包括例如数据通信模块(DCM)，并且经由网络NW通过无线通信与服务器1进行通信。ECU 6对安装在车辆2中的组成元件的操作执行集中控制。扬声器7和麦克风8设置在车辆2中，并且在物理上与扬声器15和麦克风16相同。扬声器7和麦克风8可以设置在数字行车自动记录仪3和DSM 4中的每一个中。

驾驶员辅助方法

将参照图3描述由根据第一实施例的驾驶员辅助系统执行的驾驶员辅助方法。下面将描述的处理流程在车辆2的点火开关从关闭状态切换到开启状态的时刻开始，并且例程进行到步骤S1。此外，数字行车自动记录仪3的处理(步骤S1至步骤S3)和DSM 4的处理(步骤S4至步骤S6)可以在如图3所示的不同时刻执行，或者可以在相同时刻执行。

首先，数字行车自动记录仪3的控制单元31开始车辆行为信息的数据记录(步骤S1)。然后，车辆行为检测单元311基于从传感器组36输入的传感器数据检测车辆2的行为(步骤S2)。然后，车辆行为检测单元311将车辆行为信息和由摄像机34拍摄的图像发送到服务器1(步骤S3)。

随后，DSM 4的控制单元41开始驾驶员行为信息的数据记录(步骤S4)。然后，驾驶员行为检测单元411基于从摄像机44输入的图像检测驾驶员的行为(步骤S5)。然后，驾驶员行为检测单元411将驾驶员行为信息和由摄像机44拍摄的视频(图像)发送到服务器1(步骤S6)。在步骤S5和步骤S6中的处理之后，服务器1的同步单元111将从数字行车自动记录仪3接收到的车辆行为信息和从DSM 4接收到的驾驶员行为信息以同步可再现的方式累积在存储单元13中。

随后，服务器1的分发单元113判定驾驶员的异常行为是否发生，即，分发单元113是否从DSM 4接收到指示“驾驶员的异常行为发生”的信息(步骤S7)。当分发单元113判定驾驶员的异常行为发生时(步骤S7中的“是”)，分发单元113通过显示单元14将由数字行车自动记录仪3的摄像机34拍摄的图像分发给操作者，激活扬声器15和麦克风16以使车辆中的驾驶员和操作者彼此可通信，并且使操作者开始语音对话(步骤S8)。另一方面，当分发单元113判定驾驶员的异常行为未发生时(步骤S7中的“否”)，分发单元113使例程返回到步骤S7。通过上述流程，驾驶员辅助方法的处理结束。

如上所述，利用根据第一实施例的驾驶员辅助装置、驾驶员辅助程序和驾驶员辅助系统，车内图像被分发给操作者，并且在驾驶员的异常行为发生的情况下，使操作者能够与驾驶员进行对话。因此，例如，在操作者实时地检查车辆中的状况的同时，操作者可以指导驾驶员适当地驾驶车辆。因此，能够提高驾驶安全性。

第二实施例

将参照图4描述根据本公开第二实施例的驾驶员辅助装置、驾驶员辅助程序和驾驶员辅助系统。

驾驶员辅助系统

除了驾驶员辅助系统包括服务器1A来代替服务器1之外，根据第二实施例的驾驶员辅助系统具有与根据第一实施例的驾驶员辅助系统类似的配置。因此，下面将仅描述服务器1A的配置。

服务器

服务器1A包括控制单元11A、通信单元12、存储单元13A、显示单元14、扬声器15和麦克风16。控制单元11A在物理上与控制单元11相同。控制单元11A通过执行存储在存储单元13A中的程序用作同步单元111、显示控制单元112、分发单元113、车辆停止单元114、学习单元115和对话控制单元116。

当从DSM 4接收到的驾驶员行为信息包括驾驶员的异常行为时，根据第二实施例的车辆停止单元114经由网络NW向车辆2发送使车辆2的行驶停止的行驶停止信号。接收到行驶停止信号的车辆2的ECU 6(参照图1)使发动机停止。因此，能够降低事故等发生的可能性。

此外，当从DSM 4接收到的驾驶员行为信息包括驾驶员的异常行为时，车辆停止单元114可以经由网络NW使用车辆2的扬声器7(参照图1)将警报通知给驾驶员。在这种情况下，当车辆停止单元114将警报通知给驾驶员预定次数时，即，车辆停止单元114判定驾驶员的异常行为重复发生时，车辆停止单元114经由网络NW向车辆2发送使车辆2停止行驶的行驶停止信号。接收行驶停止信号的车辆2的电子控制单元6使发动机停止。利用这种配置，仅在驾驶员的异常行为很有可能发生的情况下，才能够远程使车辆2停止。

根据第二实施例的学习单元115对DSM 4的驾驶员行为检测单元411判定的驾驶员异常行为的存在与实际异常行为的存在之间的关系进行机器学习来生成学习模型。然后，代替驾驶员行为检测单元411的判定，学习单元115使用如上生成的学习模型来判定驾驶员的异常行为是否发生。利用这种配置，使用已经学习了所判定的驾驶员异常行为的存在与实际异常行为的存在之间的关系的学习模型，可以提高异常行为的检测精度。

当从DSM 4接收到的驾驶员行为信息包括驾驶员的异常行为时，根据第二实施例的对话控制单元116分析驾驶员的声音，并基于预定的对话内容(即预先存储在存储单元13A的对话内容数据库113中的对话内容)与驾驶员进行对话。因此，即使操作者不在，语音代理也可以向驾驶员发出适当的驾驶指令。

如上所述，根据第二实施例的驾驶员辅助装置、驾驶员辅助程序和驾驶员辅助系统能够提高车辆2和驾驶员的异常行为的检测精度。

本领域的技术人员可以容易地得出进一步的效果和变型例。因此，本发明的更广泛的方案不限于以上表示和描述的具体细节和代表性实施例。因此，在不脱离由所附权利要求及其等同物限定的总体发明构思的精神和范围的情况下，可以进行各种修改。

例如，在第一实施例和第二实施例中，对车辆行为信息和驾驶员行为信息的同步时刻没有特别限制。在第一实施例和第二实施例中，从数字行车自动记录仪3接收到的车辆行为信息与从DSM 4接收到的驾驶员行为信息在时间上同步，并且同步的信息被累积在存储单元13、13A中。然而，在车辆行为信息和驾驶员行为信息在时间上不同步的状态下，车辆行为信息和驾驶员行为信息可以被累积在存储单元13、13A中，并且可以在再现时被同步。在这种情况下，在显示控制单元112从存储单元13、13A读取车辆行为信息和驾驶员行为信息之后，显示控制单元112基于车辆行为信息和驾驶员行为信息中包含的时间信息在时间上将车辆行为信息与驾驶员行为信息同步，并且在显示单元14上显示同步的信息。