作业者品质管理方法和作业者品质管理装置

摘要

本发明的课题为从以重复进行同一作业为特征的作业现场的图像，自动判定各作业者的作业状况是正常还是异常。本发明提供作业者品质管理方法和作业者品质管理装置。对于进行重复动作的作业的作业者的作业品质管理方法的特征为具备：根据过去的作业者的动作路线数据、该作业对象物过去的中间品质数据和该作业对象物过去的最终品质数据，在统计学上构建以动作路线数据和中间品质数据为输入，以最终品质数据为输出的预测模型的模型构建步骤；根据拍摄的图像数据，识别作业者位置的作业者位置识别步骤；把在作业者位置识别步骤中识别出的作业者位置代入模型构建步骤中构建的模型中，判定对象的作业是正常还是异常的作业者位置异常判定步骤。

说明书

技术领域

本发明涉及作业者品质管理方法和作业者品质管理装置。

背景技术

作为本技术领域的背景技术，有日本特开2010-211626号公报(专利文献1)。该公报记载了“动作路线监视系统包括：拍摄装置200，其生成对在输送装置中输送的第一移动体和第二移动体进行拍摄得到的时序拍摄数据；特征点抽出单元140，其从时序拍摄数据中按时序抽出第一移动体的特征点的位置；时序位置坐标计算单元150，其基于从时序拍摄数据求出的、第二移动体相对于第一移动体的特征点的相对位置，计算在使第一移动体静止的状态下表示的基准坐标上的第二移动体的时序位置坐标；数据蓄积部170，其蓄积基准坐标上的第二移动体的时序位置坐标”。

在上述专利文献1中记载了从拍摄数据取得移动体的动作路线的技术。但是，在专利文献1中无法判定取得的动作路线是正常还是异常。

专利文献1：日本特开2010-211626号公报

发明内容

本发明的目的在于，从以反复进行同一作业为特征的作业现场的图像，自动判定各作业者的作业状况是正常还是异常。

为了解决上述的问题，例如采用权利要求中记载的方法。

作为代表性的手段，具有以下的方法：把从拍摄数据取得的作业者的位置(本体位置、间接位置)数据与品质检查结果之间的关系在统计学上模型化，通过把判定对象的位置数据或间接的位置数据代入模型，判定动作路线是正常还是异常。

根据本发明，能够在以反复进行同一作业为特征的作业现场，自动判定各作业者的作业状况是正常还是异常。

通过以下的实施方式的说明，会使上述以外的问题、结构和效果变得明确。

附图说明

图1是作业者品质管理方法的处理流程图。

图2是过去的动作路线数据的例子。

图3是品质数据的例子。

图4是距离矩阵的例子。

图5是存储了贝叶斯网络(Bayesian network)中的网络结构的例子。

图6是贝叶斯网络中的带条件概率的例子。

图7是作业品质管理方法和系统的第二实施方式的处理流程图。

图8是作业状态标志的例子。

图9是作业品质管理方法和系统的第二个实施方式的例子中的框图。

图10是异常度推移显示画面的例子。

图11是标准动作路线比较结果显示画面的例子。

图12是作业时间推移显示画面的例子。

图13是标准动作路线定义画面的例子。

图14是检测条件设定画面的例子。

图15是用于推定概率分布的处理方法。

附图标记的说明

101：过去数据取得步骤；102：模型构建步骤；103：图像数据取得步骤；104：作业位置识别步骤；105：作业者位置异常判定步骤；201：帧编号；202：重心的X坐标；203：重心的Y坐标；204：头的X坐标；205：头的Y坐标；206：肩的X坐标；207：肩的Y坐标；208：经过时间；601：对象节点；602：父节点；603：带条件概率；701：图像数据取得步骤(图像取得步骤)；702：作业状态判定步骤；703：作业开始识别步骤；704：作业者位置识别步骤；705：作业者位置异常检测步骤；706：作业结束识别步骤；707：作业时间异常检测步骤；708：动作路线识别步骤；709：动作路线异常检测步骤；801：作业状态标志；901：DB部；902：传感器部；903：引擎部；904：显示部；1101：异常检测对象的动作路线；1102：标准的动作路线；1301：节点；1302：时刻；1501：过去的动作路线数据取得步骤；1502：过去的动作路线数据选择步骤； 1503：概率分布推定步骤。

具体实施方式

以下，使用附图说明实施例。

图1是作业品质管理方法和作业者品质管理装置的处理流程图。

本实施例由以下步骤构成：过去数据取得步骤101，取得过去的动作路线数据、制品完成前的各作业的数值检查即中间品质数据、判定制品完成后是否能够作为制品出厂的最终品质数据；模型构建步骤102，根据取得的过去数据构建统计模型；图像数据取得步骤103，取得通过照相机等装置拍摄到的图像(动画或以预定的时间间隔取得的连续的静止画面)数据；作业者位置识别步骤104，识别图像数据中包含的作业者，取得该作业者的位置信息；作业者位置异常判定步骤105，把在作业者位置识别步骤中识别出的位置信息即动作路线数据(重心位置等整个作业者的动作路线数据或头、关节(肩、肘、膝等)这样的作业者身体一部分的动作路线数据)代入到在上述模型构建步骤102中构建的模型中，判定是否为正常。

在过去数据取得步骤101中，取得过去识别出的动作路线数据、过去的中间品质数据，过去的最终品质数据。

图2表示在上述的过去数据取得步骤101中取得的过去的动作路线数据的例子。

201表示对象的图像数据的帧编号。202～207表示取得的作业者的重心、头的位置、肩的位置各自的XY坐标。208表示从对象的图像数据的作业开始起的经过时间。

图3表示品质数据的例子。在上述的过去数据取得步骤101中，通过该表取得中间品质数据和最终品质数据。第1列表示用于识别制品的制品ID，第2列以后表示品质数据。

在模型构建步骤102中，基于在上述的过去数据取得步骤101中取得的过去数据，构建以动作路线数据和中间品质数据为输入，预测并输出最终品质数据的统计模型，将该统计模型存储在DB部901中。后述的统计模型构建引擎执行该处理。

由于针对每个制品ID动作路线数据的长度不同，所以变换成距离矩阵。

图4表示距离矩阵的例子。第1列表示制品ID。另外，例如，图4的表中的2行3列成分表示针对制品ID1的作业者的动作路线数据与针对制品ID2的动作路线数据的距离。作为距离的例子，有Gromov-Hausdorff距离。

然后，生成以制品ID为关键字在列方向上结合了距离矩阵、中间品质数据以及最终品质数据而得到的矩阵，从而构建统计模型。作为统计模型的例子，有贝叶斯网络等。贝叶斯网络是具有带条件概率的有向网络。

图5表示存储了贝叶斯网络的网络结构的例子。行方向表示子节点，列方向表示父节点。例如，第2行第5列的值为1，这表示对制品ID＝1距离与中间品质数据1之间存在父子关系。即，对制品ID＝1距离与中间品质数据1通过边缘连接，关于方向是以中间品质数据1为始发，以对制品ID＝1距离为目的地。

图6表示了贝叶斯网络的带条件概率的例子。对象节点601、父节点602分别表示对象的节点。带条件概率603的数字表示概率的值。

图像数据取得步骤103是从在作业现场设置的照相机等电子设备或者保存过去取得的图像数据的数据库取得图像数据的步骤。可以利用的电子设备有照相机、把照相机图像和深度传感器数据组合起来的3D照相机等。

关于要取得的图像数据，具有从电子设备只取得一帧最新的图像的方法、与数据库中保存的过去取得的图像数据一起取得多个帧的方法等。

作业者位置识别步骤104是搜索在取得的图像数据内拍摄到的作业者，取得图像数据内的作业者的重心、头的位置和肩的位置的XY坐标、以及从作业开始起的经过时间的步骤。

作为搜索作业者的方法，具有事先向计算机输入拍摄到作业者的图像数据和没有拍摄到作业者的图像数据，使用机械学习技术，根据图像数据构建用于判定是否拍摄到作业者的模型，使用该模型的方法；比较多个帧的图像，抽出运动的物体，将其作为作业者(作业者本体、作业者的身体的一部分)的方法。

作为取得从作业开始起的经过时间的方法，有从工厂的制造执行系统的起始履历取得作业开始和结束时刻，将其与从电子设备取得图像数据的时刻进行比较的方法；从图像数据推定作业内容，取得从作业开始起的经过时间的方法。

作业者位置异常判定步骤105是通过把在作业者位置识别步骤104中识别 出的作业者的位置信息代入在模型构建步骤102中构建的预测模型，判定作业者的位置是正常还是异常的步骤。

作为正常时的位置信息的模型，具有存储标准的位置数据的推移，使用该标准的位置数据的推移的方法；根据过去的位置数据存储表示在哪个位置存在的概率是怎样的程度的概率分布，使用该概率分布的方法。

图7是作业品质管理方法和系统的第二个实施方式的处理流程图。

本实施例的处理的流程具有以下步骤：从照相机等设备取得图像数据的图像数据取得步骤701；判定在当前时刻，作业状况是在作业中还是不在作业中的作业状态判定步骤702；根据取得的图像数据，判定作业是否已经开始的作业开始识别步骤703；识别作业者的位置的作业者位置识别步骤704；判定作业者的位置是正常还是异常的作业者位置异常检测步骤705；根据取得的图像数据，识别作业是否已经结束的作业结束识别步骤706；根据识别出的作业开始、结束时刻计算作业时间，识别作业时间是异常还是正常的作业时间异常检测步骤707；把从作业开始时刻到作业结束时刻之间的作业者的位置识别为动作路线的动作路线识别步骤708；以及判定识别出的动作路线数据是异常还是正常的动作路线异常检测步骤709。

图像数据取得步骤701进行与图1中的过去数据取得步骤101同样的处理。

作业状态判定步骤702，读取在存储器上存储的作业状态标志，取得与作业状态是在作业中还是不在作业中有关的信息。

图8表示作业状态标志的例子。在作业状态标志801中保存有为作业中的信息。作为表示不在作业中时的保存方法，具有保持非作业中这样的信息的方法等。

在作业状态判定步骤702中，在作业状态标志为在作业中时，进入到作业者位置识别步骤704，在作业状态标志为不在作业中时，进入到作业开始识别步骤703。这些处理由作业状态判定引擎来进行。

在作业开始识别步骤703中，根据过去的多个帧的图像中的各个图像的特征量的推移，判定作业的开始。在没有开始作业时，返回到作业状态判定步骤702。在开始了作业时进入到作业者位置识别步骤704。该判定由后述的作业 开始判定引擎使用后述的作业开始判定模型来进行。作为使用了该作业开始判定模型的判定方法，具有将过去的多个帧的图像中的特征量的推移与预先设定的阈值进行比较，由此来识别作业开始的方法；根据过去的多个帧的图像中的特征量的推移和在各时刻是否在作业中的数据，通过机械学习技术构建用于预测是否在作业中的预测模型的方法等。

作业者位置识别步骤704进行与图1中的作业者位置识别步骤104同样的处理。该处理由后述的作业者位置识别引擎进行。

作业者位置异常检测步骤705是把在作业者位置识别步骤704中识别出的作业者的位置信息与预先设定的正常时的位置信息模型进行比较，从而判定作业者的位置是正常还是异常的步骤。该处理由后述的作业者位置异常检测引擎使用作业位置异常检测模型来进行。

作为正常时的位置信息的模型，具有保存标准的位置数据的推移(标准动作路线)，使用该标准的位置数据的推移的方法；根据过去的位置数据保存表示在哪个位置存在的概率是何种程度的概率分布，使用概率分布该概率分布的方法。

在作业结束识别步骤706中，根据过去的多个帧的图像中的各个图像的特征量的推移，判定作业的结束。在判定为作业没有结束时，返回到图像数据取得步骤701。在判定为作业结束时进入到作业时间异常检测步骤707。判定由后述的作业结束判定引擎使用后述的作业结束判定模型来进行。作为判定的方法，具有将过去的多个帧的图像中的特征量的推移和预先设定的阈值进行比较，由此来识别作业结束的方法；根据过去的多个帧的图像中的特征量的推移和在各时刻是否在作业中的数据，通过机械学习技术构建用于预测是否在作业中的预测模型的方法等。

在作业时间异常检测步骤707中，具有根据在作业开始识别步骤703中识别出的作业开始时刻与在作业结束识别步骤706中识别出的作业结束时刻的差取得作业时间，将其与预先设定的阈值进行比较，把与阈值的差作为异常度，将异常度为一定值以上判定为异常，如果异常度不到一定值则判定为作业正常的方法等。该异常度也可以像后述那样表示。这些处理由后述的作业时间异常检测引擎使用后述的作业时间异常检测模型来进行。

在动作路线识别步骤708中，基于在作业位置识别步骤704中识别出的各时刻的作业者位置，生成每个作业者的动作路线数据，该动作路线数据的生成由后述的动作路线识别引擎使用后述的动作路线检测模型来进行。

关于动作路线数据的生成方法，具有基于时刻t-1和时刻t的作业者位置，预测时刻t+1的位置，把位于最近的位置的作业者位置当做相应的作业者在时刻t+1的位置，推定动作路线的方法等。作为预测时刻t+1的位置的方法，例如具有状态空间模型等。

在动作路线异常检测步骤709中是判定在动作路线识别步骤708中识别出的动作路线是正常还是异常的步骤。该判定由后述的动作路线异常检测引擎使用后述的动作路线异常检测模型来进行。

作为进行判定的方法，具有计算与预先设定的标准的动作路线数据的差，将该差与预先设定的阈值进行比较的方法等。

此时，作为差的计算方法有Gromov-Hausdorff距离等。

另外，作为其它的异常判定方法，具有把动作路线数据埋入1点由动作路线数据构成的空间中，通过同样的埋入映射还埋入过去的动作路线数据，推定概率分布，计算异常判定对象的动作路线的发生概率的方法等。

作为埋入方法，具有将Gromov-Hausdorff距离放入到1点由一维流形构成的集合中，从而在距离化的空间中埋入的方法等。

图9表示作业品质管理方法和系统的第二个实施方式的例子中的框图。

DB部901由作业开始判定模型、作业位置检测模型、作业结束判定模型、作业时间异常检测模型、动作路线检测模型、动作路线异常检测模型、过去数据构成，通过网络与传感器部902、引擎部903连接。

传感器部902具备照相机和3D照相机，通过网络与DB部901和引擎部903连接。

引擎部903具备：作业开始判定引擎、作业结束判定引擎、作业状态判定引擎、作业者位置识别引擎、作业者位置异常检测引擎、动作路线识别引擎、动作路线异常检测引擎、作业时间异常检测引擎、统计模型构建引擎，通过网络与DB部901、传感器部902、显示部904连接。

显示部904由异常度推移显示画面、标准动作路线比较结果显示画面、作 业时间推移显示画面、标准动作路线定义画面、检测条件设定画面构成，通过网络与引擎部903连接。

图10表示异常度推移显示画面的例子。横轴表示处理时刻，纵轴表示异常度。除了处理时刻以外，也有使横轴为处理ID的方法。纵轴的异常度是在作业时间异常检测步骤707中求出的异常度。

图11表示标准动作路线比较结果显示画面的例子。是把异常检测对象的动作路线(目标路径)1101与标准动作路线(普通路径)1102重叠后的图。检测对象的动作路线和标准动作路线是在动作路线异常检测步骤709中使用的。

图12表示作业时间推移显示画面的例子。横轴表示处理时刻，纵轴表示各作业需要的作业时间。除了处理时刻以外，也有使横轴为处理ID的方法。

图13表示标准动作路线定义画面的例子。在标准动作路线定义画面中，具有通过操作鼠标可自由地移动用边缘连起来的节点1301的画面等。对各节点关联应该观测各节点的时刻1302相，用户还能够编辑时刻信息。标准动作路线是在动作路线异常检测步骤709中使用的。

图14表示检测条件设定画面的例子。在本画面中，可设定注意阈值、警告阈值、标准的作业时间等。

图15表示用于推定在图1的作业者位置异常判定步骤105中使用的概率分布的处理方法。

本处理由取得过去的动作路线数据的过去的动作路线数据取得步骤1501、从过去的动作路线数据中选择在模型构建中使用的数据的过去的动作路线数据选择步骤1502、根据选择的数据推定概率分布的概率分布推定步骤1503构成。

在过去的动作路线数据取得步骤1501中，取得预先指定的期间中的动作路线数据。

在过去的动作路线数据选择步骤1502中，根据取得的数据的作业时间、异常检测结果只选择正常的动作路线。

在概率分布推定步骤1503中，根据选择出的动作路线数据推定概率分布。此时，具有预先仅确定正态分布那样的分布族，根据数据推定参数的方法；像 核密度推定那样不以分布族为前提的非参数推定等。