作业优化系统以及作业优化装置

摘要

本发明设置有：设备控制部，其根据设备的设备控制模式和设备控制模式的参数来进行设备的控制；作业员测量部，其在由设备控制部进行设备的控制时，根据由传感器取得的与设备协作地进行作业的作业员的传感器信息来测量作业员的作业；评价部，其根据预定的目标值来评价由作业员测量部测量到的作业；以及行为控制模式生成部，其判定评价部的评价是否比阈值高，在判定为高的情况下，生成包含判定为高的设备控制模式的参数的行为控制模式。

说明书

技术领域

本发明涉及作业优化系统以及作业优化装置，例如适用于使设备与作业员协作地进行的作业(协作作业)优化的作业优化系统以及作业优化装置。

背景技术

在设备与作业员协作的环境下一边进行作业一边执行预定的任务的情况因机器人技术等的发展、劳动力不足引起的自动化的需求等而处于增加趋势。在这样的状况下，要求通过与熟练度高的作业员匹配的设备的控制来完成使用这一点、以及作业员对优化后的设备采取调整的行为这一点。

关于前者，熟练度高的作业员的行为多数情况下难以被不熟练者习得，可以认为无法期待与熟练者同样的效率。关于后者，使作业员的行为与设备的动作匹配这一点中，担心因与设备侧匹配而产生的负载，因集中力的降低等引起的成品率的降低、对体力方面的负载、对精神方面的负载等成为问题。

这一点上，公开了对人进行适当的辅助的机器人的控制方法(参照专利文献1)。

现有技术文献

专利文献

专利文献1：日本特开2017-30137号公报

发明内容

发明要解决的课题

在专利文献1所记载的技术中，通过以不对作业员施加负载的方式控制机器人，虽然所述问题的一部分得以解决，但是存在作业员的负载减少，作业员的行为并非最佳的问题。

本发明是考虑以上的点而完成的，其目的在于提出一种能够使设备的效率最大化，并且能够控制作业员的行为的作业优化系统等。

用于解决课题的手段

为了解决这样的课题，在本发明中，设置有：设备控制部，其根据设备的设备控制模式和所述设备控制模式的参数来进行所述设备的控制；作业员测量部，其在由所述设备控制部进行所述设备的控制时，根据由传感器取得的与所述设备协作地进行作业的作业员的传感器信息来测量所述作业员的作业；评价部，其根据预定的目标值来评价由所述作业员测量部测量到的作业；以及行为控制模式生成部，其判定所述评价部的评价是否比阈值高，在判定为高的情况下，生成包含判定为高的所述设备控制模式的参数的行为控制模式。

根据上述结构，根据设备控制模式生成行为控制模式。即，根据设备控制来进行行为控制，因此，例如通过使用熟练者的设备控制模式，能够在使设备的效率最大化的同时控制作业员的行为。

发明效果

根据本发明，能够使设备的效率最大化，并且控制作业员的行为。

附图说明

图1是第一实施方式的作业优化系统的结构的一例。

图2是表示第一实施方式的作业环境的一例的图。

图3是表示第一实施方式的设备控制模式的生成所涉及的结构的一例的图。

图4是表示对第一实施方式的设备控制进行优化的模型的一例的图。

图5是表示第一实施方式的设备控制模式生成处理的流程图的一例的图。

图6是表示根据第一实施方式的设备控制对行为控制进行优化的模型的一例的图。

图7是表示第一实施方式的行为控制模式生成处理的流程图的一例的图。

图8是表示第一实施方式的作业员的作业所涉及的状态的指标的一例的图。

图9是表示第一实施方式的参数指标关联信息的一例的图。

具体实施方式

以下，参照附图对本发明的一实施方式进行详细说明。

本发明涉及通过设备的控制对作业员的行为给予变化而进行优化的技术。更具体而言，涉及如下技术：在设备和作业员共存的环境中，在执行某个任务时，通过设备侧的设备控制(最佳的设备控制模式)，对关联的作业员进行最佳的行为控制(生成最佳的行为控制模式来控制作业员)。

例如，在本实施方式中，特征在于，根据测量作业员的行为而得的数据即行为测量数据和目标值来实施作业评价，根据作业评价的结果和行为控制模式来进行回报评价，保存作业评价变高的行为控制模式，选择用于对作业员的行为进行优化的行为控制模式，根据选择出的行为控制模式来控制设备。

另外，例如，在本实施方式中，特征在于，根据设为规范的作业员(例如熟练者)的行为来学习最佳的设备控制模式。

另外，例如，在本实施方式中，特征在于，通过将预先取得的设备控制模式提示给作业员，能够接近可以实现最佳的作业的熟练者的行为模式，能够通过设备控制进行作业员的行为控制。

另外，例如，在本实施方式中，特征在于，通过针对每一个人定义设备控制模式和行为控制模式，能够对个人提示最佳的作业。

在本实施方式中，以工厂环境内的机器人装置与作业员的协作作业的方式中的事例为例进行说明。以下，对详细情况进行说明。

(1)第一实施方式

在图1中，100作为整体而表示第一实施方式的作业优化系统。

图1是表示作业优化系统100的结构的一例的图。在作业优化系统100中，测量作业员的行为、设备的动作等，对设备与作业员的协作作业进行优化。作业优化系统100构成为包含拍摄装置110、处理部(作业员测量部120、评价部130、目标指示部140、设备测量部150、行为控制模式生成部160、行为控制计划部170、设备控制部180等)、以及各种信息(设备控制模式191、行为控制模式192等)。此外，各结构要素的一部分也可以设置在作业优化系统100外。

处理部例如作为作业优化装置(计算机)的功能而实现，作业优化装置是笔记本电脑、服务器装置等，构成为包含省略图示的CPU(Central Processing Unit)、RAM(RandomAccess Memory)、ROM(Read Only Memory)、HDD(Hard Disk Drive)、通信装置等。

作业优化装置的功能(处理部)例如可以通过CPU将储存在ROM中的程序读出到RAM中执行(软件)来实现，也可以通过专用的电路等硬件来实现，还可以组合软件和硬件来实现。另外，作业优化装置的功能的一部分也可以通过能够与作业优化装置进行通信的其他计算机来实现。

拍摄装置110是摄像机、网络照相机等。拍摄装置110构成为包含镜头、图像传感器等，能够取得预定的图像(图像信息)。图像传感器是包含CMOS(Complementary MetalOxide Semiconductor)、CCD(Charge Coupled Device)等拍摄元件(均未图示)的机构。通过使用从这样的拍摄装置110取得的图像(影像)，能够感测到作业员等的作业环境内的状况。此外，关于作业环境，使用图2在后面进行叙述。

作业员测量部120例如在通过设备控制部180进行设备的控制时，根据由拍摄装置110(传感器的一例)取得的与设备协作地进行作业的作业员的图像信息(传感器信息的一例)，测量作业员的作业。

评价部130例如根据预定的目标值(由目标指示部140设定的目标值)来评价由作业员测量部120测量到的作业。例如，评价部130判定表示作业员的作业所涉及的状态的指标是否超过目标值，在判定为超过的情况下，进行比判断为未超过时高的评价。此外，关于表示作业员的作业所涉及的状态的指标，使用图8在后面进行叙述。

目标指示部140例如设定目标值。此外，目标值是在预定的期间要达成的作业量(例如，在一天的期间，将处于第一场所的箱子移动到第二场所而堆积)。

设备测量部150例如在通过设备控制部180进行设备的控制时，根据由拍摄装置110取得的设备的图像信息来测量设备的动作。

行为控制模式生成部160例如判定评价部130的评价是否比阈值高，在判定为高的情况下，生成包含判定为高的设备控制模式的参数的行为控制模式。

这里，在分为学习行为控制模式的阶段(学习阶段)和使用行为控制模式的阶段(运用阶段)来考虑的情况下，在学习阶段，例如也可以不设置行为控制计划部170。该情况下，行为控制模式生成部160例如搜索性地将学习中的设备控制模式的参数变更为其他参数以使评价变高，以使用该设备控制模式和变更后的其他参数来控制设备的方式对设备控制部180给予指示。根据这样的结构，能够适当地得到最佳的行为控制模式。换言之，作业优化系统100也可以不分为学习阶段和运用阶段，而是一边运用一边进行学习。该情况下，能够在运用的同时得到最佳的行为控制模式。

行为控制计划部170例如从由行为控制模式生成部160生成的行为控制模式中选择一个行为控制模式。另外，例如，行为控制计划部170也可以判定表示当前状态的指标是否超过阈值，在判定为未超过的情况下，根据使用图9在后面进行叙述的参数指标关联信息来确定表示当前状态的指标超过阈值的行为控制模式，将选择出的行为控制模式变更为所确定的行为控制模式。

设备控制部180例如根据由行为控制计划部170选择出的行为控制模式来确定设备的设备控制模式和该设备控制模式的参数，从而进行设备的控制。

图2是表示作业环境的一例的图。以俯瞰的方式示出了机器人装置200与作业员201在同一环境中进行作业的情况下。更具体而言，示出了以下情形：机器人装置200拾取工件202并将其移动到目标位置，作业员201事先、中途、或事后适当支持机器人装置200无法执行的作业，在协作的同时完成任务。在利用拍摄装置110观察它们的外观的同时，灵活运用识别技术来测量机器人装置200与作业员201的行为、作业状况。

例如，作为机器人装置200，以6轴的拣选机器人等为代表，但也可以是双臂型的机器人装置、自主移动的类型的机器人装置等，还可以是输送用的移动体那样的机器人装置，只要是具有支持作业员的作业那样的功能的机器人装置，则不特别限定。

此外，作为本实施方式的传感器，能够应用各种设备，以拍摄装置110为例进行说明。

在作业优化系统100中，作业员测量部120使用从拍摄装置110取得的图像信息来测量作业员201的作业(作业状态)。评价部130对该作业进行评价。作为评价指标，设为与输入到目标指示部140的预先设定的目标值(例如，每1分钟的工件202的移动数)相应的指标。

另外，设备测量部150根据从拍摄装置110获得的图像信息来测量机器人装置200的动作(动作状态)等。这里，可以灵活运用从机器人装置200直接获得的机器人装置200的姿态、位置等信息。作为前提，设备控制部180根据事先学习到的设备控制模式191，将机器人控制信号(设备控制信号)转发给机器人装置200，使机器人装置200动作。

这里，设备控制模式191储存通过与熟练者的作业、示教等而生成的最佳的设备的控制模式。设备控制模式191例如是规定了机器人装置200的臂部的轨道这样的设备的动作的信息。作为设备控制模式191，列举抓取1个工件202进行移动的设备控制模式、抓取2个工件202进行移动的设备控制模式、将工件202移动至作业员201的近前的设备控制模式、将工件202移动至最终目的地的设备控制模式等。此外，关于设备控制模式191，并不限定于为了说明而例示的模式。

图3是表示设备控制模式191的生成所涉及的结构的一例的图。如图3所示，作业优化系统100也可以构成为包含设备控制模式生成部300作为处理部。设备控制模式生成部300例如根据设为规范的作业员的行为生成最佳的设备控制模式191。

关于设备控制模式191的生成，存在如下方法：由熟练者等按照由目标指示部140提示的目标值，例如在一边与熟练者一起试错一边决定效率最高的作业的假设中，通过机器学习方法来取得。

作为机器学习方法，例如能够使用称为强化学习的方法。

图4是表示机器学习方法(对设备控制进行优化的模型)的一例的图。如图4所示，在定义了设备400和作业环境401这样的简单的模型的情况下，通过设备400的动作a来评价作业环境401的变化(价值)，作为回报r进行反馈。由此，是通过回报r来构建最佳的动作a的方法。虽然各种各样地提出了这样的方法，但可以采用以“Watkins，C.J.C.H.(1989).Learning from Delayed Rewards.”等为代表的Q学习等方式。

如果通过利用这些方法来求出，则能够进行针对由目标指示部140设定的目标值的作业评价，将该作业评价高的(例如，接近目标值、比目标值高等的)设备控制模式作为针对熟练度高的作业员的设备侧的作用来取得。接着，使用图5对生成设备控制模式的方法进行说明。

图5是表示设备控制模式生成部300生成设备控制模式191的处理(设备控制模式生成处理)的流程图的一例的图。

首先，评价部130使用从拍摄装置110取得的数据，取得由作业员测量部120得到的行为数据(作业)和预定的目标值(目标值500)(步骤S501)。

接着，评价部130根据目标值对由作业员测量部120测量到的作业执行评价(行为评价)(步骤S502)。

这里，作为作业(行为)，列举作业员移动了的距离、对身体负载大的蹲下、高位置处的保持姿势、压力的施加作业等。在行为评价中，若假定商品的包装作业，则能够对每1箱需要何种程度的时间、对身体的负载(身体不能够)有多少进行评价，将评价基准(表示作业员的作业所涉及的状态的指标)定义为作业时间短且对身体负载低的行为的评价高等。关于评价基准也取决于设置环境等，因此，优选进行与作业环境相应的定义。此外，关于身体负载的测量，除了拍摄装置110以外，还能够灵活运用压力测量传感器、脑电波传感器等其他装置。并且，可以设为也灵活运用了问卷调查评价等感性评价的形式。另外，关于作业，并不限定于为了说明而例示的作业。关于行为评价，并不限定于为了说明而例示的行为评价。

接着，设备控制模式生成部300判定是否结束设备控制模式生成处理(步骤S503)。设备控制模式生成部300在判定为结束的情况下，将处理转移到步骤S505，在判定为未结束的情况下，将处理转移到步骤S504。此外，按照行为评价值未发现变化、执行了预定的次数、与目标值的误差小于阈值等事先决定的基准来进行结束的判断。

在步骤S504中，设备控制模式生成部300将行为评价的结果是能够得到比阈值高的评价的设备的状态更新为理想的设备控制模式。此外，设备控制模式生成部300针对设备和/或作业员通过试错而向目标值500改善的情况，依次重复评价。

在步骤S505中，设备控制模式生成部300将最适合熟练者的设备控制模式(例如，超过目标值和/或阈值的一个或多个的设备控制模式)保存为设备控制模式191。

此外，关于设备控制模式191，也可以根据制约条件(安全性的观点、维护的观点等)进行筛选。

接下来，使用图6以及图7对根据设备控制来实现行为控制的结构进行说明。如上所述，在设备控制模式191的学习中，关于作业效率这样的目的，对学习如何使设备动作时成为高效的动作的方法进行了说明。这可以说是设备侧学习与熟练者匹配的设备的控制方法的作业。

另一方面，在评价部130以及行为控制模式生成部160中，成为如下的手续：根据学习到的设备的动作，求出实施作业的作业员侧如何习得高效的行为、如果执行怎样的设备的动作则作业员与设备的组合为高效的动作。

图6是表示根据设备控制来对行为控制进行优化的模型的一例的图。首先，通过设备600，作为预定的动作以动作a

若以作业员602为中心进行考虑，则关于在怎样的设备600的动作a

所谓逆强化学习是根据专家的行为来推定回报(哪个状态好多少)的方法，作为代表性的学习列举出“Andrew Ng，et al：“Algorithms for Inverse ReinforcementLearning””等。根据能够实现理想的作业的熟练者的行为，判断怎样的回报(行为的准确性)而进行动作，学习怎样的判断以及行为是由熟练者的成熟度引起的。

在本实施方式中，没有灵活运用将由熟练者生成的行为直接设为针对不熟练者的行为方针那样的直接的逆强化学习，而是在通过由熟练者定义的设备侧的最佳的设备控制模式，将这些设备控制模式即动作a

作为其效果，在是直接的指南的情况下，不是适合每个人的指示，反而花费熟习时间，或者没有成为适合个人的最佳的行为的情况也较多，作为效果而认为通过间接的指示来促使理想的行为，由此在将作业员的行为导向最佳化的同时，设备侧的控制也进化并相适合。

并且，可以说还得到通过反复进行设备侧的设备控制的学习和作业员侧的行为控制的学习而实现的相互进化那样的效果。

这里，在作业优化系统100中，通过变更设备控制模式191的参数(速度这样的用于调整设备的动作方式的参数)，来变更动作a

图7是表示行为控制模式生成部160生成行为控制模式192的处理(行为控制模式生成处理)的流程图的一例的图。

首先，评价部130使用从拍摄装置110取得的数据，取得由作业员测量部120得到的行为数据(作业)和预定的目标值(目标值700)(步骤S701)。此外，目标值500与目标值700可以相同，也可以不同。

接着，评价部130根据目标值对由作业员测量部120测量到的作业执行评价(行为评价)(步骤S702)。例如，评价部130与步骤S502同样地进行评价，比较行为的优劣。

接着，行为控制模式生成部160判定是否结束行为控制模式生成处理(步骤S703)。行为控制模式生成部160在判定为结束的情况下，将处理转移到步骤S705，在判定为未结束的情况下，将处理转移到步骤S704。此外，按照行为评价值未发现变化、执行了预定次数、与目标值的误差小于阈值等事先决定的基准来进行结束的判断。

在步骤S704中，行为控制模式生成部160将行为评价的结果是能够得到比阈值高的评价的行为控制模式更新为理想的行为控制模式。例如，行为控制模式生成部160生成包含判定为比阈值高的设备控制模式(也可以是能够识别设备控制模式的识别符。)和参数的行为控制模式。

此外，行为控制模式生成部160针对变更了行为控制模式(可以实现作业员的行为控制的设备控制模式的参数)而得的模式依次反复进行评价。例如，在设备的臂部的移动速度是第一速度的行为控制模式的情况下，小心地堆积工件但移动所需的时间长，在设备的臂部的移动速度是比第一速度快的第二速度的行为控制模式的情况下，杂乱地堆积工件但移动所需的时间短。在前者的情况下，需要作业员的等待时间内的充分的工件的确认、调整的时间，但效率变低，有时会诱发由单调的作业引起的错误等，也存在因每个人的适合性的不同而不适合的情况。另一方面，在后者的情况下，虽然是非常快的速度，但对于这样的作业的适合性高的作业员而言，也能够高效地进行作业。

上述记载了非常简单的情况。这里，在行为控制模式中也存在被认为是速度、正确度那样的一般的设备精度的模式，但也考虑不同的行为控制模式。一般情况下，存在正确的节奏下的作业对于工厂机械而言为理想的趋势，但通过加入随机的波动、噪声那样的动作，也能够期待对作业员唤起注意、给予作业的多样性所产生的防止压力、集中力的降低的情况。相反，也存在不希望这样的作业的情况。

并且，通过考虑作业的时间段和作业的持续时间、当前的环境和身体的状态等与作业员相关的信息，能够应用更适当的行为控制模式。例如，也可以考虑在存在相对于上午而言下午由于疲劳使得作业的准确性降低这样的事前信息的情况下，适当地控制作业的速度等。

这样，进行哪个行为控制模式变成对于作业员来说的回报(导向良好状态的模式)这样的逆强化学习。

另外，在步骤S704中，行为控制模式生成部160也可以将用于设备的控制的设备控制模式的参数和表示作业员的作业所涉及的状态的指标关联起来的信息(参数指标关联信息)与行为控制模式对应起来存储于HDD中。作为表示作业员的作业所涉及的状态的指标，设置体力方面的指标、精神方面的指标等。

图8是示出了表示作业员的作业所涉及的状态的指标的一例(指标表800)的图。如图8所示，在某设备控制模式的情况下，在指标表800中存储有对怎样的行为计划有效这样的信息。这根据行业种类而不同，针对各设备控制模式进行定义。

更具体而言，在指标表800中，针对每个设备控制模式801，储存有熟习水平802、移动量803、集中力804、精密度805、压力806、作业实绩807这样的指标的信息。此外，在指标表800中，如上所述，也可以包含与作业员相关的信息。

另外，图9表示参数指标关联信息的一例(近似曲线900)。此外，针对每个指标以及参数生成参数指标关联信息。

例如，在作业员疲劳的情况下，能够使用移动量803的近似曲线900，在满足阈值的范围内变更参数。另外，例如，在作业员的作业变得杂乱的情况下，能够使用精密度805的近似曲线900，在满足阈值的范围内变更参数。另外，例如在变更了一天的定额的情况下，能够使用作业实绩807的近似曲线900，在满足阈值的范围内变更参数。这样，根据参数指标关联信息，能够与当前的状态相应地，在满足阈值的范围内变更参数。

在步骤S705中，行为控制模式生成部160将适合作业员的行为控制模式保存为行为控制模式192。

这里，行为控制模式按每个作业员而不同，如果是在执行某个作业时怎样的设备的动作，则成为学习了成为最佳的作业这样的回报的状态。

根据上述的结构，例如，通过取得设备的最佳的设备控制模式，并且将该设备控制模式灵活运用于对其他作业员的行为控制，能够充分地发挥设备的性能，且成为适合个人的最佳的作业，能够使整体的效率最大化。

另外，根据上述的结构，例如设备侧也能够对设备控制进行优化，因此，能够通过设备与作业员的组合来生成最佳的行为控制模式，使效率最大化。

另外，根据上述的结构，例如能够取得最佳的设备控制模式，并且还能够实现人的行为控制，因此，能够以接近熟练者的形式来熟习作业。

另外，根据上述的结构，例如，行为控制模式是与个人的嗜好和动作模式关联的项目，因此在某设备中生成的行为控制模式和/或参数指标关联信息能够应用于其他设备这样的展开容易度也可以考虑为效果。

以上，根据本实施方式，事先取得成为规范的事例的熟练者的行为和作业效率等目标最高的设备控制模式，在无法立即执行非熟练者那样的最佳作业的情况下，经由事先取得的设备控制模式，将非熟练者的作业导向熟练者的作业，由此，作为结果，对作业员的行为进行优化，能够得到接近生产目标、高效率的作业等的效果。另外，例如通过设置表示作业员的状态的指标，能够得到进行适合个人的行为控制的效果。另外，例如能够获得进行与当前状态相应的行为控制的效果。

这样，以预先学习到的设备控制模式为基础，进行对作业员的行为评价和回报学习，由此，能够提供可以通过设备侧的变化来促使作业员的熟习度的作业优化系统以及作业优化装置。

此外，在本实施方式中，关于设备控制模式的更新等、反复相互深化的形式未图示，但当然也可以采用反复的结构，实现相互进化。

(2)其他实施方式

此外，在上述的实施方式中，对将本发明应用于作业优化系统的情况进行了叙述，但本发明不限于此，能够广泛应用于其他各种系统、装置、方法、程序。

另外，在上述的说明中，实现各功能的程序、表、文件等信息能够放置于存储器、硬盘、SSD(Solid State Drive)等存储装置、或者IC卡、SD卡、DVD等记录介质中。

另外，关于上述的结构，在不超出本发明的主旨的范围内，可以适当地进行变更、重组、组合、省略。

根据上述的结构，能够使设备的效率最大化，并且控制作业员的行为。

附图标记说明

100……作业优化系统、110……拍摄装置、120……作业员测量部、130……评价部、140……目标指示部、150……设备测量部、160……行为控制模式生成部、170……行为控制计划部、180……设备控制部、191……设备控制模式、192……行为控制模式。