首页> 中国专利> 学习完成的作业分类推断模型的制造方法、学习用数据、由计算机执行的方法、以及包括作业机械的系统

学习完成的作业分类推断模型的制造方法、学习用数据、由计算机执行的方法、以及包括作业机械的系统

摘要

高精度地进行作业分类。学习完成的作业分类推断模型(180)的制造方法包括如下步骤:取得学习用数据(188A),该学习用数据(188A)包含从特定的视点位置观察表示作业机械的作业中的立体形状的三维模型时的特定视点图像(206)、以及针对特定视点图像(206)附加标注的表示作业机械的动作的内容的作业分类结果(204);以及利用学习用数据(188A),使作业分类推断模型(180)进行学习。

著录项

  • 公开/公告号CN113825879A

    专利类型发明专利

  • 公开/公告日2021-12-21

    原文格式PDF

  • 申请/专利权人 株式会社小松制作所;

    申请/专利号CN202080035665.X

  • 发明设计人 新田目启敬;

    申请日2020-06-24

  • 分类号E02F3/30(20060101);E02F3/43(20060101);E02F9/20(20060101);E02F9/26(20060101);

  • 代理机构11021 中科专利商标代理有限责任公司;

  • 代理人佟胜男

  • 地址 日本东京都

  • 入库时间 2023-06-19 13:46:35

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2022-10-14

    授权

    发明专利权授予

说明书

技术领域

本公开涉及学习完成的作业分类推断模型的制造方法、学习用数据、由计算机执行的方法、以及包括作业机械的系统。

背景技术

轮式装载机在能够沿上下方向移动的动臂的前端具备能够相对于动臂旋转的铲斗。在轮式装载机的挖掘作业中,通过使车辆前进而将铲斗压入砂土堆,并且使动臂上升。由此,砂土被挖取至铲斗上。

以往,提出有如下一种轮式装载机,其具备用于检测动臂相对于水平方向的倾斜角的传感器、以及用于检测铲斗相对于动臂的倾斜角的传感器(例如,参照日本特开2018-135649号公报(专利文献1))。

在先技术文献

专利文献

专利文献1:日本特开2018-135649号公报

发明内容

发明要解决的课题

在轮式装载机的情况下,构成为,搭载有检测工作装置的姿态的传感器,能够根据由传感器检测到的工作装置的姿态来完成作业分类。另一方面,在小型机种等销售价格较便宜的机种中未搭载传感器,无法利用传感器来检测工作装置的姿态。

轮式装载机相对于各种对象物一边移动一边进行作业,因此外部干扰较多,难以高精度地进行基于图像处理的作业分类。

在本公开中,提供一种能够进行高精度的作业分类的、学习完成的作业分类推断模型的制造方法、学习用数据、由计算机执行的方法、以及包括作业机械的系统。

用于解决课题的手段

根据本公开的一个方案,提供一种学习完成的作业分类推断模型的制造方法。制造方法包括以下的处理。在第一处理中,取得学习用数据,该学习用数据包含从特定的视点位置观察表示作业机械的作业中的立体形状的三维模型而得的二维图像、以及针对二维图像附加标注的表示作业机械的动作的内容的作业分类。在第二处理中,利用学习用数据使作业分类推断模型进行学习。

根据本公开的一个方案,提供一种用于使求出作业机械的作业分类的作业分类推断模型进行学习的学习用数据。学习用数据包含:从特定的视点位置观察表示作业机械的作业中的立体形状的三维模型而得的二维图像;以及针对二维图像附加标注的表示作业机械的动作的内容的作业分类。

根据本公开的一个方案,提供一种用于使求出作业机械的作业分类的作业分类推断模型进行学习的学习用数据。学习用数据包含:表示作业机械的作业中的立体形状的三维模型;表示假想地观察三维模型的视点的位置的视点位置;以及针对三维模型以及视点位置附加标注的表示作业机械的动作的内容的作业分类。

根据本公开的一个方案,提供一种由计算机执行的方法。该方法包括以下的处理。在第一处理中,取得显示作业机械的图像数据。在第二处理中,向通过上述的制造方法所制造出的学习完成的作业分类推断模型输入图像数据,从而推断作业分类。

根据本公开的一个方案,提供一种具备作业机械和计算机的包括作业机械的系统。计算机具有通过上述的制造方法所制造出的学习完成的作业分类推断模型。计算机取得显示作业机械的图像数据,使用作业分类推断模型并根据图像数据,输出推断出作业分类的推断作业分类。

发明效果

根据本公开,能够高精度地进行作业分类。

附图说明

图1是示出作为作业机械的一例的轮式装载机的侧视图。

图2是示出包括轮式装载机的整体系统的结构的概略框图。

图3是说明轮式装载机的挖掘装入作业中的动作的示意图。

图4是示出轮式装载机的挖掘装入作业中的动作的判别方法的表。

图5是示出包括作业机械的系统中所包括的计算机的结构的示意图。

图6是示出出厂前的轮式装载机的系统结构的框图。

图7是示出学习完成的作业分类推断模型的制造方法的流程图。

图8是示出用于使作业分类推断模型进行学习的处理的第一概略图。

图9是示出用于使作业分类推断模型进行学习的处理的第二概略图。

图10是示出出厂的轮式装载机的系统结构的框图。

图11是示出在出厂后为了推断作业分类而由计算机执行的处理的流程图。

图12是示出与作业分类推断模型的学习相关的变形例的概略图。

具体实施方式

以下,基于附图对实施方式进行说明。在以下的说明中,对相同部件标注有相同的附图标记。它们的名称以及功能也相同。因此,不重复关于它们的详细说明。

<整体结构>

在实施方式中,作为作业机械的一例对轮式装载机1进行说明。图1是作为基于实施方式的作业机械的一例的轮式装载机1的侧视图。

如图1所示,轮式装载机1具备车身框架2、工作装置3、行驶装置4、以及驾驶室5。由车身框架2、驾驶室5等构成轮式装载机1的车身(作业机械主体)。在轮式装载机1的车身安装有工作装置3以及行驶装置4。

行驶装置4是使轮式装载机1的车身行驶的装置,包括行驶轮4a、4b。轮式装载机1通过驱动行驶轮4a、4b旋转而能够自动行驶,并能够使用工作装置3来进行期望的作业。

车身框架2包括前框架2a和后框架2b。前框架2a和后框架2b安装为能够相互向左右方向摆动。以横跨前框架2a和后框架2b的方式安装有一对转向缸11。转向缸11是液压缸。转向缸11在来自转向泵(未图示)的工作油的作用下伸缩,由此轮式装载机1的行进方向左右变更。

在本说明书中,将轮式装载机1直行行驶的方向称作轮式装载机1的前后方向。在轮式装载机1的前后方向上,将相对于车身框架2而配置有工作装置3的一侧称作前方向,将与前方向相反的一侧称作后方向。轮式装载机1的左右方向是指俯视下与前后方向正交的方向。向前方向观察时的左右方向的右侧、左侧分别为右方向、左方向。轮式装载机1的上下方向是指与由前后方向以及左右方向确定的平面正交的方向。在上下方向上,地面所在的一侧为下侧,天空所在的一侧为上侧。

在前框架2a安装有工作装置3以及一对行驶轮(前轮)4a。工作装置3配设于车身的前方。工作装置3由来自工作装置泵25(参照图2)的工作油驱动。工作装置泵25是由发动机21驱动、并通过排出的工作油来使工作装置3工作的液压泵。工作装置3包括动臂14、以及作为作业工具的铲斗6。铲斗6配置于工作装置3的前端。铲斗6是以能够装卸的方式装配于动臂14的前端的附属装置的一例。根据作业的种类,附属装置能够替换为抓钩、吊钩、或者犁爪等。

动臂14的基端部通过动臂销9而旋转自如地安装于前框架2a。铲斗6通过位于动臂14的前端的铲斗销17而旋转自如地安装于动臂14。

前框架2a和动臂14通过一对动臂缸16连结。动臂缸16是液压缸。动臂缸16的基端安装于前框架2a。动臂缸16的前端安装于动臂14。动臂缸16在来自工作装置泵25(参照图2)的工作油的作用下伸缩,由此动臂14升降。动臂缸16驱动动臂14以动臂销9为中心上下旋转。

工作装置3还包括双臂曲柄18、铲斗缸19、以及连杆15。双臂曲柄18通过位于动臂14的大致中央的支承销18a而旋转自如地支承于动臂14。铲斗缸19将双臂曲柄18与前框架2a连结。连杆15与设置于双臂曲柄18的前端部的连结销18c连结。连杆15将双臂曲柄18与铲斗6连结。

铲斗缸19是液压缸且是作业工具缸。铲斗缸19的基端安装于前框架2a。铲斗缸19的前端安装于在双臂曲柄18的基端部设置的连结销18b。铲斗缸19在来自工作装置泵25(参照图2)的工作油的作用下伸缩,由此铲斗6上下转动。铲斗缸19将铲斗6驱动为以铲斗销17中心旋转。

在后框架2b安装有驾驶室5以及一对行驶轮(后轮)4b。驾驶室5配置于动臂14的后方。驾驶室5载置于车身框架2上。在驶室5内配置有供操作员就座的座椅、以及后述的操作装置等。

在驾驶室5的室顶部配置有位置检测传感器64。位置检测传感器64包括GNSS天线和全局坐标运算器。GNSS天线是全球导航卫星系统(RTK-GNSS(Real Time Kinematic-Global Navigation Satellite Systems)用的天线。

在驾驶室5的室顶部还搭载有拍摄装置65。实施方式的拍摄装置65是单眼相机。拍摄装置65配置于驾驶室5的室顶部的前端部分。拍摄装置65对驾驶室5的前方进行拍摄。拍摄装置65对工作装置3进行拍摄。拍摄装置65拍摄而得的拍摄图像包含工作装置3的至少一部分。

在驾驶室5内配置有IMU(Inertial Measurement Unit)66。IMU66检测车身框架2的倾斜。IMU66检测车身框架2的相对于前后方向和左右方向的倾斜角。

图2是表示包括实施方式的轮式装载机1的整体系统的结构的概要框图。参照图2,实施方式的整体系统包括轮式装载机1、以及设置为能够通过无线通信或者有线通信与轮式装载机1通信的第二处理装置70。

轮式装载机1具备发动机20、动力取出部22、动力传递机构23、缸驱动部24、第一角度检测器29、第二角度检测器48、转动机构60以及第一处理装置30(控制器)。

发动机20例如是柴油发动机。通过调整向发动机20的缸内喷射的燃料量来控制发动机20的输出。在发动机20设有温度传感器31。温度传感器31将表示温度的检测信号向第一处理装置30输出。

动力取出部22是将发动机20的输出分配给动力传递机构23和缸驱动部24的装置。动力传递机构23是将来自发动机20的驱动力向前轮4a和后轮4b传递的机构,例如是变速器。动力传递机构23使输入轴21的旋转变速而向输出轴23a输出。在动力传递机构23的输出轴23a安装有用于检测轮式装载机1的车速的车速检测部27。轮式装载机1包括车速检测部27。

车速检测部27例如是车速传感器。车速检测部27通过检测输出轴23a的旋转速度而对基于行驶装置4(图1)的轮式装载机1的移动速度进行检测。车速检测部27作为用于检测输出轴23a的旋转速度的旋转传感器发挥功能。车速检测部27作为检测基于行驶装置4的移动的移动检测器发挥功能。车速检测部27将表示轮式装载机1的车速的检测信号向第一处理装置30输出。

缸驱动部24具有工作装置泵25及控制阀26。发动机20的输出经由动力取出部22向工作装置泵25传递。从工作装置泵25排出的工作油经由控制阀26向动臂缸16及铲斗缸19供给。

在动臂缸16安装有用于检测动臂缸16的油室内的液压的第一液压检测器28a、28b。轮式装载机1包括第一液压检测器28a、28b。第一液压检测器28a、28b具有例如盖侧压力检测用的压力传感器28a和底侧压力检测用的压力传感器28b。

压力传感器28a安装在动臂缸16的盖侧。压力传感器28a能够检测动臂缸16的缸盖侧油室内的工作油的压力(盖侧压力)。压力传感器28a将表示动臂缸16的盖侧压力的检测信号向第一处理装置30输出。压力传感器28b安装在动臂缸16的底侧。压力传感器28b能够检测动臂缸16的缸底侧油室内的工作油的压力(底侧压力)。压力传感器28b将表示动臂缸16的底侧压力的检测信号向第一处理装置30输出。

第一角度检测器29例如是安装于动臂销9的电位计。第一角度检测器29检测表示动臂14的攒起角度(倾斜角度)的动臂角度。第一角度检测器29将表示动臂角度的检测信号向第一处理装置30输出。

具体而言,如图1所示,动臂基准线A是通过动臂销9的中心和铲斗销17的中心的直线。动臂角度θ1是从动臂销9的中心向前方延伸的水平线H与动臂基准线A所成的角度。将动臂基准线A为水平的情况定义为动臂角度θ1=0°。在动臂基准线A位于比水平线H靠上方处的情况下,将动臂角度θ1设为正。在动臂基准线A位于比水平线H靠下方处的情况下,将动臂角度θ1设为负。

第二角度检测器48例如是安装于支承销18a的电位计。第二角度检测器48检测表示铲斗6相对于动臂14的倾斜角度的铲斗角度。第二角度检测器48将示出铲斗角度的检测信号向第一处理装置30输出。

具体而言,如图1所示,铲斗基准线B是通过铲斗销17的中心和铲斗6的铲尖6a的直线。铲斗角度θ2是动臂基准线A与铲斗基准线B所成的角度。将在使铲斗6接地的状态下铲斗6的铲尖6a在地上成为水平的情况定义为铲斗角度θ2=0°。在将铲斗6向挖掘方向(朝上)移动了的情况下,将铲斗角度θ2设为正。在将铲斗6向卸料方向(朝下)移动了的情况下,将铲斗角度θ2设为负。

第二角度检测器48也可以通过检测双臂曲柄18相对于动臂14的角度(双臂曲柄角度)来检测铲斗角度θ2。双臂曲柄角度是通过支承销18a的中心和连结销18b的中心的直线与动臂基准线A所成的角度。第二角度检测器48也可以是安装于铲斗销17的电位计或者接近开关。或者,第二角度检测器48也可以是配置于铲斗缸19的行程传感器。

转动机构60将前框架2a和后框架2b连结为能够转动。前框架2a相对于后框架2b的转动通过使连结在前框架2a与后框架2b之间的铰接缸伸缩来进行。另外,通过使前框架2a相对于后框架2b弯折(铰接),从而能够进一步减小轮式装载机回转时的回转半径,以及能够进行基于偏移行驶的开沟、拉坡作业。在转动机构60设有铰接角度传感器61。铰接角度传感器61检测铰接角度。铰接角度传感器61将表示铰接角度的检测信号向第一处理装置30输出。

位置检测传感器64将表示轮式装载机1的位置的检测信号向第一处理装置30输出。拍摄装置65将拍摄装置65拍摄到的拍摄图像向第一处理装置30输出。IMU66将表示轮式装载机1的倾斜角的检测信号向第一处理装置30输出。

如图2所示,轮式装载机1在驾驶室5内具备由操作员操作的操作装置。操作装置包括前进后退切换装置49、油门操作装置51、动臂操作装置52、变速操作装置53、铲斗操作装置54以及制动操作装置58。

前进后退切换装置49包括前进后退切换操作构件49a和前进后退切换检测传感器49b。前进后退切换操作构件49a为了指示车辆的前进和后退的切换而由操作员操作。前进后退切换操作构件49a能够切换为前进(F)、中立(N)以及后退(R)各位置。前进后退切换检测传感器49b检测前进后退切换操作构件49a的位置。前进后退切换检测传感器49b将由前进后退切换操作构件49a的位置表示的前进后退指令的检测信号(前进、中立、后退)向第一处理装置30输出。前进后退切换装置49包括能够切换前进(F)、中立(N)以及后退(R)的FNR切换杆。

油门操作装置51包括油门操作构件51a和油门操作检测部51b。油门操作构件51a为了设定发动机20的目标旋转速度而由操作员操作。油门操作检测部51b检测油门操作构件51a的操作量(油门操作量)。油门操作检测部51b将表示油门操作量的检测信号向第一处理装置30输出。

制动操作装置58包括制动操作构件58a和制动操作检测部58b。制动操作构件58a为了操作轮式装载机1的减速力而由操作员操作。制动操作检测部58b检测制动操作构件58a的操作量(制动操作量)。制动操作检测部58b将表示制动操作量的检测信号向第一处理装置30输出。作为制动操作量,也可以使用制动油的压力。

动臂操作装置52包括动臂操作构件52a和动臂操作检测部52b。动臂操作构件52a为了使动臂14进行上升动作或下降动作而由操作员操作。动臂操作检测部52b检测动臂操作构件52a的位置。动臂操作检测部52b将由动臂操作构件52a的位置表示的动臂14的上升指令或下降指令的检测信号向第一处理装置30输出。

变速操作装置53包括变速操作构件53a和变速操作检测部53b。变速操作构件53a为了控制动力传递机构23的从输入轴21向输出轴23a的变速而由操作员操作。变速操作检测部53b检测变速操作构件53a的位置。变速操作检测部53b将由变速操作构件53a的位置表示的变速的检测指令向第一处理装置30输出。

铲斗操作装置54包括铲斗操作构件54a和铲斗操作检测部54b。铲斗操作构件54a为了使铲斗6进行挖掘动作或卸料动作而由操作员操作。铲斗操作检测部54b检测铲斗操作构件54a的位置。铲斗操作检测部54b将由铲斗操作构件54a的位置表示的向铲斗6的向后倾斜方向或卸料方向的操作指令的检测信号向第一处理装置30输出。

铰接操作装置55包括铰接操作构件55a和铰接操作检测部55b。铰接操作构件55a为了借助转动机构60使前框架2a相对于后框架2b弯折(铰接)而由操作员操作。铰接操作检测部55b检测铰接操作构件55a的位置。铰接操作检测部55b将由铰接操作构件55a的位置表示的相对于左方向的弯折指令或者相对于右方向的弯折指令的检测信号向第一处理装置30输出。

第一处理装置30由包括RAM(Random Access Memory)、ROM(Read Only Memory)等存储装置和CPU(Central Processing Unit)等运算装置的微型计算机构成。第一处理装置30可以作为轮式装载机1的控制发动机20、工作装置3(动臂缸16、铲斗缸19等)、动力传递机构23等的动作的控制器的功能的一部分来实现。由前进后退切换装置49检测的前进后退指令的信号、由车速检测部27检测的轮式装载机1的车速的信号、由第一角度检测器29检测的动臂角度的信号、由压力传感器28a检测的动臂缸16的盖侧压力的信号以及由压力传感器28b检测的动臂缸16的底侧压力的信号主要输入到第一处理装置30。

轮式装载机1还具有显示部40和输出部45。显示部40是配置于驾驶室5的、由操作员目视确认的监视器。

输出部45向设置于轮式装载机1的外部的服务器(第二处理装置70)输出包含轮式装载机1的动作信息的作业机械动作信息。输出部45既可以每隔规定期间输出包含轮式装载机1的动作信息的作业机械动作信息,或者也可以一并输出多个期间的作业机械动作信息。输出部45例如也可以具有无线通信等通信功能,与第二处理装置70通信。或者,输出部45例如也可以是第二处理装置70能够访问的便携存储装置(存储卡等)的接口。第二处理装置70具有相当于监视器功能的显示部,能够显示基于从输出部45输出的作业机械动作信息的动作图像。第二处理装置70设置于与轮式装载机1不同的位置,作为一例,能够在远程位置利用显示部识别轮式装载机1在作业中的动作图像。

<轮式装载机1的动作、以及作业分类>

本实施方式的轮式装载机1执行将砂土等挖掘对象物100挖取到铲斗6中的挖掘动作和将铲斗6内的货物(挖掘对象物100)向自卸车110等搬运机械装入的装入动作。

图3是说明基于实施方式的轮式装载机1的挖掘装入作业中的动作的示意图。轮式装载机1重复地依次进行下述的多个动作,对挖掘对象物100进行挖掘并将挖掘对象物100装入自卸车110等搬运机械。

如图3的(A)所示,轮式装载机1朝向挖掘对象物100前进。在该空载前进动作中,操作员操作动臂缸16及铲斗缸19,将工作装置3设为动臂14的前端位于低的位置且铲斗6朝向水平的挖掘姿态,使轮式装载机1朝向挖掘对象物100前进。

操作员使轮式装载机1前进,直到如图3的(B)所示铲斗6的铲尖6a陷入挖掘对象物100。在该挖掘(伸入)工序中,铲斗6的铲尖6a陷入挖掘对象物100。

如图3的(C)所示,之后操作员操作动臂缸16使铲斗6上升,并且操作铲斗缸19使铲斗6向后倾斜。通过该挖掘(挖取)动作,如图中的曲线箭头所示,铲斗6沿着铲斗轨迹L上升,挖掘对象物100被挖取到铲斗6内。由此,执行挖取挖掘对象物100的挖掘作业。

根据挖掘对象物100的种类,存在仅使铲斗6向后倾斜一次即挖取动作完成的情况。或者,在挖取动作中也存在重复进行使铲斗6向后倾斜、中立、再向后倾斜的动作的情况。

在如图3的(D)所示铲斗6挖取挖掘对象物100后,操作员在载货后退动作中使轮式装载机1后退。操作员可以一边后退一边进行动臂上升,也可以如图3的(E)所示一边前进一边进行动臂上升。

如图3的(E)所示,操作员一边维持使铲斗6上升了的状态或使铲斗6上升,一边使轮式装载机1前进以接近自卸车110。通过该载货前进动作,铲斗6位于自卸车110的载货台的大致正上方。

如图3的(F)所示,操作员在规定位置使铲斗6卸料以将铲斗6内的货物(挖掘对象物)装入自卸车110的载货台。该动作为所谓的排土动作。之后,操作员一边使轮式装载机1后退一边使动臂14下降,使铲斗6返回挖掘姿态。该动作是后退·动臂下降动作。以上是形成挖掘装载作业的一个循环的典型的各动作。

图4是表示轮式装载机1的挖掘装入作业中的动作的判别方法的表。在图4所示的表中,最上面的“动作”的行中示出图3的(A)~图3的(F)所示的各动作的名称。

“前进后退切换杆”、“工作装置操作”以及“工作装置缸压力”的行中示出为了判定轮式装载机1的当前的动作是图3的(A)~图3的(F)所示的各动作中的哪个动作而由第一处理装置30(图2)使用的各种判定条件。在此,在本说明书中,将挖掘装入作业中的轮式装载机1的当前的动作是哪个动作的判定称作作业分类。作业分类示出挖掘装入作业中的轮式装载机1的动作的内容。

更详细而言,在“前进后退切换杆”的行中,用圆圈表示关于前进后退切换杆的判定条件。

在“工作装置操作”的行中,用圆圈表示操作员对工作装置3的操作。更详细而言,“动臂”的行中示出与针对动臂14进行的操作有关的判定条件,“铲斗”的行中示出与针对铲斗6进行的操作有关的判定条件。

在“工作装置缸压力”的行中示出工作装置3的液压缸的当前的液压、例如动臂缸16的缸底室的液压的判定条件。在此,关于液压,预先设定四个基准值A、B、C、P,由该基准值A、B、C、P定义多个压力范围(小于基准值P的范围、基准值A到C的范围、基准值B到P的范围、小于基准值C的范围),这些压力范围设定为上述判断条件。四个基准值A、B、C、P的大小为A>B>C>P。

通过使用对应于各动作的“前进后退切换杆”、“动臂”、“铲斗”以及“工作装置缸压力”的判定条件的组合,第一处理装置30能够判别轮式装载机1的当前的动作是哪个动作。

以下说明进行图4所示的控制的情况下的第一处理装置30的具体的动作。与图4所示的各作业工序相对应的“前进后退切换杆”、“动臂”、“铲斗”以及“工作装置缸压力”的判定条件的组合预先储存于存储部30j(图2)。第一处理装置30基于来自前进后退切换装置49的信号掌握当前选择的前进后退切换杆(F、N、R)。第一处理装置30基于来自动臂操作检测部52b的信号掌握针对动臂14的当前的操作的种类(下降、中立或者上升)。第一处理装置30基于来自铲斗操作检测部54b的信号掌握针对铲斗6的当前的操作的种类(卸料、中立或者向后倾斜)。而且,第一处理装置30基于来自图2所示的压力传感器28b的信号掌握动臂缸16的缸底室的当前的液压。

第一处理装置30将所掌握的当前的前进后退切换杆、动臂操作种类、铲斗操作种类及提升缸液压的组合(即当前的作业状态)和与预先存储的各作业工序对应的“前进后退切换杆”、“动臂”、“铲斗”及“工作装置缸压力”的判定条件的组合进行对照。作为该对照的处理的结果,第一处理装置30判定与当前的作业状态最为一致判定条件的组合对应于哪个动作。

在此,对应于图4所示的挖掘装入作业的各动作的判定条件的组合作为一例如下说明。

在空载前进动作中,前进后退切换杆为F,动臂操作和铲斗操作均为中立,工作装置缸压力小于基准值P。在挖掘(伸入)动作中,前进后退切换杆为F,动臂操作和铲斗操作均为中立,工作装置缸压力为基准值A到C的范围。在挖掘(挖取)动作中,前进后退切换杆为F或者R,动臂操作为上升或者中立,铲斗操作为向后倾斜,工作装置缸压力为基准值A到C的范围。关于铲斗操作,也可以进一步追加向后倾斜和中立交替重复的判定条件。这是因为,根据挖掘对象物的状态,存在重复进行使铲斗6向后倾斜、中立、再向后倾斜这样的动作的情况。

在载货后退动作中,前进后退切换杆为R,动臂操作为中立或者上升,铲斗操作为中立,工作装置缸压力为基准值B到P的范围。在载货前进动作中,前进后退切换杆为F,动臂操作为上升或者中立,铲斗操作为中立,工作装置缸压力为基准值B到P的范围。在排土动作中,前进后退切换杆为F,动臂操作为上升或者中立,铲斗操作为卸料,工作装置缸压力为基准值B到P的范围。

在后退·动臂下降动作中,前进后退切换杆为R,动臂操作为下降,铲斗操作为向后倾斜,工作装置缸压力小于基准值P。

在图4中还示出轮式装载机1单纯行驶的单纯行驶动作。在单纯行驶动作中,操作员在使动臂14处于低的位置的状态下使轮式装载机1前进。既存在在铲斗6中装有货物而搬运货物的情况,也存在在铲斗6中未装有货物而行驶的情况。在单纯行驶动作中,前进后退切换杆为F,动臂操作和铲斗操作均为中立,工作装置缸压力小于基准值C。

由第一处理装置30判定得到的与轮式装载机1的动作相关的信息作为作业机械动作信息的一部分经由输出部45向第二处理装置70输出。

<计算机102A的详细结构>

图5是示出包括作业机械的系统中所包括的计算机102A的结构的示意图。实施方式的系统是与参照图4所说明的表无关地、用于执行由轮式装载机1进行的挖掘装入作业中的作业分类的系统。图5所示的计算机102A构成图2所示的第一处理装置30的一部分结构。计算机102A可以是专用于实施方式的系统用而设计的计算机,或者也可以是通用的PC(Personal Computer)。

计算机102A具有处理器103、存储装置104、通信接口105、以及I/O接口106。处理器103例如是CPU。

存储装置104包括以处理器103能够读取所存储的程序以及数据等信息的方式进行存储的介质。存储装置104包括RAM(Random Access Memory)、或者ROM(Read OnlyMemory)等系统存储器、以及辅助存储装置。辅助存储装置例如可以是硬盘等磁记录介质、CD(Compact Disc)、DVD(Digital Versatile Disc)等光学记录介质、或者闪速存储器等半导体存储器。存储装置104可以内置于计算机102A。存储装置104也可以包括以能够装卸的方式与计算机102A连接的外部记录介质109。外部记录介质109可以是CD-ROM。

通信接口105例如是有线LAN(Local Area Network)模块、或者无线LAN模块等,是用于进行经由通信网络的通信的接口。I/O接口106例如是USB(Universal Serial Bus)端口等,是用于与外部装置连接的接口。

计算机102A经由I/O接口106与输入装置107以及输出装置108连接。输入装置107是用于由用户进行向计算机102A的输入的装置。输入装置107例如包括鼠标、或者轨迹球等指示设备。输入装置107可以包括键盘等用于文字输入的装置。输出装置108例如包括显示器(显示器40,图2)。

图6是示出出厂前的轮式装载机1的系统结构的框图。图5所示的处理器103以及存储装置104构成图4所示的计算机102A的一部分结构。处理器103具有操作数据生成部161。

操作数据生成部161从第一液压检测器28a、28b接受检测到动臂缸16的油室内的工作油的压力时的检测信号的输入。操作数据生成部161从油门操作检测部51b接受检测到油门操作量时的检测信号的输入。操作数据生成部161从车速检测部27接受检测到轮式装载机1的车速时的检测信号的输入。也可以是,车速检测部27将检测到输出轴23a的旋转速度时的检测信号向操作数据生成部161输出,操作数据生成部161基于该检测信号来计算轮式装载机1的车速。

处理器103具有计时器162。操作数据生成部161从计时器162读取当前时刻,运算轮式装载机1正执行挖掘作业时的、距挖掘作业开始的经过时间。

挖掘作业的开始、即轮式装载机1的动作从空载前进动作向挖掘(伸入)动作的转移如下那样被判断:检测铲斗6的铲尖6a伸入挖掘对象物100且对铲斗6开始作用挖掘对象物100的负载时动臂缸16的油室内的液压增加的情况、以及根据动臂角度θ1和铲斗角度θ2来确认工作装置3是否处于开始挖掘作业的姿态。也可以基于作业中动臂缸16所承受的负载来判断作业开始时间点。作业开始也可以基于由拍摄装置65对轮式装载机1的周边进行拍摄而得的拍摄数据来判断。

动臂缸16的液压、油门操作量、车速、以及距挖掘作业开始的经过时间包含于与轮式装载机1的动作相关的操作数据中。操作数据包含油门操作量以及车速等、与轮式装载机1的行驶相关的数据。

处理器103具有姿态数据生成部163。姿态数据生成部163从第一角度检测器29接受检测到动臂角度θ1时的检测信号的输入。姿态数据生成部163从第二角度检测器48接受检测到铲斗角度θ2时的检测信号的输入。动臂角度θ1以及铲斗角度θ2构成表示工作装置3相对于作业机械主体(车身)的姿态的姿态数据。

处理器103具有作业分类判别部164。作业分类判别部164从前进后退切换检测传感器49b接受前进后退指令的检测信号的输入。作业分类判别部164从动臂操作检测部52b接受动臂14的上升指令或者下降指令的检测信号的输入。作业分类判别部164从铲斗操作检测部54b接受铲斗6向向后倾斜方向或者卸料方向的操作指令的检测信号的输入。作业分类判别部164还从第一液压检测器28b接受检测到动臂缸16的缸底室的液压时的检测信号的输入。

作业分类判别部164基于输入的这些检测信号,参照图4所示的表,执行轮式装载机1的当前的动作是哪个动作的判定(即,作业分类)。

处理器103具有动作状态图像生成部165。动作状态图像生成部165基于由姿态数据生成部163生成的姿态数据,生成动作状态图像数据。动作状态图像数据包含示出作业中的轮式装载机1的立体形状的三维模型形状数据。三维模型形状数据包含构成轮式装载机1的工作装置3、车身、行驶轮4a、4b等的数据。

处理器103具有特定视点图像生成部166。特定视点图像生成部166根据由动作状态图像生成部165生成的三维模型、以及表示假想地观察三维模型的视点的位置的视点位置,生成从特定的视点位置观察三维模型而得的二维图像。视点位置能够设定于任意的位置。通过调整视点位置,能够进行从任意的方向观察三维模型而得的二维图像的生成以及显示。

处理器103具有作业分类推断部167。在存储装置104中保存有作业分类推断模型180。

作业分类推断模型180是用于推断一系列的挖掘装入作业中的轮式装载机1的当前的动作是哪个动作的人工智能模型。作业分类推断模型180构成为,根据由特定视点图像生成部166生成的二维图像,推断轮式装载机1的当前的动作是哪个动作。计算机102A通过使用人工智能的作业分类推断模型180来推断挖掘装入作业中的轮式装载机1的动作。作业分类推断部167使用作业分类推断模型180,输出根据从特定的视点位置观察轮式装载机1的三维模型而得的二维图像推断出作业分类时的推断作业分类。

更具体而言,作业分类推断部167从存储装置104读取作业分类推断模型180,并将由特定视点图像生成部166生成的二维图像输入作业分类推断模型180,从而得到作业分类的推断结果的输出。作业分类推断部167也可以将由操作数据生成部161生成的操作数据输入作业分类推断模型180。通过除了二维图像之外还将操作数据输入作业分类推断模型180,从而作业分类的推断的精度提高。

作业分类推断模型180包含神经网络。作业分类推断模型180例如包含卷积神经网络(CNN)等深度神经网络。

实施方式中的模型可以安装于硬件、能够在硬件上执行的软件、固件、或者它们的组合。模型可以包含由处理器103执行的程序、算法、以及数据。模型的功能可以由单一的模块执行,或者也可以分散于多个模块而被执行。模型也可以分散配置于多个计算机。

处理器103具有判定部168。判定部168对由作业分类推断部167推断出的作业分类的推断结果、与由作业分类判别部164执行得到的作业分类的结果进行比较。判定部168判定由作业分类推断部167输出的推断作业分类是否与由作业分类判别部164进行的作业分类的结果一致。

处理器103具有调整部169。调整部169基于由判定部168判定得到的推断作业分类与作业分类的比较结果,对作业分类推断模型180进行更新。像这样进行作业分类推断模型180的学习。作业分类推断模型180的学习在轮式装载机1的出厂前由工厂进行。

<学习完成的作业分类推断模型180的制造方法>

图7是示出学习完成的作业分类推断模型180的制造方法的流程图。图8以及图9是示出用于使作业分类推断模型180进行学习的处理的概略图。虽与关于图6所说明过的内容一部分重复,但以下参照图7~9对用于使对作业分类进行推断的作业分类推断模型180进行学习的处理进行说明。

如图7所示,首先,在步骤S101中,生成操作数据201。在步骤S102中,生成姿态数据203。

计算机102A更详细而言操作数据生成部161运算挖掘作业中的某时刻的距挖掘作业开始的经过时间。操作数据生成部161基于包括第一液压检测器28a、28b、油门操作检测部51b、以及车速检测部27在内的各种传感器的检测结果,生成该时刻的操作数据201(图8)。计算机102A更详细而言姿态数据生成部163基于第一角度检测器29以及第二角度检测器48的检测结果,检测该时刻的动臂角度θ1以及铲斗角度θ2,并生成姿态数据203(图8)。

接下来,在步骤S103中,判别轮式装载机1的动作。计算机102A更详细而言作业分类判别部164基于包括前进后退切换检测传感器49b、动臂操作检测部52b、铲斗操作检测部54b、以及第一液压检测器28b在内的各种传感器的检测结果,并参照图4所示的表,进行轮式装载机1的当前的动作的判别、即作业分类,并生成作业分类结果204(图8)。

接下来,在步骤S104中,生成动作状态图像。计算机102A更详细而言动作状态图像生成部165基于姿态数据203,生成表示轮式装载机1的立体形状的三维模型。图8所示的动作状态图像205包含作业中的轮式装载机1。在动作状态图像205中显示有构成轮式装载机1的工作装置3、车身、行驶轮4a、4b等。

接下来,在步骤S105中,生成特定视点图像。计算机102A更详细而言特定视点图像生成部166根据在步骤S104中生成的动作状态图像205、以及表示假想地观察动作状态图像205所包含的三维模型的视点的位置的视点位置,生成从特定的视点位置观察三维模型而得的二维图像即特定视点图像206(图8、9)。特定视点图像206也可以称作从视点位置通过假想相机对三维模型进行拍摄而得的假想拍摄图像。

图8所示的特定视点图像206包含从左侧方观察时的轮式装载机1。该情况下的视点位置是轮式装载机1的左侧方的位置。图9所示的特定视点图像206包含从右侧方观察时的轮式装载机1。该情况下的视点位置是轮式装载机1的右侧方的位置。视点位置能够设定于任意的位置。通过改变视点位置,从而从一个动作状态图像205生成多个特定视点图像206。能够生成从任意的视点位置对一个动作状态图像205进行拍摄而得的多个特定视点图像206。

图8所示的学习用数据188A包含操作数据201、特定视点图像206、以及作业分类结果204。图9所示的学习用数据188B也同样地包含操作数据201、特定视点图像206、以及作业分类结果204。作业分类结果204针对操作数据201以及特定视点图像206附加标注。作业分类结果204针对作为制作特定视点图像206的元数据的动作状态图像205以及视点位置附加标注。作业分类结果204针对作为用于制作动作状态图像205的元数据的姿态数据203附加标注。

在学习用数据188A、188B中,操作数据201以及作业分类结果204是针对相同时刻的轮式装载机1而生成的,因而相同,而特定视点图像206不同。通过改变视点位置,而从一个动作状态图像205制作多个学习用数据188A、188B。由此,用于使作业分类推断模型180进行学习的学习用数据的数量增加。

步骤S101~步骤S105的处理也可以不必按该顺序进行。步骤S101、S102以及S103的处理也可以同时进行,还可以是在依次进行步骤S102、S104以及S105的处理之后进行步骤S101、S103的处理。

接下来,在步骤S106中,对作业分类进行推断。计算机102A更详细而言作业分类推断部167从存储装置104读取作业分类推断模型180。作业分类推断模型180包含图8、9所示的神经网络。神经网络包含输入层181、中间层(隐藏层)182、以及输出层183。中间层182被多层化。输入层181、中间层182以及输出层183具有一个或多个单元(神经元)。输入层181、中间层182以及输出层183的单元的数量能够适当设定。

相邻的层的单元彼此结合,对各结合设定有权重。对各单元设定有偏置。对各单元设定有阈值。根据将向各单元的输入值与权重的积的总和加上偏置而得的值是否超过阈值来决定各单元的输出值。

作业分类推断模型180如下那样进行学习:根据从特定的视点位置观察表示作业中的轮式装载机1的立体形状的三维模型而得的二维图像、以及与轮式装载机1的动作相关的操作数据,输出推断出作业分类的推断作业分类。通过学习调整后的作业分类推断模型180的参数存储于存储装置104。作业分类推断模型180的参数例如包含神经网络的层数、各层中的单元的个数、单元彼此的结合关系、各单元间的结合的权重、与各单元关联的偏置、以及各单元的阈值。

作业分类推断部167将由特定视点图像生成部166生成的二维图像即特定视点图像206、以及由操作数据生成部161生成的操作数据201输入输入层181。从输出层183输出表示推断作业分类的输出值。例如,计算机102A将特定视点图像206以及操作数据201用作输入层181的输入,进行作业分类推断模型180的神经网络的正向传播的运算处理。由此,计算机102A作为从神经网络的输出层183输出的输出值而得到推断出作业分类的推断作业分类。

接下来,在步骤S107中,进行推断作业分类的判定。计算机102A更详细而言判定部168对从作业分类推断模型180的输出层183输出的推断出作业分类的推断作业分类、与学习用数据188A、188B中包含的作业分类结果204进行比较,判断推断作业分类与作业分类结果204是否一致。

计算机102A将挖掘作业中的某时刻的操作数据201、以及从特定的视点位置观察表示该时刻的轮式装载机1的立体形状的三维模型时的特定视点图像206作为输入数据,并将该时刻的作业分类结果204作为教师数据,进行作业分类推断模型180的学习。计算机102A根据对推断作业分类与作业分类结果204进行比较而得的判定的结果,通过反向传播计算各单元间的结合的权重、各单元的偏置、以及各单元的阈值各自的误差。

接下来,在步骤S10g中,对作业分类推断模型180的参数进行调整。计算机102A更详细而言调整部169基于由判定部16g对推断作业分类与作业分类结果204进行比较而得的判定的结果,对各单元间的结合的权重、各单元的偏置、以及各单元的阈值等作业分类推断模型180的参数进行调整。像这样,作业分类推断模型180更新。并且,使得如果相同的操作数据201以及特定视点图像206输入输入层181,则输出与教师数据即作业分类结果204一致的推断作业分类的概率提高。更新后的作业分类推断模型180的参数存储于存储装置104。

在下次对作业分类进行推断时,向更新后的作业分类推断模型180输入操作数据201以及特定视点图像206,得到推断作业分类的输出。计算机102A反复执行步骤S101至步骤S10g的处理,直至作业分类推断模型180输出的推断作业分类、与取得了操作数据201和作为特定视点图像206的基础的姿态数据203的时间点的作业分类结果204一致。像这样,作业分类推断模型180的参数被最佳化,进行作业分类推断模型180的学习。

在作业分类推断模型180充分积累学习而得到精度足够高的推断作业分类时,计算机102A结束作业分类推断模型180的学习。像这样,制作学习完成的作业分类推断模型180。接着,结束处理(结束)。

需要说明的是,作业分类推断模型180的各种参数的初始值也可以通过模板来赋予。或者,参数的初始值还可以通过人的输入而手动地赋予。在进行作业分类推断模型180的再学习时,计算机102A也可以基于作为成为进行再学习的对象的作业分类推断模型180的参数而存储于存储装置104的值,来准备参数的初始值。

如以上所说明的那样,在实施方式的学习完成的作业分类推断模型180的制造方法中,取得包含从特定的视点位置观察表示作业中的轮式装载机1的立体形状的三维模型而得的二维图像即特定视点图像206、以及对特定视点图像206附加标注的作业分类结果204的学习用数据188A、188B。并且,通过学习用数据188A、188B,进行作业分类推断模型180的学习。

在使作业分类推断模型180进行学习的阶段,在将实际对轮式装载机1进行拍摄而得的拍摄图像作为教师数据的情况下,为了增加教师数据,需要准备多台拍摄装置以及传感器类来制作多个拍摄图像,因此需要花费大量的劳力。

如图8、9所示,通过将三维模型的动作状态图像205作为教师数据,并改变视点位置而自如地变更观察三维模型的方向,从而能够简单地增加用于作业分类推断模型180的学习的教师数据的数量。通过利用大量的教师数据来使作业分类推断模型180进行学习,从而能够提高使用了学习完成的作业分类推断模型180的作业分类的推断的精度,因此能够高精度地进行作业分类。

如图6~9所示那样,基于表示工作装置3的姿态的姿态数据203来制作轮式装载机1的三维模型。通过使用动臂14相对于作业机械主体的角度即动臂角度θ1、以及铲斗6相对于动臂14的角度即铲斗角度θ2的检测结果来制作轮式装载机1的三维模型,从而能够得到高精度的三维模型。

如图8、9所示,学习用数据188A、188B还包含与轮式装载机1的动作相关的操作数据201。通过追加操作数据201来作为用于使作业分类推断模型180进行学习的学习用数据188A、188B,从而能够进一步提高作业分类的推断的精度。

如图7所示,用于使作业分类推断模型180进行学习的处理包括如下步骤:使用作业分类推断模型180,根据特定视点图像206求而出推断出作业分类的推断作业分类(步骤S106);判断推断作业分类与学习用数据188A、188B中包含的作业分类结果204是否一致(步骤S107);以及基于该判定的结果,对作业分类推断模型180进行更新(步骤S108)。像这样,在出厂前的作业分类推断模型180的学习阶段,使作业分类推断模型180充分进行学习,从而能够制作出精度高的作业分类推断模型180。

<使用了学习完成的作业分类推断模型180的作业分类的推断>

图10是示出出厂的轮式装载机1的系统结构的框图。出厂的轮式装载机1取代图6所示的计算机102A而具备计算机102B。计算机102B具有处理器103和存储装置104。

处理器103具有与图6同样的操作数据生成部161、计时器162、动作状态图像生成部165、特定视点图像生成部166以及作业分类推断部167。处理器103还具有图像处理部171。处理器103不具有图6所示的作业分类判别部164、判定部168以及调整部169。存储装置104具有学习完成的作业分类推断模型180。

图11是示出在出厂后为了推断作业分类而由计算机102B执行的处理的流程图。以下,参照图10、11,对推断出厂后的轮式装载机1的挖掘作业中的作业分类的处理进行说明。

首先,在步骤S201中,生成操作数据201。计算机102B更详细而言操作数据生成部161运算挖掘作业中的某时刻的距挖掘作业开始的经过时间。操作数据生成部161基于包括第一液压检测器28a、28b、油门操作检测部51b、以及车速检测部27在内的各种传感器的检测结果,生成该时刻的操作数据。

接下来,在步骤S202中,取得拍摄图像。计算机102B更详细而言图像处理部171从拍摄装置65取得通过拍摄装置(相机)65拍摄而得的拍摄图像。在该拍摄图像中显示有轮式装载机1。典型地,在拍摄图像中显示有工作装置3的至少一部分。

接下来,在步骤S203中,生成姿态数据。计算机102B更详细而言姿态数据生成部163根据拍摄装置65拍摄而得的拍摄图像,输出姿态数据、具体而言动臂角度θ1以及铲斗角度θ2。姿态数据生成部163也可以通过求出设定于工作装置3的特征点在拍摄图像内的位置来生成姿态数据。或者,姿态数据生成部163还可以利用人工智能的学习完成姿态推断模型来生成姿态数据。

接下来,在步骤S204中,生成动作状态图像。计算机102B更详细而言动作状态图像生成部165基于在步骤S203中生成的姿态数据,生成表示轮式装载机1的立体形状的三维模型。

接下来,在步骤S205中,生成特定视点图像。计算机102B更详细而言特定视点图像生成部166根据在步骤S204中生成的动作状态图像、以及视点位置,生成从特定的视点位置观察三维模型而得的二维图像即特定视点图像。

接下来,在步骤S206中,推断作业分类。计算机102B更详细而言作业分类推断部167从存储装置104读取作业分类推断模型180以及学习完成的参数的最佳值,从而取得学习完成的作业分类推断模型180。

作业分类推断部167将在步骤S201中生成的操作数据、以及在步骤S205中生成的特定视点图像用作向作业分类推断模型180输入的输入数据。作业分类推断部167将操作数据以及特定视点图像输入学习完成的作业分类推断模型180的输入层181所包含的各单元。从学习完成的作业分类推断模型180的输出层183,输出推断出挖掘作业中的轮式装载机1的当前的动作的推断作业分类177(图10)。

最后,在步骤S207中,计算机102B生成包含作业分类的管理数据。计算机102B将管理数据记录于存储装置104。接着,结束处理(结束)。

在参照图10、11所说明的实施方式中,对将根据三维模型所生成的特定视点图像输入作业分类推断模型180来求出推断作业分类177的例子进行了说明。但并不局限于该例子,也可以不将由拍摄装置65拍摄到的拍摄图像三维模型化,而将实际图像保持原样地输入作业分类推断模型180来求出推断作业分类177。

<与作业分类推断模型180的学习相关的变形例>

图12是示出与作业分类推断模型180的学习相关的变形例的概略图。在图6~9的说明中,对在轮式装载机1的出厂前使作业分类推断模型180进行学习的例子进行了说明。用于使作业分类推断模型180进行学习的学习用数据也可以从多个轮式装载机1收集。

图12所示的第一轮式装载机1(轮式装载机1A)、第二轮式装载机1(轮式装载机1B)、第三轮式装载机1(轮式装载机1C)是相同的机种。轮式装载机1A、1B、1C为出厂后,且处于作业现场。

计算机102A从各轮式装载机1A、1B、1C取得操作数据201、以及姿态数据203。计算机102A基于姿态数据203,生成动作状态图像205,进而生成特定视点图像206。计算机102A还将作业分类结果204与姿态数据203相关联地取得。计算机102A使用这些学习用数据来使作业分类推断模型180进行学习,以使得能够根据特定视点图像206以及操作数据201而求出推断出作业分类的推断作业分类。

计算机102A也可以经由通信接口105(图5)从各轮式装载机1A、1B、1C取得操作数据201、姿态数据203、以及作业分类结果204。或者计算机102A还可以经由外部记录介质109从各轮式装载机1A、1B、1C取得操作数据201、姿态数据203、以及作业分类结果204。

计算机102A也可以配置于与轮式装载机1A、1B、1C相同的作业现场。或者计算机102A还可以配置于远离作业现场的远程位置、例如管理中心。轮式装载机1A、1B、1C可以处于相同的作业现场,也可以处于不同的作业现场。

学习完成的作业分类推断模型180经由通信接口105或者外部记录介质109等向各轮式装载机1A、1B、1C提供。像这样,各轮式装载机1A、1B、1C具备学习完成的作业分类推断模型180。

在各轮式装载机1A、1B、1C已保存有作业分类推断模型180的情况下,对所保存的作业分类推断模型180进行改写。也可以通过定期地执行上述的学习用数据的收集、以及作业分类推断模型180的学习,而定期地进行作业分类推断模型180的改写。作业分类推断模型180的参数的最新的更新值每次存储于存储装置104。

学习完成的作业分类推断模型180也向第四轮式装载机1(轮式装载机1D)提供。向提供学习用数据的轮式装载机1A、1B、1C、以及不提供学习用数据的轮式装载机1D这双方提供作业分类推断模型180。轮式装载机1D可以位于与轮式装载机1A、1B、1C中的任一方相同的作业现场,也可以位于与轮式装载机1A、1B、1C不同的作业现场。轮式装载机1D也可以是出于出厂前的阶段。

轮式装载机1D也可以是与轮式装载机1A、1B、1C不同的机种。例如可以是,轮式装载机1A、1B、1C为中型以上的机种,轮式装载机1D为小型机种。在轮式装载机的情况下,无论车身的大小如何,工作装置相对于作业机械主体的比例不会大幅变化。可以是,在搭载有传感器的中型以上的机种中取得姿态数据,将进行了与针对工作装置的姿态的作业分类关联的学习的作业分类推断模型180应用于不具有传感器的小型机种即轮式装载机1D。这样的话,在小型机种中也能够高精度地推断作业分类。

在上述实施方式中,作业分类推断模型180包含神经网络。但并不局限于此,作业分类推断模型180也可以是例如支持向量机、决策树等、能够使用机械学习而根据特定视点图像高精度地推断作业分类的模型。

在实施方式中,对由第一处理装置30对作业分类进行推断的例子进行了说明,但并不特别局限于此,也可以设为由第二处理装置70对作业分类进行推断。

应当理解本次公开的实施方式在所有方面均为例示而不是限制性的。本发明的范围不由上述说明而是由技术方案来表示,且包含与技术方案均等的含义及范围内的所有变更。

附图标记说明:

1、1A、1B、1C、1D...轮式装载机;2...车身框架;2a...前框架;2b...后框架;3...工作装置;4...行驶装置;5...驾驶室;6...铲斗;6a...铲尖;9...动臂销;14...动臂;16...动臂缸;17...铲斗销;19...铲斗缸;27...车速检测部;28a、28b...第一液压检测器;29...第一角度检测器;30...第一处理装置;30j...存储部;45...输出部;48...第二角度检测器;49...前进后退切换装置;51...油门操作装置;52...动臂操作装置;53...变速操作装置;54...铲斗操作装置;55...铰接操作装置;58...制动操作装置;65...拍摄装置;70...第二处理装置;100...挖掘对象物;102A、102B...计算机;103...处理器;104...存储装置;110...自卸车;161...操作数据生成部;162...计时器;163...姿态数据生成部;164...作业分类判别部;165...动作状态图像生成部;166...特定视点图像生成部;167...作业分类推断部;168...判定部;169...调整部;171...图像处理部;177...推断作业分类;180...作业分类推断模型;181...输入层;182...中间层;183...输出层;188A、188B...学习用数据;201...操作数据;203...姿态数据;204...作业分类结果;205...动作状态图像;206...特定视点图像。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号