基于可穿戴视觉的机器人视觉跟踪控制系统及控制方法

摘要

本发明公开了一种基于可穿戴视觉的机器人视觉跟踪控制系统及方法，包括：主端可穿戴遥操作控制装置，被配置为用于通过手势向从端机器人远程发送控制指令、接收从端机器人采集的数据，并执行手势识别算法和目标跟踪算法；从端机器人，被配置为接收控制指令，并根据所述控制指令执行相应的动作，并向主端可穿戴遥操作控制装置返回采集到的数据；所述主端可穿戴遥操作控制装置包括可穿戴摄像头和头戴显示模块，用于采集手势图像和显示从端机器人采集到的数据以及手势控制指令的运动轨迹。本发明设置的可穿戴控制系统可使操作员通过手势方便地控制移动机器人车载侦察系统快速瞄准目标与跟踪目标。

说明书

技术领域

本发明涉及移动机器人的远程控制技术领域，尤其涉及一种基于可穿戴视觉的机器人视觉跟踪控制系统及控制方法。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

移动侦察机器人通常是由移动机器人车体和车载侦察系统组成，它可以执行战场抵近侦察监视、目标瞄准、目标跟踪和目标打击等任务。传统的车载侦察系统一般是由两自由度的云台和摄像头组成，侦察系统的视角由云台的俯仰角和偏转角决定。为了使车载侦察系统的侦察视角更加自由更加灵活，也可以将云台替换为多自由度机械臂，并将摄像头安装在机械臂末端。

移动侦察机器人的控制器一般为带有按钮、摇杆、鼠标和监控屏幕的手持式控制箱。操作人员通过按钮和摇杆控制机器人运动，通过监控屏幕观察车载侦察系统反馈的视频。车载侦察系统在自动跟踪可疑目标前，操作人员需要在监控屏幕上通过人机交互设备手动框选可疑目标，其中最常用的人机交互设备是鼠标。

近些年来，出现了基于可穿戴设备的控制方式，其中较为常见的控制方式是使用佩戴数据手套或者惯性元件采集操作员的手势的姿态信息和惯性信息并以此来控制机器人；另一种较为常见的控制方式是使用可穿戴摄像头来捕捉操作员手势的图像信息，然后结合模式识别方法分析手势的种类，并根据手势种类信息实现对机器人行为的控制。相比传统的手持式控制箱，基于可穿戴设备的控制方式更加轻便，但是目前操作员还无法使用这种方式快速有效地在监控视频中选取待跟踪的可疑目标，这也导致使用可穿戴设备的控制方式无法快速有效地使机器人实现对可疑目标的瞄准、跟踪与击打。

发明内容

为了解决上述问题，本发明提出了一种基于可穿戴视觉的机器人视觉跟踪控制系统及控制方法，通过可穿戴摄像头来识别操作员手势的轨迹，并将操作员手势的运动轨迹所划定的区域作为目标跟踪算法中的初始跟踪区域，实现对监控视频中待跟踪目标的手动选取，以解决现有基于可穿戴设备的控制方式无法快速有效地控制移动机器人瞄准目标、跟踪目标和击打目标的问题。

在一些实施方式中，采用如下技术方案：

一种基于可穿戴视觉的机器人视觉跟踪控制系统，包括：

主端可穿戴遥操作控制装置，被配置为用于通过手势向从端机器人远程发送控制指令、接收从端机器人采集的数据，并执行手势识别算法和目标跟踪算法；

从端机器人，被配置为接收控制指令，并根据所述控制指令执行相应的动作，并向主端可穿戴遥操作控制装置返回采集到的数据；

所述主端可穿戴遥操作控制装置包括可穿戴摄像头和头戴显示模块，分别用于采集手势图像和显示从端机器人采集到的数据以及手势控制指令的运动轨迹。

在另一些实施方式中，采用如下技术方案：

一种基于可穿戴视觉的机器人视觉跟踪控制方法，包括：

设置用于表示手势运动轨迹开始保存和停止保存的鼠标手型；

分别设置主端可穿戴遥操作控制装置可穿戴摄像头拍摄图像的坐标系和从端机器人拍摄图像的坐标系，以及从端机器人多自由度机械臂的末端坐标系；

主端可穿戴遥操作控制装置通过采集主端操作图像，判断图像中是否出现鼠标手型；

如果出现鼠标手型，则提取所述鼠标手型的运动轨迹的坐标集合，并将所述坐标集合在头戴显示模块显示图像的当前帧中所划定的区域作为目标跟踪算法的初始跟踪区域；

执行目标跟踪算法；

计算头戴显示模块显示图像的坐标系原点与跟踪区域的中心点之间的偏移向量，远程控制从端机器人多自由度机械臂的末端坐标系的原点向着能使所述偏移向量减小的方向运动；

在头戴显示模块的图像中更新跟踪区域并将新的跟踪区域作为下一帧中目标跟踪算法的初始跟踪区域。

在另一些实施方式中，采用如下技术方案：

一种主端可穿戴遥操作控制装置的遥操作控制器，其包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行上述的基于可穿戴视觉的机器人视觉跟踪控制方法。

在另一些实施方式中，采用如下技术方案：

一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行上述的基于可穿戴视觉的机器人视觉跟踪控制方法。

与现有技术相比，本发明的有益效果是：

(1)本发明设置的可穿戴控制系统可使操作员通过手势方便地控制移动机器人车载侦察系统快速瞄准目标与跟踪目标。

(2)本发明设置的视觉跟踪控制方法可以使操作员仅通过手势运动轨迹就可以快速在机器人侦察图像中选取待跟踪的可疑目标，使目标瞄准与目标跟踪任务更加直观与简单。

通过设置鼠标手势可以精确确定手势运动轨迹的起始坐标和终点坐标，使获取的手势运动轨迹更加准确，从而使目标跟踪算法所需的初始跟踪区域的选取更加准确。

(3)本发明设置的级联集成跟踪器可以跟踪的目标区域由于采用了多级分类器的思想，这就使本公开设置的级联集成跟踪器的初始跟踪区域不必是矩形区域，而可以为不规则的区域，这使得初始目标区域的选取更加方便。

本发明的其他特征和附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本方面的实践了解到。

附图说明

图1为本发明实施例中基于可穿戴视觉的机器人视觉跟踪控制系统示意图；

其中，N1为移动机器人本体，N2为多自由度机械臂，N3为侦察摄像头，N4为头戴显示器，N5为可穿戴摄像头。

图2为本发明实施例中级联集成跟踪器的示意图。

具体实施方式

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例一

在一个或多个实施方式中，公开了一种基于可穿戴视觉的机器人视觉跟踪控制系统，参照图1，包括主端可穿戴遥操作控制装置和从端机器人，所述主端可穿戴遥操作控制装置和从端机器人通过无线通信设备进行通信，所述主端可穿戴遥操作控制装置穿戴在操作员身上，用于发送控制指令、接收从端机器人采集的数据、执行手势识别算法和目标跟踪算法等。

主端可穿戴遥操作控制装置包括头戴显示器N4、可穿戴摄像头N5、遥操作控制器和主端无线通信设备，所述遥操作控制器分别与头戴显示器N4、可穿戴摄像头N5和主端无线通信设备连接。

在操作员的头部设置可穿戴摄像头N5和头戴显示器N4，可穿戴摄像头N5用于采集操作员手势图像，头戴显示器N4设置可以同时显示移动机器人拍摄的侦察图像以及操作员手势的运动轨迹，方便操作员观察手势在侦察图像上的运动轨迹，能够使操作员通过手势快速选取待跟踪目标的初始区域，实现从端机器人对可疑目标的跟踪。可穿戴摄像头N5可以为普通单目摄像头N5，所述的摄像头N5用于采集操作员的手势图像。操作员在摄像头N5视野范围内使用手势的运动轨迹来实现对侦察图像中可疑待跟踪目标的选取。头戴显示器N4可以为视频眼镜N4，用于显示从端机器人侦察摄像头N3拍摄的侦察图像。遥操作控制器可以为穿戴式计算机，所述的穿戴式计算机可实时采集可穿戴摄像头N5拍摄的图像，并可在图像上执行手势检测算法和手势识别算法；

从端机器人包括移动机器人本体N1、从端无线通信设备、多自由度机械臂N2、侦察摄像头N3、无线通信设备和车载控制器，所述车载控制器分别与移动机器人本体N1、多自由度机械臂N2、侦察摄像头N3和从端无线通信设备连接；侦察摄像头N3安装在多自由度机械臂N2末端用于采集侦察数据。

车载多自由度机械臂N2接收主端可穿戴遥操作控制装置的控制指令并执行相应的动作，所述车载多自由度机械臂N2包括连杆机构、机械臂驱动器和机械臂驱动电机组。车载控制器将控制命令发送至机械臂驱动器，机械臂驱动器驱动机械臂驱动电机组的相应电机，实现连杆机构角度和位置的移动，从而改变多自由度机械臂N2的各关节的关节角信息，从而改变机械臂N2末端位姿。

操作员在单目摄像头N5视野范围内使用手势运动轨迹来实现对机器人侦察图像中可疑待跟踪目标的区域选取，然后通过该区域的中心与侦察图像的中心之间的偏差控制车载多自由侦察系统末端始终瞄准目标。

实施例二

在一个或多个实施方式中，公开了一种基于可穿戴视觉的机器人视觉跟踪控制方法，包括如下步骤：

步骤1：设置鼠标手型，用于表示手势运动轨迹开始保存和停止保存的标志；设置可穿戴摄像头N5拍摄图像的坐标系(O

鼠标手型可以为任意手型，可以根据需要自行设置，本实施例设置鼠标手型可以为右手食指伸直，其余手指握拳的手型。

步骤2：设置可穿戴摄像头N5的分辨率和头戴显示器N4的分辨率一致，采集可穿戴摄像头N5拍摄图像，执行手势检测算法判断图像中是否有操作员的手势存在，如果是，则执行下一步，否则继续执行步骤2；

手势检测算法可以具体为基于肤色阈值的手势检测算法。

步骤3：采用手型识别算法对手势进行手型识别，判断是否出现了鼠标手型，如果是，执行下一步，否则执行步骤2；

手型识别算法具体为基于深度学习的手型识别算法。

步骤4：使用指尖定位算法确定鼠标手型中食指末端在可穿戴摄像头N5拍摄图像的坐标系(O

指尖定位算法可具体为基于曲率分析法的指尖定位算法。

步骤5：判断操作员手势是否消失或变为非鼠标手型，如果是，执行下一步，否则继续执行步骤4；

步骤6：提取保存的鼠标手型中食指末端运动轨迹的坐标集合，并将轨迹坐标集合在头戴显示器N4监控图像的当前帧中所划定的区域R作为目标跟踪算法的初始跟踪区域；

步骤7：执行目标跟踪算法；

本实施例中目标跟踪算法可设计为一种级联集成跟踪器，如图2所示，具体步骤如下：

步骤7.1：定义含有初始跟踪区域的图像为x，首先将图像x由粗(分辨率低)到细(分辨率高)切割为R级栅格状图像组[x

步骤7.2：对R级栅格状图像组[x

样本的作用是训练弱分类器，继而组成强分类器并进一步组成级联集成跟踪器。

步骤7.3：给第r级图像x

步骤7.4：针对R级图像组[x

步骤7.4.1：针对第r级图像x

步骤7.4.2：设定在第r级图像x

步骤7.4.3：更新第r级图像x

步骤7.4.4：第r级图像x

步骤7.5：对R级图像组[x

目标跟踪算法实际就是级联集成跟踪器，级联集成跟踪器由R个强分类器构成，强分类器又由若干个弱分类器构成。强分类器用于对第R级图像进行目标跟踪，对R个强分类器的输出结果进行融合就是最终的要跟踪的目标所在位置。

步骤7.6：对于新的监控图像x+1，使用级联集成跟踪器H对监控图像x+1进行目标跟踪区域提取；

含有初始跟踪区域的图像是第一幅图像，其中的跟踪区域是由手势圈定的，第一幅图像包含的这个跟踪区域能够确定目标区域和非目标区域。这些区域可以用来训练弱分类器。等完成训练后，会得到强分类器并进一步得到级联集成跟踪器。然后就可以用这个级联集成跟踪器对视频流的第二幅图像进行目标跟踪了。这时第二幅图像又会得到一个新的目标区域，这个目标区域之外的都是非目标区域，目标区域和非目标区域又可以重新对弱分类器进行训练，并再次组成新的级联集成跟踪器。然后又可以对第三幅图像进行目标跟踪。

目标跟踪区域提取方法具体为：

步骤7.6.1：首先按照步骤7.1中的切割方法，将新的监控图像x+1切割为R级栅格状图像组[(x+1)

步骤7.6.2：然后针对R级栅格状图像组[(x+1)

步骤7.7：根据步骤7.6得出的新的目标跟踪区域，按照步骤7.2中的方法对R级栅格状图像组[(x+1)

步骤7.8：对第r级图像(x+1)

步骤7.9：按照步骤7.3重新将第r级图像(x+1)

步骤7.10：按照步骤7.4重新给第r级图像(x+1)

步骤8：计算头戴显示器N4监控图像的坐标系原点与跟踪区域的中心点之间的偏移向量F，遥操作控制器通过无线通信设备发出控制指令使车载多自由机械臂N2末端坐标系(O

步骤9：判断是否结束，如果是，则程序结束，否则继续执行步骤7.6。

实施例三

在一个或多个实施方式中，公开了一种主端可穿戴遥操作控制装置的遥操作控制器，包括服务器，所述服务器包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现实施例一中的方法。为了简洁，在此不再赘述。

应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。

在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。

实施例一中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。

实施例四

在一个或多个实施方式中，公开了一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并实施例一中所述的基于可穿戴视觉的机器人视觉跟踪控制方法。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。