一种基于手部形态、姿态、位置及运动特征的手势控制方法和系统

摘要

本发明提出一种基于手部形态、姿态、位置及运动特征的手势控制方法及系统，可用于多组设备及设备中多个功能模块的选定和控制。该方法可通过摄像头捕获手势动作，提取形态、姿态、位置及运动特征，在此基础上对特征进行分析以识别使用者手势，进而实现设备或功能模块的选定及控制。

说明书

技术领域

本发明涉及一种基于手部形态、姿态、位置及运动特征的手势控制方法和系统，属于手势识别技术领域。

背景技术

手势控制具备非接触、操作便捷的特点，是人机交互方式中重要的研究方向之一。目前常见的手势控制方法中，电磁感应方法难以识别手指精细动作；基于穿戴装置的控制方法要求使用者额外穿着特定装置，为使用者增加负担。而基于图像的手势控制方法中仅对手指个数或手部二维平面运动轨迹进行识别，未完全挖掘图像所含信息（例如指向，三维运动运动轨迹等）；或仅采用滑动、点击等近似于传统鼠标或触摸屏的操作方式。因此，目前手势控制方法在交互方式上，或者仅利用单一简单动作，难以控制包含多组设备或具备多级功能的复杂系统；或者模仿传统鼠标或触摸屏操作，并未从本质上改变人机交互方式。此外，部分方法依赖于传统人机交互界面，需要使用者实时查看显示设备，无法实现盲操作，在实际应用中存在明显局限性。例如在汽车驾驶过程中，查看额外显示设备可能导致驾驶员注意力分散，带来安全隐患。

发明内容

本发明为了解决现有技术中手势控制方法无法用于国足设备及设备中多种功能模块的选定和控制的问题，提出了一种基于手部形态、姿态、位置及运动特征的手势控制方法，所采取的技术方案如下：

所述手势控制方法包括：

步骤一、读取输入图像的图像数据；

步骤二、提取步骤一所述图像数据中的手部特征，并获得手部特征结果；所述手部特征包括手部形态特征、手部姿态特征、手部位置特征和手部动作特征；所述手部特征结果包括手部形态特征结果、手部姿态特征结果、手部位置特征结果和手部动作特征结果；

步骤三、对步骤二所述的手部特征数据进行融合、分析和手势识别，获得手势识别结果；

步骤四、存储步骤三所述手势识别结果；

步骤五、判断步骤四的手势识别结果是否为完整手势，如果是完整手势，则将发送与所述手势识别结果相对应的手势命令；如果不是完整手势，则迭代执行步骤一至步骤四直至识别到完整手势为止。

进一步地，所述手部特征是在世界坐标系及手部坐标系中进行描述的；所述世界坐标系o-xyz作为整个系统的绝对坐标系；所述手部坐标系o’-x’y’z’以手掌伸平张开时，拇指所在直线与中指所在直线交点为原点，中指所在直线为x’轴，指尖所指方向为正向；垂直手掌方向为y’轴方向，当使用右手作为控制手时，手掌方向为正向，使用左手时手背方向为正向；z’轴垂直于x’、y’轴形成的平面，拇指方向为正向。

进一步地，步骤二所述手部形态特征通过图像分形方法进行提取，所述图像分形方法的提取过程包括：

步骤1、读取输入图像的图像数据；

步骤2、利用步骤1所述图像数据的图像灰度或颜色信息进行阈值分割，获得手部区域；

步骤3、提取步骤2所述手部区域的边缘轮廓，获得手部边缘轮廓结果；

步骤4、对步骤3所述手部边缘轮廓结果进行分析，通过边缘轮廓结果中的边缘轮廓曲线的凸起与凹陷判断手指个数及指向，获得所述手部形态特征结果；

步骤5、输出步骤4所述手部形态特征结果。

进一步地，步骤二所述手部形态特征通过模板匹配方法进行提取，所述模板匹配方法的提取过程包括：

第一步、读取输入图像的图像数据，并载入预设模板数据；

第二步、对第一步所述预设模板中的基于灰度或颜色特征的预设模板采用相关滤波法进行所述图像的全图匹配；对第一步所述预设模板中的基于HOG、Haar或LPB的纹理特征特征的预设模板利用级联分类器进行所述图像的全图匹配，获得匹配结果；

第三步、根据第二步所述匹配结果确定手部形态特征，并输出所述手部形态特征。

进一步地，步骤二所述手部姿态特征的提取过程包括：

步骤a、读取所述手部形态特征结果，并将所述手部形态特征结果载入手部预设三维模型中；

步骤b、利用步骤a所述手部形态特征结果提取特征点；

步骤c、根据步骤b所述特征点位置及像素值与所述预设三维模型进行匹配，获得预设三维模型匹配结果；

步骤d、根据步骤c所述预设三维模型匹配结果建立手部坐标系；

步骤e、根据步骤d所述手部坐标系，利用PnP方法求解手部姿态参数，所述手部姿态参数即为所述手部姿态特征；

步骤d、输出手部姿态特征的特征结果。

进一步地，利用手部姿态特征结果对步骤二所述手部位置特征进行提取，所述手部位置特征的提取过程包括：

步骤I、读取所述手部姿态特征结果

步骤II、利用步骤I所述手部姿态特征结果，通过世界坐标系和手部坐标系计算手部位置参数，所述手部位置参数即为所述手部位置特征；

步骤III、输出步骤II所述手部位置特征结果。

进一步地，利用手部形态特征结果对步骤二所述手部位置特征进行提取，所述手部位置特征的提取过程包括：

步骤A、读取所述手部形态特征结果；

步骤B、利用步骤A所述手部形态特征结果，通过手部形心与世界坐标系计算手部位置参数，所述手部位置参数即为所述手部位置特征；

步骤C、输出步骤B所述手部位置特征结果。

进一步地，步骤二所述手部动作特征的提取过程包括：

第1步、读取前序图像及当前图像的手部形态特征结果、手部姿态特征结果和手部位置特征结果；

第2步、对第1步所述手部形态特征结果、手部姿态特征结果和手部位置特征结果进行差异分析，分析后获得手部动作；所述手部动作即为手部动作特征；

第3步、输出手部动作特征结果；

第4步、存储第3步所述手部动作特征结果，以便后续提取过程调用。

进一步地，利用深度图像特征提取方法对步骤二所述手部特征进行提取，所述提取过程为：

Step1：读取输入图像的图像数据，载入预设三维骨骼模型；

Step2：利用深度信息分割输入所述图像中的手部区域；

Step3：在手部区域中提取手部特征点；

Step4：利用step3所述手部特征点进行模型匹配，获得模型匹配结果；

Step5：建立手部坐标系；

Step6：根据step4所述模型匹配结果结合step5所述手部坐标系提取手部形态特征、手部姿态特征和手部位置特征；

Step7：根据输入图像的前后帧图像的差异计算手部运动特征。

一种实现权利要求1所述手势控制方法的手势控制系统，所采取的技术方案如下：

所述控制系统包括主控制器、数据获取模块、数据处理模块、指令输出模块和操作反馈模块；所述主控制器的数据获取信号控制交互端与所述数据获取模块的数据控制交互端相连；所述主控制器的数据处理信号控制交互端与所述数据处理模块的数据控制交互端相连；所述主控制器的指令输出信号控制交互端与所述指令输出模块的数据控制交互端相连；所述主控制器的操作反馈信号控制交互端与所述操作反馈模块的数据控制交互端相连；所述数据获取模块的数据输出端与所述数据处理模块的数据输入端相连；所述数据处理模块的数据输出端与所述指令输出模块的数据输入端相连。

本发明提出一种基于手部形态、姿态、位置及运动特征的手势控制方法，可用于多组设备及设备中多个功能模块的选定和控制。该方法可通过摄像头捕获手势动作，提取形态、姿态、位置及运动特征，在此基础上对特征进行分析以识别使用者手势，进而实现设备或功能模块的选定及控制，并可通过手势的动作幅度控制功能状态的调节速率。使用者仅需在小范围内做出简单的手势动作即可完成控制，并可根据实际需求定义预设手势，使用方便。

本发明还提出了与所述方法相对应的控制系统，可对手势动作进行捕获与识别，进而控制多组设备及设备中多个功能模块。控制系统还具备反馈功能，使用者在进行手势动作时可以得到实时灯光、声音或震动反馈，操作简洁，交互性好。

本发明有益效果：

1.本发明可基于单目二维图像或深度图像实现手势动作的识别，相较于目前主流的仅基于深度摄像头的方法，适用范围更广。

2. 本发明所提出的控制系统可采用单目摄像头作为手势动作捕获装置。

3.本发明可通过单一连贯手势实现对多组设备及设备中多个功能模块的选定和控制。

4.本发明在调节具有一定范围区间的功能状态时，可通过手势动作幅度控制调节快慢。

5.本发明所提出的手势控制方法及系统，在控制效果上，可控制的设备数量多，可控制的功能层级复杂。

6.本发明所提出的手势控制方法及系统，在交互方式上，明显区别于传统鼠标及触摸屏的操作方式，而非对其进行模拟。

7.本发明提出的手势控制方法可实现盲操作。

附图说明

图1为本发明所述手势控制方法的总体流程图。

图2为本发明所述世界坐标系和手部坐标系示意图。

图3为本发明所述手部姿态特征示例图。

图4为本发明所述手部位置特征示例图。

图5为本发明所述手部动作特征示例图。

图6为本发明所述图像分形方法流程图。

图7为本发明所述模板匹配方法流程图。

图8为本发明所述手部姿态特征提取流程图。

图9为本发明所述手部位置特征提取流程图。

图10为本发明所述手部动作特征提取流程图。

图11为本发明所述深度图像的特征提取流程图。

图12为本发明所述手势控制系统结构图。

图13为汽车中央控制系统硬件安装方式图。

图14为打开驾驶员侧车窗手势示意图。

图15为关闭驾驶员侧车窗手势示意图。

图16为天窗开启与关闭模式示意图。

图17为平移打开天窗手势示意图。

图18为平移关闭天窗手势示意图。

图19为倾斜打开天窗手势示意图。

图20为倾斜关闭天窗手势示意图。

图21为智能家居中央控制设备安装示意图。

图22为落地灯开启手势示意图。

图23为落地灯关闭手势示意图。

图24为落地灯亮度减小手势示意图。

图25为落地灯亮度增加手势示意图。

图26为多媒体设备开启手势示意图。

图27为多媒体设备关闭手势示意图。

图28为多媒体设备播放、暂停示意图。

图29为多媒体设备切换至上一文件手势示意图。

图30为多媒体设备当前文件快退手势示意图。

图31为多媒体设备切换至下一文件手势示意图。

图32为多媒体设备当前文件快进手势示意图。

图33为多媒体设备音量减小手势示意图。

图34为多媒体设备音量增加手势示意图。

图35为曲线凸起、凹陷与手指个数和指向之间的关系判断流程图。

图36为曲线凸起、凹陷与手指个数和指向之间的关系判断手势示例图一。

图37为曲线凸起、凹陷与手指个数和指向之间的关系判断手势示例图二。

具体实施方式

下面结合具体实施例对本发明做进一步说明，但本发明不受实施例的限制。

实施例1：

本发明提出一种基于手部形态、姿态、位置及运动特征的手势控制方法，通过摄像头实时捕获并提取手部形态、姿态、位置及运动特征，识别使用者手势命令，实现对多组设备及设备中多个功能模块的控制。所述手势控制方法如图1所示，首先读取输入图像，基于实际应用需要可依次从图像中提取手部形态、姿态、位置和动作特征中的一种或多种，对特征进行融合与分析，当检测到完整手势命令时，发送该命令，否则存储当前分析结果并结合后续图像进行处理分析，具体为：

步骤一、读取输入图像的图像数据；

步骤二、提取步骤一所述图像数据中的手部特征，并获得手部特征结果；

步骤三、对步骤二所述的手部特征数据进行融合、分析和手势识别，获得手势识别结果；

步骤四、存储步骤三所述手势识别结果；

步骤五、判断步骤四的手势识别结果是否为完整手势，如果是完整手势，则将发送与所述手势识别结果相对应的手势命令；如果不是完整手势，则迭代执行步骤一至步骤四直至识别到完整手势为止。

所述手部特征是在世界坐标系及手部坐标系中进行描述的；如图2所示，所述世界坐标系o-xyz作为整个系统的绝对坐标系；其原点位置及三轴指向根据实际系统需求选取。所述手部坐标系o’-x’y’z’以手掌伸平张开时，拇指所在直线与中指所在直线交点为原点，中指所在直线为x’轴，指尖所指方向为正向；垂直手掌方向为y’轴方向，当使用右手作为控制手时，手掌方向为正向，使用左手时手背方向为正向；z’轴垂直于x’、y’轴形成的平面，拇指方向为正向。

所述手部特征包括手部形态特征、手部姿态特征、手部位置特征和手部动作特征；所述手部特征结果包括手部形态特征结果、手部姿态特征结果、手部位置特征结果和手部动作特征结果。

其中，手部形态特征指手部的外部轮廓形状。当使用者做出伸出手指、握拳或张开手掌等动作时，可通过形态特征快速识别。本实施例中，不同的手部形态可用于实现以下功能：

（1）从多组设备中选取某一设备，或选取同一设备的不同功能模块，该设备或模块将响应后续手势控制指令；

（2）对选定设备或功能模块下某一具体功能不同状态的调节，如伸出一指控制设备的“开启”，握拳则控制设备“关闭”；

（3）控制功能状态变更的快慢，如需要某一功能状态“增大”时，当伸出一指时，状态调节较慢，伸出两指时调节较快。

手部姿态特征包括通过手部俯仰、摆动、旋转等方式形成的方位指向，可通过手部坐标系与世界坐标系间的夹角表示，夹角的大小则表示姿态幅度，如图3中o’x’与ox的夹角a所示。

本实施例中不同手部姿态可用于实现以下功能：

（1）从多组设备中选取某一设备，或选取同一设备的不同功能模块，该设备或模块将响应后续手势控制指令；

（2）对设备或功能模块下某一具体功能不同状态的调节，如利用手部上下俯仰姿态控制设备“开”与“关”，左右摆动姿态控制设备某一功能状态“增大”与“减小”；

（3）根据姿态幅度的不同可以控制功能状态变更的快慢，如需要某一功能状态“增大”时，当姿态幅度大时，状态调节较快，姿态幅度小时调节较慢。

手部位置特征指手部所在的空间位置坐标，可利用手部坐标系原点在世界坐标系中的坐标表示，手部坐标系原点与世界坐标系原点的距离大小表示位移大小，如图4中线段l所示。当精度需求不高时，可直接计算手部形心在世界坐标系中的坐标以及与原点的距离。

本实施例中不同手部位置可用于实现以下功能：

（1）从多组设备中选取某一设备，或选取同一设备的不同功能模块，该设备或模块将响应后续手势控制指令；

（2）对设备或功能模块下某一具体功能不同状态的调节，如利用手部上下俯仰姿态控制设备“开”与“关”，左右摆动姿态控制设备某一功能状态“增大”与“减小”；

（3）根据位移大小控制功能状态变更的快慢，如需要某一功能状态“增大”时，当位移大时，状态调节较快，位移小时调节较慢。

手部动作特征指一段时间内，手部形态、姿态或位置特征的变化过程。如图5所示，其给出了一组手部动作示例，其中手部在沿ox方向平移的同时绕oy轴旋转。此外，手部动作还可包含形态的变化，如伸出或收回手指等。

本实施例中不同手部动作可用于实现以下功能：

（1）从多组设备中选取某一设备，或选取同一设备的不同功能模块，该设备或模块将响应后续手势控制指令；

（2）对设备或功能模块下某一具体功能不同状态的调节；

（3）根据动作速度快慢、幅度大小控制功能状态变更的快慢。

本实施例中根据输入图像的不同，手部特征基于单目二维图像方法进行提取，具体的提取方法如下

上述步骤二所述手部形态特征通过图像分形方法或模板匹配方法或二者相结合的方法进行提取，其中，图像分形方法流程如图6所示，首先基于手部图像灰度或颜色信息，利用阈值分割得到手部像素，再提取手部边缘信息，通过边缘曲线的凸起与凹陷可判断伸出手指个数及指向。所述图像分形方法的提取过程包括：

步骤1、读取输入图像的图像数据；

步骤2、利用步骤1所述图像数据的图像灰度或颜色信息进行阈值分割，获得手部区域；

步骤3、提取步骤2所述手部区域的边缘轮廓，获得手部边缘轮廓结果；

步骤4、对步骤3所述手部边缘轮廓结果进行分析，通过边缘轮廓结果中的边缘轮廓曲线的凸起与凹陷判断手指个数及指向，获得所述手部形态特征结果；

步骤5、输出步骤4所述手部形态特征结果。

其中，步骤4中涉及的曲线凸起、凹陷与手指个数和指向之间的关系判断流程如图35所示，具体的：

1、得到手部边缘图像后，在图像中遍历所有边缘点，计算曲率；

2、通过曲率值判断边缘点的类别，当曲率值较大且高于凸起判定阈值时为凸起点，曲率值较小且低于凹陷判定阈值时为凹陷点，其余则为普通边缘点，如图36至37所示（为简明起见，此图及后续图中的边缘已省略不画）；其中，点A处曲率大于凸起判定阈值，记为凸起点；点B和点C处曲率小于凹陷判定阈值，记为凹陷点；

3、遍历各个凸起点，分析该点与相邻凹陷点的位置关系：

a)点A与点B、点A与点C均相邻，且点B与点C之间无其他凸起点。

b)将点A分别与点B、点C连线，线段AB及AC的长度均满足预设阈值。

c)AB与AC形成的夹角大小满足预设阈值。

d)综合a)、b)、c)三点，认为点A为指尖，且手指指向可用线段AB和AC描述。

e)假如a)、b)、c)三点不能全部满足，则点A不为指尖。

模板匹配方法流程如图7所示，首先基于不同形态下手部灰度、颜色或纹理先验知识训练得到一系列特征模板，再利用模板在输入图像中进行全图匹配，最佳匹配结果即为当前图像中的手部形态。所述模块匹配方法的提取过程包括：

第一步、读取输入图像的图像数据，并载入预设模板数据；

第二步、对第一步所述预设模板中的基于灰度或颜色特征的预设模板采用相关滤波法进行所述图像的全图匹配；对第一步所述预设模板中的基于HOG、Haar或LPB的纹理特征特征的预设模板利用级联分类器进行所述图像的全图匹配，获得匹配结果；

第三步、根据第二步所述匹配结果确定手部形态特征，并输出所述手部形态特征。

手部姿态特征的提取需在形态特征的基础上进行。首先基于不同手部形态建立一系列三维模型，根据求得的手部形态提取特征点，根据特征点位置及像素值将图像特征点与预设模型进行匹配，确定特征点间的三维临近关系，从而建立当前状态下的手部坐标系，最后利用PnP法（Perspective-n-Point，多点位姿）求解手部在世界坐标系下的姿态参数，如图8所示，步骤二所述手部姿态特征的提取过程包括：

步骤a、读取所述手部形态特征结果，并将所述手部形态特征结果载入手部预设三维模型中；

步骤b、利用步骤a所述手部形态特征结果提取特征点；

步骤c、根据步骤b所述特征点位置及像素值与所述预设三维模型进行匹配，获得预设三维模型匹配结果；

步骤d、根据步骤c所述预设三维模型匹配结果建立手部坐标系；

步骤e、根据步骤d所述手部坐标系，利用PnP方法求解手部姿态参数，所述手部姿态参数即为所述手部姿态特征；

步骤d、输出手部姿态特征的特征结果。

手部位置特征的提取需在姿态或形态特征基础上进行。当基于姿态特征进行提取时，可直接利用上述获得的手部坐标系与世界坐标系计算；当基于形态特征进行提取时，可利用上述获得的手部边缘轮廓计算形心，进而得到形心在世界坐标系中的坐标以及与原点的距离，如图9所示，具体流程如下：

当利用手部姿态特征结果对步骤二所述手部位置特征进行提取时，所述手部位置特征的提取过程包括：

步骤I、读取所述手部姿态特征结果

步骤II、利用步骤I所述手部姿态特征结果，通过世界坐标系和手部坐标系计算手部位置参数，所述手部位置参数即为所述手部位置特征（在手部姿态特征提取过程中，应用到PnP算法，该算法可输出手部坐标系相对于世界坐标系的旋转变换矩阵和平移变换矩阵。其中，旋转变换矩阵描述了手部坐标系相对于世界坐标系沿xyz三个坐标轴各自的夹角，这组夹角即为手部姿态特征。平移变换矩阵则描述了手部坐标系的原点o‘在世界坐标系o-xyz中的三维坐标，这组坐标即为手部位置特征）

步骤III、输出步骤II所述手部位置特征结果。 当利用手部形态特征结果对步骤二所述手部位置特征进行提取时，所述手部位置特征的提取过程包括：

步骤A、读取所述手部形态特征结果；

步骤B、利用步骤A所述手部形态特征结果，通过手部形心与世界坐标系计算手部位置参数，所述手部位置参数即为所述手部位置特征；

步骤C、输出步骤B所述手部位置特征结果。

其中，步骤B所述的通过世界坐标和手部形心结合计算手部位置特征的计算过程如下：

1、建立世界坐标系的过程中，包含摄像头所捕获图像的图像坐标向世界坐标的映射关系。

2、提取得到手部边缘轮廓后，计算边缘轮廓上各点的图像坐标的平均值，即为手部形心的图像坐标。

3、根据图像坐标与世界坐标的映射关系，得到手部形心的世界坐标，该坐标即为手部位置特征。

为提取动作特征，需记录前序图像中手部特征。通过比较当前帧与前序帧手部形态、姿态或位置特征中，一种或多种特征的差异，即可得到该段时间内的手部动作特征，最后需存储提取结果，供后续图像处理分析。如图10所示，步骤二所述手部动作特征的提取过程包括：

第1步、读取前序图像及当前图像的手部形态特征结果、手部姿态特征结果和手部位置特征结果；

第2步、对第1步所述手部形态特征结果、手部姿态特征结果和手部位置特征结果进行差异分析，分析后获得手部动作；所述手部动作即为手部动作特征；

第3步、输出手部动作特征结果；

第4步、存储第3步所述手部动作特征结果，以便后续提取过程调用。

手部形态、姿态、位置及动作特征可分别单独用于手势控制，也可以根据实际需要进行组合。

当采用多特征进行控制时，可将多个特征融合为一个综合特征，例如可将以下三个特征视为一个组合，当检测到用户做出同时满足以下三个特征的手势时，直接执行某一设备的某一功能：

（1）手掌张开伸平；

（2）手掌向正前方平移；

（3）掌心由朝上翻转至朝下。

此外，也可将各特征对应至不同控制层级，例如检测到下述特征时分别执行相应指令：

（1）检测到手掌张开伸平，即五指全部伸出，则选择编号为5的设备；

（2）在指令1的基础上，进一步检测到手掌向正前方平移，则选择5号设备中的功能1；

（3）在指令2的基础上，如果检测到掌心由朝上翻转至朝下，则执行5号设备功能1中的子功能1；如果检测到手掌左右摆动，则执行5号设备功能1中的子功能2。

通过这种方式，使用者可通过一个连贯的手势动作完成设备选定、功能选定及功能的执行。

实施例2

本发明提出一种基于手部形态、姿态、位置及运动特征的手势控制方法，通过摄像头实时捕获并提取手部形态、姿态、位置及运动特征，识别使用者手势命令，实现对多组设备及设备中多个功能模块的控制。所述手势控制方法如图1所示，首先读取输入图像，基于实际应用需要可依次从图像中提取手部形态、姿态、位置和动作特征中的一种或多种，对特征进行融合与分析，当检测到完整手势命令时，发送该命令，否则存储当前分析结果并结合后续图像进行处理分析，具体为：

步骤一、读取输入图像的图像数据；

步骤二、提取步骤一所述图像数据中的手部特征，并获得手部特征结果；

步骤三、对步骤二所述的手部特征数据进行融合、分析和手势识别，获得手势识别结果；

步骤四、存储步骤三所述手势识别结果；

步骤五、判断步骤四的手势识别结果是否为完整手势，如果是完整手势，则将发送与所述手势识别结果相对应的手势命令；如果不是完整手势，则迭代执行步骤一至步骤四直至识别到完整手势为止。

所述手部特征是在世界坐标系及手部坐标系中进行描述的；如图2所示，所述世界坐标系o-xyz作为整个系统的绝对坐标系；其原点位置及三轴指向根据实际系统需求选取。所述手部坐标系o’-x’y’z’以手掌伸平张开时，拇指所在直线与中指所在直线交点为原点，中指所在直线为x’轴，指尖所指方向为正向；垂直手掌方向为y’轴方向，当使用右手作为控制手时，手掌方向为正向，使用左手时手背方向为正向；z’轴垂直于x’、y’轴形成的平面，拇指方向为正向。

上述步骤二所述手部特征通过深度图像的特征提取方法进行提取，如图11所示，所述手部特征提取过程如下：

Step1：读取输入图像的图像数据，载入预设三维骨骼模型；

Step2：利用深度信息分割输入所述图像中的手部区域；

Step3：在手部区域中提取手部特征点；

Step4：利用step3所述手部特征点进行模型匹配，获得模型匹配结果；

Step5：建立手部坐标系；

Step6：根据step4所述模型匹配结果结合step5所述手部坐标系提取手部形态特征、手部姿态特征和手部位置特征；

Step7：根据输入图像的前后帧图像的差异计算手部运动特征。

实施例3

本实施例提出了一种实现权利要求1所述手势控制方法的手势控制系统，如图12所示，所采取的技术方案如下：

所述控制系统包括主控制器、数据获取模块、数据处理模块、指令输出模块和操作反馈模块；所述主控制器的数据获取信号控制交互端与所述数据获取模块的数据控制交互端相连；所述主控制器的数据处理信号控制交互端与所述数据处理模块的数据控制交互端相连；所述主控制器的指令输出信号控制交互端与所述指令输出模块的数据控制交互端相连；所述主控制器的操作反馈信号控制交互端与所述操作反馈模块的数据控制交互端相连；所述数据获取模块的数据输出端与所述数据处理模块的数据输入端相连；所述数据处理模块的数据输出端与所述指令输出模块的数据输入端相连。

主控制器用于控制其他各模块的运行，并从各模块实时获取其运行状态；数据获取模块通过摄像头实时捕获手势动作，并将数据传入数据处理模块；数据处理模块用于从捕获数据中提取手部特征，并识别手势命令，并传入指令输出模块；指令输出模块接收手势命令，并向相应设备发送功能指令；操作反馈模块可向使用者实时提供反馈，便于使用者掌控当前系统运行状态。

根据实际应用需求，控制系统可采取如下的硬件实现方式：

主控制器、数据处理和指令输出模块可基于嵌入式平台或其他具有图像处理能力的计算平台搭建。为保证系统运行的实时性、安全性以及稳定性，搭载系统的硬件平台需要具备多线程计算及并行计算的能力。同时，由于系统需要长时间不间断运行，降低功耗是硬件平台的一个重要因素。英伟达公司推出的嵌入式平台，如Tegra系列的TK1、TX1与TX2等可以满足系统的硬件平台要求。

数据获取模块可选择单目或深度摄像头作为视频图像捕获装置。其中，单目摄像头指通过单一传感器与单一镜头组成的模块，模块的功能是根据外部驱动，实时的获取场景的彩色图像或灰度图像。深度摄像头主要包括基于TOF（Time of flight，飞行时间）、基于结构光或基于多角度成像的传感器，与单目摄像头的主要区别在于，深度摄像头还可实时捕获场景内的物体与摄像头的空间距离。数据获取模块可通过USB数据线、光纤或无线等数据传输方式与主控制器及数据处理模块连接，并实时传输数据。

指令输出模块作为手势控制系统与被控设备之间的接口，将数据处理模块分析得到的控制指令按照指定通信协议传达至被控设备。该模块可通过USB数据线、光纤或近距离无线传输协议向被控设备发送指令，其中近距离无线传输协议包括ZigBee，NB-IOT，LoRA等。协议与支持协议的硬件模块同为指令输出模块的组成部分。

操作反馈模块可通过震动、灯光或声音等方式向使用者提供反馈，根据实际需求可包含震动装置、LED、扬声器或其他具备同等功能的硬件设备。

本发明提出的手势控制方法可基于单目二维图像或深度图像实现手势动作的识别，适用范围广。本发明所述的控制系统可采用单目摄像头作为手势动作捕获装置，该硬件实现方式成本较低，设备简单，易于搭建及维护。本发明可通过单一连贯手势实现对多组设备及设备中多个功能模块的选定和控制，可控制较为复杂的硬件系统。本发明提出的手势控制方法可实现盲操作，避免使用者视线的转移，当用于汽车驾驶等应用场景时，相较于传统方法，有助于降低事故发生的可能性。

实施例4

实施例4提出了一种基于本发明所述手势控制方法的汽车中央控制系统。硬件设备安装方式如图13所示。其中：

1.手势操作区位于中控台处，靠近排挡杆。

2.中控系统采用嵌入式计算平台，平台集成于车内，通过车内总线控制各个设备。

3. 采用单目灰度摄像头或深度摄像头作为捕获装置，摄像头置于方向盘与中控台间，并包含红外补光灯便于低照度场景下成像。

4.震动反馈装置放置于驾驶员座椅靠背右侧。此外，系统还可通过车内音响系统向用户提供声音反馈。

下面以汽车驾驶员侧车窗及天窗为例，说明本发明的控制方法。

所述汽车中央控制系统中的车窗控制的控制方法如下：伸出右手拇指及食指，拇指指向上方，如图14（a）所示，此手势为驾驶员侧车窗的选中手势，保持手部形态不变并旋转手部使掌心向下可控制车窗降下，掌心向上控制升起。具体步骤如下：

步骤a：伸出右手拇指及食指，拇指指向上方，做出驾驶员侧车窗的选中手势，系统选中驾驶员侧车窗作为受控设备，并发送震动及声音反馈；

步骤b：当车窗未处于完全降下的状态时，将手部旋转至掌心向下，如图14（c）所示，则系统发出车窗下降指令，并向使用者发送震动及声音反馈，驾驶员侧车窗开始下降，此时：

a)保持当前手部形态并移出操作区，或改变手部形态，例如将手恢复至放松状态，则系统将持续执行车窗下降指令直至车窗完全降下；

b)如做出另一设备的控制手势，则在继续执行车窗下降指令的同时，执行另一设备的手势控制命令，系统发送相应震动及声音反馈；

c)在车窗完全降下之前，将手部恢复至图14（a）状态，则系统发出车窗静止指令，并向使用者发送震动及声音反馈，车窗保持在当前位置停止下降；

步骤c：当车窗未处于完全升起的状态时，做出驾驶员侧车窗选中手势并将手部旋转至掌心向上，如图15（c）所示，则系统发送车窗上升指令，并向使用者发送震动及声音反馈，驾驶员侧车窗开始上升，此时：

a)保持当前手部形态并移出操作区，或改变手部形态，例如将手恢复至放松状态，则系统将持续执行车窗上升指令直至车窗完全升起；

b)如做出另一设备的控制手势，则在继续执行车窗上升指令的同时，执行另一设备的手势控制命令，系统发送相应震动及声音反馈；

c)在车窗完全升起之前，将手部恢复至图15（a）状态，则系统发出车窗静止指令，并向使用者发送震动及声音反馈，车窗保持在当前位置停止上升。

以上过程中，可跳过步骤a，直接执行步骤b或c，系统将直接发出对应指令及反馈。

汽车中央控制系统中的车窗控制模块中，汽车天窗的开启和关闭包括平移和倾斜两种模式，平移模式指天窗向后移动打开、向前移动关闭，如图16（a）所示；倾斜模式指天窗后部上抬打开，降下关闭，如图16（b）所示。

控制方式如下：伸出右手拇指、食指及中指，拇指指向上方，如图17（a）所示，此手势为天窗的选中手势。保持手部形态不变，旋转手部使掌心向下可控制天窗平移打开，掌心向上控制关闭；向左摆动手部可控制天窗倾斜打开，向右控制关闭。具体步骤如下：

平移模式：

步骤a：伸出右手拇指、食指及中指，拇指指向上方，做出天窗的选中手势，系统选中天窗作为受控设备，并发送震动及声音反馈；

步骤b：当天窗处于平移模式，且未处于完全打开的状态时，将手部旋转至掌心向下，如图17（c）所示，则系统发出天窗平移打开指令，并向使用者发送震动及声音反馈，天窗开始向后平移，此时：

a)保持当前手部形态并移出操作区，或改变手部形态，例如将手恢复至放松状态，则系统将持续执行天窗平移打开指令直至天窗完全打开；

b)如做出天窗倾斜模式手势，则首先平移关闭天窗，再执行倾斜模式指令，系统发送相应震动及声音反馈；

c)如做出另一设备的控制手势，则在继续执行天窗平移打开指令的同时，执行另一设备的手势控制命令，系统发送相应震动及声音反馈；

d)在天窗完全打开之前，将手部恢复至图17（a）状态，则系统发出天窗静止指令，并向使用者发送震动及声音反馈，天窗保持在当前位置，停止后移；

步骤c：当天窗处于平移模式，且未处于完全关闭状态时，做出天窗选中手势并将手部旋转至掌心向上，如图18（c）所示，则系统发送天窗平移关闭指令，并向使用者发送震动及声音反馈，天窗开始前移，此时：

a)保持当前手部形态并移出操作区，或改变手部形态，例如将手恢复至放松状态，则系统将持续执行天窗平移关闭指令直至天窗完全关闭；

b)如做出天窗倾斜模式手势，则首先平移关闭天窗，再执行倾斜模式指令，系统发送相应震动及声音反馈；

c)如做出另一设备的控制手势，则在继续执行天窗平移关闭指令的同时，执行另一设备的手势控制命令，系统发送相应震动及声音反馈；

d)在天窗完全关闭前，将手部恢复至图18（a）状态，则系统发出天窗静止指令，并向使用者发送震动及声音反馈，天窗保持在当前位置，停止前移。

以上过程中，可跳过步骤a，直接执行步骤b或c，系统将直接发出对应指令及反馈。

倾斜模式：

步骤a：伸出右手拇指、食指及中指，拇指指向上方，做出天窗的选中手势，系统选中天窗作为受控设备，并发送震动及声音反馈；

步骤b：当天窗处于倾斜模式，且未处于完全打开状态时，将手部向左摆动，如图19（c）所示，则系统发出天窗倾斜打开指令，并向使用者发送震动及声音反馈，天窗后部开始上抬，此时：

a)保持当前手部形态并移出操作区，或改变手部形态，例如将手恢复至放松状态，则系统将持续执行天窗倾斜打开指令直至天窗完全打开；

b)如做出天窗平移模式手势，则首先倾斜关闭天窗，再执行平移模式指令，系统发送相应震动及声音反馈；

c)如做出另一设备的控制手势，则在继续执行天窗倾斜打开指令的同时，执行另一设备的手势控制命令，系统发送相应震动及声音反馈；

d)在天窗完全打开之前，将手部恢复至图19（a）状态，则系统发出天窗静止指令，并向使用者发送震动及声音反馈，天窗保持在当前位置，停止上抬；

步骤c：当天窗处于倾斜模式，且未处于完全关闭状态时，做出天窗选中手势并将手部向右摆动，如图20（c）所示，则系统发送天窗倾斜关闭指令，并向使用者发送震动及声音反馈，天窗后部开始下降，此时：

a)保持当前手部形态并移出操作区，或改变手部形态，例如将手恢复至放松状态，则系统将持续执行天窗倾斜关闭指令直至天窗完全关闭；

b)如做出天窗平移模式手势，则首先倾斜关闭天窗，再执行平移模式指令，系统发送相应震动及声音反馈；

c)如做出另一设备的控制手势，则在继续执行天窗倾斜关闭指令的同时，执行另一设备的手势控制命令，系统发送相应震动及声音反馈；

d)在天窗完全关闭前，将手部恢复至图20（a）状态，则系统发出天窗静止指令，并向使用者发送震动及声音反馈，天窗保持在当前位置，停止下降。

以上过程中，可跳过步骤a，直接执行步骤b或c，系统将直接发出对应指令及反馈。

实施例5

实施例5为基于本发明所述手势控制方法的智能家居中央控制设备，其中，硬件设备安装方式如图21所示。其中：

1.手势操作区位于使用者座位右手扶手处。

2.中控系统采用嵌入式计算平台，通过无线信号与摄像头及各受控设备连接。

3.采用单目灰度摄像头或深度摄像头作为捕获装置，摄像头置于电视上方，并包含红外补光灯便于低照度场景下成像。根据实际应用场景，摄像头也可以放置于其他能清晰捕获用户手势动作的位置。

4.系统通过受控音箱向使用者发送声音反馈。

5.受控设备中，两个音箱可以支持中控系统提供声音反馈，同时还与电视相连，组成多媒体设备。

下面以落地灯及多媒体设备为例，说明本发明的控制方法。

其中，落地灯控制功能包括开、关及明暗调节。控制方式如下：伸出右手拇指及食指，拇指指向上方，如图22（a）所示，此手势为落地灯的选中手势。保持手部形态不变，向右摆动手部可打开落地灯，向左则关闭；旋转手部使掌心向下可控制灯光变暗，掌心向上则变亮。

（1）落地灯开启、关闭控制

步骤a：伸出右手拇指及食指，拇指指向上方，做出落地灯选中手势，系统选中落地灯作为受控设备，并发送声音反馈；

步骤b：当落地灯处于关闭状态时，将手部向右摆动，如图22（c）所示，则系统发出落地灯开启指令，并向使用者发送声音反馈，落地灯开启；

步骤c：当落地灯处于开启状态时，将手部向左摆动，如图23（c）所示，则系统发出落地灯关闭指令，并向使用者发送声音反馈，落地灯关闭。

以上过程中，可跳过步骤a，直接执行步骤b或c，系统将直接发出对应指令及反馈。

（2）落地灯明暗调节

步骤a：伸出右手拇指及食指，拇指指向上方，做出落地灯选中手势，系统选中落地灯作为受控设备，并发送声音反馈；

步骤b：当落地灯处于开启状态时，将手部向掌心向下方向旋转，如图24（c）所示，则系统发出落地灯亮度减小指令，并向使用者发送声音反馈，落地灯开始变暗，此时：

a)亮度变化速度由手部旋转角度决定，旋转角度越大，变化速度越快，系统将持续减小亮度直至亮度调至最小；

b)改变手部形态、将手部恢复至图24（a）状态或将手移出操作区时，系统发出落地灯亮度变化停止指令，并向使用者发送声音反馈，落地灯保持当前亮度不变；

c)如做出另一设备的控制手势，系统首先发出落地灯亮度变化停止指令，再执行另一设备的手势控制命令，落地灯保持当前亮度不变，系统发送相应声音反馈；

步骤c：当落地灯处于开启状态时，将手部向掌心向上方向旋转，如图25（c）所示，则系统发出落地灯亮度增加指令，并向使用者发送声音反馈，落地灯开始变亮，此时：

a)亮度变化速度由手部旋转角度决定，旋转角度越大，变化速度越快，系统将持续增加亮度直至亮度调至最大；

b)改变手部形态、将手部恢复至图25（a）状态或将手移出操作区时，系统发出落地灯亮度变化停止指令，并向使用者发送声音反馈，落地灯保持当前亮度不变；

c)如做出另一设备的控制手势，系统首先发出落地灯亮度变化停止指令，再执行另一设备的手势控制命令，落地灯保持当前亮度不变，系统发送相应声音反馈。

以上过程中，可跳过步骤a，直接执行步骤b或c，系统将直接发出对应指令及反馈。

实施例6

本实施例提出了一种基于本发明所述手势控制方法的多媒体播放设施控制设备，多媒体设备功能包括开启、关闭、播放、暂停、上一文件、当前文件快退、下一文件、当前文件快进及音量调节。多媒体设备选中手势如图26（a），使用者可伸出右手拇指、食指及中指，拇指指向上方以选择多媒体设备作为受控设备。

（1）多媒体设备开启、关闭

步骤a：伸出右手拇指、食指及中指，拇指指向上方，做出多媒体设备选中手势，系统选中多媒体设备作为受控设备，并发送声音反馈；

步骤b：当多媒体设备处于关闭状态时，先将手部及小臂上抬如图26（c）所示，再将手部旋转至掌心向上，如图26（f）所示，则系统发出多媒体设备开启指令，并向使用者发送声音反馈，多媒体设备开启。

步骤c：当多媒体设备处于开启状态时，先将手部及小臂上抬如图27（c）所示，再将手部旋转至掌心向下，如图27（f）所示，则系统发出多媒体设备关闭指令，并向使用者发送声音反馈，多媒体设备关闭。

以上过程中，可跳过步骤a，直接执行步骤b或c，系统将直接发出对应指令及反馈。

（2）多媒体设备播放、暂停

播放与暂停共用同一手势，控制设备在两种状态间切换。具体步骤如下：

步骤a：伸出右手拇指、食指及中指，拇指指向上方，做出多媒体设备选中手势，如图28（a）所示，系统选中多媒体设备作为受控设备，并发送声音反馈；

步骤b：当设备处于暂停状态时，先将手部及小臂上抬如图28（c）所示，再恢复原位如图28（f）所示，则系统发送多媒体设备播放指令，并向使用者发送声音反馈，多媒体设备开始播放；

步骤c：当设备处于播放状态时，先将手部及小臂上抬如图28（c）所示，再恢复原位如图28（f）所示，则系统发送多媒体设备暂停指令，并向使用者发送声音反馈，多媒体设备暂停播放。

以上过程中，可跳过步骤a，直接执行步骤b或c，系统将直接发出对应指令及反馈。

（3）多媒体设备文件切换、播放进度调节

步骤a：伸出右手拇指、食指及中指，拇指指向上方，做出多媒体设备选中手势，如图29（a）所示，系统选中多媒体设备作为受控设备，并发送声音反馈；

步骤b：当媒体播放设备处于开启状态时，手部向左摆动再恢复原位，如图29所示，则系统发出多媒体设备切换至上一文件指令，并向使用者发送声音反馈，多媒体设备切换至上一文件；

步骤c：当媒体播放设备处于开启状态时，手部向右摆动再恢复原位，如图31所示，则系统发出多媒体设备切换至下一文件指令，并向使用者发送声音反馈，多媒体设备切换至下一文件；

步骤d：当媒体播放设备处于开启状态时，手部向左摆动并保持不变，如图30（c）所示，则系统发出多媒体设备当前文件快退指令，并向使用者发送声音反馈，多媒体设备在当前播放文件下倒退播放进度，此时：

a)改变手部形态、将手部恢复至图30（a）状态或将手移出操作区时，系统发出多媒体设备播放进度调节停止指令，并向使用者发送声音反馈，多媒体设备保持当前播放进度；

b)如做出另一设备的控制手势，系统首先发出媒体播放设备播放进度调节停止指令，再执行另一设备的手势控制命令，多媒体设备保持当前播放进度，系统发送相应声音反馈；

步骤e：当媒体播放设备处于开启状态时，手部向右摆动并保持不变，如图32（c）所示，则系统发出多媒体设备当前文件快进指令，并向使用者发送声音反馈，多媒体设备在当前播放文件下前移播放进度，此时：

a)改变手部形态、将手部恢复至图32（a）状态或将手移出操作区时，系统发出媒体播放设备播放进度调节停止指令，并向使用者发送声音反馈，多媒体设备保持当前播放进度；

b)如做出另一设备的控制手势，系统首先发出媒体播放设备播放进度调节停止指令，再执行另一设备的手势控制命令，多媒体设备保持当前播放进度，系统发送相应声音反馈。

以上过程中，可跳过步骤a，直接执行步骤b~e，系统将直接发出对应指令及反馈。

（4）多媒体设备音量调节

步骤a：伸出右手拇指、食指及中指，拇指指向上方，做出多媒体设备选中手势，如图33（a）所示，系统选中多媒体设备作为受控设备，并发送声音反馈；

步骤b：当多媒体设备处于开启状态时，将手部向掌心向下方向旋转，如图33（c）所示，则系统发出多媒体设备音量减小指令，并向使用者发送声音反馈，多媒体设备音量开始减小，此时：

a)音量变化速度由手部旋转角度决定，旋转角度越大，变化速度越快，系统将持续减小音量直至音量调至最小；

b)改变手部形态、将手部恢复至图33（a）状态或将手移出操作区时，系统发出多媒体设备音量调节停止指令，并向使用者发送声音反馈，多媒体设备保持当前音量不变；

c)如做出另一设备的控制手势，系统首先发出多媒体设备音量调节停止指令，再执行另一设备的手势控制命令，多媒体设备保持当前音量不变，系统发送相应声音反馈；

步骤c：当多媒体设备处于开启状态时，将手部向掌心向上方向旋转，如图34（c）所示，则系统发出多媒体设备音量增加指令，并向使用者发送声音反馈，多媒体设备音量开始增加，此时：

a)音量变化速度由手部旋转角度决定，旋转角度越大，变化速度越快，系统将持续增大音量直至音量调至最大；

b)改变手部形态、将手部恢复至图34（a）状态或将手移出操作区时，系统发出多媒体设备音量调节停止指令，并向使用者发送声音反馈，多媒体设备保持当前音量不变；

如做出另一设备的控制手势，系统首先发出多媒体设备音量调节停止指令，再执行另一设备的手势控制命令，多媒体设备保持当前音量不变，系统发送相应声音反馈。

以上过程中，可跳过步骤a，直接执行步骤b或c，系统将直接发出对应指令及反馈。

虽然本发明已以较佳的实施例公开如上，但其并非用以限定本发明，任何熟悉此技术的人，在不脱离本发明的精神和范围内，都可以做各种改动和修饰，因此本发明的保护范围应该以权利要求书所界定的为准。