一种VR头戴设备的手势跟踪方法和VR头戴设备

摘要

本发明提供一种VR头戴设备的手势跟踪方法，包括以下步骤：采集多个训练图像；分离手部深度图像；标记三维手势，形成原始点云；计算法向量和曲率，去均值归一化；搭建CNN网络，CNN网络的输入端分别输入多法向量、曲率和手部深度图像，输出端输出包括掌心在内的多个关节点的三维坐标；训练后的CNN网络作为三维手势的特征提取器，通过深度摄像头采集实时动作深度图像，特征提取器提取并处理实时动作深度图像中所包含的三维手势的法向量、曲率和手部深度图像信息，输出包含掌心的多个关节点的三维坐标，并对识别出的三维手势进行跟踪。还公开一种VR头戴设备。本发明融合了三维特征信息，具有模型识别率高的优点。