基于Kinect的人机互动关键技术研究及其大屏幕应用

摘要

随着科技提高、信息技术以及虚拟现实的发展，人机交互技术越来越得到学者的关注。目前人机交互研究领域比较热门的有语音识别、手势识别、动作识别以及表情识别等。基于Kinect的人机交互技术，因为其应用的成本较低、通用性较强以及自由度较高等特点，所以可以广泛应用。本文重点工作是研究基于Kinect的动态手势识别方法以及肢体动作识别方法。本文可分为三个重要部分进行叙述，分别为动态手势识别方法研究、肢体动作识别方法研究以及大屏幕交互应用系统的设计与实现，具体工作如下:
　　(1)动态手势识别方法研究。本文通过Kinect设备得到彩色图像、深度图像以及人体手部骨骼节点数据。首先，通过手势分割技术分割出入的手部区域，采用基于特殊手势判断的方法来检测静态手势，完成判断动态手势何时开始的准备工作。然后，开始记录手部关键骨骼节点的动态手势序列，提取动作特征，并用数学公式表示。最后，对传统的DTW算法进行改进，并结合KNN算法进行动态手势识别，实验证明该方法具有明显的优越性。
　　(2)肢体动作识别方法研究。首先，用Kinect等设备获取人体骨骼关节点三维数据信息，以人体臀部为原点重新建立人体坐标系;然后，需要捕获人体关键骨骼节点的三维数据信息，定义人体相关动作特征向量表达式;最后，根据动作正则表达式用行为树构造动作序列，实现识别。
　　(3)大屏幕互动应用系统。基于动态手势识别技术，设计了一个大屏幕互动应用系统，用手势操作替代了鼠标以及键盘的部分功能，通过动态手势触发鼠标事件和键盘事件可以直接对大屏幕的内容进行互动操作。系统运行流畅，简单实用，真正实现以用户为中心的人机交互。

目录

声明

摘要

第一章 绪论

1．1 课题研究背景及意义

1．2 国内外研究现状

1．3 本文的主要内容及结构安排

第二章 人机交互相关理论基础

2．1．1 Kinect硬件介绍

2．1．2 Kinect SDK介绍

2．1．3 Kinect深度图像获取

2．2 人机交互的发展趋势

2．3 人机交互设计方案

2．4 小结

第三章 动态手势识别方法研究

3．1 动态手势识别基本流程

3．2 手势分割

3．2．1 手部分割流程

3．2．2 场景分割与肤色检测

3．2．3 图像去噪处理

3．2．4 深度手势分割

3．3 手势检测

3．4 特征提取及其表示

3．4．1 手势特征向量

3．4．2 特征向量表示

3．5 动态手势识别

3．5．1 传统DTW算法

3．5．2 DTW算法的改进

3．5．3 KNN算法

3．5．4 动态手势识别算法(DTW_Imp)

3．5．5 KNN参数K值设定

3．5．6 实验结果与分析

3．6 小结

第四章 人体肢体动作识别方法研究

4．1 人体空问坐标系的建立

4．3 构造动作识别的行为树

4．4 肢体动作识别算法步骤描述

4．5 动作识别结果分析与比较

4．5．1 识别结果分析

4．5．2 算法比较

4．6 小结

第五章 大屏幕应用系统的设计实现

5．1 实验平台的搭建

5．1．1 硬件环境

5．1．2 软件环境

5．2 软件工具的安装配置

5．2．1 Kinect for Windows SDK配置

5．2．2 Microsoft Visual Studio 2010安装配置

5．2．3 OpenCV安装配置

5．3 应用系统结构

5．4 应用系统实现过程

5．5 应用系统成果展示

5．6 小结

6．1 总结

6．2 展望

参考文献

附录

致谢

攻读硕士学位期间研究成果