增强现实中手势与虚拟模型交互研究

摘要

增强现实(AR)技术是一种将计算机生成的虚拟对象准确无误地放置到真实场景中，并借助于视频显示设备使人的视觉体验得到提升的新技术，它是随着虚拟现实技术的发展而产生的。
　　 近几年来它已经成为一个研究热点，使用增强现实技术的软件系统被广泛地应用在教育科研、城市规划等各种领域中，但其使用的交互方式大部分都是基于人工标识。尽管这种交互方式比较成熟，但仍然存在许多不足之处。手势是一种非常直观的表达方式，如果用人手代替标识作为计算机的输入来完成人机交互，那么增强现实的应用范围就会更广泛，也会提高人机交互的沉浸感。
　　 本文研究增强现实系统中人手与虚拟对象进行交互的技术，包括手势图像分割、手指指尖检测追踪、交互方式等方面，并实现一个人手与虚拟模型交互的增强现实系统。本文的主要工作如下:
　　 (1)针对手势分割时类肤色区域难识别的问题，本文提出基于肤色检测和背景减除相结合的方法。首先采用一种改进的邻域平均算法对图像进行平滑处理;然后选取YCrCb颜色空间建立肤色分布的高斯模型;并将经过肤色检测的图像建立背景的高斯混合模型，经过两种方法的逻辑运算得到单一的手势区域。经过验证，这种方法能够实时满足系统的分割要求。
　　 (2)结合系统的特征使用基于轮廓曲率的方法来进行指尖检测，并对手指区域进行曲线拟合，采取椭圆拟合实现了对指尖的精确定位，然后对检测到的指尖进行实时跟踪，提出了一种匹配算法，通过计算相邻两帧图像中指尖点的位移以及结合手部质心的运动来实时跟踪指尖。经过实验验证，算法具有检测识别以及实时跟踪指尖的鲁棒性。
　　 (3)设计并实现增强现实环境下的人机交互系统。将前期实现的算法整合进增强现实系统，用自然手代替传统的纸质标识，实现了与虚拟模型的实时交互。通过多次测试，本文实现的系统能够适应不同的环境，并且交互方式上自然方便。

目录

声明

摘要

第一章 绪论

1．1 课题研究背景和意义

1．2 国内外研究现状

1．3 研究内容和研究步骤

1．3．1 研究内容

1．3．2 研究步骤

1．4 论文结构

第二章 增强现实系统相关技术

2．1 增强现实概述

2．1．1 增强现实的定义

2．1．2 增强现实的应用

2．2 增强现实中的关键技术

2．2．1 显示技术

2．2．2 三维注册技术

2．2．3 交互技术

2．3 手势识别的关键技术

2．3．1 手势分割

2．3．2 手势建模

2．3．3 手势识别

2．4 小结

第三章 基于肤色检测和背景减除的手势分割

3．1 图像预处理

3．2 基于肤色检测和背景减除的手势分割

3．2．1 肤色检测

3．2．2 背景减除

3．3 手势轮廓提取

3．4 小结

第四章 基于轮廓的指尖检测识别

4．1 指尖检测方法

4．2 基于曲率的指尖检测

4．3 基于最小二乘法的手指区域拟合

4．4 手指跟踪

4．5 小结

第五章 人手与虚拟模型交互系统的实现

5．1 手部模型构建

5．2 指尖姿态预测

5．3 系统实现

5．3．1 系统环境

5．3．2 系统流程

5．3．3 系统运行

5．4 小结

第6章 总结与展望

6．1 论文总结

6．1．1 论文完成工作

6．1．2 论文创新点

6．2 研究展望

参考文献

致谢