基于计算机视觉的手势跟踪与识别算法研究

摘要

基于计算机视觉的手势识别是新一代的人机交互手段，有着重要的理论研究价值和应用前景。本文对手势图像的预处理、特征提取、手势的跟踪与识别进行了研究，并在MicrosoftVisualC++6.0环境下编程实现了对从摄像头输入的10个常用手势的识别，并以此为基础建立了一个简单的手势交互系统，以验证算法的可行性。实验结果表明，本文方法对目标手势的实时跟踪有较好的鲁棒性，且对手势的识别取得了良好的效果。 首先从输入视频流中采集手势图像，经过预处理建立了手势样本库。在手势图像特征提取阶段，根据识别对象是交互手势这一特点，本文采用Hu矩作为待识别手势的特征，利用几何矩不随图像旋转、平移、尺度的变化而变化的特性，较好的解决了特征提取时的旋转、尺度等不确定性问题。 在支持向量机(SVM)多分类方面，分析并验证了“一对多”、“一对一”和决策有向无环图等多分类算法应用于手势识别时的性能；并进一步对SVM在手势识别中的参数优化进行了研究和仿真实验，实验结果表明“一对多”径向基核函数的支持向量机算法在手势识别中取得了理想的识别效果。此外，针对一个手势样本同时属于多个类的错分情况，本文提出将基于后验概率的SVM多分类算法应用于手势识别，并对该算法进行了仿真实验。以概率作为手势分类的输出，在一定程度上减少了误判情况的发生，最终测试样本集的识别率为98.9％。 在算法应用方面，本文对自定义的10个数字手势的识别进行了仿真实验，并基于VC++6.0平台编写了Word数字录入程序，将手势识别应用于人机交互中，实现了从摄像头输入手势对Word文件的操作。 本文的创新点：一是提出将基于Hu矩特征和“一对多”径向基核函数支持向量机相结合的算法应用到手势识别，并对该算法进行了仿真实验，收到理想的识别效果。二是针对一个手势样本同时属于多个类的错分情况，提出将基于后验概率的多类分类算法应用于手势识别，进一步提高了识别率。

目录

文摘

英文文摘

声明

第一章绪论

1.1手势识别研究的意义

1.2手势识别国内外研究现状

1.3论文主要内容

第二章基于计算机视觉的手势识别基础理论

2.1模式识别概述

2.2基于计算机视觉的手势跟踪理论

2.3基于计算机视觉的手势识别理论

2.3.1神经网络算法

2.3.2基于模板匹配的算法

2.3.3统计分析算法

2.3.4隐马尔可夫模型(HMM)

2.4基于计算机视觉的手势跟踪与识别系统

2.5本章小结

第三章手势图像预处理及特征提取

3.1手势图像预处理

3.1.1图像平滑

3.1.2图像色彩空间转换

3.1.3图像二值化

3.1.4图像形态学处理

3.2手势图像特征提取

3.2.1矩描述子

3.2.2 Hu矩算法及代码实现

3.3本章小结

第四章手势跟踪算法研究

4.1 Kalman跟踪算法

4.2 Camshift跟踪算法

4.2.1颜色概率模型

4.2.2 Mean Shift算法

4.2.3 Camshift跟踪算法及实验结果

4.3本章小结

第五章支持向量机分类识别算法研究

5.1支持向量机基础算法

5.1.1线性最优分类超平面

5.1.2非线性最优分类超平面

5.2支持向量机的多类分类算法

5.2.1几种常见的支持向量机多类分类算法

5.2.2基于后验概率的支持向量机多类分类

5.3支持向量机的参数选取研究

5.3.1核函数及其参数的选取

5.3.2惩罚因子的选取

5.4本章小结

第六章基于计算机视觉的手势跟踪与识别算法实验

6.1系统的软硬件环境及功能

6.2手势图像预处理及特征提取实验结果

6.2.1手势图像获取及手势样本库的建立

6.2.2手势图像的预处理

6.2.3手势图像的特征提取

6.3手势跟踪实验结果及分析

6.4实时手势识别实验结果及分析

6.4.1手势识别系统流程

6.4.2手势识别实验

6.5手势跟踪与识别在人机交互中的应用

6.6本章小结

总结与展望

参考文献

致谢

作者在攻读硕士期间发表的论文