基于数据手套的手语手势识别及应用

摘要

据中国卫生组织统计，在全国范围内具有众多的聋哑人。聋哑人之间采用手语方式进行沟通，当他们与不了解手语的人交流时会带来许多不便。基于上述问题，本文提出了一种基于数据手套的手语手势识别系统，利用惯性传感器和弯曲传感器采集手语手势姿态信息，通过手势识别算法完成对手语动作的识别。
　　基于数据手套的手语手势识别系统硬件部分由主控模块、姿态模块、电源模块、无线模块组成。其中姿态模块由柔性弯曲传感器和惯性传感器构成，通过柔性弯曲传感器的电阻值与弯曲度的特性关系实现对手指各关节位置状态的信息检测，通过惯性传感器来捕获手势运动过程中的空间状态和轨迹信息。主控模块将采集来的手势姿态信息经由无线模块传输到上位机中，按照差分值法截取整个手势动作的手指位置信息和空间姿态信息，然后提取依据手指关节特性定义的第二指关节、掌指关节、和空间姿态信息中的三轴加速度、三轴磁力角等特征量，并依据每种手语动作特征量的不同，通过4层决策树分类器将手语动作识别出来。在上述基础上，利用基于JAVA语言的Processing软件开发了手语手势识别系统的上位机，完成对手语动作的识别。
　　搭建了测试平台，选取30位实验者来测试本文定义的6种手语动作，并对测试数据结果进行分析，测试结果表明，基于数据手套的手语手势识别系统的平均识别率达到了87％，验证了系统的有效性，相比单一惯性传感器手语手势识别系统的识别率提高了5.9％。

目录

声明

摘要

第1章 绪论

1．1．2 研究意义

1．2 国内外研究现状

1．2．1 手势识别方式的研究

1．2．2 手语手势识别算法的研究

1．3 论文研究的主要内容

第2章 手语手势识别系统的设计

2．1 手语手势识别系统总体方案设计

2．2 定义手语动作

2．3 定义特征量

2．4 本章小结

第3章 手语手势识别算法设计

3．1 数据预处理

3．2 差分法数据截取

3．3 决策树分类器

3．3．1 分类属性选择

3．3．2 分类过程

3．3．3 四层决策树分类器

3．4 本章小结

第4章 手语手势识别系统的设计

4．1 手语手势识别系统的硬件设计

4．1．1 主控模块

4．1．2 姿态模块

4．1．3 IIC通讯协议

4．1．4 无线模块

4．2 手语手势识别系统的软件设计

4．2．1 数据截取程序设计

4．2．2 特征量提取程序设计

4．2．3 四层决策树分类器程序设计

4．3 本章小结

第5章 系统测试与结果分析

5．1 手语手势识别系统测试平台介绍

5．2 WIFI网络通讯配置

5．3 实验结果分析

5．4 实验结果统计

5．5 本章小结

结论

参考文献

攻读硕士学位期间的学术成果

致谢