基于多模态特征的人体运动识别系统

摘要

不管是在现实生活中还是在科研领域内，人体运动识别都起着至关重要的作用。其研究成果可以应用于多个领域，如:安保系统、智能家居、体感交互等等。随着技术的发展与革新，用于研究人体运动识别的体感设备层出不穷，如:kinect、psmove、wii等等。同时，科研工作者们也不遗余力地提出各种各样的方法对采集到的运动数据进行处理与分析，然后对这些运动数据进行识别。
　　本文对---基于骨架和深度特征的人体运动识别---进行了研究，提出了一种基于多模态的人体运动识别方法，并且同时实现了运动数据采集系统和人体运动识别系统。本文主要完成了以下面3个方面的工作:第一，本文提出了躯体特征融合分类器(Bodypart Feature Fusion Classifier);第二，本文提出了一种新的人体运动识别方法即基于多模态特征以及骨架数据置信度的人体运动识别方法。通常在有遮挡的情况下，人体骨架特征会严重失真，从而导致识别结果受到了严重的影响，此时如果我们使用深度信息作为补充，则将会大大提高识别的准确率;第三，本文实现了运动数据采集系统和人体运动识别系统。首先我们通过kinect获得三维人体骨架信息和深度信息，然后我们分别对这些信息进行处理，得到骨架特征和深度特征，最后使用支持向量机进行分类从而得到识别结果。
　　本文提出的分类器会自动计算并更新骨架特征和深度特征的权重，更加充分地利用了人体各模态的信息，提高了识别的准确率。本文提出的方法考虑到了现有很多识别方法的不足，并且兼顾了不同模态数据之间的互补性，同时拥有骨架识别和深度识别的优点，从而进一步提高了识别的准确率。所以我们的工作意义深远，并且为其他科研工作者以后的工作做好了铺垫。

目录

声明

摘要

图目录

表目录

第1章 绪论

1．1 课题背景

1．2 本文工作

1．3 本文组织结构

1．4 本章小结

第2章 运动识别相关的研究综述

2．1 运动目标检测技术

2．1．1 背景差分方法

2．1．2 基于统计的运动目标检测

2．1．3 基于光流的运动目标检测

2．2 人体跟踪技术

2．2．1 基于模型的人体跟踪

2．2．2 基于特征的人体跟踪技术

2．3 运动识别

2．3．1 基于视频数据的运动识别

2．3．2 基于深度数据的运动识别

2．4 基于骨架数据的运动识别

2．5 本章小结

第3章 多模态特征的提取

3．1 骨架特征的提取

3．2 深度特征的提取

3．3 本章小结

第4章 基于多模态特征的运动识别

4．1 本章算法流程

4．2 基于躯体特征融合分类器的运动识别算法

4．3 实验结果

4．4 本章小结

第5章 运动采集识别系统

5．1 系统框架

5．2 系统功能模块

5．2．1 运动数据采集系统

5．2．2 运动识别系统

5．3 实验结果

5．4 本章小结

第6章 总结与展望

6．1 总结

6．2 展望

参考文献

攻读硕士学位期间主要的研究成果

致谢