基于体感技术的多媒体交互系统

摘要

近些年来，随着自然人机交互技术的发展，体感技术以及多媒体系统得到了广泛的关注和研究。传统的多媒体系统一般为触摸式广告机，主要停留在单向广播的方式，无法通过交互式体验来实现更为精准的信息的投放。因此，如果把体感技术应用到多媒体系统的话，将会增加系统的交互性和多样性。其中，体感技术中的手势就是一种很自然的人机交互方式。
　　本文通过集成当今信息技术领域领先的体感技术、增强现实技术、3D深度骨架关节定位技术以及大尺寸触屏技术，实现了一款集广告展示、产品介绍、以及动态虚拟真人试衣等多种功能为一体的综合智能产品展示和项目宣传系统，是一款集成多种高科技技术的新型体感多媒体交互系统。
　　本文首先从Kinect智能体感设备捕捉到整个人体的深度图像，然后进行动静分离、识别人体，将人体从复杂的背景中分离出来，再对人体的深度信息进行阈值分割，分割出人体的手掌部分，并结合人体的骨骼信息中的手部节点完成静态手势的识别。接着，分析了三类主流的动态手势识别算法，本文选用了在语音识别领域广泛使用的隐马尔科夫模型（HMM）算法进行动态手势识别，并通过静态手势识别和动态手势识别的结合，提高了手势识别的准确性。
　　然后，利用已实现的手势识别以及K inect的骨骼跟踪技术，实现了“空气鼠标”的功能，仅通过人体手势就可以隔空操作多媒体系统，不需要触控，可打破一般多媒体系统无法进行互动的局限性。并基于此实现了系统中多媒体信息互动展示的功能，包括音频视频播放、图片浏览、幻灯片控制、体感试衣镜系统等，其中，体感试衣镜系统能够智能量衣，衣服尺寸随着用户的体型变化而变化，并且衣随人走，达到如同现实中穿着样衣在镜前试衣的效果。同时，对于多媒体信息的传递，也不再局限于单一的播放形式，增加了信息传播的多样性。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 绪论

1 .1 研究背景及意义

1 .2 国内外研究现状

1 .3 论文的研究内容及创新点

1 .4 论文的整体结构

第二章 体感多媒体交互系统的技术理论

2 .1 体感手势识别

2 .2 隐马尔科夫模型

2 .3 Kinec t智能体感设备

2 .4 多媒体交互系统

2 .5 本章小结

第三章 体感多媒体交互系统的总体框架设计

3 .1 系统的设计目标

3 .2 总体设计

3 .3 系统的硬件、软件设计

3 .4 处理流程

3 .5 本章小结

第四章 体感多媒体交互系统的设计与具体实现

4 .1 开发环境与架构设计

4 .2 手势识别的实现

4 .3 多媒体系统的交互设计

4 .4 本章小结

第五章 交互系统的功能展示与结果分析

5 .1 系统的功能展示

5 .2 测试结果分析

5 .3 本章小结

第六章 总结与展望

6 .1 总结

6 .2 展望

致谢

参考文献

附录