基于MEMS传感器的虚拟现实射击识别设备与系统

摘要

随着虚拟现实技术的快速发展，虚拟现实影院开始出现，其中一类虚拟现实影院就是近年出现的虚拟射击影院。目前流行的虚拟射击影院支持很多观众坐在动感座椅上、戴着立体眼镜、并端着游戏枪对大屏幕显示内容进行射击。这类射击影院可以使观众有很强的沉浸感体验。而且，相较于戴VR头盔进行协同射击游戏的模式，更具共同存在感。
　　射击识别系统是虚拟射击影院的核心部分。目前的射击识别系统大部分采用基于计算机视觉识别的交互方法。这类系统普遍存在不支持多人、交互范围受限等缺陷。近年来，由于传感器技术的快速发展，传感器种类越来越多，价格越来越便宜，精度越来越高。开始出现了一些基于MEMS(Micro-Electro-MechanicalSystem)传感器的交互装置和方法，其中包括一些射击交互设备。相较于基于计算机视觉的方法，这类方法具有不受摄像头相关参数的限制，成本较低等优势，所以开始得到更多的应用。但这类设备属于类鼠标设备，对玩家的真实射击体验缺少考虑。一个好的射击系统，其内容涉及到视觉、触觉、听觉等多通道感知的有效融合问题。目前的工作很少对此进行考虑，从而导致系统普遍缺少很好的用户体验。
　　为此，本文提出了一种基于MEMS交互枪的交互射击影院技术方案，并提出了通过虚实枪视觉融合方法，为用户提供更加舒适和更具沉浸感的交互射击体验。系统基于用户相对于屏幕的位置和交互枪的指向方向，对虚拟场景进行渲染并投影，从而允许用户在一定范围内随意移动进行射击游戏，大大提高了用户的参与感和沉浸感。最后，论文运用心流理论，通过主观调查问卷的方式和采集用户生理电数据相结合的方式对用户的心流状态加以更加客观的剖析。通过对比的方式客观证明了论文提出的系统更具沉浸感，用户体验更佳。
　　本文的主要工作与贡献主要概括如下:
　　1.设计制作了基于MEMS的交互枪。交互枪的外形设计参考了QBZ-95突击步枪，枪身采用ABS塑料1∶1比例进行3D打印，保留了枪栓设计，去掉了可拆卸弹夹的设计，降低了操作复杂度，使玩家专注于游戏。交互枪的硬件部分包括MPU9150姿态传感器芯片、AVR单片机、用nRF24L01+芯片通信芯片、力反馈驱动电路和电磁铁组成。在内部的布局上考虑了电磁干扰问题，使得系统可以正常工作。
　　2.提出了一种虚实枪交互融合方法。基于MEMS传感器的数据，结合Kinect检测到的人体骨骼节点数据，使得射击交互符合三点一线射击原理，使得用户产生虚拟枪与仿真枪重叠的错觉，提高了用户的交互射击体验。
　　3.提出了基于用户生理电数据的评估模型。在系统评估测试中，对用户皮肤电、肌电、心率、呼吸率进行采集。结合主观评估结果，对用户心流状态进行判定和评估，更加客观的反应了用户的体验，弥补了依靠主观臆断的传统评估方法的不足。

目录

声明

摘要

1．1 研究背景

1．2 研究现状

1．2．1 基于计算机视觉的交互枪

1．2．2 基于MEMS传感器的交互枪

1．2．3 基于心流的用户评估

1．3 本文的研究内容

1．4 本文的组织结构

第二章 基于MEMS的交互枪设计

2．1 实枪设计

2．2 虚枪设计

2．3 力反馈

2．4 本章小结

第三章 虚拟现实射击影院的适配

3．1 系统结构

3．2 实验环境

3．3 虚实枪融合

3．4 测试与评估

3．4．1 测试环境

3．4．2 实验设计

3．4．3 设备和测量

3．4．4 设计质量分析

3．4．5 不同条件中心流体验的差异检验

3．4．6 两个系统技术接受性上的差异检验

3．5 讨论

3．6 本章小结

第四章 头戴式虚拟现实系统的适配

4．1 系统结构

4．2 系统通信协议

4．2．1 Kinect与手机通信

4．2．2 交互枪与手机通信

4．3 本章小结

5．1 本文总结

5．2 未来展望

参考文献

致谢

攻读学位期间发表的主要学术论文、专利及软件著作权

攻读学位期间参与的科研项目