基于自然特征的虚实融合游戏系统研究

摘要

虚实融合是增强现实（Augmented Reality，AR）技术的最重要特征和最终视觉呈现效果，它通过计算视觉和图形学技术将虚拟信息（文本、图片、3D模型、视频等）“无缝”内嵌入真实场景中，丰富置身于该环境中用户的感知体验。随着硬件设备和相关技术的不断成熟，凸显虚实融合视觉效果的AR技术已逐步从理论研究走向商业实用化，其中游戏娱乐是一个非常活跃的应用方向。
　　本文针对虚实融合在游戏应用中面临的快速检测、实时匹配、精确叠加等关键问题，深入分析了平面媒介和人体面部两大类游戏应用载体的图像表征特性，重点研究分析并选取了基于自然特征虚实融合游戏中的特征检测描述技术、跟踪匹配技术等自然特征处理内容，应用这些技术实现了平面自然特征虚实融合游戏系统原型以及交互主体参与的基于人脸检测的虚实融合游戏系统原型。本文的主要研究内容包括：
　　(1)平面自然特征虚实融合游戏系统：首先，本文采用FAST检测+SURF描述的方法完成平面自然特征游戏系统的特征检测描述；然后，本文采用适用于高维空间数据匹配的FLANN方法进行特征匹配，随后使用PROSAC算法去除特征匹配中外点并获得单应性矩阵模型；最后，本文基于模板图像离线处理-视频图像在线匹配框架实现了平面自然特征虚实融合游戏原型系统。实验证明系统在不同距离、旋转角度、背景光照具有良好的准确性和实时性。
　　(2)基于人脸检测的虚实融合游戏系统：本文采用Adaboost人脸检测+ASEF双眼检测人脸去噪方法进行人脸区域检测，兼顾了人脸虚实融合游戏系统的实时性和准确性，实验证明原型系统具有良好的显示效果。针对人脸偏转造成的虚拟物体显示位置不准确问题，本文提出了仿射约束下光流跟踪方法和实时人脸模板替换方法用于非平面人脸虚实融合游戏，实现了非平面人脸虚实融合游戏原型系统。实验证明这两种方法可应用于人脸偏移角度较大的应用场景。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 绪论

1.1 课题研究的意义与目的

1.2 国内外研究现状

1.3 本文组织安排

第二章 虚实融合游戏关键技术

2.1 虚实配准技术

2.2 交互技术

2.3 本章小结

第三章 平面自然特征虚实融合游戏软件实现

3.1 系统架构

3.2 系统设计

3.3 系统实现结果

3.4 本章小结

第四章 基于人脸检测的虚实融合游戏软件实现

4.1 系统框架与分析

4.2 人脸检测

4.3 人脸检测虚实融合游戏应用

4.4 本章小结

第五章 总结与展望

5.1 全文总结

5.2 工作展望

致谢

参考文献

攻硕期间取得的研究成果