移动增强现实跟踪注册技术在手功能康复中的应用研究

摘要

增强现实技术是在虚拟现实的基础上发展起来的新技术。它将虚拟信息叠加到用户所在的现实环境中，从而实现对现实环境的增强。用户可以以更加自然的方式与环境中的真实和虚拟的物体进行交互。将移动增强现实技术应用于手部康复增加了便携性，患者的康复训练将不再受空间限制，可以更方便地进行训练。 本文以国家自然科学基金项目为背景，结合自然特征与视觉的同步定位与建图(visual simultaneous localization and mapping，V-SLAM)，设计并开发一个基于视觉的移动增强现实手部康复训练系统。本文的主要研究内容如下: 本文提出一种新的基于加速分割检测(Adaptive and Generic Accelerated Segment Test，AGAST)与快速视网膜关键点(Fast Retina Keypoint，FREAK)的移动增强现实跟踪注册算法。首先，建立尺度空间，使得AGAST算法具有尺度不变性;采用强度中心的方案，为AGAST特征检测提供方向，使其形成旋转不变性。然后，对FREAK模型进行简化，并采用扫视搜索的方法对图像进行分析，形成特征描述，提升算法在移动端的实时性表现。实验结果表明，本文提出的算法能高效而可靠地在移动设备上实现增强现实应用。 其次，本文通过对基于V-SLAM的增强现实的研究，提出了一种基于ORB-SLAM改进的跟踪注册算法。在ORB-SLAM的地图构建环节通过融合IMU、识别三维平面并扩展全局地图的方法保证了算法在不规律运动下的鲁棒性，并且提升了算法在移动端执行的效率。通过实验证明，该算法在移动增强现实应用中有着较好的鲁棒性。 最后，本文将基于自然特征的增强现实跟踪注册技术与基于V-SLAM的增强现实跟踪注册技术相结合，开发设计了一个基于视觉的增强现实手部康复训练系统。设计了三个不同难度的训练项目:排列训练、轨迹训练与打砖块训练。三个项目难度递进，主要锻炼人的手指、腕关节、肘关节和肩关节。最后通过对患者进行测试，验证系统的可行性与实用性。

目录

声明

摘要

第一章绪论

1．1研究背景与意义

1．2国内外研究动态

1．3本文研究内容

第二章增强现实中关键技术点的研究进展

2．1显示技术

2．2跟踪注册技术

2．3人机交互技术

2．4增强现实应用开发工具

2．4．1 OpenCV图像处理库

2．4．2 EasyAR软件包

2．4．3 Unity3D

2．5本章小结

第三章基于AGAST-FREAK特征的跟踪注册算法研究

3．1改进的AGAST特征点检测

3．1．1二叉搜索树的配置空间

3．1．2建立最优决策树

3．1．3自适应树切换

3．1．4具有尺度与旋转不变性的AGAST

3．2改进的FREAK特征描述符

3．2．1人类视网膜

3．2．2改进的FREAK特征描述符

3．3基于AGAST-FREAK特征的增强现实系统框架

3．4实验结果与分析

3．4．1改进的AGAST算法性能实验

3．4．1描述符的匹配实验

3．4．3移动增强现实注册结果

3．4．4系统时间运行对比

3．5本章小结

第四章基于V-SLAM的增强现实跟踪注册算法的研究

4．1．2 ORB特征检测

4．1．3内容关联视图与重要视图

4．1．4基于图像词袋模型的位置识别

4．2基于AGAST-FREAK特征的SLAM算法

4．2．1基于AGAST-FREAK特征的追踪算法框架

4．2．2基于AGAST-FREAK特征的地图构建与IMU融合

4．2．3三维平面提取与全局地图优化

4．3实验与分析

4．3．1系统运行时间

4．3．2定位精度实验

4．3．3移动增强现实跟踪注册结果

4．4本章小结

第五章移动增强现实手部康复训练系统设计

5．1康复训练项目的设计依据

5．1．1手部康复阶段

5．1．2手部治疗方式

5．1．3移动增强现实的康复训练的意义

5．2系统运行与开发环境

5．3系统功能设计与原理

5．3．1系统结构设计

5．3．2系统功能开发

5．3．3系统界面设计

5．4本章小结

第六章移动增强现实手部康复训练系统的实现

6．1排列训练

6．2轨迹训练

6．2．1练习模式

6．2．2测试模式

6．3打砖块训练

6．3．1练习模式

6．3．2测试模式

6．4系统功能扩展

6．5实验验证与分析

6．6本章小结

第七章总结与展望

7．1论文工作总结

7．2本文主要的创新点

7．3未来展望

致谢

参考文献

硕士研究生期间的学术成果