一种视觉-触觉融合的增强现实口腔手术技能训练模拟器

摘要

本发明涉及一种视觉‑触觉融合的增强现实口腔手术技能训练模拟器，包括：基于仿真头部模型构造的仿真训练平台；基于力反馈设备的口腔操作训练系统；基于增强现实头盔的观察系统；基于患者口腔CBCT数据和扫描数据生成虚拟口腔模型，构建虚拟口腔环境；基于虚拟口腔模型和仿真头部模型上的特征点，进行虚拟口腔和口腔模型的空间匹配；虚拟口腔手术仿真方法，分别以不低于1000Hz和60Hz的频率输出力觉信息和视觉信息；对网格数据进行简化的视觉信息处理方法；基于操作者头部信息校准输出力方向的力觉‑视觉空间校准方法。本系统解决了口腔传统训练中材料消耗和练习病例单一的问题；与现有的数字化训练方案相比，本系统借助增强现实技术增强了操作沉浸感，更加符合临床操作习惯。

说明书

技术领域

本发明涉及口腔手术训练模拟领域，是基于增强现实技术、力觉渲染技术、计算机图形学技术和运动力学等相关学科，模拟口腔手术操作过程，进行相关口腔手术操作的模拟训练。

背景技术

随着人们牙齿保护意识的提高，牙周、种植等口腔治疗的需求愈来愈多，而口腔医生技能培训周期长、成本高的现实情况，极大地限制了人们获取口腔治疗的机会。基于计算机图形学和增强现实等新技术，本发明提出一种视觉-触觉融合的增强现实口腔手术技能训练模拟器的构建方案，为口腔医生培训提供了新途径。

口腔医学是一门实践与理论相结合的学科，传统口腔医生的实践培训主要基于仿真头模进行。仿真头模的外形和病人平躺在牙椅上接受治疗的口腔诊室环境较为接近，用户可以较好地训练操作体位调节和支点使用等技巧，实现训练效果的迁移；但是仿头模练习过程中需要大量材料消耗，并具有训练病例单一、真实感差的缺陷。

针对传统口腔训练方案的不足，Moog Inc.等在专利号为US009383832B1“HAPTICUSER INTERFACE”的专利中提出了一种数字化训练方案，使用力反馈设备产生钻牙过程的虚拟力感，取代传统训练过程中的材料消耗；同时采用双投影的方式展示虚拟环境，并基于镜面反射的方式实现视觉空间和力觉空间的统一，使得用户观察到的虚拟环境和用户触碰的虚拟环境空间位置相同。该方案的主要问题在于采用镜面反射原理构建的训练平台，外形和仿真头模有较大差别，不仅用户需要花费较多的时间熟悉操作环境，同时也缺乏手指支撑，不容易实现训练效果的迁移。此外，为了实现虚拟视觉环境和虚拟力觉环境的空间校准，屏幕产生的图像需要经过反射镜反射后进行观察，所以在操作过程中无法观察到操作手，操作沉浸感较差。

发明内容

本发明技术解决问题：提供一种视觉-触觉融合的增强现实口腔手术技能训练模拟器，外形接近传统的仿真头模口腔训练平台，可以作为操作过程中的手指支撑；构成虚拟环境的口腔模型和口腔工具模型通过CT扫描和测量获得，可以模拟多种病例；使用增强现实眼镜进行观察，将口腔模型和口腔工具等虚拟环境叠加与真实环境进行显示，增强操作过程中的沉浸感；使用力反馈设备产生虚拟力感，避免了训练过程中的材料消耗。

本发明技术解决方案：

一种视觉-触觉融合的增强现实口腔手术技能训练模拟器，包括：仿真训练平台、基于力反馈设备的口腔操作训练系统、基于增强现实头盔的观察系统；

所述口腔训练平台，外形接近口腔实践训练中用到的仿真头部模型，方便用户熟悉操作环境，并且作为手指支撑，实现训练效果的转移；

基于力反馈设备的口腔操作训练系统，将力反馈设备支架固定在口腔训练平台上，以力反馈设备的末端手柄代替口腔手术器械供用户握持；用户操作力反馈设备的末端手柄进行运动，运动范围覆盖仿真头部模型的口腔范围；力反馈设备能产生特定的输出力，模拟触碰包括牙齿、牙龈、舌头和脸颊的多种组织的力觉感受；

所述基于增强现实头盔的观察系统，将虚拟环境叠加于现实世界之上进行显示，接收网格信息，显示由虚拟口腔模型和虚拟工具模型构造的虚拟口腔环境，或以观察口腔训练平台和力反馈设备真实环境，增强训练过程中的沉浸感；

所述训练模拟器实现过程：

a.基于患者的CBCT扫描和真彩扫描数据，以及口腔手术器械的尺寸和外形测量数据，建立虚拟口腔模型和虚拟工具模型，用于构造虚拟口腔环境；

b.基于虚拟口腔模型和仿真头部模型上的特征点，进行模型匹配，使得虚拟环境和实际训练模型相应点的空间位置相匹配；

c.模型匹配完成后将网格信息传输至虚拟口腔手术仿真算法，进行虚拟口腔手术仿真计算，用户通过移动力反馈设备末端手柄控制虚拟工具运动，并通过增强现实头盔从不同角度进行观察，力反馈设备末端手柄的姿态信息和操作者的头部位置信息分别以>1000Hz的频率和>60Hz的频率被虚拟口腔手术仿真算法实时获取，经过计算后输出力觉信息和虚拟环境的网格信息；

d.网格信息需要以无线传输的方式传输至增强现实头盔进行显示，在传输前进行视觉信息处理，简化网格信息，在保证网格模型尖锐特征的前提下减少网格顶点数量，提高传输速度，实现>60Hz的刷新频率；

e.基于获取的操作者头部信息，得到力觉-视觉空间校准矩阵，进行力觉-视觉空间校准，使得用户感受到的输出力和用户观察到的视觉信息相匹配，视觉上观察到虚拟工具碰到虚拟环境中的口腔组织后，能够在正确的位置感受到正确方向的触碰力。

所述口腔训练平台的实现过程如下：

(1)口腔训练平台的整体外形接近接受治疗的口腔患者，模仿患者平躺于牙椅上的外形构造，由口腔训练平台机箱、连接部分和头部三部分构成；

(2)口腔训练平台机箱起到稳固支撑和放置主机的作用；

(3)口腔训练平台连接部分，用于连接口腔训练平台的头部和底部的机箱，起到稳固支撑的作用，同时用于放置力反馈设备；

(4)口腔训练平台的头部，外形和大小接近真实的病人头部，去除口腔及以下部分，防止和力反馈设备的末端操作手柄产生干涉；在原有的口腔位置放置半圆环，在用户操作过程中起到手指支撑的作用。

所述基于力反馈设备的口腔操作训练系统实现过程如下：

(1)移动力反馈设备，使得力反馈设备工作空间的中心位置和口腔训练平台的口腔中心位置重合，并记录力反馈设备的位置；

(2)设计力反馈设备支架，将力反馈设备固定在口腔训练平台上，使得力反馈设备在使用过程中不出现晃动，并能够自由运动。

所述基于增强现实头盔的观察系统实现过程如下：

(1)选择Microsoft HoloLens作为增强现实设备，该设备可以实现无线传输，不受线缆限制；

(2)使用增强现实眼镜扫描口腔训练平台和力反馈设备，定位增强现实眼镜的工作中心，同时将虚拟环境叠加于口腔训练平台和力反馈设备进行显示，实现与周围真实环境中的全息影像互动。

所述步骤a中的虚拟环境构造方法：

(1)获得患者口腔DICOM格式CBCT数据；

(2)获得患者口腔的stl格式的口腔扫描数据；

(3)叠加重建后得到完整的下半颅骨三维表面和物理模型，构成虚拟口腔模型。

所述步骤b中的模型匹配方法：

(1)获取虚拟口腔模型三角网格的空间位置(P₁，P₂，……P_n)；

(2)对仿真头部模型上的相应点进行采样，得到(T₀，T₁，……T_n)；

(3)设空间矩阵校准矩阵为M，通过最小二乘法进行拟合，即求出使得R²最小的校准矩阵M。

所述步骤d中的视觉信息处理方法：

(1)对于网格中的所有顶点V，定义对称误差矩阵其中P＝[a b cd]为每个顶点周围所在平面，可以使用方程ax+by+cz+d＝0表示，K_p＝PP^T为二次基本误差矩阵；

(2)定义顶点v＝[v_x>y>z>T的误差矩阵为Δ(v)＝v^TQv；

(3)对网格中的边(v1,v2)，化简后合并为顶点为v_bar，定义顶点v_bar的误差矩阵Q_bar＝Q1+Q2；

(4)数值计算顶点v_bar位置使得Δ(v_bar)最小，依次选取收缩后新顶点误差最小的边进行迭代收缩直到满足要求为止。

所述步骤e中的力觉-视觉空间校准算法：

(1)获得操作者头部的位置信息P＝(x,y,z,α,β,γ)，其中x、y、z为用户头部的位置信息，α、β、γ为用户头部的朝向信息；

(2)计算得到头部的空间矩阵M＝R(α)·R(β)·R(γ)·Trans，对M求逆即得到力觉-视觉空间校准矩阵M^-1，其中

(3)获得计算得到的输出力F＝(f₀,f₁,f₂)，将输出力转换为齐次矩阵将M^-1的应用于Q_F，求得变换后的齐次矩阵将变换后的输出力F_T＝(q₃₀,q₃₁,q₃₂)传输至力反馈设备，以大于1000Hz的频率进行输出。

本发明与现有技术相比的优点在于：(1)本发明训练平台的外形接近仿真头部模型训练平台，可以作为用户训练过程中的手指支撑，同时可以用作空间参考；(2)本系统使用增强现实眼镜进行观察，将虚拟环境叠加与真实环境进行显示增强了沉浸感；(3)本系统基于力反馈设备提供虚拟力觉，减少了训练过程中的材料消耗，并且可以模拟多种病例；(4)通过力觉匹配算法，使得用户观察到的虚拟环境和用户感受到的反馈力空间位置统一，有助于训练效果的转移。

附图说明

图1为本发明的系统模块；

图2为系统工作原理示意图；

图3为口腔训练平台的示意图。

具体实施方式

下面结合附图，对本发明的技术方案做进一步的说明。

如图2所示，本发明涉及一种视觉-触觉融合的增强现实口腔手术技能训练模拟器，包括：基于仿真头部模型构造的仿真训练平台，作为用户操作过程中的手指支撑和空间参考；基于力反馈设备的口腔操作训练系统，通过力反馈设备的输出力模拟口腔治疗过程中的多种力觉感受；基于口腔患者的CBCT扫描数据和真彩扫描数据建模得到虚拟口腔模型，基于测量得到的口腔手术工具尺寸建模得到虚拟工具模型，构建虚拟口腔训练环境，实现多种口腔病例的模拟；对虚拟口腔模型和虚拟工具模型进行空间匹配，使得虚拟口腔环境和仿真训练平台的空间相匹配；基于增强现实头盔的观察系统，可以实现虚拟环境、训练平台和用户操作手等虚实环境协调显示，增强沉浸感；力反馈设备的空间姿态、增强现实头盔的方位、匹配后的虚拟口腔和工具模型等数据传入口腔手术仿真算法，计算得到输出力信息、视觉网格信息后再分别传向力反馈设备和增强显示头盔进行输出，实现闭环；基于网格化简算法对口腔手术仿真算法传出的视觉信息进行简化，实现大于30Hz的视觉线程刷新频率；基于力觉-视觉空间校准算法对计算机的输出力进行方向校准，使得用户感受到的输出力方向和观察方向一致，然后传递给力反馈设备进行输出。

与使用仿真头部模型的传统口腔技能训练方案相比，本系统借助力反馈设备产生虚拟力感，节省了使用仿真头部模型训练的材料消耗，并解决了训练病例单一的问题；与现有的口腔数字化训练方案相比，本系统实现了虚拟环境、仿真训练平台和用户操作手等虚实环境的同时观测和力感匹配，具有多通道视觉反馈、视觉-触觉融合反馈等显著特点，符合临床操作习惯。

如图3所示，仿真训练平台，包括8底部机箱、9连接部分和10头部等三部分构成，系统构成和工作原理如图2所示，基于力反馈设备的口腔操作训练系统由1力反馈设备支架、2力反馈设备和3力反馈设备操作手柄等三部分构成，基于增项现实头盔的观察系统主要由5增强现实眼镜构成，用户通过增强现实眼镜可以观察到4虚拟口腔工具和7虚拟口腔环境。

如图1所示，本发明具体实现包括以下步骤：

步骤1：仿造传统的口腔训练仿真头部模型，构造本系统的仿真训练平台，主要包括机箱、连接部分和头部等三部分结构，图3为口腔训练平台的示意图所示。

训练平台的实现步骤如下：设计机箱的外形为长方体，既可以放置主机，也能够稳固支撑；测量实际治疗过程中患者头部的高度，选取中间值作为机箱的高度；测量牙科治疗椅的宽度，作为机箱的宽度；机箱的长度保证主机能够放入即可。

训练平台的连接部分实现步骤如下：设计连接部分的外形接近病人的肩部，并测量成年真实病人的肩部尺寸，确定连接部分的尺寸。

训练平台的头部实现步骤如下：参照真实病人的头部尺寸和外形进行设计；删掉鼻腔以下部分，防止和力反馈设备产生干涉；选择真实病人的1.2倍口腔大小，设计不规则弧形的圆环，放置于原口腔位置，用于操作过程中的手指支撑。

步骤2：实现基于力反馈设备的口腔训练系统，将力反馈设备放置于虚拟口腔训练平台，产生虚拟力感，避免材料的消耗，实现步骤如下：

(1)移动力反馈设备，使得力反馈设备工作空间的中心位置和仿真头部模型口腔的中心位置重合，并记录力反馈设备的位置；

(2)在连接部分仿照力反馈设备的底部外形，开辟凹槽，用于固定力反馈设备，并保证设备的自由运动。

步骤3：实现基于增强现实头盔的显示系统：选定增强现实头盔的型号为Microsoft HoloLens头盔，使用头盔扫描仿真训练平台和增强现实眼镜，标定真实环境。

步骤4：构造虚拟口腔模型和虚拟病人模型：(1)使用CBCT设备和真彩扫描设备扫描患者的口腔，获得患者口腔DICOM格式的CBCT数据和stl格式的口腔扫描数据；(2)叠加重建后得到完整的下半颅骨三维表面和物理模型，构成虚拟口腔模型；(3)测量口腔手术中使用的工具外形和尺寸，建模得到虚拟工具模型；

步骤5：对虚拟口腔模型进行空间校准，具体实现如下：(1)获取虚拟口腔模型三角网格的空间位置(P₁,P₂,……P_n)；(2)对仿真头部模型上的相应点进行采样，得到(T₀,T₁,……T_n)；(3)设空间矩阵校准矩阵为M，通过最小二乘法进行拟合，即可以求出校准矩阵M；

步骤6：将虚拟口腔模型和虚拟工具模型传输至虚拟口腔手术仿真方法，获得仿真数据用于计算；该步骤离线完成，因此希望模型的网格顶点较多，提高计算精度；

步骤7：虚拟口腔手术仿真方法以大于1000Hz的频率进行力觉线程计算：采集力反馈设备的位姿信息，控制虚拟环境中的工具移动，和虚拟口腔模型进行交互计算；计算完成后输出发送输出力信息，力觉-视觉空间校准后发送给力反馈设备产生反馈力。

步骤8：虚拟口腔手术仿真方法以大于30Hz的频率进行视觉线程计算：采集头盔测量的操作者头部位置信息，经过计算后输出虚拟环境的网格信息；网格信息经过视觉信息处理后发送给增强显示头盔，叠加于真实世界上现实虚拟环境；

步骤9：力觉-视觉空间校准：

(1)获得操作者头部的位置信息P＝(x,y,z,α,β,γ)，其中x、y、z为患者头部的位置信息，α、β、γ为用户头部的朝向信息；

(2)计算得到头部的空间矩阵M＝R(α)·R(β)·R(γ)·Trans，对M求逆即可得到力觉-视觉空间校准矩阵M^-1，其中

(3)获得计算机计算得到的输出力F＝(f₀,f₁,f₂)，将输出力转换为齐次矩阵将M^-1的应用于Q_F，求得变换后的齐次矩阵将变换后的输出力F_T＝(q₃₀,q₃₁,q₃₂)传输至力反馈设备；

步骤10：视觉信息处理：

(1)对于网格中的所有顶点V，定义对称误差矩阵其中P＝[a b cd]为每个顶点周围所在平面，可以使用方程ax+by+cz+d＝0表示，K_p＝PP^T为二次基本误差矩阵；

(2)定义顶点v＝[v_x>y>z>T的误差矩阵为Δ(v)＝v^TQv；

(3)对网格中的边(v1，v2)，化简后合并为顶点为v_bar，定义顶点v_bar的误差矩阵Q_bar＝Q1+Q2；

(4)数值计算顶点v_bar位置使得Δ(v_bar)最小，依次选取收缩后新顶点误差最小的边进行迭代收缩直到满足要求为止。