一种基于AR技术的心肺复苏自助培训考核系统

摘要

本发明涉及一种基于AR技术的心肺复苏自助培训考核系统，其包括：AR设备，用于根据心肺复苏操作培训考核终端发送的指令提供3D模拟人、指导心肺复苏和AED操作的全息影像以及按压结果实时反馈的影像、指导和反馈的语音提示；按压练习器，用于学员在自助心肺复苏培训考核过程中放置在虚拟的3D模拟人的按压部位，同时对学员的各种按压信息进行采集并发送到心肺复苏操作培训考核终端；心肺复苏操作培训考核终端，用于实现学员的心肺复苏操作自助培训学习，并对学员的整个心肺复苏操作进行考核，同时将学员自助培训学习和考核的数据存储到该学员的学习档案中，当学员通过考核后，发送电子培训证书。本发明可以广泛应用于医疗技术领域。

说明书

技术领域

本发明涉及现场急救技术领域，具体涉及一种基于AR技术的心肺复苏自助培训考核系统。

背景技术

我国每年发生的心脏性猝死病例高达55万人，位居全球首位。心脏骤停是心脏性猝死的直接死因，绝大多数发生在医院外，其黄金抢救时间仅有4-6分钟，需要立即进行心肺复苏(Cardiopulmonary Resuscitation,CPR)。各国的心肺复苏培训率为：美国33％，瑞典30％-45％，澳大利亚52％-64％，波兰达到73％，而我国仅有不到1％，进行复训的也很少。所以导致我国院外心脏骤停的心肺复苏的实施率很低，大中城市的实施率平均为4.5％，远低于美国的44％和英国的55％。

现有技术中，主要由导师利用相关视频或者示教技术，在心肺复苏急救培训中心面对面进行授课，学员体验感受限、操作重复度不高，培训数量受到培训中心及师资的数量限制很大。而且心肺复苏的技能在3-6个月会逐渐衰退，需要一年内进行复训，受到人力物力等限制，复训率也不高。

发明内容

针对传统心肺复苏培训存在师资投入大、普及效率不高、不能碎片化时间自助学习、体验感不高等问题，本发明的目的是提供一种基于AR技术的心肺复苏自助培训考核系统，能够为学员提供自助式、沉浸式、虚实结合的心肺复苏培训。

为实现上述目的，本发明采取以下技术方案：一种基于AR技术的心肺复苏自助培训考核系统，其包括：AR设备、按压练习器、心肺复苏操作培训考核终端；所述AR设备用于学员在自助心肺复苏培训考核过程中，根据心肺复苏操作培训考核终端发送的指令提供3D模拟人、指导心肺复苏和AED操作的全息影像以及按压结果实时反馈的影像、指导和反馈的语音提示；所述按压练习器用于学员在自助心肺复苏培训考核过程中放置在虚拟的3D模拟人的按压部位，同时对学员的各种按压信息进行采集并发送到心肺复苏操作培训考核终端；所述心肺复苏操作培训考核终端用于通过AR设备和按压练习器实现学员的心肺复苏操作自助培训学习，并按照预先设定的标准对学员的整个心肺复苏操作进行考核，同时将学员自助培训学习和考核的数据存储到该学员的学习档案中，当学员通过考核后，发送电子培训证书。

进一步，所述AR设备采用AR眼镜，所述AR眼镜包括AR眼镜主机、光学组件、透明全息透镜和音频组件；所述光学组件包括可见光摄像头和红外摄像头，所述可见光摄像头和红外摄像头用于实现环境空间映射、位置追踪、姿势识别、影像显示功能；

所述音频组件包括扬声器和麦克风，用于实现声音的采集与播放。

进一步，所述按压练习器包括按压组件、主控制电路板、按压弹簧、重心加固器和吸盘；

所述按压组件包括按压板以及设置在所述按压板内的测量组件，所述测量组件用于对学员的各种按压信息进行采集，包括按压频率、深度和回弹值数据，并发送到所述主控制电路板；

所述主控制电路板设置在所述按压板内，用于将接收到的各种按压信息通过无线通信方式发送到所述心肺复苏操作培训考核终端；所述按压弹簧设置在所述按压板和重心加固器之间，并与所述按压板和重心加固器通过卡扣固定连接；所述吸盘设置在所述重心加固器底部，用于固定。

进一步，所述主控制电路板中还设置有声音反馈组件和开关装置，所述声音反馈组件用于根据预设的标准将所述测量组件发送的各种按压信息通过声音反馈给学员；所述开关装置用于对所述声音反馈组件进行启动和关闭。

进一步，所述心肺复苏操作培训考核终端包括实操学习考核系统和培训管理系统；所述实操学习考核系统用于对学员的实际按压操作进行指导和考核；所述培训管理系统包括注册终端和持证终端，所述注册终端用于对学员身份进行识别并建立学员个人档案、数据的分类存储及导出；所述持证终端用于在学员考核通过后，发送电子培训证书。

进一步，所述实操学习考核系统包括声音图像处理模块、数据分析模块和全息影像显示模块；所述声音图像处理模块用于调用虚拟的3D模拟人、指导心肺复苏和AED操作的全息影像以及按压结果实时反馈的影像、指导和反馈的语音提示；所述数据分析模块用于对学员的按压信息进行数据分析以及按压时间进行统计计算，同时根据数据分析结果对学员的心肺复苏操作进行考核；所述全息影像显示模块用于通过AR设备在学员视野中动态实时显示虚拟的3D模拟人和心肺复苏操作指导的影像以及学员的实时操作结果的影像。

进一步，所述声音图像处理模块包括3D虚拟人调用子模块、虚拟图像指导及反馈调用子模块和操作声音指导及反馈调用子模块；所述3D虚拟人调用子模块用于调用不同3D模拟人的全息影像，并通过AR设备动态实时显示在学员的视野内；所述虚拟图像指导及反馈调用子模块用于根据预先存储的心肺复苏流程指导说明以及实时反馈的全息影像调用指导心肺复苏和AED操作的全息影像以及按压结果实时反馈的影像，并通过AR设备动态实时显示在学员的视野内；所述操作声音指导及反馈调用子模块用于调用指导心肺复苏和AED操作的指导语音提示以及按压结果的实时反馈语音提示。

进一步，所述预先存储的心肺复苏流程指导说明，包括识别心脏骤停患者、寻求帮助、胸外按压位置、姿势、深度、频率指导，人工呼吸指导以及AED除颤仪的使用与指导。

进一步，所述数据分析模块包括按压数据分析子模块和时间计算子模块；所述按压数据分析子模块包括姿势分析子模块、压力传感器子模块、位移分析子模块和频率计算子模块，所述姿势分析子模块用于对学员的姿势、手势进行感应分析，通过所述AR设备捕捉人体动作，一方面传感器感应学员的动作与全息影像的动作是否重合判定动作的合格标准，另一方面传感器感应学员的手势，触发操作事件；所述压力传感子模块用于根据按压练习器发送的按压压力测量结果，辅助测算按压深度和按压回弹值；所述位移分析子模块用于根据按压练习器发送的位移测量结果，计算得到学员的按压深度数据；所述频率计算子模块用于根据按压练习器发送的按压次数计算学员的按压频率；所述时间计算子模块用于按压时间，按压中断时间以及操作总时间的计算。

进一步，所述培训管理系统为计算机、云服务器、运行维护系统、后台支撑系统中的一种或数种。

本发明由于采取以上技术方案，其具有以下优点：

1、本发明通过AR技术对学员进行更为沉浸式、更为直观的心肺复苏培训，同时将学员心肺复苏的数据实时动态的反馈在学员的视野中，能够大大提高学员的学习效率，提高培训质量；

2、本发明使用虚实结合的方式，学员通过本发明能够自助进行心肺复苏培训的操作，不受场地、师资等条件的限制，大大提高了心肺复苏的培训效率，学员能够通过碎片化时间进行培训，有利于心肺复苏的推广普及；

3、本发明公布了一种按压练习器，该练习器可以单独使用，能够测量按压频率、深度和回弹值，通过主控制电路板声音反馈组件将测量结果反馈给学员，方便学员实时纠正错误的按压，也可以同AR设备通过蓝牙等无线方式连接，实现按压结果的视听觉反馈。此外，重心加固器和吸盘的设计增加了练习器的稳固性，能够替代昂贵的高仿真模拟人在培训中的作用，学员通过小巧便携的按压练习器即可高质量的胸外按压的培训；

4、本发明可以对学员的姿势进行分析，只有学员姿势与全息影像的指示重叠，即学员姿势正确时，才会有操作正确的提示音，进一步提高了培训的质量；

5、本发明采用AR眼镜作为载体，实施基于AR技术的心肺复苏自助培训，与传统视频指导，导师指导的方式相比，学员根据AR眼镜步骤一步步操作，实时纠错，节省了时间，提高了培训效率；

6、本发明通过建立学员档案，将学员学习和考核数据通过无线通信设备上传到培训管理系统中留存，方便学员多次学习和考核的数据结果比对分析，及时发现学员在培训学习过程中的薄弱环节，从而进行精准学习。

附图说明

图1是本发明实施例采用的AR眼镜结构示意图；

图2是本发明实施例提供的按压练习器结构示意图；

图3是本发明实施例提供的实操学习和考核系统结构示意图；

图4是本发明实施例提供的培训管理系统结构示意图；

图5是本发明实施例提供的基于AR技术的心肺复苏自助培训考核系统结构示意图；

图6是本发明实施例提供的虚拟3D模拟人；

图7(a)和图7(b)是本发明实施例提供的全息影像实时指导操作；

图8是按压数据实时可视化反馈的全息影像；

图9是按压过程中按压姿势指导的全息影像；

图10是本发明实施例提供的学员操作示意图；

图中各标记如下：

11、AR眼镜主机；12、光学组件；13、透明全息透镜；14、音频组件；21、按压频率、深度、回弹测量组件；22、主控制电路板；23、按压弹簧；24、重心加固器；25、吸盘。

具体实施方式

下面结合附图和实施例对本发明进行详细的描述。

本发明提供了一种基于AR技术的心肺复苏自助培训考核系统，能够实现心肺复苏培训全程的数据化、标准化和自助化。有利于学员利用碎片化的时间进行学习，节约师资力量，扩大普及培训规模。对于大规模开展公众心肺复苏培训，增加心肺复苏培训、复训的普及率，进一步提高院外心肺复苏的实施率和成功率，挽救人民群众的生命具有重大的意义。本发明自动化程度高，富有趣味性，不受场地、师资条件限制，能够降低培训成本，提高心肺复苏培训普及率。学员只需要根据自助培训考核系统中全息影像的提示一步一步进行操作即可，同时，操作过程中的按压频率和按压深度信息能够通过全息影像实时反馈在学员的视野中，对于不正确的操作会提供声音、全息影像动态实时提醒，学员可以根据实时反馈的结果及时修正，直到完全学会为止，并且可以随时利用碎片化时间巩固学习。

如图1～图5所示，本发明提供的一种基于AR技术的心肺复苏自助培训考核系统，其包括：AR设备、按压练习器、心肺复苏操作培训考核终端。其中，AR设备用于学员在自助心肺复苏培训考核过程中，根据心肺复苏操作培训考核终端发送的指令提供3D模拟人、指导心肺复苏和AED操作的全息影像以及按压结果实时反馈的影像、指导和反馈的语音提示；按压练习器，用于学员在自助心肺复苏培训考核过程中放置在虚拟的3D模拟人的按压部位，同时对学员的各种按压信息进行采集并发送到心肺复苏操作培训考核终端；心肺复苏操作培训考核终端用于通过AR设备和按压练习器实现学员的心肺复苏操作自助培训学习，并按照预先设定的标准对学员的整个心肺复苏操作进行考核，同时将学员自助培训学习和考核的数据存储到该学员的学习档案中，并在学员考核通过后，发送电子培训证书。

进一步，如图1所示，AR设备采用AR眼镜，该AR眼镜包括AR眼镜主机11、光学组件12、透明全息透镜13和音频组件14。其中，光学组件12包括可见光摄像头和红外摄像头，可见光摄像头和红外摄像头用于实现环境空间映射、位置追踪、姿势识别、影像显示等功能；音频组件14包括扬声器和麦克风，主要用于实现声音的采集与播放。

进一步，如图2所示，按压练习器包括按压组件21、主控制电路板22、按压弹簧23、重心加固器24和吸盘25。其中，按压组件21包括按压板以及设置在按压板内的测量组件，测量组件用于对学员的各种按压信息进行采集，包括按压频率、深度和回弹值数据，并发送到主控制电路板22；主控制电路板22设置在按压板内，用于将接收到的各种按压信息通过蓝牙等无线通信方式发送到心肺复苏操作培训考核终端；按压弹簧23设置在按压板和重心加固器24之间，并与按压板和重心加固器24通过卡扣固定连接；吸盘25设置在重心加固器24底部，用于固定。

进一步，主控制电路板22中还设置有声音反馈组件和开关装置，该声音反馈组件用于根据预设的标准将测量组件发送的各种按压信息通过声音反馈给学员；开关装置用于对声音反馈组件进行启动和关闭。在培训过程中，该声音反馈组件可以单独使用，通过声音反馈组件将按压信息反馈给学员，也可以关闭声音反馈组件的开关装置，通过蓝牙等无线通信方式与心肺复苏操作培训考核终端相连接，由心肺复苏操作培训考核终端通过AR设备将声音和动态信息反馈给学员，从而实现按压数据的视听觉反馈。

进一步，测量组件包括压力传感器、位移传感器和频率传感器。其中，压力传感用于对按压板受到的压力进行测量；位移传感器用于对按压板的位移进行测量；频率传感器用于对学员的按压频率进行测量。

进一步，如图3和图4所示，心肺复苏操作培训考核终端包括实操学习考核系统和培训管理系统。其中，实操学习考核系统用于对学员的实际按压操作进行指导和考核；培训管理系统包括注册终端和持证终端，注册终端用于对学员身份进行识别并建立学员个人档案、数据的分类存储及导出；持证终端用于在学员考核通过后，发送电子培训证书。

进一步，实操学习考核系统包括声音图像处理模块、数据分析模块和全息影像显示模块。其中，声音图像处理模块，用于调用虚拟的3D模拟人、指导心肺复苏和AED操作的全息影像以及按压结果实时反馈的影像、指导和反馈的语音提示；数据分析模块用于对学员的按压信息进行数据分析以及按压时间进行统计计算，同时根据数据分析结果对学员的心肺复苏操作进行考核；全息影像显示模块，用于通过AR设备在学员视野中动态实时显示虚拟的3D模拟人和心肺复苏操作指导的影像以及学员的实时操作结果如按压频率、按压深度、按压时间等信息的影像。

进一步，声音图像处理模块包括3D虚拟人调用子模块、虚拟图像指导及反馈调用子模块和操作声音指导及反馈调用子模块。其中，3D虚拟人调用子模块用于调用不同3D模拟人的全息影像(例如不同场景的不同模拟人，比如老人、儿童等等)，并通过AR设备动态实时显示在学员的视野内；虚拟图像指导及反馈调用子模块用于根据预先存储的心肺复苏流程指导说明以及实时反馈的全息影像调用指导心肺复苏和AED操作的全息影像以及按压结果实时反馈的影像，并通过AR设备动态实时显示在学员的视野内；操作声音指导及反馈调用子模块用于调用指导心肺复苏和AED操作的指导语音提示以及按压结果的实时反馈语音提示。其中，预先存储的心肺复苏流程指导说明，包括识别心脏骤停患者、寻求帮助、胸外按压位置、姿势、深度、频率指导，人工呼吸指导以及AED除颤仪的使用与指导。

进一步，数据分析模块包括按压数据分析子模块和时间计算子模块。其中，按压数据分析子模块包括姿势分析子模块、压力传感器子模块、位移分析子模块和频率计算子模块，姿势分析子模块用于对学员的姿势、手势进行感应分析，可由AR设备的红外摄像头捕捉人体动作，一方面传感器感应学员的动作与全息影像的动作是否重合判定动作的合格标准，另一方面传感器感应学员的手势，触发操作事件；压力传感子模块用于根据按压练习器发送的按压压力测量结果，辅助测算按压深度和按压回弹值；位移分析子模块用于根据按压练习器发送的位移测量结果，计算得到学员的按压深度数据；频率计算子模块用于根据按压练习器发送的按压次数计算学员的按压频率。时间计算子模块用于按压时间，按压中断时间以及操作总时间的计算。

进一步，如图4所示，培训管理系统可以是计算机、云服务器、运行维护系统、后台支撑系统中的一种或数种。

进一步，注册终端和持证终端可以是智能手机、智能手表、平板电脑、计算机、AR设备、VR设备中的一种或数种；心肺复苏操作培训考核终端为基于AR技术的AR设备、智能手机、平板电脑、计算机中的一种或数种。学员的个人档案、学习和考核时AR设备中的信息(如视频、数据结果)可以通过无线通信(Wi-Fi，5G等)上传到培训管理系统。

以上所述的基于AR技术的心肺复苏自助培训和考核系统可以在学校、社区居委会、社区卫生服务中心、企事业单位、社会组织；无人管理的地铁站、公交站、商场、小区、公园、广场的室内、室外自助培训房中的一个或数个地点设置使用。

如图6～图10所示，为了便于理解，以采用本发明中基于AR技术的心肺复苏自助培训和考核系统进行CPR的自助培训为例进行说明。

1.戴上AR眼镜，点击开始心肺复苏培训和考核系统，并选择自助培训模式和训练场景，如图6所示，出现虚拟的3D模拟人，并进行语音和字幕指导操作流程。

2.如图7(a)所示，根据全息影像的提示，拍打患者肩部并大声呼喊患者，判断患者意识；根据全息影像的提示，判断患者呼吸和脉搏；根据语音提示，指定周围人帮忙拨打急救电话并取得AED。

3.如图7(b)所示，根据全息影像的定位提示及按压手法提示，进行胸外按压。按压时采用手掌掌根部用力，即全息影像中高亮的部分。

4.如图8所示，按压过程中，按压时间、每一次按压的按压深度、按压频率信息都会实时反馈在学员的视野中，便于学员及时纠正错误的按压。

5.如图9所示，按压过程中对学员按压姿势提供全息影像指导，保持手臂伸直，且与患者的胸壁垂直向下，以髋关节为轴用力按压。

6.选择考核模式时，则AR眼镜中仅提供模拟场景及语音介绍，不再提供操作过程中全息影像及声音的指导和反馈。

上述各实施例仅用于说明本发明，其中各部件的结构、连接方式和制作工艺等都是可以有所变化的，凡是在本发明技术方案的基础上进行的等同变换和改进，均不应排除在本发明的保护范围之外。