多维视觉手功能康复定量评估系统和评估方法

摘要

本发明公开了一种多维视觉手功能康复定量评估系统和评估方法，该系统包括光学动作捕捉设备、视频捕捉设备、手动能定量评估系统、交互式触摸屏、采集平台，光学动作捕捉设备通过智能算法实时获取手指、手掌和手腕各个关节点的三维空间数据和运动矢量信息，所述光学动作捕捉设备输出运动参数输入到所述手功能定量评估系统，所述手功能定量评估系统对数据进行预处理，预处理结果进行筛选并存储到数据库中，并针对不同评估动作的评估方案给出评估结果。本发明能够提高患者手部关节的三维空间参数计算精度，将计算机视觉技术与光学智能动作捕捉相结合，给出更为精确的定量康复评估数据，辅助医生进行病人康复诊断。

说明书

技术领域

本发明涉及一种系统和评估方法，特别是涉及一种多维视觉手功能康复定量评估系统和评估方法。

背景技术

据流行病学统计，脑卒中疾病发病人群广、致残率高，其所带来的功能障碍往往给患者生活带来严重影响，特别是手功能障碍的后遗症，康复过程中难度大、进展慢。然而纵观国内外，对于脑卒中后手功能的治疗与评估均显示出不精准、不完善的状况。目前，用于手功能评估的比较有代表性的量表有徒手肌力评定法(Manual Muscle Test， MMT)、改良Ashworth痉挛量表、Brunnstrom量表、Fugl-Meyer评定量表(Fugl-Meyer Assessment， FMA)、运动功能状态量表(Motor Status Scale， MSS)、运动评估量表(Motor Assessment Scale， MAS)、上肢运动研究量表(Action Research Arm Test， ARAT)、Wolf上肢功能测试(Wolf Motor FunctionalTest， WMFT)等。其中，针对患者的评估如对于肢体活动的最基本的关节活动度（Range of Motion， ROM），表现为例如前臂旋前旋后、腕背伸、尺偏、桡偏、拇指内收/外展、拇指屈曲/伸展、四指（除拇指外）内收外展等以及功能性动作如手球状抓握、手柱状抓握、手指对捏、手指侧捏等，这一系列的体现手功能基础的评估动作在目前评估量表如Brunnstrom量表上只能以定性形式或者是如在Fugl-Meyer评定量表中以“0-1-2”粗打分、MSS运动功能状态量表等量表中的主观性半定量形式，未能达到客观性定量评估的要求；另外医生或治疗师使用量角器等器械进行的人工定量评估往往也带有很大的主观性与随机性，所得评估结果并不符合“精准医疗”的新时代目标。

目前为了得到患者手指、手掌、手腕等部位的定量运动数据，基本上分为穿戴式传感器方案与不接触式视觉方案两大类。基于各类穿戴式模块的传感器方案主要借助加速度传感器、电子陀螺仪等电子测量芯片，得到肢体的加速度、位移等运动参数，进一步借助各类算法模拟出肢体的运动过程和空间位置。优点是计算相对简单、得到的加速度等信息精度较高，缺点是针对空间定位等手功能康复中要求比较高的评估需求无法满足其精度需要，而且由于患者年龄、性别等的差异，无法做到穿戴设备的统一性，也就无法做到评估数据的一致可比性。基于摄像机所采集的视频数据的不接触式方案，虽然可以做到对患者的手部没有任何差异性需求，仅仅需要放置在指定位置即可，但是由于目前计算机视觉和模式识别算法与工程技术的发展还远没有到可以识别任意人手动作的程度，即使有一些很复杂的算法经过多种深度学习，对人手动作有较高识别率，但是由于脑卒中患者的患手在运动、屈伸等方面都是功能比较弱，非正常人手的运动特性可以比拟的，所以进一步增加了完全依靠视觉算法识别的难度，何况在实际测试中还存在手部关节遮挡、重叠、动作多义性等无法解决的难题。

发明内容

本发明所要解决的技术问题是提供一种多维视觉手功能康复定量评估系统和评估方法，其能够提高患者手部关节的三维空间参数计算精度，将计算机视觉技术与光学智能动作捕捉相结合，给出更为精确的定量康复评估数据，辅助医生进行病人康复诊断。

本发明是通过下述技术方案来解决上述技术问题的：一种多维视觉手动能康复定量评估系统，其特征在于，其包括光学动作捕捉设备、视频捕捉设备、手动能定量评估系统、交互式触摸屏、采集平台，所述光学动作捕捉设备通过智能算法实时获取手指、手掌和手腕各个关节点的三维空间数据和运动矢量信息，所述光学动作捕捉设备输出运动参数输入到所述手功能定量评估系统，所述手功能定量评估系统对数据进行预处理，预处理结果进行筛选并存储到数据库中，并针对不同评估动作的评估方案给出评估结果；所述视频捕捉设备为固定了的一对光学摄像头，摄像头分别对准患者的手部中心，实时采集视频数据并输出到所述交互式触摸屏上；所述交互式触摸屏用于对所述手功能定量评估系统进行操控并实时显示视频流数据；所述采集平台为安置所述光学动作捕捉设备和所述视频捕捉设备的立体框架；所述采集平台所输出视频流输出双路数字信号到所述手功能定量评估系统，所述手功能定量评估系统处理视频流，对当前患者手部摆放位置进行监测和提示，并将采集到的视频实时显示在所述交互式触摸屏上。

优选地，所述视频捕捉设备输出实时视频流信息到所述手功能定量评估系统，对当前手部位置进行监测和提示，并将视频信息实时显示在所述交互式触摸屏上。

优选地，所述手功能定量评估系统包括主机，对采集到的数据进行处理分析，结合评估方法给出评估结果。

优选地，所述视频捕捉设备位于手部检测平台正上方，水平方向的光学动作捕捉设备位于手部检测平台正下方，垂直方向的光学动作捕捉设备位于框架内壁。

优选地，所述视频捕捉设备采集到实时视频流后，将实时视频显示在所述交互式触摸屏上，后台结合算法对当前手部摆放位置进行判断，当出现摆放位置不当等问题时，及时将提示显示在所述交互式触摸屏上。

优选地，所述光学动作捕捉设通过其自身集成的算法精确跟踪到人手的每一个关节点空间位置。

本发明还提供一种多维视觉手功能康复定量评估方法，其特征在于，其包括以下步骤：

步骤一，健康手建库：患者将健康手放入设备对应侧开口中指定位置，对应侧摄像头开启，播放当前测试动作标准视频，自动选择启动的光学动作捕捉设备进行数据采集；

步骤二，患病手评估：患者将患病手放入对应侧开口中制定位置，对应侧摄像头开启，播放患者健康手建库过程中视频的镜像，指引患病手运动，自动选择启动的光学动作捕捉设备进行数据采集；

步骤三，以患病手和健康手评分的比值，以百分制的形式，给出当前动作患病手的恢复得分。

优选地，所述步骤一的具体过程如下：获取到手掌各关节点坐标；数据预处理，得到评估动作所需要的参量；根据核心算法结合角度、位置、角速度、角加速度计算出健康手动作得分。

优选地，所述步骤二的具体过程如下：获取到手掌各关节点坐标；数据预处理，得到评估动作所需要的参量；根据核心算法结合角度、位置、角速度、角加速度计算出患病手动作得分。

本发明的积极进步效果在于：本发明能够提高患者手部关节的三维空间参数计算精度，将计算机视觉技术与光学智能动作捕捉相结合，给出更为精确的定量康复评估数据，辅助医生进行病人康复诊断。

附图说明

图1为本发明的主要结构示意图。

图2为本发明采集平台的立体示意图。

具体实施方式

下面结合附图给出本发明较佳实施例，以详细说明本发明的技术方案。

如图1至图2所示，本发明涉及一种多维视觉手功能康复定量评估系统，其包括光学动作捕捉设备1、视频捕捉设备2、手动能定量评估系统3、交互式触摸屏4、采集平台5，所述光学动作捕捉设备通过智能算法实时获取手指、手掌和手腕各个关节点的三维空间数据和运动矢量信息，所述光学动作捕捉设备输出运动参数输入到所述手功能定量评估系统，所述手功能定量评估系统对数据进行预处理，预处理结果进行筛选并存储到数据库中，并针对不同评估动作的评估方案给出评估结果；所述视频捕捉设备为固定了的一对光学摄像头，摄像头分别对准患者的手部中心，实时采集视频数据并输出到所述交互式触摸屏上；所述交互式触摸屏用于对所述手功能定量评估系统进行操控并实时显示视频流数据；所述采集平台为安置所述光学动作捕捉设备和所述视频捕捉设备的立体框架；所述采集平台所输出视频流输出双路数字信号到所述手功能定量评估系统，所述手功能定量评估系统处理视频流，对当前患者手部摆放位置进行监测和提示，并将采集到的视频实时显示在所述交互式触摸屏上。

所述光学动作捕捉设备获取的手指、手掌和手腕各个关节点的三维空间数据和运动矢量信息包括手指各关节点坐标、掌心坐标、手腕中点坐标、手掌方向向量、手掌法向量以及手腕方向向量等。

本发明的工作原理如下：所述视频捕捉设备输出实时视频流信息到所述手功能定量评估系统，对当前手部位置进行监测和提示，并将视频信息实时显示在所述交互式触摸屏上。上述光学动作捕捉设通过其自身集成的算法可以精确跟踪到人手的每一个关节点空间位置，精度可达到0.01mm。上述视频捕捉设备采集到实时视频流后，将实时视频显示在所述交互式触摸屏上，后台结合算法对当前手部摆放位置进行判断，当出现摆放位置不当等问题时，及时将提示显示在所述交互式触摸屏上。上述手功能定量评估系统包括主机，对采集到的数据进行处理分析，结合评估方法给出评估结果。上述交互式触摸屏用于显示实时视频和对评估过程进行操作，主要包括病人信息录入、动作选择等，以及播放实时患手运动视频。上述采集平台为70cm×40cm×39cm的框架结构，其中放置待测手的内框尺寸为32cm×20cm×22cm，两个摄像头分别位于内框顶端，四个光学动作捕捉设备分别置于左壁内侧、右壁内侧以及左下方和右下方，采集区域涵盖了手部运动区域。所述视频捕捉设备位于手部检测平台正上方，水平方向的光学动作捕捉设备位于手部检测平台正下方，垂直方向的光学动作捕捉设备位于框架内壁。所述计算机智能系统对所述光学动作捕捉设备输出的数据进行预处理，得到评估动作所需要的参量：手腕向量、手掌方向向量、手掌法向量、手指向量、手指相对位置等信息，结合不同动作的核心算法对参量进行处理，得到相应动作的角度、位置、角速度、角加速度等信息，结合评分标准计算出检测手的动作得分，分别计算出患者的健康手和患病手动作得分后，以患者的患病手和健康手动作得分的比值，以百分制的形式得到当前患病手针对该动作的恢复得分。为准确捕捉到手部运动细节，所述光学动作捕捉设备摆放位置分别置于水平和竖直平面上。当检测对象为左手时，竖直方向的光学动作捕捉设备放置于垂直水平面的黑匣内侧，水平方向的光学动作捕捉设备置于手掌正下方，黑匣的底面内侧。所述视频捕捉设备置于黑匣顶端内侧，手背正上方，以录制实时运动视频。

本发明多维视觉手功能康复定量评估方法包括以下步骤：

步骤一，健康手建库：患者将健康手放入设备对应侧开口中指定位置，对应侧摄像头开启，播放当前测试动作标准视频，自动选择启动的光学动作捕捉设备进行数据采集，步骤一的具体过程如下：获取到手掌各关节点坐标；数据预处理，得到评估动作所需要的参量：手腕向量、手掌方向向量、手掌法向量、手指向量、手指相对位置等信息；根据核心算法结合角度、位置、角速度、角加速度等信息计算出健康手动作得分；

步骤二，患病手评估：患者将患病手放入对应侧开口中制定位置，对应侧摄像头开启，播放患者健康手建库过程中视频的镜像，指引患病手运动，自动选择启动的光学动作捕捉设备进行数据采集，步骤二的具体评估过程如下：获取到手掌各关节点坐标；数据预处理，得到评估动作所需要的参量：手腕向量、手掌方向向量、手掌法向量、手指向量、手指相对位置等信息；根据核心算法结合角度、位置、角速度、角加速度等信息计算出患病手动作得分；

步骤三，以患病手和健康手评分的比值，以百分制的形式，给出当前动作患病手的恢复得分。

光学动作捕捉设备通过智能算法实时获取手指、手掌、手腕各个关节点的三维空间数据与运动矢量信息，作为手功能康复定量评估标准的系统评估参数，并针对不同评估动作设计评估方法，分析手部关节的多种运动参量，主要包括运动矢量及矢量间关系、手部运动速度以及加速度等，结合计算机进行计算给出评估结果的方案。其中，视频捕捉设备捕捉实时视频流，并结合相关算法对病人的手部位置等信息进行辅助监测，发生动作不当等问题，实时反馈到交互式触摸屏。

以上所述的具体实施例，对本发明的解决的技术问题、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。