一种基于光学立体测量的脑深部电刺激术中手部动作评估方法

摘要

一种基于光学立体测量的脑深部电刺激术中手部动作评估方法，所述评估方法包括步骤：a、根据预先建立的手部模型通过光学传感器对人体手部进行关键点识别；b、对各个关键点在动作任务状态时的三维空间坐标数据进行采集；所述动作任务包括对指、抓握和手掌翻转；c、对三种不同的动作任务，通过确定的关键点，设计特征，进行特征计算与分析。本发明在术中进行刺激前后分别对患者进行手部关键点识别与手部动作任务的特征提取，实现术中的快速客观的运动迟缓与震颤的评估。

说明书

技术领域

本发明涉及数字诊断术中评估领域，具体涉及一种基于光学立体测量的脑深部电刺激术中手部动作评估方法。

背景技术

帕金森病患者具有运动功能障碍的特征，其中包括运动迟缓，震颤，肌强直等症状。运动功能障碍严重影响患者的生活质量，提高了患者的跌倒风险甚至死亡率。目前常见的手术有深度脑刺激，可以通过植入电极的方式，对帕金森患者脑部靶点进行电刺激，改善其运动功能障碍的情况，目前这种技术已经得到广泛应用。在手术中，医生会通过植入的电极对患者进行刺激，查看运动功能障碍的改善情况。这种情况下，患者在手术床上，无法进行移动，只能通过手部任务动作的完成情况来判断靶点与电刺激是否对患者有益。

DBS术中空间有限、要求设备体积小巧，非接触式测量、不影响病人本身的运动，采样频率与空间定位精度满足手部动作测评需求，实时呈现测评指标与对比分析结果，为DBS手术提供客观、量化、实时的术中辅助。通常情况下，有经验的医生会通过观察患者的手部任务完成情况进行判断，还会通过对患者上肢肌肉强直情况进行判断。但是这些都是主观的，会造成一定的误差，不是十分准确。所以，有一种客观准确的术中评价方法显得至关重要。

发明内容

本发明为克服现有技术不足，为了满足术中测评要求，提供一种基于光学立体测量的脑深部电刺激术中手部动作评估方法。该方法利用光学传感器，在术中进行刺激前后分别对患者进行手部关键点识别与手部动作任务的特征提取，实现术中的快速客观的运动迟缓与震颤的评估。

本发明的技术方案为：一种基于光学立体测量的脑深部电刺激术中手部动作评估方法包括：

a、根据预先建立的手部模型通过光学传感器对人体手部进行关键点识别；

b、对各个关键点在动作任务状态时的三维空间坐标数据进行采集；

所述动作任务包括对指、抓握和手掌翻转；

c、对三种不同的任务，通过确定的关键点，设计特征，进行特征计算与分析。

本发明相比现有技术的有益效果是：

本发明使用体积小，便于携带和安装的光学传感器被用于进行手部信息的采集，并通过预先设定好的手部模型进行关键点提取和特征计算。在术前和术中进行特定手部任务的评估，其中包括对指、抓握和手掌翻转。给出患者在术前和术中的任务特征对比，可以在术中快速客观的为医生提供信息，辅助医生对手术的效果进行判断。应用于术中诊断有着重大意义。

下面结合附图和实施例对本发明的技术方案作进一步地说明：

附图说明

图1为本发明工作流程图；

图2为摄像机三维坐标系图；

图3为带有零长度掌骨位置的手指示意图；

图4为手部关键点标记示意图；

图5为实施例中抓握任务的五指指尖关键点到手掌的距离之和的特征值曲线图；

图6为实施例中抓握任务的完成单次动作的幅度曲线图；

图7为实施例中抓握任务的完成单次动作的频率曲线图；

图8为实施例的术中对指动作任务示意图；

图9为实施例的术中抓握动作任务示意图。

具体实施方式

为了应对手术中时间短，客观分析的要求，本实施方式提供一种基于光学立体测量的脑深部电刺激术中手部动作评估方法，包括：

a、根据预先建立的手部模型通过光学传感器对人体手部进行关键点识别；

b、对各个关键点在动作任务状态时的三维空间坐标数据进行采集；所述动作任务包括对指、抓握和手掌翻转；

c、对三种不同的动作任务，通过确定的关键点，设计特征，进行特征计算与分析。

结合图1-图4说明，在术中进行特定手部任务的评估，包括对指、抓握和手掌翻转。给出患者在术前和术中的任务特征对比，可以在术中快速客观的为医生提供信息，辅助医生对手术的效果进行判断。对需要进行脑深部电刺激手术的患者，首先进行术前手部动作评估，进行数据采集、处理和特征提取的工作，术前提取的特征作为患者的基线特征。然后医生在手术过程中，告知患者进行相同的手部动作任务，进行术中的数据采集、处理和特征提取。术中特征与术前基线特征进行对照，为医生对手术效果的实时诊断提供帮助。

进一步地，采用有线传输的深度摄像机进行手部关键点设别。如图1所示，所使用的的深度摄像机，其视野是集中在设备上方的一个倒置的金字塔，检测的有效范围是约25毫米至600毫米，并且会在电脑中实时显示采集到的的图像信息。该摄像机采用右手直角坐标系，所检测的值在现实世界毫米为单位。可以识别手和手指，并能够以较高的精度和跟踪帧率进行追踪，实时反馈离散的位置和运动信息。深度摄像机沿y轴定向(当控制器处于其标准操作位置时向上)，并且具有约150度的视场。

系统中使用预先设定好的人手的内部模型来提供预测性跟踪，即使手的一部分不可见也是如此。手部模型始终提供五个手指的位置，该软件使用手的可见部分、其内部模型和过去的观察结果来计算当前不可见的部分最可能出现的位置。模型中根据人手的解剖学信息，设定关键点，通过对关键点的位置信息进行记录和特征提取。提供的位置信息为每只手指的每一段指骨的起点和终点坐标(指骨靠近手腕的近端点为起点，远端点为终点)以及一个手掌的坐标，坐标包含x轴、y轴、z轴的三个坐标轴位置。不同的任务对应不同的待提取特征，整个采集-提取特征-分析特征的过程，都是在手术室中按照预先设定好的程序进行的。保证了实验的客观性与快速性。

实施例1、原点为深度摄像机的中心。x轴和z轴位于在水平面，y轴是垂直的，具有正值且向上增加(对比向下取向的计算机图形学的坐标系)。z轴正值越来越远离电脑屏幕。

深度摄像机在其视野中跟踪手和手指时，会以一组或一组数据的形式进行更新。每一帧的图像信息被保存在一个Frame类的数据中。Frame类中包含手掌和每个手指的位置和方向信息以及当前的时间戳信息。手指由类型名称进行标识，即拇指、食指、中指、无名指和小指。

如图3所示，每一只手指又被分为四根指骨，分别为：掌骨-将手指连接到手腕的手内骨骼(拇指除外)；近端指骨-手指根部的骨头，与手掌相连；中指节-手指的中骨，在尖端和基部之间；远端指骨-手指末端的末梢骨。图3中的黑色圆点分别表示在拇指、食指、中指、无名指和小指上的关键点，以及手掌中心点。

拇指的模型与标准的解剖命名系统并不匹配。因为拇指的骨头数量比其他四根手指的数量少一根。将拇指模型的骨头数量设定与其他手指相同，其中包括默认长度为零的掌骨，因此拇指与其他手指在相同的食指上具有相同数量的骨骼。结果，在手指骨骼模型中，拇指的解剖性掌骨被标记为近端指骨，解剖学的近侧指骨被标记为中指骨。

使用Python进行编程，在手术中的手部动作信息采集过程中，对当前帧的时间戳、编号以及上述各点的位置信息进行逐帧、实时地显示，并使用开放图形库OpenGL根据坐标信息将手的模型进行实时三维绘制，进而能够使医生更加直观地看到检测的结果。便于调整摄像头位置与姿态。同时，程序包含数据的存储和读取功能，启动存储功能时能够以每一帧为单位将该帧包含的全部时间、空间信息保存在一个csv文件中，方便之后对数据的分析；读取功能则能够从保存的csv文件中获得每一帧的数据，且能够根据这些数据对手的模型进行三维重绘，这对医生及时的对数据进行分析提供了保障。

对于帕金森病人手部的上肢运动迟缓检测，主要包括三个任务，分别为对指、抓握和手掌翻转。这三个任务都是对应的UPDRS评分中的任务。对指任务要求病人将拇指和食指进行多次敲击，张开的程度尽可能大、敲击的速度尽可能快，基于这项任务的特点。采用拇指的远端指骨终点和食指的远端指骨终点之间的距离对病人的表现进行量化，得到对指任务的幅度和频率。

更进一步地，对指任务中，通过食指指尖与拇指指尖两个关键点之间在三维空间中的距离信息，提取对指最大距离，最大速度，平均完成时间，平均完成幅度特征；手掌翻转任务中，连接小指指尖和拇指指尖两个关键点，提取翻转角度、速度、平均翻转时间；握拳任务中，采用五指指尖关键点到手掌的距离之和作为握拳程度的指标，提取握拳时长特征。

更进一步地，所述对指任务是指拇指和食指多次敲击，采用拇指的远端指骨终点和食指的远端指骨终点之间的距离对病人的表现进行量化，得到对指任务的幅度和频率；

握拳任务要求病人进行多次的握拳、张开动作，张开的程度尽可能大、速度尽可能快，基于这项任务的特点，采用拇指的远端指骨终点分别到其他四只手指的远端指骨终点的距离之和作为量化的指标，进而得到握拳的幅度和频率；

手掌翻转任务要求病人手部伸开，反复上下翻动，速度尽可能快，翻动的程度尽可能大，基于这项任务的特点，采用拇指的远端指骨终点x坐标和小指的远端指骨终点x坐标之差作为量化的指标，进而得到手掌翻转的幅度和频率。

定义：拇指的远端指骨的终点为Thumb，食指的远端指骨的终点为Index，中指的远端指骨的终点为Middle，无名指的远端指骨的终点为Ring，小指的远端指骨的终点为Pinky以及手掌中心点为Palm；五根手指的远端指骨终点以及手掌中心点的位置信息又各自包含x轴、y轴和z轴三个坐标信息。利用这些坐标，可以计算出一系列的特征值，进而对病人完成对指任务、抓握任务手掌翻转任务的质量进行量化和评估。

具体来说：

1、如图8所示，对指任务要求病人反复进行拇指和食指的敲击，因此，选择拇指的远端指骨的终点和食指的远端指骨的终点这两点之间的距离作为衡量动作完成情况的特征值是最为直观有效的。当拇指和食指进行敲击时，拇指的远端指骨的终点和食指的远端指骨的终点之间的距离最小；而当拇指和食指张开到最大程度时，拇指的远端指骨的终点和食指的远端指骨的终点之间的距离最大。且在敲击向张开过渡的阶段，二者之间的距离是单调增加的；在张开向敲击过渡的阶段，二者之间的距离是单调减小的。对指任务特征值即拇指的远端指骨的终点和拇指的远端指骨的终点这两点的欧氏距离计算公式如下：

dis

dis

(Thumb

(Thumb

(Thumb

2、如图9所示，抓握任务要求病人反复进行手掌的张开和合拢。当在人的手掌由握拳到张开这一过程中，拇指、食指、中指、无名指和小指到手掌中心的距离都在不断地增大，当手掌完全张开时，距离达到最大；而由手掌张开到握拳这一过程中，拇指、食指、中指、无名指和小指到手掌中心的距离都在不断地减小，最终完成握拳时，距离达到最小。因此，采用五根手指的远端指骨终点到手掌的欧氏距离之和作为抓握任务的特征值，具体计算公式如下：

dis

其中：

dis

dis

dis

dis

dis

3、手掌翻转任务要求病人反复进行翻掌，手掌翻转任务中，采用拇指的远端指骨的终点和小指的远端指骨的终点的在x坐标轴的数值之差作为特征值。当手掌张开面向光学传感器时，若手心朝上时特征值为正值，且数值最大，则手心朝下时特征值为负值，且数值最小。而在手掌由手心朝上翻向手心朝下的这个过程中，特征值是单调减小的；在手掌由手心朝下翻向手心朝上的这个过程中，特征值是单调增加的。具体计算公式如下：

dis

其中，dis

实施例2、基于上述对指、抓握和手掌翻转三个动作任务，利用上述公式求得的各项动作任务的特征值绘制成曲线图，并找到曲线上的极大值和极小值点，如图5所示的特征值曲线图，横坐标为帧数，纵坐标为五根手指的远端指骨终点到手掌中心的欧氏距离之和，

如图6所示，相邻的极大值和极小值之差即为完成单次动作的幅度，

如图7所示，相邻的两个极大值间隔的时间的倒数即为完成单次动作的频率。可见，动作的频率越高、幅值越大，病人的身体状况越好；动作的频率越低、幅值越小，病人的身体状况越差。

本发明已以较佳实施案例揭示如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可以利用上述揭示的结构及技术内容做出些许的更动或修饰为等同变化的等效实施案例，均仍属本发明技术方案范围。