在手术中跟踪患者位置的方法和系统

摘要

一种响应于患者(101)的移动来更新用于机械臂组件(140)的手术路径的方法。方法包括处理与标签(200)相关联的二维图像(300)，标签(200)与患者(101)具有空间关系。基于该空间关系，来确定标签(200)响应于患者(101)的移动的对应移动。标签(200)包括第一点(201)和第二点(202)，并且二维图像(300)包括第一点图像(301)和第二点图像(302)。方法还包括：将第一点图像(301)与第一点(201)相关联，并且将第二点图像(302)与第二点(202)相关联，并且基于第一点(201)和第二点(202)与第一点图像(301)和第二点图像(302)的转换矩阵来更新手术路径。

说明书

本申请要求于2018年08月01日提交的美国临时申请号62/713522和2019年03月19日提交的美国临时申请号62/820804的权益，通过引用以其整体合并于此。

技术领域

本发明的实施例通常涉及在手术中跟踪患者的位置或定向的方法和系统。

背景技术

除非本文中另外指示，否则本节中描述的方法对本申请中的权利要求而言并非现有技术，并且通过包括在本节中并非承认其为现有技术。

为了执行手术，手术路径的计划至关重要。机器人手术可以提供对手术路径的精确控制。在手术前，对患者进行医学扫描(例如CT或MRI)。基于医学扫描来计划到所需解剖区域的手术路径。可以采用人工智能向外科医师建议带来最少损害量的最佳路径。为了执行手术，患者的位置可以与医疗扫描的透视图进行匹配，以沿着所规划的手术路径准确执行手术。

然而，在手术中，患者的位置可能移动。因此，所计划的手术路径根据患者的移动的位置可能不适用，并且可以响应于患者的移动的位置而被更新。

附图说明

图1是示出被配置成对患者执行手术的手术系统的示例图；

图2是示出标签的示例图；

图3A是由光学装置捕获的标签的示例图像；

图3B是由光学装置捕获的标签的示例经处理图像；

图4是图示处理与标签相关联的二维图像的示例过程的流程图；

图5是图示将点图像与标签的点相关联的示例过程的流程图；

图6是图示基于多个转换矩阵来响应于患者的移动来更新手术路径的示例过程的流程图，全部都根据本公开的一些实施例进行布置。

具体实施方式

在下面的具体实施方式中，参考形成其一部分的附图。在附图中，除非上下文另外指出，否则类似符号通常标识类似组件。具体实施方式、附图和权利要求中描述的说明性实施例并非意指限制。可以利用其他实施例，并且可能做出其他改变，而不背离在这里呈现的主题的精神或范畴。将容易理解，如本文一般描述以及图中图示的本公开的方面可以以广泛多种的不同配置进行布置、替换、组合和设计，所有这些在本文中被明确预期。

图1是示出根据本公开的一些实施例布置的，被配置成对患者101执行手术的手术系统100的示例图。在一些实施例中，手术系统100包括框架120、手术台130和机械臂组件(robotic arm assembly)140。

在一些实施例中，框架120被配置成支撑和附接到患者110的手术目标(例如，患者的头部103)。此外，框架120还被配置成附接到手术台130。在一些实施例中，框架120还包括标签(tag)121。标签121与框架120固定在一起或一体形成。因此，患者的头部103、手术台130、框架120和标签121一起可以形成预先确定的空间关系。换句话说，响应于患者头部103的第一移动，标签121基于预先确定的空间关系也具有对应的第二移动。因此，标签121的移动也可以用于确定患者的头部是否已经移动。

在一些实施例中，框架121可以包括一个以上的标签。每个标签可以包括彼此唯一的标识图案。因此，手术系统100可以基于这些标签来处理不同的需求。

在一些实施例中，机械臂组件140可以包括外科手术器械141、光学装置143、第一臂147、第二臂148和第三臂149。在一些实施例中，光学装置143是能够在不同的时间捕获标签121的图像的IR相机。这些捕获的图像被处理以标识标签121的移动是否超过阈值。响应于确定标签121的移动超过阈值，与机械臂组件140相关联的处理器(未示出)可以基于上述预先确定的空间关系来确定患者110已经移动，并且向机械臂组件140发出命令，以停止手术并且移动到不会对患者110造成伤害的安全点。响应于确定患者110已经移动，处理器可以计算新的手术路径，并且向机械臂组件140发出命令，以从安全点沿着新手术路径移动。

图2是示出根据本公开的一些实施例布置的标签200的示例图。标签200可以对应于图1的标签121。在一些实施例中，标签200包括点201、点202、点203、点204、点205和标识图案209。点201、202、203、204、205和标识图案209可以发射具有特定波长的光，该具有特定波长的光可以被光学装置(例如，光学装置143)捕获。相反，标签200的其他部分发射非常少的这种光，并且因此可以几乎不被光学装置捕获。在一些其他实施例中，点201、202、203、204、205和标识图案209可以反射由光源生成的具有特定波长的光，该具有特定波长的光可以被光学装置(例如，光学装置143)捕获。标签200的其他部分可以吸收这种光，并且因此可以几乎不被光学装置捕获。

图3A是根据本公开的一些实施例布置的由光学装置捕获的标签的示例图像300。图像300可以包括点图像301、302、303、304和305，在点图像304和305之间的条形图像306，以及标识图像309。将点图像301、302、303、304和305与点201、202、203、204和205相关联是一个挑战。

在一些实施例中，点图像301可以对应于点201的图像。类似地，点图像302可以对应于点202的图像，点图像303可以对应于点203的图像，点图像304可以对应于点204的图像，并且点图像305可以对应于点205的图像。条形图像306可以对应于在点204和205之间的标签200的部分。标识图像309可以对应于标识图案209。

图3B是由光学装置捕获的标签的示例经处理图像300’，图4是图示用于处理与标签相关联的二维图像的示例过程400的流程图，全部都根据本公开的一些实施例进行布置。过程400可以包括如由框410、420和/或430所示的一个或多个操作、功能或动作，其可以由硬件、软件和/或固件执行。各个框不旨在限于所描述的实施例。概述的步骤和操作仅作为示例被提供，并且步骤和操作中的一些可以是可选的、可以被组合成较少的步骤和操作，或者可以被扩展成附加步骤和操作，而不会有损所公开实施例的实质。尽管以顺序的次序图示了框，但是这些框也可以被并行执行和/或以与本文描述的顺序不同的顺序执行。结合图3B，下面将进一步详细描述图4。

过程400可以在框410“分配坐标”处开始。参考图3A，在一些实施例中，图像300是与标签200相关联的二维图像。在图3B中，图像300’可以是经处理的图像300。在一些实施例中，二维坐标系被分配给图像300’。在一些实施例中，左上角307被指定为二维坐标系的原点(0，0)。二维坐标系可以是基于图像300的像素。因此，可以通过二维坐标系来描述图像300上的点图像301、302、303、304和305。

框410可以跟随有框420“标识与点图像相关联的坐标”。在一些实施例中，为了从图像300’有效地标识点图像301、302、303、304和305，可以应用阈值化技术。例如，首先以包括许多像素的块来处理图像300’。在一些实施例中，不包括具有大于阈值的强度的任何像素的块(例如，区域310或条形图像306)被丢弃不进行进一步的处理以节省计算资源。然后，在像素基础上进一步处理包括具有大于阈值的强度的像素的块(例如，区域320)。

在一些实施例中，区域320可以以扩大因子来扩大。因此，点图像301、302、303、304和305也可以利用扩大因子来扩大。在一些实施例中，附加的阈值化技术可以被应用于经扩大的点图像的像素，以标识具有较大强度的一个或多个像素。基于缩小因子(例如，扩大因子的倒数)，与所标识的像素相关联的图像可以被缩小回到二维系统。因此，可以在图像300上标识具有较高强度的新点图像301’、302’、303’、304’和305’，并且二维坐标系的坐标可以被分配给点图像301’、302’、303’、304’和305’。在一些实施例中，点图像301’被分配二维坐标系上的坐标(X

框420可以跟随有框430“将点图像与标签点相关联”。在一些实施例中，点图像301’、302’、303’、304’和305’与点201、202、203、204和205相关联。在一些实施例中，基于透视-n-点方法、点图像301’、302’、303’、304’和305’在二维坐标系上的坐标，以及标签121的点201、202、203、204和205在三维坐标系上的坐标(其描述光学装置143、机械臂组件140和外科手术器械141之间的空间关系)，可以建立转换矩阵，转换矩阵描述了图像300’中的点图像与其在标签200处的相关联点之间的关系。

图5是图示根据本公开的一些实施例布置的，将点图像与标签的点相关联的示例过程500的流程图。过程500可包括如由框510、520、530、540、550和/或560所示的一个或多个操作、功能或动作，其可由硬件、软件和/或固件执行。各个框不旨在限于所描述的实施例。概述的步骤和操作仅作为示例被提供，并且步骤和操作中的一些可以是可选的、可以被组合成较少的步骤和操作，或者可以被扩展成附加步骤和操作，而不会有损所公开实施例的实质。尽管以顺序的次序图示了框，但是这些框也可以被并行执行和/或以与本文描述的顺序不同的顺序执行。

过程500可以在框510“获得点图像的几何中心”处开始。在一些实施例中，如上所述，在二维坐标系中，点图像301’、302’、303’、304’和305’分别具有坐标(X

框510可以跟随有框520“获得点图像与几何中心的距离”。在一些实施例中，获得点图像301’与几何中心之间的第一距离，为

框520可以跟随有框530“获得从几何中心到点图像的矢量”。在一些实施例中，获得从几何中心到点图像301’的第一矢量

框530可以跟随有框540“选择基点图像”。在一些实施例中，在框520中获得的第一距离、第二距离、第三距离、第四距离和第五距离被比较，以选择哪个点图像是基点图像。在一些实施例中，可以选择在二维坐标系中具有距几何中心最远距离的点图像作为基点。备选地，可以选择在二维坐标系中具有距几何中心最近距离的点图像作为基点。在一些其他实施例中，可以基于标识图像309与在二维坐标系中点图像301’，302’，303’，304’和305’之间的关系来选择基点。仅出于说明的目的，在一些实施例中，点图像301’被选择为基点图像。

框540可以跟随有框550“基于矢量对点图像进行索引”。在一些实施例中，第一矢量(例如，

框550可以跟随有框560“获得点图像和对应标签点的转换矩阵”。在一些实施例中，基于在框550中获得的索引和透视-n-点方法，可以建立转换矩阵，转换矩阵描述了三维坐标系中标签200的点(例如201、202、203、204和205)的坐标与其对应点图像(例如301’、302’、303’、304’和305’)之间的数学关系。再次参考图1，在一些实施例中，三维坐标系可以描述光学装置143、机械臂组件140和外科手术器械141之间的空间关系。

图6是图示基于多个转换矩阵来响应于患者的移动来更新手术路径的示例过程的流程图600，全部都根据本公开的一些实施例进行布置。过程600可以包括如由框610、620、630、640和/或650所示的一个或多个操作、功能或动作。各种框不旨在限于所描述的实施例。概述的步骤和操作仅作为示例被提供，并且步骤和操作中的一些可以是可选的、可以被组合成较少的步骤和操作，或者可以被扩展成附加步骤和操作，而不会有损所公开实施例的实质。尽管以顺序的次序图示了框，但是这些框也可以被并行执行和/或以与本文描述的顺序不同的顺序执行。

过程600可以在框610“基于转换矩阵获得投影点”处开始。在一些实施例中，在获得转换矩阵之后，可以根据转换矩阵，获得点201的第一投影点。在一些实施例中，投影点在二维坐标系中具有坐标(X

框610可以跟随有框620“获得投影点和对应点图像之间的距离”。在一些实施例中，计算具有坐标(X

框620可以跟随有框630“距离大于阈值？”。在一些实施例中，响应于第一距离、第二距离、第三距离、第四距离和第五距离之和大于阈值，框630可以跟随有框640“确定患者被移动”。

在一些其他实施例中，响应于第一距离、第二距离、第三距离、第四距离和第五距离之和不大于阈值，框630可以跟随有框610“基于转换矩阵获得投影点”。在获得与第二次捕获的图像300/300’相关联的另一个转换矩阵之后，可以根据另一个转换矩阵来获得在二维坐标系中具有点201、202、203、204和205的坐标的另一组投影点。

框640可以跟随有框650“更新手术路径”。在一些实施例中，再次参考图1，机械臂组件140可以移动到不会对患者110造成伤害的安全点。可以响应于患者110的移动来更新新的手术路径，并且然后机械臂组件140被配置成从安全点沿着更新的手术路径移动。

在一些其他实施例中，可以验证经更新的手术路径，使得经更新的手术路径将不会引起外科手术器械141和机械臂组件140之间的碰撞。备选地，再次参考图1，经更新的手术路径可以被验证，以使经更新的手术路径不会在机械臂组件140的第一臂147、第二臂148和第三臂149之间引起碰撞。

响应于经更新的手术路径被验证为引起机械臂组件140的碰撞，经更新的手术路径将被放弃，并且将计算新的经更新的手术路径。

前述具体实施方式经由使用框图、流程图和/或示例阐述了设备和/或过程的各种实施例。在这种框图、流程图和/或示例包含一个或多个功能和/或手术的范围内，本领域技术人员将能理解这种框图、流程图或示例内的每个功能和/或操作，均可通过广泛的硬件、软件、固件或几乎其任何组合被个别和/或集体地实现。在一些实施例中，本文描述的主题的几个部分可能经由专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)或其他集成格式实现。然而，本领域技术人员将理解，本文公开的实施例的一些方面可以全部或部分在集成电路中等效实现为在一个或多个计算机上运行的一个或多个计算机程序(如在一个或多个计算机系统上运行的一个或多个程序)、在一个或多个处理器上运行的一个或多个程序(如在一个或多个微处理器上运行的一个或多个程序)、固件或几乎其任何组合，并且设计该电路装置和/或编写该软件和/或固件的代码将根据本公开完全在本领域技术人员的技术范围内。此外，本领域技术人员将理解，本文描述的主题的机制能够以各种形式分布为程序产品，并且本文描述的主题的说明性实施例均适用，无论用于实际实施该分布的信号承载介质的特定类型如何。信号承载介质的示例包括，但不限于以下：可记录类型介质，诸如软式磁盘、硬盘机、光盘(CD)、数字激光视盘(DVD)、数字磁带、计算机存储器等；以及传输类型介质，诸如数字和/或模拟通信介质(例如，光纤电缆、波导、有线通信链接、无线通信链接等)。

根据前述内容，应当理解，本文出于说明的目的描述了本公开的各种实施例，并且应当理解，可以在不背离本公开的范围与精神的情况下，做出各种修改。因此，本文公开的各种实施例均不旨在是限制性的。