技术领域
本公开涉及一种医学观察系统、一种医学观察装置和一种医学观察方法。
背景技术
近年来，在大画面显示装置上显示术野图像并且外科医生在监视术野图像的同时进行手术的状态下，使用医学观察装置(例如，手术内窥镜或手术显微镜)进行手术的情况越来越多。在插入体内的状态下使用内窥镜。因此，内窥镜的透镜受到来自身体内部的出血、由于使用用于组织切割和分离的能量装置而导致的烟雾或油的散射、或者利用高频电流、超声波振动等的血管闭合的影响，导致污渍附着和透镜上起雾的发生。因此，有必要频繁地移除内窥镜并清洁透镜。因此，为了抑制镜片上的污渍和起雾，提出了一种技术，其中，手术视场(术野)放大并从远处观察，例如，如专利文献1所示。
引用列表
专利文献
专利文献1：JP 2016-192986 A
发明内容
技术问题
然而，专利文献1中公开的技术使用特征点，并且在该位置上执行电子变焦跟踪。因此，在外科手术中，例如，在插入体腔中的内窥镜在手术期间频繁地在各个方向上移动以进行观察的情况下，由内窥镜捕捉的图像涉及大幅移动，导致特征点的跟踪性能不足。此外，应用于目标组织的治疗将改变该部分的外观，这导致难以跟踪特征点的问题。这导致难以实现待放大区域的稳定观察。
鉴于该问题，本公开提出了一种医学观察系统、一种医学观察装置和一种医学观察方法，其能够放大并稳定地从远处观察患部。
问题的解决方案
为了解决上述问题，一种医学观察系统包括：成像装置，对术野进行成像并获得术野图像；三维信息生成单元，从所述成像装置捕捉的所述术野图像生成所述术野的三维信息；设置单元，设置由所述成像装置在预定时间捕捉的至少一个所述术野图像中的至少一个感兴趣区域；估计单元，基于所述三维信息和由所述设置单元设置的所述感兴趣区域的位置，从在不同于所述预定时间的时间捕捉的术野图像中估计所述感兴趣区域的存在位置；放大图像生成单元，生成放大的术野图像，在所述放大的术野图像中，以预定放大率放大所估计的感兴趣区域；以及显示控制单元，至少输出所述放大的术野图像。
附图说明
图1是示出根据本公开的第一实施例的医学观察系统适用的内窥镜手术系统的示意性配置的示例的示图。
图2是示出根据本公开的第一实施例的医学观察系统的示意性配置的示例的示图。
图3是示出地图生成单元生成术野的三维地图的方法的示例的示图。
图4是示出设置感兴趣区域框的方法的示例的示图。
图5是示出设置感兴趣区域框的方法的另一示例的示图。
图6是示出已经设置了特征点提取区域的示例的示图。
图7是示出由医学观察系统显示的图像的示例的示图。
图8是示出由医学观察系统执行的处理流程的示例的流程图。
图9是示出由显示控制单元输出到显示装置的图像的显示模式的示例的示图。
图10是示出当变焦框随着内窥镜的移动到达术野图像的边缘时执行的处理的示例的示图。
图11是示出医学观察系统的示意性配置的示例的示图，在医学观察系统中，成像装置包括具有图像平面相位差传感器的成像元件。
图12是示出医学观察系统的示意性配置的示例的示图，其中，成像装置包括两个成像元件。
图13是示出医学观察系统的示意性配置的示例的示图，其中，成像装置包括两个成像元件，并且相机控制单元包括跟踪处理单元。
图14是示出医学观察系统的示意性配置的示例的示图，其中，成像装置包括成像元件和深度传感器。
图15是示出医学观察系统的示意性配置的示例的示图，其中，成像装置包括成像元件和深度传感器，并且相机控制单元包括跟踪处理单元。
图16是示出在术野图像中设置多个感兴趣区域的示例的示图。
图17是示出通过术野图像中的高亮显示呈现预定距离范围内的区域的示例的示图。
图18是示出在术野图像中设置的感兴趣区域框的显示模式的示例的示图。
图19是示出用于设置变焦框的方法的示例的示图。
图20是示出当应用医学观察系统时变焦框显示方法的示例的示图。
图21是示出可应用根据本公开的技术的显微手术系统的示意性配置的示例的示图。
图22是示出使用显微手术系统的手术场景的示图。
图23是示出在显微手术系统中提供的画面的中心部分中保持变焦框的控制状态的示例的示图。
具体实施方式
下面将参考附图详细描述本公开的实施例。在以下每个实施例中，相同的部分由相同的参考符号表示，并且将省略其重复描述。
(第一实施例)
[根据第一实施例的医学观察系统的配置]
图1是示出根据本公开的医学观察系统适用的内窥镜手术系统5000的示意性配置的示例的示图。图1示出了外科医生(医生)5061在使用内窥镜手术系统5000对病床5069上的患者5071进行手术期间的场景。内窥镜操作员5062握持内窥镜5001并将内窥镜5001插入患者5071的体腔。助理5063握持手术工具5017并将该工具插入患者5071的体腔。
在内窥镜手术中，多个被称为套管针5025a至5025d的管状剖腹手术器械被刺入腹壁，而不是执行切开腹壁的开放手术。通过套管针5025a至5025d，内窥镜5001的镜筒5003和其他手术工具5017被插入到患者5071的体腔中。在图1的示例中，随着其他手术工具5017、吹入管5019、能量治疗工具5021和镊子5023被插入到患者5071的体腔中。吹入管5019将气体泵入患者5071的体腔，以对体腔充气，目的是确保内窥镜5001的视野和外科医生5061的工作空间。能量治疗工具5021是通过使用高频电流或超声波振动用于切割和分离组织、血管闭合等的治疗工具。此外，虽然在图1中未示出，但是吹入管5019和能量治疗工具5021连接到控制装置(未示出)，并且手术工具5017用于执行由外科医生5061等指示的预定操作。图中所示的手术工具5017仅是一个示例，手术工具5017的其他适用示例包括通常在内窥镜手术中使用的各种手术工具，例如，镊子和牵开器。
在显示装置50上显示由内窥镜5001捕捉的患者5071体腔内的术野的图像(以下称为术野图像)。当实时观察在显示装置50上显示的术野图像时，外科医生5061执行诸如通过使用能量治疗工具5021和镊子5023切除患部等程序。此外，内窥镜操作员5062在实时观察在显示装置50上显示的术野图像的同时调整内窥镜5001的位置，使得患部位于术野图像内。吹入管5019、能量治疗工具5021和镊子5023在手术期间由外科医生5061、助理5063等握持。
[内窥镜的示意性配置]
内窥镜5001包括：透镜镜筒5003(也称为“scope”)，从透镜镜筒5003的远端起预定长度的区域插入患者5071的体腔中；以及摄像头5005，其连接到透镜镜筒5003近端。图1的示例将内窥镜5001示为具有刚性类型的透镜镜筒5003的刚性镜。然而，内窥镜5001可以是具有由柔性材料制成的透镜镜筒5003的柔性镜。
透镜镜筒5003的远端具有安装物镜的孔径。内窥镜5001连接到光源装置(未示出)。由光源装置产生的光通过在透镜镜筒5003内部延伸的光导被引导到透镜镜筒5003的远端，并且该引导光将通过物镜向患者5071体腔中的观察目标发射。内窥镜5001可以是前视内窥镜、前斜视内窥镜或侧视内窥镜。
光学系统和成像元件设置在摄像头5005内部。来自观察目标的反射光(观察光)通过光学系统聚焦到成像元件上。观察光由成像元件进行光电转换，以产生对应于观察光的电信号，即，对应于观察图像的图像信号。图像信号作为RAW数据传输到相机控制单元(CCU)12a。摄像头5005具有通过适当驱动光学系统来调整放大率和焦距的功能。
此外，摄像头5005可以包括多个成像元件，以便支持立体观看(3D显示)等。在这种情况下，多个中继光学系统设置在透镜镜筒5003内部，以便将观察光引导至多个成像元件中的每一个。
内窥镜手术系统5000包括输入装置，该输入装置接收来自用户(即外科医生5061、内窥镜操作员5062或助理5063)的各种信息输入和指令输入。例如，用户经由输入装置输入与手术相关的各种类型的信息，例如，关于患者的身体信息和关于手术过程的信息。此外，例如，用户通过输入装置输入改变内窥镜5001的成像条件(照射光的类型、放大率、焦距等)的指令、驱动手术工具5017(例如，能量治疗工具5021)的指令。
输入装置的类型不受限制，并且输入装置可以是各种已知的输入装置。适用的输入装置的示例包括鼠标、键盘、触摸板、开关和/或杆。图1示出了内窥镜操作员5062使用脚踏开关5057输入信息的示例，脚踏开关5057是输入装置的示例。例如，内窥镜操作员5062通过脚踏开关5057设置术野图像中的感兴趣区域。这方面的细节将在下面描述。当触摸板用作输入装置时，触摸板可以设置在显示装置50的显示表面上。
[根据第一实施例的医学观察系统的配置]
图2是示出适用于内窥镜手术的医学观察系统10a的功能配置的功能框图。医学观察系统10a是应用于上述内窥镜手术系统5000的系统，并且被配置为在手术期间通过插入到患者5071的体腔中的内窥镜5001来监视术野图像。具体地，医学观察系统10a是这样一种系统，该系统持续显示通过基于术野的三维位置放大所设置的感兴趣区域而获得的放大的术野图像，而与内窥镜5001的位置和方向无关。
医学观察系统10a包括成像装置42a和相机控制单元12a。成像装置42a安装在上述内窥镜5001的摄像头5005上，对患者5071体腔内的术野进行成像，以获得术野图像。当成像装置42a捕捉图像时，相机控制单元12a生成术野图像以及生成关于术野的三维信息。
成像装置42a包括成像元件44a。成像元件44a由诸如互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器等成像元件(光电转换元件)表示，并且将来自术野的光转换成电信号。
相机控制单元12a包括三维信息生成单元14、显影处理单元18、感兴趣区域设置单元20、感兴趣区域估计单元22、三维地图数据存储单元24、变焦处理单元26和显示控制单元40。相机控制单元12a持续生成放大的术野图像，并且在显示装置50上显示所生成的图像，其中，在该放大的术野图像中，感兴趣区域被放大，而与内窥镜的位置和定向无关。相机控制单元12a是本公开中的医学观察装置的示例。
例如，三维信息生成单元14计算由成像元件44a捕捉的体腔中的术野图像的三维位置。三维信息生成单元14包括地图生成单元15和自身位置估计单元16。地图生成单元15生成指示术野的三维位置和感兴趣区域的三维位置的三维地图(以下简称为地图)，如下所述。下面将描述生成地图的方法。自身位置估计单元16基于生成的地图和在预定时间捕捉的术野图像，估计在该预定时间的内窥镜5001的自位置和定向。
显影处理单元18执行将捕捉的数据转换成可视图像的显影处理。显影处理单元18对由成像元件44a输出的RAW数据应用用于显示图像的各种图像处理，例如，显影处理(去马赛克处理)。更具体地，显影处理单元18通过将预设的数字增益或伽马曲线应用于RAW数据，将RAW数据转换成可视图像数据。期望预先调整要设置的数字增益和伽马曲线，以便能够生成对于外科医生5061和内窥镜操作员5062具有高可视性的图像数据。
感兴趣区域设置单元20从由成像元件44a捕捉并由显影处理单元18转换成可视图像的术野图像内指定感兴趣区域，例如，要通过手术移除的肿瘤。更具体地，医学观察系统10a的操纵员在监视显示装置50(例如，液晶监视器)上的术野图像的同时从术野图像中设置至少一个感兴趣区域。下面将描述设置感兴趣区域的具体方法。感兴趣区域设置单元20是本公开中的设置单元的示例。
感兴趣区域估计单元22估计在特定时间感兴趣区域在术野图像中的存在位置。感兴趣区域估计单元22是本公开中的估计单元的示例。
三维地图数据存储单元24存储由上述地图生成单元15生成的术野的三维地图。存储在三维地图数据存储单元24中的三维地图随着时间的流逝而更新。
变焦处理单元26基于由感兴趣区域估计单元22估计的感兴趣区域的存在位置，生成通过放大在该时间估计的感兴趣区域而获得的放大的术野图像。变焦处理单元26是本公开中的放大图像生成单元的示例。变焦处理单元26通过在像素之间内插像素值来对术野图像执行电子变焦处理，例如，可以通过使用诸如最近邻内插、双线性内插、双三次内插或Lanczos算法等已知方法来执行像素值内插。此外，变焦处理单元26可以通过另外使用超分辨率处理来执行电子变焦。
变焦放大率可以是预先设定的预定放大率，或者可以由变焦处理单元26基于感兴趣区域的大小自动确定。或者，诸如内窥镜操作员5062等用户作为操纵员，可以指定放大率。
显示控制单元40执行将由显影处理单元18生成的术野图像和由变焦处理单元26生成的放大的术野图像输出到显示装置50的显示控制。可应用的显示装置50的示例包括各种已知的显示装置，例如，液晶显示装置或电致发光(EL)显示装置。显示装置50包括第一显示区域52a，在第一显示区域中，至少显示放大的术野图像。此外，如图2所示，除了第一显示区域52a之外，显示装置50可以包括将在其中显示术野图像的第二显示区域52b。在这种情况下，显示装置50可以在一个监视器中包括第一显示区域52a和第二显示区域52b。或者，显示装置50可以由两个不同的监视器形成，每个监视器分别包括第一显示区域52a和第二显示区域52b。
[生成三维地图的方法]
接下来，将描述地图生成单元15生成术野的三维地图的方法。图3是示出地图生成单元15生成术野的三维地图的方法的示图。
图3示出了由成像装置42a在三维空间XYZ中观察到作为静止物体的物体100的场景，该三维空间具有空间中的点，作为参考位置O。该场景假设成像装置42a在例如预定时间(例如，时间t)捕捉术野图像K(x，y，t)并且在与预定时间不同的时间(例如，时间t+Δt)捕捉术野图像K(x，y，+Δt)的情况。注意，时间间隔Δt被设置为例如33毫秒。此外，参考位置O可以被设置到任何位置，但是例如，期望被设置到不会随时间移动的位置。注意，术野图像K(x，y，t)中的x表示图像在水平方向上的坐标，y表示图像在垂直方向上的坐标。
地图生成单元15首先从术野图像K(x，y，t)和术野图像K(x，y，t+Δt)中检测作为特征像素(characteristic pixel)的特征点(feature point)。特征点的示例是像素值与相邻像素的像素值相差预定值或更大的像素。特征点理想地是即使随着时间流逝也稳定存在的点。例如，形成图像中边缘的像素经常用作特征点。在此处，为了简化以下描述，假设已经从术野图像K(x，y，t)中检测到作为物体100的顶点的特征点A1、B1、C1、D1、E1、F1和H1。
接下来，地图生成单元15在术野图像K(x，y，t+Δt)中搜索分别对应于特征点A1、B1、C1、D1、E1、F1和H1的点。具体地，地图生成单元15基于特征点A1的像素值和特征点A1附近的像素值等，在术野图像K(x，y，t+Δt)中搜索具有相似特征的点。通过该搜索过程，假设已经从术野图像K(x，y，t+Δt)内检测到分别对应于特征点A1、B1、C1、D1、E1、F1和H1的特征点A2、B2、C2、D2、E2、F2和H2。
随后，基于三维测量的原理，地图生成单元15使用术野图像K(x，y，t+Δt)上的特征点A1的二维坐标和术野图像K(x，y，t+Δt)上的特征点A2的二维坐标来计算空间中的点A的三维坐标(X
由于成像装置42a的位置和定向在时间间隔Δt期间已经改变，地图生成单元15还同时估计成像装置42a的位置和定向。数学上，基于在术野图像K(x，y，t)和术野图像K(x，y，t+Δt)上单独观察到的特征点的二维坐标，使用构成物体100的单独特征点的三维坐标和成像装置42a的位置和定向作为未知量，来公式化联立方程。通过求解这组联立方程，地图生成单元15估计构成物体100的各个特征点的三维坐标以及成像装置42a的位置和定向。
以这种方式，通过从成像装置42a捕捉的术野图像K(x，y，t)内检测多个特征点，并且从术野图像K(x，y，t+Δt)内检测对应于这些特征点的点，可以生成由成像装置42a观察的环境的三维地图D(X，Y，Z)。此外，还可以估计成像装置42a的位置和定向，即，自身位置。此外，例如，重复执行上述处理，使得可以可视化先前不可见的特征点，导致三维地图D(X，Y，Z)的扩展。此外，重复处理会导致重复计算同一特征点的三维位置。因此，例如，可以通过执行平均处理来减少计算误差。以这种方式，根据需要更新存储在三维地图数据存储单元24中的三维地图D(X，Y，Z)。用于创建环境的三维地图以及指定成像装置42a的自身位置的技术通常被称为同时定位与地图构建(SLAM)技术。
在例如“Andrew J.Davison的“Real-Time Simultaneous Localization andMapping with a Single Camera”，Proceedings of the 9th IEEE InternationalConference on Computer Vision”第2卷，2003年，第1403-1410页”中，描述了使用单目相机的SLAM技术的基本原理。使用物体的相机图像来估计物体的三维位置的SLAM技术也被称为视觉SLAM。
[设置感兴趣区域的方法]
通过感兴趣区域设置单元20的操作来设置感兴趣区域。具体地，感兴趣区域设置单元20通过执行指示感兴趣区域的感兴趣区域框的显示，以便叠加在术野图像上，并且指定感兴趣区域框的大小、形状和位置，来设置感兴趣区域。
图4是示出设置感兴趣区域框的方法的示例的示图。图4的A是示出由内窥镜5001观察到的术野图像K(x，y)的示例的示图。在下文中，将省略关于捕捉术野图像的时刻(例如，时间)的信息，并且术野图像将被简单地描述为K(x，y)。图4的B是示出调整内窥镜5001的定向使得期望被设置为感兴趣区域的患部位于术野图像K(x，y)的中心并且感兴趣区域设置单元20已经设置指示感兴趣区域的感兴趣区域框110的状态的示例的示图。图4的C是示出放大的术野图像L(x，y)的示例的示图，在放大的术野图像L(x，y)中，包括以预定放大率放大的状态中显示感兴趣区域框110的区域。
例如，当观察图4的A中所示的术野图像K(x，y)时，例如，内窥镜操作员5062移动内窥镜5001，使得期望被放大的特定位置(例如，患部)位于术野图像K(x，y)的中心(预定位置的示例)。
如图4的B中所示，当感兴趣的特定位置出现在术野图像K(x，y)的中心(预定位置的示例)时，内窥镜操作员5062踩下脚踏开关5057(图1)，以指示感兴趣区域设置单元20设置感兴趣区域。此时，通过踩下脚踏开关5057来触发，生成指示设置感兴趣区域的设置信号。在已经输入设置信号的条件下，感兴趣区域设置单元20进行控制，以在术野图像K(x，y)的中心显示预定尺寸的感兴趣区域框110，如图4的B所示，从而设置感兴趣区域。感兴趣区域框110的大小和形状可以灵活设置，其细节将在下面描述。
由感兴趣区域设置单元20执行的感兴趣区域设置方法不限于上述方法。例如，触摸板可以覆盖在显示装置50的屏幕上，并且可以检测触摸板上的操作，以在触摸板已经操作的位置设置感兴趣区域。此外，可以用鼠标设置感兴趣区域的位置和形状。此外，感兴趣区域设置单元20可以基于操作(例如，手势)来设置感兴趣区域的位置和形状。
图5是示出设置感兴趣区域框的方法的另一示例的示图。图5的A是示出由内窥镜5001观察到的术野图像K(x，y)的示例的示图。内窥镜操作员5062在监视在显示装置50上显示的术野图像K(x，y)的同时，通过使用输入装置(例如，触摸板或鼠标)来指定感兴趣区域的位置。感兴趣区域设置单元20进行控制，以显示指示指定区域的感兴趣区域指令信息105，以便叠加在术野图像K(x，y)上。
随后，感兴趣区域设置单元20在输入的感兴趣区域指令信息105的位置设置感兴趣区域框110。感兴趣区域设置单元20控制显示所设置的感兴趣区域框110，以便叠加在术野图像K(x，y)上，如图5的B所示。感兴趣区域框110可以是具有预设大小和形状的框，或者可以是基于感兴趣区域指令信息105建模的闭合区域。
此后，不管内窥镜5001的位置和定向如何，变焦处理单元26生成通过以预定放大率放大所设置的感兴趣区域框110而获得的放大的术野图像L(x，y)，并显示生成的图像，如图5的C所示。
此外，感兴趣区域设置单元20可以使用上述三维地图D(X，Y，Z)，并且可以考虑使得三维空间中的距离或距成像系统的距离在特定范围内的条件来设置感兴趣区域。此外，感兴趣区域框110的显示模式不限于图4和图5所示的显示模式。下面将描述感兴趣区域框110的显示模式的变化(参考图18)。此外，感兴趣区域设置单元20可以基于操作(例如，手势)来设置感兴趣区域的位置和形状。
随后，如图4的C所示，变焦处理单元26生成通过以预定放大率放大包括术野图像K(x，y)的感兴趣区域框110的区域而获得的放大术野图像L(x，y)。此时，如图4的C所示，感兴趣区域框110也被显示为以预定放大率放大的图像。随后，显示控制单元40进行控制，以向显示装置50输出并显示所生成的放大的术野图像L(x，y)。外科医生5061在观察显示装置50上显示的放大的术野图像L(x，y)的同时进行手术。
虽然图4中未示出，但是在生成放大的术野图像L(x，y)之后，医学观察系统10a以预定时间间隔Δt重复术野图像K(x，y)的成像/显示，在每次捕捉术野图像K(x，y)时，将重复新的放大的术野图像L(x，y)的生成和显示。
[估计感兴趣区域的存在位置的方法]
此后，在某些情况下，内窥镜5001的位置和定向可能随着术野图像K(x，y)的观察时间的流逝而改变。随后，感兴趣区域估计单元22估计术野图像K(x，y)上的感兴趣区域的存在位置。变焦处理单元26生成放大的术野图像L(x，y)，在放大的术野图像中，估计的感兴趣区域被放大预定的放大率。如图4的C所示，显示控制单元40进行控制，以向显示装置50输出并显示放大的术野图像L(x，y)。通过继续这样的处理，医学观察系统10a继续在显示装置50上显示放大的术野图像L(x，y)。
在此处，以下是在内窥镜5001的位置或定向已经改变的情况下，由感兴趣区域估计单元22从术野图像K(x，y)内估计感兴趣区域的存在位置的方法的描述。
基于内窥镜5001在预定时间(例如，在时间t)的位置和定向、内窥镜5001在不同于预定时间的时间(例如，在时间t+Δt)的位置和定向以及三维地图D(X，Y，Z)，感兴趣区域估计单元22估计在时间t+Δt感兴趣区域框110(即，当前在时间t的当前位置)在术野图像K(x，y，t+Δt)内待观察位置。
具体地，基于内窥镜5001的位置和定向，感兴趣区域估计单元22指定在从时间t和时间t+Δt的周期期间，设置的感兴趣区域框110附近的多个特征点如何移动。随后，感兴趣区域估计单元22基于指定的特征点的移动状态来估计感兴趣区域的位置。
设置为感兴趣区域的区域通常是作为手术目标的患部。患部很可能被手术切除、出血或严重变形。因此，即使在感兴趣区域内设置了特征点，该特征点也可能随着时间的推移而消失。因此，当从感兴趣区域已经被设置到的术野图像K(x，y)提取特征点时，期望从除感兴趣区域的邻近区域之外的区域内提取特征点。
图6是示出其中已经设置了特征点提取区域的示例的图像。如图6所示，上述地图生成单元15在画面的外围设置遮蔽120，避开其上已经设置了感兴趣区域框110的画面的中心部分。地图生成单元15仅提取设置的遮蔽120内部的特征点。已经设置的遮蔽120的区域远离指示感兴趣区域的位置的感兴趣区域框110，因此其在手术期间不可能具有大幅变形。因此，在遮蔽120的内部，可以稳定地检测特征点，而不管时间的流逝。由于可以稳定地提取特征点，所以可以增强估计三维地图D(X，Y，Z)以及内窥镜5001的位置和定向的精度的稳定性。
顺便提及，在术野图像K(x，y)中，存在在遮蔽120内部捕捉与术野无关的物体的图像的情况，例如，包括镊子5023的手术器械或操作员手指。构成这些物体的特征点可能会随着时间的推移而不规则地移动。即，不能保证这些特征点稳定地存在于术野图像K(x，y)中，因此，期望在去除这些物体之后提取特征点。为此，地图生成单元15可以具有从术野图像K(x，y)中移除物体(例如，预先登记的手术器械和手指)的功能。该移除功能例如是对预先登记的物体执行图像识别并从计算中排除识别的物体存在的区域的功能。
[由根据第一实施例的医学观察系统显示的图像]
图7是示出由医学观察系统10a显示的图像的示例的示图。如图7所示，显示控制单元40进行控制，以将由内窥镜操作员5062监视的术野图像K(x，y)输出并显示到显示装置50a(第二显示区域52b)。此外，显示控制单元40进行控制，以将由外科医生5061监视的放大的术野图像L(x，y)输出并显示到不同于显示装置50a的显示装置50b(第一显示区域52a)。利用这种显示模式，内窥镜操作员5062和外科医生5061可以将显示装置50a和50b分别设置在易于观察的位置。因此，外科医生5061可以在观察放大的术野图像L(x，y)的同时促进手术的进行。另外，内窥镜操作员5062可以在观察术野图像K(x，y)的同时容易地调整内窥镜5001的位置。
如图7所示，可以在术野图像K(x，y)内显示上述感兴趣区域框110和指示放大的术野图像L(x，y)的范围的变焦框112。感兴趣区域框110和变焦框112与内窥镜5001的移动一起在术野图像K(x，y)内移动。以这种方式，在术野图像K(x，y)内显示感兴趣区域框110和变焦框112的状态下，内窥镜操作员5062可以集中地单独确认术野图像K(x，y)，并且可以立即确认在放大的术野图像L(x，y)中是否正在显示适当的范围。注意，在不需要显示感兴趣区域框110和变焦框112的情况下，这些的显示可以通过来自内窥镜操作员5062的操作指令独立地打开/关闭。
顺便提及，医学观察系统10a生成三维地图D(X，Y，Z)并估计内窥镜5001的位置和定向，因此，可以计算感兴趣区域附近的特征点的三维位置。因此，通过对捕捉的术野图像K(x，y)应用透视变换和/或旋转变换，还可以生成和显示放大的术野图像L(x，y)，在放大的术野图像中，在相同的方向上持续观察感兴趣区域。
[由根据第一实施例的医学观察系统执行的处理流程]
接下来，将描述第一实施例的医学观察系统10a执行的处理的流程。图7是示出由医学观察系统10a执行的处理流程的示例的流程图。
在下文中，将描述图8的流程图。首先，成像元件44a捕捉术野图像K(x，y)(步骤S10)。
地图生成单元15从捕捉的术野图像K(x，y)中提取特征点(步骤S11)。
此外，成像元件44a在预定时间，例如，在经过Δt秒之后，捕捉术野图像K(x，y)(步骤S12)。
在经过Δt秒之后，地图生成单元15从捕捉的术野图像K(x，y)提取特征点(步骤S13)。
地图生成单元15计算特征点的三维位置，并生成三维地图D(X，Y，Z)(步骤S14)。
自身位置估计单元16估计内窥镜5001的位置和定向(步骤S15)。
感兴趣区域设置单元20设置术野图像K(x，y)中的感兴趣区域(步骤S16)。
变焦处理单元26生成放大的术野图像L(x，y)。随后，显示控制单元40控制在显示装置50上显示所生成的放大的术野图像L(x，y)(步骤S17)。
显示控制单元40确定是否有结束处理的指令(步骤S18)。当确定存在结束指令时(步骤S18：是)，医学观察系统10a结束图8的处理。相反，当没有确定存在结束指令时(步骤S18：否)，处理进行到步骤S19。例如，通过检测诸如关闭相机控制单元12a的电源开关(未示出)等操作来确定处理结束指令。
当步骤S18的确定为否时，成像元件44a在预定时间，例如，在经过Δt秒之后，捕捉术野图像K(x，y)(步骤S19)。
地图生成单元15从在经过Δt秒之后捕捉的术野图像K(x，y)提取特征点(步骤S20)。
地图生成单元15计算特征点的三维位置，并更新在步骤S14中生成的三维地图D(X，Y，Z)(步骤S21)。
自身位置估计单元16估计内窥镜5001的位置和定向(步骤S22)。
感兴趣区域估计单元22估计在步骤S19中捕捉的经过Δt秒之后的术野图像K(x，y)中的感兴趣区域的位置(步骤S23)。此后，处理返回到步骤S17。
[第一实施例的操作效果]
如上所述，根据第一实施例的医学观察系统10a，三维信息生成单元14基于由成像装置42a捕捉的术野图像K(x，y)，生成关于术野的三维地图D(X，Y，Z)(三维信息)。感兴趣区域设置单元20(设置单元)然后设置在预定时间捕捉的术野图像K(x，y)中至少一个感兴趣区域。基于三维地图D(X，Y，Z)和由感兴趣区域设置单元20设置的感兴趣区域的位置，感兴趣区域估计单元22(估计单元)估计在不同于预定时间的时间捕捉的术野图像K(x，y)中感兴趣区域的存在位置。随后，变焦处理单元26(放大图像生成单元)生成其中估计的感兴趣区域被放大了预定的放大率的放大的术野图像L(x，y)，并且显示控制单元40至少输出放大的术野图像L(x，y)。因此，即使当其上安装有成像装置42a的内窥镜5001已经改变其位置或定向时，也可以从远处位置持续观察放大状态的患部。
此外，根据第一实施例的医学观察系统10a，显示控制单元40控制显示术野图像K(x，y)和放大的术野图像L(x，y)。这使得能够显示外科医生5061期望观看的放大的术野图像L(x，y)和内窥镜操作员5062期望观看的术野图像K(x，y)。
此外，根据第一实施例的医学观察系统10a，显示控制单元40进行控制，以分别在两个显示装置50a和50b上显示放大的术野图像L(x，y)和术野图像K(x，y)。因此，外科医生5061和内窥镜操作员5062可以将显示装置50a和50b分别设置在易于观察的位置。
此外，根据第一实施例的医学观察系统10a，在特定位置与显示装置50的预定位置对准的状态下，并且在指示设置感兴趣区域的设置信号已经出现的条件下，感兴趣区域设置单元20(设置单元)将显示控制单元40在显示装置50上显示的术野图像K(x，y)的该特定位置指定为感兴趣区域。因此，可以通过常规操作容易且可靠地设置感兴趣区域。
此外，根据第一实施例的医学观察系统10a，感兴趣区域设置单元20(设置单元)在由显示控制单元40在显示装置50上显示的术野图像K(x，y)上设置由输入装置指示的位置上的感兴趣区域。因此，可以通过直观的操作容易且可靠地设置感兴趣区域。
此外，根据第一实施例的医学观察系统10a，成像装置42a包括一个成像元件44a，并且三维信息生成单元14基于成像装置42a在不同时间捕捉的至少两个术野图像K(x，y)生成术野的三维地图D(X，Y，Z)(三维信息)。这使得可以通过使用仅具有单目相机的简单配置的成像装置42a，从远处持续观察处于放大状态的患部。
此外，根据第一实施例的医学观察系统10a，成像装置42a安装在内窥镜5001上。因此，当使用内窥镜5001执行手术等时，外科医生5061可以稳定地观察处于放大状态的患部。
此外，根据第一实施例的相机控制单元12a(医学观察装置)，三维信息生成单元14基于通过捕捉术野而获得的术野图像K(x，y)生成术野的三维地图D(X，Y，Z)(三维信息)。随后，感兴趣区域设置单元20(设置单元)设置在特定时间捕捉的术野图像K(x，y)内的至少一个感兴趣区域。基于三维地图D(X，Y，Z)和由感兴趣区域设置单元20设置的感兴趣区域的位置，感兴趣区域估计单元22(估计单元)估计从在不同于上述时间的时间捕捉的术野图像K(x，y)中感兴趣区域的存在位置。随后，变焦处理单元26(放大图像生成单元)生成放大的术野图像L(x，y)，其中，估计的感兴趣区域被放大了预定的放大率，并且显示控制单元40进行控制，以至少显示放大的术野图像L(x，y)。这使得可以持续观察处于放大状态的患部。
在医学观察系统10a中，包含成像装置42a的内窥镜5001可以配备有加速度传感器，例如，陀螺仪传感器。通过监视加速度传感器的输出，可以实时测量内窥镜5001的位置和定向。这将使得可以测量内窥镜5001的位置和定向，而不需要成像装置42a在不同时间捕捉两个图像，从而能够估计感兴趣区域的位置。
(第二实施例)
医学观察系统10a的配置不限于第一实施例中描述的配置，并且可以实现各种修改。在下文中，将逐一描述医学观察系统的其他实施例。
图9是示出由显示控制单元40输出到显示装置50的图像的显示模式的示例的示图。即，第一实施例包括显示控制单元40将放大的术野图像L(x，y)单独输出到显示装置50，并且将放大的术野图像L(x，y)和术野图像K(x，y)分别输出到相互不同的显示装置50a和50b的示例性情况。然而，输出图像的显示模式不限于此。
图9的A示出显示控制单元40控制在显示装置50上显示彼此相邻(并排)的术野图像K(x，y)和放大的术野图像L(x，y)的示例。即，在第一显示区域52a中显示放大的术野图像L(x，y)，在第二显示区域52b中显示术野图像K(x，y)，它们被设置在显示装置50的显示屏上。利用这种显示模式，外科医生5061可以在观察放大的术野图像L(x，y)的同时继续进行手术，并且内窥镜操作员5062可以在观察术野图像K(x，y)的同时调整内窥镜5001的位置。
图9的B是显示控制单元40控制在显示装置50上显示通过将术野图像K(x，y)叠加(使用PinP)在放大的术野图像L(x，y)的一部分上而获得的图像的示例。在这种情况下，第二显示区域52b叠加在第一显示区域52a的一部分上。利用这种显示模式，外科医生5061可以在观察放大的术野图像L(x，y)的同时继续进行手术，并且内窥镜操作员5062可以在观察术野图像K(x，y)的同时调整内窥镜5001的位置。术野图像K(x，y)叠加的位置不限于图9的B的示例，并且可以是放大的术野图像L(x，y)的左上、右上和右下位置中的任何一个。
[第二实施例的操作效果]
以这种方式，根据第二实施例，显示控制单元40控制在一个显示装置50上显示术野图像K(x，y)和放大的术野图像L(x，y)，这两个图像彼此相邻。这使得能够显示外科医生5061期望观看的放大的术野图像L(x，y)和内窥镜操作员5062期望观看的术野图像K(x，y)。
以这种方式，根据第二实施例，显示控制单元40控制在一个显示装置50上显示术野图像K(x，y)，以便叠加在放大的术野图像L(x，y)的一部分上。这使得能够显示外科医生5061期望观看的放大的术野图像L(x，y)和内窥镜操作员5062期望观看的术野图像K(x，y)。具体地，可以尽可能大地显示放大的术野图像L(x，y)。
(第三实施例)
图10是示出随着内窥镜5001的移动，当变焦框到达术野图像K(x，y)的边缘时执行的处理的示例的示图。变焦框是指示放大的术野图像L(x，y)的显示范围的框。
在此处，由于内窥镜5001具有圆形横截面的管状形状，所以由内窥镜5001观察到的术野图像K(x，y)包括在图像的外围部分中具有圆形阴影的渐晕区域130。由于渐晕区域130是由于没有光而形成的区域，所以如图10的A所示，它们被观察为黑色区域。
在内窥镜操作员5062移动内窥镜5001的情况下，变焦框可能到达术野图像K(x，y)的边缘。在这种情况下，医学观察系统10a采取预先准备的三种处理模式中的一种。
图10的B是当变焦框112a到达术野图像K(x，y)的边缘时，没有图像信息的区域以黑色显示的示例。即，变焦处理单元26生成放大的术野图像L(x，y)，其中，预定像素值(例如，表示黑色的像素值零)存储在变焦框112a的超过术野图像K(x，y)的边缘并且与渐晕区域130重叠的区域中。随后，显示控制单元40控制显示所生成的放大的术野图像L(x，y)。
具体地，当变焦框112a已经到达图10的A所示的位置时，显示控制单元40控制显示放大的术野图像L(x，y)，其中，指示黑色的零像素值被插值到变焦框112a内缺少图像信息的区域。利用这种显示模式，由于黑色区域的扩展，内窥镜操作员5062可以立即识别出内窥镜5001的位置已经到达术野图像K(x，y)的边缘。内窥镜操作员5062可以通过调整内窥镜5001的位置来再次生成放大的术野图像L(x，y)，而没有任何渐晕。
图10的C是当变焦框112a已经到达术野图像K(x，y)的边缘时原样连续显示画面边缘的示例。即，在变焦框112a的边缘(即放大的术野图像L(x，y)的边缘)与术野图像K(x，y)的边缘对准的情况下，即使在内窥镜5001已经进一步移动超过术野图像K(x，y)的边缘的情况下，变焦处理单元26也在保持变焦框112a的位置的同时生成放大的术野图像L(x，y)。随后，显示控制单元40控制显示所生成的放大的术野图像L(x，y)。
具体地，在变焦框112a已经到达图10的A所示的位置的情况下，显示控制单元40控制将变焦框112a移动到变焦框112b的位置，以便将移动的变焦框112b内的图像显示为放大的术野图像L(x，y)。即，此时，变焦框112b的左端与术野图像K(x，y)的左端对准。通过采用这种显示模式，不管内窥镜5001的移动如何，都可以将放大的术野图像L(x，y)的显示区域保持在术野图像K(x，y)的端部。
图10的D示出了在变焦框112a已经到达术野图像K(x，y)的端部的情况下，变焦处理单元26停止生成放大的术野图像L(x，y)的示例。此时，显示控制单元40控制显示术野图像K(x，y)。
通过采用这种显示模式，取消了放大的术野图像L(x，y)的显示，并且由此内窥镜操作员5062可以立即识别内窥镜5001的成像范围已经到达术野图像K(x，y)的端部这一事实。内窥镜操作员5062可以通过调整内窥镜5001的位置来再次生成放大的术野图像L(x，y)，而没有任何渐晕。
注意，当变焦框112a已经到达术野图像K(x，y)的端部时，优选地在变焦处理单元26中预先设置将执行上述处理中的哪一个。
[第三实施例的操作效果]
以这种方式，根据第三实施例，在变焦框112a已经到达术野图像K(x，y)的边缘，或者到达与术野图像K(x，y)的渐晕区域重叠的位置的情况下，变焦处理单元26(放大图像生成单元)生成放大的术野图像L(x，y)，该放大的术野图像L(x，y)在变焦框112a中的边缘以外的区域和与渐晕区域重叠的区域中存储预定像素值。因此，内窥镜操作员5062可以立即识别变焦框112a已经到达术野图像K(x，y)的边缘这一事实。内窥镜操作员5062还可以调整内窥镜5001的位置，以抑制渐晕的发生。
此外，根据第三实施例，在变焦框112a已经到达术野图像K(x，y)的边缘的情况下，变焦处理单元26(放大图像生成单元)生成放大的术野图像L(x，y)，其中，放大的术野图像L(x，y)的边缘与术野图像K(x，y)的边缘对准。因此，可以连续显示放大的术野图像L(x，y)，而没有任何渐晕。
此外，根据第三实施例，在变焦框112a已经到达术野图像K(x，y)的边缘或者到达与术野图像K(x，y)的渐晕区域重叠的位置的情况下，变焦处理单元26(放大图像生成单元)停止放大的术野图像L(x，y)的生成。因此，内窥镜操作员5062可以立即识别内窥镜5001的成像范围已经到达术野图像K(x，y)的边缘这一事实。内窥镜操作员5062还可以调整内窥镜5001的位置，以抑制渐晕的发生。
(第四实施例)
在第一实施例中，假设成像装置42a具有一个成像元件44a，已经描述了医学观察系统10a。然而，成像装置的配置不限于此。
图11是示出医学观察系统10b的示意性配置的示例的示图，其中，成像装置42b包括具有图像平面相位差传感器46的成像元件44b。注意，在图11中省略了对应于图2的图示的一部分。因此，除非另有说明，省略部分具有与图2相同的配置。
图像平面相位差传感器46具有用于距离测量的像素离散地设置在成像元件44b中的配置。通过使用如图11所示配置的医学观察系统10b，地图生成单元15可以从由图像平面相位差传感器46输出的图像平面相位差信息中提取深度信息(距离信息)，即，关于到成像物体100的深度(距离)的信息。这导致了SLAM技术的有效利用。注意，图像平面相位差传感器46可以从单个捕捉图像获得深度信息。
以这种方式，根据第四实施例，可以从一个捕捉的术野图像K(x，y)获得深度信息。这使得即使在物体移动时也可以高精度地测量物体的三维位置。
(第五实施例)
图12是示出医学观察系统10c的示意性配置的示例的示图，其中，成像装置42c包括两个成像元件44c和44d。两个成像元件44c和44d以保持预定相对关系的状态设置，并且捕捉患部的不同位置的图像，以便彼此部分重叠。更具体地，成像元件44c和44d分别获取对应于立体视觉的右眼和左眼的图像信号。注意，在图12中省略了对应于图2的图示的一部分。因此，除非另有说明，省略部分具有与图2相同的配置。
此外，在医学观察系统10c中，除了参考图2描述的配置之外，相机控制单元12b还包括深度信息生成单元30。深度信息生成单元30通过匹配由两个成像元件44c和44d分别捕捉的两个术野图像来生成深度信息。
通过使用如图12所示配置的医学观察系统10c，地图生成单元15可以通过应用SLAM技术，使用由深度信息生成单元30生成的深度信息和由成像元件44c和44d单独捕捉的术野图像来生成三维地图D(X，Y，Z)。此外，由于两个成像元件44c和44d可以同时执行成像，所以可以从通过一次成像获得的两个图像中获得深度信息。因此，即使当物体移动时，也可以高精度地测量物体的三维位置。
以这种方式，根据第五实施例，成像装置42c包括对彼此部分重叠的不同范围成像的两个成像元件44c和44d，并且三维信息生成单元14基于由两个成像元件44c和44d同时捕捉的两个术野图像K(x，y)生成术野的三维信息。因此，可以从通过一次成像获得的两个术野图像K(x，y)获得深度信息，使得即使当术野移动时也可以高精度地测量术野的三维位置。
(第六实施例)
图13是示出医学观察系统10d的示意性配置的示例的示图，其中，成像装置42c包括两个成像元件，并且相机控制单元12c包括跟踪处理单元34。注意，在图13中省略了对应于图2的图示的一部分。因此，除非另有说明，省略部分具有与图2相同的配置。
医学观察系统10d的相机控制单元12c包括深度信息生成单元30、三维信息生成单元32、跟踪处理单元34和变焦区域计算单元36。
提供三维信息生成单元32，代替三维信息生成单元14(图2)，并且基于由深度信息生成单元30生成的深度信息来生成术野图像K(x，y)的三维信息。提供跟踪处理单元34，代替三维地图数据存储单元24(图2)，并且基于紧接着的前一帧的三维信息和当前帧的三维信息，使用叠加两个点云的方法，例如，迭代最近点(ICP)方法，来计算成像装置42c的位置和定向的差异。提供变焦区域计算单元36，代替感兴趣区域估计单元22(图2)，并且基于由跟踪处理单元34计算的成像装置42c的位置/定向的差值来计算画面上的感兴趣区域的坐标。随后，上述变焦处理单元26(图2)对由变焦区域计算单元36计算的区域执行变焦处理，并且生成放大的术野图像L(x，y)。
以这种方式，根据第六实施例，不管成像装置42c的移动如何，都可以稳定地跟踪(跟随)术野图像K(x，y)中的感兴趣区域。
(第七实施例)
图14是示出医学观察系统10e的示意性配置的示例的示图，其中，成像装置42d包括成像元件44a和深度传感器48。注意，在图14中省略了对应于图2的图示的一部分。因此，除非另有说明，省略部分具有与图2相同的配置。
深度传感器48也指3D传感器，测量到对象的距离的。深度传感器48也指飞行时间(ToF)传感器，其接收例如向对象发射的红外光的反射光，从而测量光的飞行时间，以获得到对象的距离。此外，深度传感器48通过使用图案投影方法(结构光投影)来实现，在该方法中，捕捉具有施加到对象的多个不同几何图案的投影光的图像，以便测量到对象的距离。
地图生成单元15基于由成像元件44a捕捉的术野图像K(x，y)和由深度传感器48输出的距离，提取到被捕捉物体100的深度信息(距离信息)。更具体地，地图生成单元15计算由成像元件44a捕捉的术野图像K(x，y)的哪个像素对应于由深度传感器48测量的点。随后，地图生成单元15生成术野的三维地图D(X，Y，Z)(三维信息)。这导致了SLAM技术的有效利用。
以这种方式，根据第七实施例，成像装置42d包括一个成像元件44a和测量到物体的距离的深度传感器48(距离测量装置)，并且三维信息生成单元14基于由成像元件44a捕捉的图像和由深度传感器48测量的距离生成术野的三维地图D(X，Y，Z)(三维信息)。这使得能够容易且可靠地测量到术野的距离。
(第八实施例)
图15是示出医学观察系统10f的示意性配置的示例的示图，其中，成像装置42d包括成像元件44a和深度传感器48，并且相机控制单元12d包括跟踪处理单元34。注意，在图15中省略了对应于图2的图示的一部分。因此，除非另有说明，省略部分具有与图2相同的配置。
医学观察系统10f的相机控制单元12d包括三维信息生成单元32、跟踪处理单元34和变焦区域计算单元36。
提供三维信息生成单元32，代替三维信息生成单元14(图2)，并且执行由深度传感器48从不同位置测量的两条距离信息(例如，存储对应于到对象的距离的像素值的距离图像)的匹配，从而获得术野的移动状态。提供跟踪处理单元34，代替三维地图数据存储单元24(图2)，并且基于上述术野的移动状态来计算成像装置42c的位置/定向的差异。提供变焦区域计算单元36，代替感兴趣区域估计单元22(图2)，并且基于由跟踪处理单元34计算的成像装置42c的位置/定向的差值来计算画面上的感兴趣区域的坐标。随后，上述变焦处理单元26(图2)对由变焦区域计算单元36计算的区域执行变焦处理，并且生成放大的术野图像L(x，y)。
以这种方式，根据第八实施例，不管成像装置42d的移动如何，都可以稳定地跟踪(跟随)术野图像K(x，y)中的感兴趣区域。
(第九实施例)
图16是示出在术野图像K(x，y)中设置多个感兴趣区域框110a和110b的示例的示图。
如图16所示，感兴趣区域设置单元20(图2)可以在术野图像K(x，y)中设置多个感兴趣区域。例如，当需要关注多个患部时，感兴趣区域设置单元20基于来自内窥镜操作员5062的指令设置指示各个感兴趣区域的感兴趣区域框110a和110b。随后，显示控制单元40进行控制，以在显示装置50上单独显示两个放大的术野图像L(x，y)，其中，放大了与感兴趣区域框110a和110b中的每一个相对应的变焦框的区域。
以这种方式，根据第九实施例，在术野中具有多个感兴趣区域的情况下，感兴趣区域设置单元20设置多个感兴趣区域。因此，可以显示放大多个感兴趣区域的放大的术野图像L(x，y)。
(第十实施例)
图17是示出通过术野图像K(x，y)中的高亮显示呈现预定距离范围中的区域的示例的示图。
当设置感兴趣区域时，感兴趣区域设置单元20在术野图像K(x，y)中以预定颜色显示预定距离范围区域，如图17所示。图17示出了以不同颜色显示距离短于距离d1的区域R1和距离长于距离d2的区域R2的示例。注意，这是为了便于感兴趣区域的设置而执行的将到感兴趣区域的距离范围限制到从距离d1到距离d2的范围的处理。
距离d1和距离d2的值可以优选地设置，如图17所示，使用感兴趣区域设置单元20控制显示术野图像K(x，y)附近的距离标度并且内窥镜操作员5062操纵输入装置(例如，鼠标或触摸板)的方法。根据距离d1和距离d2的设置值，感兴趣区域设置单元20在术野图像K(x，y)上执行区域R1和区域R2的实时着色显示。此时，操纵员用输入装置指向距离标度上要设置的距离的位置，以便设置距离d1或距离d2。操纵员接着将输入装置向距离标度上更远的方向或更近的方向拖动，同时用输入装置执行指向。通过检测该拖动操作，感兴趣区域设置单元20在距离标度上显示在拖动的距离范围中附加的颜色，如图17所示。利用这种图形用户界面(GUI)，操作员可以容易地识别术野图像K(x，y)中与自己设置的距离范围相对应的区域。注意，在距离标度上显示设定距离范围的方法不限于图17所示的方法，并且可以使用其他显示模式，只要清楚地指示设定距离范围。
显示控制单元40进行控制，以在显示装置50上显示术野图像K(x，y)，其中，以单独的颜色显示R1区域和R2区域。内窥镜操作员5062在观察术野图像K(x，y)的同时，按照上述过程(参考图4)设置感兴趣区域，其中，区域R1和区域R2以单独的颜色显示。
以这种方式，根据第十实施例，感兴趣区域设置单元20(设置单元)还包括指定包含感兴趣区域的距离范围的功能，并且在指定的距离范围内设置感兴趣区域。因此，内窥镜操作员5062可以更容易地设置感兴趣区域。
(第十一实施例)
图18是示出在术野图像K(x，y)中设置的感兴趣区域框110c至110g的显示模式的示例的示图。
感兴趣区域框的显示模式不限于图4所示的矩形框。图18的A是感兴趣区域框110c显示在圆形区域中的示例。图18的B是感兴趣区域框110d被示为彩色(高亮)闭合区域的示例。图18的C是感兴趣区域框110e被示为符号的示例。图18的D是感兴趣区域框110f被示为闭合曲线的示例。图18的E是感兴趣区域框110g和与感兴趣区域框110g的设定位置具有相同距离的区域都用颜色显示的示例。具体地，根据图18的E的显示模式，内窥镜操作员5062可以识别出其他区域存在于与感兴趣区域相同的距离位置。这使得能够更仔细地抓握内窥镜5001，从而避免在内窥镜5001错误地朝向另一区域方向的情况下中断对感兴趣区域的跟踪。
注意，内窥镜操作员5062仅需要在感兴趣区域设置单元20中预先设置将以哪种模式显示感兴趣区域框。设置感兴趣区域框110c至110g的方法优选地按照参考图4或5描述的方法来设置。在感兴趣区域框被设置为具有任意形状的闭合区域的情况下，具体地，如图18的B、18的D和18的E所示，在显示装置50上显示的术野图像K(x，y)上直接设置感兴趣区域框的位置和形状是有效的，如图5所示。
以这种方式，根据第十一实施例，可以在设置的感兴趣区域中显示对于操纵员具有高可视性的模式的感兴趣区域框110c至110g。
(第十二实施例)
图19是示出用于设置变焦框112的方法的示例的示图。
在开始使用医学观察系统10a时，内窥镜操作员5062可以设置用于放大术野图像K(x，y)的放大率。放大率的设置可以通过例如以下方法来执行，其中，图2中的变焦处理单元26使得显示控制单元40在显示装置50上显示要叠加在术野图像K(x，y)上的多个可选变焦框112(112c至112f)，以允许操纵员指定一个变焦框。图19示出了指定指示1.5倍放大率的变焦框112e的示例。例如，可以通过操作设置在内窥镜5001附近的输入装置(例如，手动开关)来选择变焦框112。
此外，变焦处理单元26可以以适合于到感兴趣区域的距离的放大率生成放大的术野图像L(x，y)。即，变焦处理单元26例如基于由三维信息生成单元14生成并存储在三维地图数据存储单元24中的三维地图D(X，Y，Z)来计算到感兴趣区域的距离。随后，根据计算出的到感兴趣区域的距离来确定用于生成放大的术野图像L(x，y)的放大率。此外，成像装置42a可以包括自动聚焦(AF)功能，并且可以通过成像装置42a聚焦在由感兴趣区域估计单元22估计的感兴趣区域的位置上来计算到感兴趣区域的距离。例如，当到感兴趣区域的距离长时，可以将放大率设置为高放大率，并且当到感兴趣区域的距离短时，可以将放大率设置为低放大率。
以这种方式，根据第十二实施例，内窥镜操作员5062可以通过从在显示装置50上显示的多个变焦框112c至112f中选择一个变焦框来容易地设置放大率。
此外，根据第十二实施例，变焦处理单元26(放大图像生成单元)以适合于到感兴趣区域的距离的放大率生成放大的术野图像L(x，y)。因此，即使当内窥镜5001相对于患部沿前后方向移动时，也可以以恒定的尺寸持续观察患部。
(第十三实施例)
图20是示出当应用医学观察系统10a时显示变焦框112的方法的示例的示图。
变焦处理单元26可以使显示控制单元40显示要叠加在显示装置50上显示的术野图像K(x，y)上的变焦框112。
图20的A是在被显示为叠加在放大的术野图像L(x，y)的一部分上的术野图像K(x，y)内显示变焦框112的示例。
图20的B是在与放大的术野图像L(x，y)相邻显示的术野图像K(x，y)内显示变焦框112的示例。
图20的C是在显示装置50a上显示的术野图像K(x，y)内显示变焦框112的示例，该显示装置50a不同于显示放大的术野图像L(x，y)的显示装置50b。
以这种方式，根据第十三实施例，内窥镜操作员5062可以容易地确认变焦框112的位置。这使得内窥镜操作员5062能够预测变焦框112到达画面边缘，使得能够防止当放大的术野图像L(x，y)的显示范围超过术野图像K(x，y)的边缘时发生的渐晕的发生。
(第十四实施例)
在第一实施例中描述的医学观察系统10a中，为了提高在显示装置50上显示的术野图像K(x，y)和放大的术野图像L(x，y)的可视性，允许对这些图像执行相机抖动校正处理和曝光量调整。例如，由图2的变焦处理单元26执行相机抖动校正处理，并且由图2的显影处理单元18执行曝光量调整。
更具体地，变焦处理单元26对于术野图像K(x，y)和放大的术野图像L(x，y)，计算在多个捕捉图像上出现在图像中的物体的移动量和移动方向。根据所计算的移动量和移动方向，以电子方式移动所捕捉的图像，从而生成已经校正了相机抖动的图像。放大的术野图像L(x，y)是比术野图像K(x，y)窄的区域的观察图像，因此，具有由相机抖动引起的更大的图像模糊量。因此，希望由变焦处理单元26对放大的术野图像L(x，y)执行的相机抖动校正与针对术野图像K(x，y)的相机抖动校正相比将具有更高的相机抖动校正效果。
此外，显影处理单元18可以分别为术野图像K(x，y)和放大的术野图像L(x，y)设置数字增益和伽马曲线，从而单独调整曝光量。
以这种方式，根据第十四实施例，变焦处理单元26(放大图像生成单元)对术野图像K(x，y)和放大的术野图像L(x，y)执行相机抖动校正。因此，即使在由内窥镜5001捕捉的术野图像K(x，y)中出现相机抖动的情况下，也可以获得由于相机抖动校正而具有高可见度的术野图像K(x，y)和放大的术野图像L(x，y)。
(第十五实施例)
图21是示出根据本公开的技术适用的显微手术系统5300的示意性配置的示例的示图。参考图21，显微手术系统5300包括显微镜装置5301、控制装置5317和显示装置50。在显微手术系统5300的以下描述中，“用户”是指外科医生、操作员、助理或使用显微手术系统5300的任何其他医务人员。
显微镜装置5301包括用于对观察目标(患者的手术部位)进行放大观察的显微镜单元5303、在其远端支撑显微镜单元5303的臂单元5309、以及支撑臂单元5309的近端的基座单元5315。
显微镜单元5303包括具有大致柱状形状的管状部分5305以及设置在管状部分5305内部的成像单元(未示出)。显微镜单元5303是使用成像单元电子捕捉图像的电子成像显微镜单元(也称为视频显微镜单元)。成像单元是本公开中的成像装置的示例。
在管状部分5305下端的孔表面上，设置盖玻片，来保护内部的成像单元。来自观察目标的光(在下文中，也称为观察光)穿过盖玻片并入射到管状部分5305内部的成像单元上。注意，作为发光二极管(LED)的光源可以设置在管状部分5305内部，并且在成像时，光可以从光源通过盖玻片施加到观察目标。
成像单元包括：收集观察光的光学系统；以及接收由光学系统收集的观察光的成像元件。该光学系统包括诸如变焦透镜和聚焦透镜等多个透镜的组合，并且调整其光学特性，使得观察光被聚焦在成像元件的光接收表面上。成像元件接收观察光，并对接收的光进行光电转换，以生成对应于观察光的信号，即，对应于观察图像的图像信号。可应用的成像元件的示例是具有拜耳阵列的能够彩色成像的装置。成像元件可以是各种已知的成像元件，例如，CMOS图像传感器或CCD图像传感器。由成像元件产生的图像信号作为RAW数据传输到控制装置5317。在此处，可以优选地通过光学通信来执行该图像信号的传输。这是因为，在手术部位，外科医生在使用捕捉的图像观察患部的状况的同时进行手术，因此为了更安全和更可靠的手术，需要尽可能实时地显示术野的运动图像。通过光学通信传输图像信号，可以以低延迟显示捕捉的图像。
成像单元可以包括沿着光轴移动光学系统的变焦透镜和聚焦透镜的驱动机构。通过驱动机构适当地移动变焦透镜和聚焦透镜，可以在成像时调整捕捉图像的放大率和焦距。此外，成像单元可以配备有通常可以在电子成像显微镜单元中提供的各种功能，例如，自动曝光(AE)功能和AF功能。
此外，成像单元可以被配置为具有一个成像元件的单板成像单元，或者可以被配置为具有多个成像元件的多板成像单元。例如，当成像单元包括多个板时，每个成像元件可以生成对应于RGB的一种颜色的图像信号，并且可以通过组合这些单独的彩色图像信号来获得彩色图像。或者，成像单元可以包括一对成像元件，用于分别获取对应于立体视觉(3D显示)的右眼和左眼的图像信号。3D显示使外科医生能够在术野中更准确地掌握活组织的深度。当成像单元包括多个板时，可以对应于每个成像元件提供多个光学系统。
臂单元5309具有多个连杆(第一连杆5313a至第六连杆5313f)经由多个关节(第一关节5311a至第六关节5311f)可旋转地彼此耦合的配置。
第一关节5311a具有大致柱状的形状，并且在其远端(下端)围绕平行于管状部分5305的中心轴线的旋转轴(第一轴线O
第一连杆5313a在远端固定地支撑第一关节5311a。具体地，第一连杆5313a是具有大致L形的杆状构件。第一连杆5313a具有在垂直于第一轴线O
第二关节5311b具有大致柱状的形状，并且在其远端围绕与第一轴线O
第二连杆5313b是具有大致L形的杆状构件。第二连杆5313b具有在垂直于第二轴O
第三关节5311c具有大致柱状的形状，并且在其远端围绕与第一轴O
第三连杆5313c被配置为使得其远端侧具有大致柱状形状，并且第三关节5311c的近端固定地连接到柱状形状的远端，从而具有大致相同的中心轴。第三连杆5313c的近端侧具有棱柱形状，其端部连接到第四关节5311d。
第四关节5311d具有大致柱状的形状，并且在其远端围绕与第三轴O
第四连杆5313d是大致线性延伸的杆状构件。第四连杆5313d延伸成与第四轴O
第五关节5311e具有大致柱状的形状，并且在其远端围绕平行于第四轴O
第五连杆5313e具有包括第一构件和杆状第二构件的组合的配置，所述第一构件具有大致L形并且具有沿垂直方向延伸的一侧和沿水平方向延伸的另一侧，所述杆状第二构件从沿水平方向延伸的第一构件的一部分竖直向下延伸。第五关节5311e的近端固定连接到在第五连杆5313e的第一构件的垂直方向上延伸的部分的上端附近。第六关节5311f连接到第五连杆5313e的第二构件的近端(下端)。
第六关节5311f具有大致柱状的形状，并且在其远端围绕平行于竖直方向的旋转轴(第六轴O
第六连杆5313f是沿垂直方向延伸的杆状构件，其近端固定连接到基座单元5315的上表面。
适当地设置第一关节5311a至第六关节5311f的可旋转范围，以使得显微镜单元5303能够进行期望的移动。利用这种设置，具有上述配置的臂单元5309可以实现关于显微镜单元5303的运动的六个自由度的运动，即三个平移自由度和三个旋转自由度。以这种方式，利用实现关于显微镜单元5303的移动的六个自由度的臂单元5309的配置，可以在臂单元5309的可移动范围内自由地控制显微镜单元5303的位置和方向。这使得可以从任何角度观察术野，使得手术的执行更加顺利。
图中所示的臂单元5309的配置仅是示例，并且可以适当地设计构成臂单元5309的连杆的数量和形状(长度)、关节的数量、设置位置、旋转轴的方向等，从而可以实现期望的自由度。例如，如上所述，为了自由移动显微镜单元5303，臂单元5309优选地被配置为具有六个自由度。然而，臂单元5309可以被配置为具有更多自由度(即，冗余自由度)。在冗余自由度存在的情况下，在臂单元5309中，可以在显微镜单元5303的位置和方向固定的同时改变臂单元5309的方向。这使得外科医生可以实现更方便的控制，包括控制臂单元5309的方向，以防止臂单元5309干扰外科医生观察显示装置50的视野。
在此处，第一关节5311a至第六关节5311f可以包括配备有驱动机构(例如，马达)的致动器以及检测每个关节处的旋转角度的编码器等。通过控制装置5317对设置在第一关节5311a至第六关节5311f中的各个致动器的驱动的适当控制，可以控制臂单元5309的方向，即显微镜单元5303的位置和方向。具体地，控制装置5317可以基于关于由编码器检测的每个关节的旋转角度的信息来掌握臂单元5309的当前方向和显微镜单元5303的当前位置和方向。使用所掌握的信息，控制装置5317计算每个关节的控制值(例如，旋转角度或产生的扭矩)，使得显微镜单元5303实现期望的移动，并基于控制值驱动每个关节的驱动机构。此时，通过控制装置5317控制臂单元5309的方法不受限制，并且可以应用各种已知的控制方法，例如，力控制或位置控制。
例如，还允许具有这样的配置，其中，外科医生通过输入装置(未示出)适当地执行操作输入，并且控制装置5317基于操作输入适当地控制臂单元5309的驱动，从而控制显微镜单元5303的位置和方向。通过这种控制，可以将显微镜单元5303从一个特定位置移动到另一特定位置，然后在移动之后将该单元固定地支撑在新位置。考虑到外科医生的便利性，优选使用输入装置，例如，脚踏开关，即使当外科医生用手握住手术工具时，也可以操作该输入装置。此外，可以使用手术室中提供的可佩戴装置或相机，基于手势检测或视线检测，在非接触操作中执行操作输入。结果，即使位于清洁区域的用户也能够以更高的自由度操作位于不清洁区域的装置。或者，可以通过主从方法操作臂单元5309。在这种情况下，臂单元5309可以由用户经由安装在远离手术室的位置的输入装置远程控制。
此外，在施加力控制的情况下，还允许使用动力辅助控制，其中，驱动第一关节5311a至第六关节5311f的致动器，以响应于从用户接收的外力实现臂单元5309的平滑移动。通过这种控制，当用户抓住显微镜单元5303并试图直接移动其位置时，显微镜单元5303可以用相对较轻的力移动。这使得能够以更简单的操作更直观地移动显微镜单元5303，提高了用户便利性。
此外，可以控制臂单元5309的驱动，以便执行枢转操作。在此处，枢转操作是移动显微镜单元5303使得显微镜单元5303的光轴持续面向空间中的预定点(以下称为枢转点)的操作。通过枢轴操作，可以从不同方向观察相同的观察位置，从而能够更详细地观察患部。在显微镜单元5303中禁止焦距调整的情况下，优选地在显微镜单元5303和枢转点之间具有固定距离的情况下执行枢转操作。在这种情况下，显微镜单元5303和枢轴点之间的距离只需要调整到显微镜单元5303的固定焦距。利用这种配置，显微镜单元5303将在半径对应于以枢轴点为中心的焦距的半球(在图21中示意性地示出)上移动，即使当观察方向改变时，也能够获得清晰的图像。相反，在显微镜单元5303中启用焦距调整的情况下，允许在显微镜单元5303和枢转点之间具有可变距离的情况下执行枢转操作。在这种情况下，例如，允许具有这样的配置，其中，控制装置5317基于由编码器检测的关于各个关节的旋转角度的信息来计算显微镜单元5303和枢轴点之间的距离，并且基于计算结果来自动调整显微镜单元5303的焦距。或者，在显微镜单元5303包括AF功能的情况下，每当显微镜单元5303和枢轴点之间的距离由于枢轴操作而改变时，焦距可以由AF功能自动调整。
通过控制显微镜装置5301和显示装置50的操作，控制装置5317全面控制显微手术系统5300的操作。例如，通过以预定的控制方法控制操作第一关节5311a至第六关节5311f的致动器，控制装置5317控制臂单元5309的驱动。此外，例如，通过控制第一关节5311a至第六关节5311f的制动器的操作，控制装置5317改变臂单元5309的操作模式。此外，控制装置5317具有第一实施例中描述的相机控制单元12a的功能。另外，从由显微镜单元5303的成像单元捕捉的术野图像K(x，y)中，控制装置5317生成放大感兴趣区域的放大术野图像L(x，y)，并控制在显示装置50上显示生成的图像。控制装置5317可以对由显微镜装置5301中的显微镜单元5303的成像单元获取的术野图像K(x，y)执行各种已知的信号处理过程，例如，显影处理(去马赛克处理)和图像质量改善处理(带增强处理、超分辨率处理、降噪(NR)处理和/或相机抖动校正处理)。
控制装置5317和显微镜单元5303之间的通信以及控制装置5317和第一关节5311a至第六关节5311f之间的通信可以是有线通信或无线通信。在有线通信的情况下，通信可以是电信号通信或光通信。在这种情况下，根据通信方法，用于有线通信的传输电缆可以被配置为电信号电缆、光纤或其复合电缆。相反，在无线通信的情况下，不需要在手术室中安装传输电缆，使得可以抑制传输电缆妨碍手术室中医务人员的移动的情况。
控制装置5317可以是处理器，例如，中央处理单元(CPU)或图形处理单元(GPU)，或者是包括处理器和存储元件(例如，存储器)的微型计算机或控制板。可以通过控制装置5317的处理器基于预定程序的操作来实现上述各种功能。在图示的示例中，提供控制装置5317，作为与显微镜装置5301分离的装置。然而，控制装置5317可以安装在显微镜装置5301的基座单元5315内部，以便与显微镜装置5301集成。或者，控制装置5317可以由多个装置组成。例如，还允许具有这样的配置，其中，微型计算机和控制板单独设置在显微镜单元5303和臂单元5309的第一关节5311a至第六关节5311f中，彼此具有可通信的连接，从而实现类似于控制装置5317的功能。
显示装置50设置在手术室中，并在控制装置5317的控制下显示与控制装置5317生成的图像数据对应的图像。即，在由显微镜单元5303捕捉的术野图像K(x，y)和放大的术野图像L(x，y)中，在显示装置50上至少显示放大的术野图像L(x，y)。注意，代替术野图像K(x，y)或者与术野图像K(x，y)一起，显示装置50可以显示各种类型的手术信息，例如，患者的身体信息和关于手术过程的信息。在这种情况下，显示装置50的显示可以通过用户的操作来适当地切换。或者，显示装置50可以被设置为多个，并且多个显示装置50中的每一个可以显示术野图像K(x，y)、放大的术野图像L(x，y)以及与手术相关的各种类型的信息。显示装置50可以被设置为各种已知的显示装置，例如，液晶显示装置或EL显示装置。
图22是示出使用图21所示的显微手术系统5300的手术场景的示图。图22示意性地示出了外科医生5061在使用显微手术系统5300对病床5069上的患者5071进行手术期间的场景。为了简单起见，图22省略了显微手术系统5300的配置中的控制装置5317的图示，并且简化了包括显微镜单元5303的显微镜装置5301的图示(图21)。
如图22所示，在手术时，在安装在手术室的壁表面上的显示装置50上，将使用显微手术系统5300显示由显微镜装置5301捕捉的术野图像L(x，y)和放大术野图像L(x，y)中的至少放大术野图像L(x，y)，作为放大图像。显示装置50安装在面向外科医生5061的位置。外科医生5061执行各种类型的程序，例如，切除患部等，同时通过观察投影在显示装置50上的图像来观察手术部位的状态。
图23是示出在显微手术系统5300中提供的画面的中心部分中保持变焦框112的控制状态的示例的示图。
控制装置5317持续监视变焦框112在术野图像K(x，y)中的位置。具体地，控制装置5317持续监视变焦框112是否延伸到设置在术野图像K(x，y)的基本中心部分的控制确定框114之外。
当检测到变焦框112延伸到控制确定框114之外时，控制装置5317控制第一关节5311a至第六关节5311f的角度，使得变焦框112停留在控制确定框114内部，从而控制显微镜单元5303的位置和方向。
在图23的示例中，变焦框112在控制确定框114的右侧向外延伸。在这种情况下，控制装置5317控制显微镜单元5303的位置和方向，使得变焦框112停留在控制确定框114内部。即，在图23的示例中，控制装置5317向右移动显微镜单元5303的位置和方向，从而将变焦框112保持在控制确定框114内。在变焦框112沿除右侧之外的方向延伸到控制确定框114外部的情况下，控制装置5317控制显微镜单元5303的位置和方向，使得变焦框112以类似的方式停留在控制确定框114内部。
以这种方式，根据第十五实施例，控制装置5317控制显微镜单元5303的位置和方向，使得变焦框112停留在控制确定框114内部。因此，当外科医生5061单独进行手术时，外科医生5061不需要握住显微镜单元5303，并且可以专注于手术。例如，第十五实施例中描述的显微镜单元5303的位置和方向的控制也适用于第一实施例中描述的医学观察系统10a。即，在医学观察系统10a中，可以控制内窥镜5001的位置和方向，使得变焦框112持续停留在显示装置50的预定位置。
此外，根据第十五实施例，成像单元安装在显微镜单元5303上。因此，当使用显微镜等进行手术时，外科医生5061可以稳定地观察处于放大状态的患部。
上面已经描述了可以应用根据本公开的技术的显微手术系统5300的示例。虽然显微手术系统5300在此处已经作为示例进行了描述，但是根据本公开的技术可以应用到的系统不限于这样的示例。例如，代替显微镜单元5303，显微镜装置5301还可以用作在其远端支撑其他观察装置或其他手术工具的支撑臂装置。其他适用的观察装置的一个示例是内窥镜。此外，其他可应用的外科手术工具的示例包括镊子、钳子、用于吹入的吹入管、或用于组织切割或使用消融的血管闭合的能量治疗工具等。通过用支撑臂装置支撑这些观察装置和手术工具，与医务人员手动抓住它们的情况相比，可以更稳定地固定装置或工具的位置，并减轻医务人员的负担。根据本公开的技术可以应用于支撑除显微镜单元之外的配置的这种支撑臂装置。
本说明书中描述的效果仅仅是示例，因此，可能存在其他效果，不限于示例的效果。
此外，本公开的实施例不限于上述实施例，并且可以在不脱离本公开的范围和精神的情况下进行各种修改。
本公开可以具有以下配置。
(1)一种医学观察系统，包括：
成像装置，对术野进行成像并获得术野图像；
三维信息生成单元，从所述成像装置捕捉的所述术野图像生成所述术野的三维信息；
设置单元，基于由所述成像装置在预定时间捕捉的至少一个所述术野图像来设置至少一个感兴趣区域；
估计单元，基于所述三维信息和由所述设置单元设置的所述感兴趣区域的位置，从在不同于所述预定时间的时间捕捉的术野图像中估计所述感兴趣区域的存在位置；
放大图像生成单元，生成放大的术野图像，在所述放大的术野图像中，以预定放大率放大所估计的感兴趣区域；以及
显示控制单元，至少输出所述放大的术野图像。
(2)根据(1)所述的医学观察系统，
其中，所述显示控制单元进行控制，以显示所述术野图像和所述放大的术野图像。
(3)根据(2)所述的医学观察系统，
其中，所述显示控制单元进行控制，以在一个显示装置上彼此相邻地显示所述术野图像和所述放大的术野图像。
(4)根据(2)所述的医学观察系统，
其中，所述显示控制单元进行控制，以在一个显示装置上在所述放大的术野图像的一部分上叠加地显示所述术野图像。
(5)根据(2)所述的医学观察系统，
其中，所述显示控制单元进行控制，以在两个显示装置上单独地显示所述术野图像和所述放大的术野图像。
(6)根据(1)至(5)中任一项所述的医学观察系统，
其中，在由所述显示控制单元显示的所述术野图像的特定位置与预定位置对准的状态下，并且在已经发生指示所述感兴趣区域的设置的设置信号的条件下，所述设置单元将所述特定位置指定为感兴趣区域。
(7)根据(1)至(5)中任一项所述的医学观察系统，
其中，所述设置单元在由所述显示控制单元显示的所述术野图像中由输入装置指示的位置处设置感兴趣区域。
(8)根据(1)至(7)中任一项所述的医学观察系统，
其中，在所述感兴趣区域已经到达所述术野图像的边缘或者与所述术野图像的渐晕区域重叠的情况下，
所述放大图像生成单元生成放大的术野图像，所述放大的术野图像在所述感兴趣区域中超出所述边缘的区域和与所述渐晕区域重叠的区域中存储预定像素值。
(9)根据(1)至(7)中任一项所述的医学观察系统，
其中，在所述感兴趣区域已经到达所述术野图像的边缘的情况下，
所述放大图像生成单元生成放大的术野图像，在所述放大的术野图像中，所述放大的术野图像的边缘与所述术野图像的边缘对准。(10)根据(1)至(7)中任一项所述的医学观察系统，
其中，在所述感兴趣区域已经到达所述术野图像的边缘或者与所述术野图像的渐晕区域重叠的情况下，
所述放大图像生成单元停止生成放大的术野图像。
(11)根据(1)至(10)中任一项所述的医学观察系统，
其中，所述成像装置包括一个成像元件，并且
所述三维信息生成单元基于由所述成像装置在不同时间捕捉的至少两个术野图像来生成术野的三维信息。
(12)根据(1)至(10)中任一项所述的医学观察系统，
其中，所述成像装置包括对彼此部分重叠的不同范围成像的两个成像元件，并且
所述三维信息生成单元基于由所述成像元件在相同时间捕捉的两个术野图像来生成术野的三维信息。
(13)根据(1)至(10)中任一项所述的医学观察系统，
其中，所述成像装置包括一个成像元件和测量到对象的距离的距离测量装置，并且
所述三维信息生成单元基于由所述成像元件捕捉的术野图像和由所述距离测量装置测量的距离来生成术野的三维信息。
(14)根据(1)至(13)中任一项所述的医学观察系统，
其中，所述设置单元还包括指定存在所述感兴趣区域的距离范围的功能，并且在指定的所述距离范围内设置所述感兴趣区域。
(15)根据(1)至(14)中任一项所述的医学观察系统，
其中，所述放大图像生成单元以对应于到所述感兴趣区域的距离的放大率生成所述放大的术野图像。
(16)根据(1)至(15)中任一项所述的医学观察系统
其中，所述放大图像生成单元对所述术野图像和所述放大的术野图像执行相机抖动校正。
(17)根据(1)至(16)中任一项所述的医学观察系统，
其中，所述成像装置安装在内窥镜上。
(18)根据(1)至(16)中任一项所述的医学观察系统，
其中，所述成像装置安装在显微镜上。
(19)一种医学观察装置，包括：
三维信息生成单元，从通过对术野进行成像所获得的术野图像生成所述术野的三维信息；
设置单元，基于在预定时间捕捉的至少一个所述术野图像来设置至少一个感兴趣区域；
估计单元，基于所述三维信息和由所述设置单元设置的所述感兴趣区域的位置，从在不同于所述预定时间的时间捕捉的术野图像中估计所述感兴趣区域的存在位置；
放大图像生成单元，生成放大的术野图像，在所述放大的术野图像中，以预定放大率放大所估计的感兴趣区域；以及
显示控制单元，至少输出所述放大的术野图像。
(20)一种医学观察方法，包括：
从通过对术野成像获得的术野图像生成所述术野的三维信息的步骤；
基于在预定时间捕捉的至少一个术野图像设置至少一个感兴趣区域的步骤；
基于所述三维信息和所述感兴趣区域的位置，从在不同于所述预定时间的时间捕捉的术野图像中估计所述感兴趣区域的存在位置的步骤；
生成放大的术野图像的步骤，在所述放大的术野图像中，以预定的放大率放大所估计的感兴趣区域；以及
至少输出所述放大的术野图像的步骤。
附图标记列表
10a、10b、10c、10d、10e、10f医学观察系统
12a、12b、12c相机控制单元(医学观察装置)
14三维信息生成单元
15地图生成单元
16自身位置估计单元
18显影处理单元
20感兴趣区域设置单元(设置单元)
22感兴趣区域估计单元(估计单元)
24三维地图数据存储单元
26变焦处理单元(放大图像生成单元)
40显示控制单元
42a、42b、42c、42d成像装置
44a、44b、44c、44d成像元件
46图像平面相位差传感器
48深度传感器(距离测量装置)
50、50a、50b显示装置
52a第一显示区域
52b第二显示区域
110感兴趣区域框
112、112a、112b变焦框
5001内窥镜
5061外科医生
5062内窥镜操作员
5063助理
5300显微手术系统
5303显微镜单元
5317控制装置
D(X、Y、Z)三维地图(三维信息)
K(x、y)、K(x、y、t)术野图像
L(x、y)放大的术野图像。
机译： 医学观察系统，医学观察装置，医学观察装置的驱动方法
机译： 医学观察系统，医学观察装置以及医学观察装置驱动方法
机译： 医学观察系统，医学观察装置以及医学观察装置驱动方法
