从三维超声心动图数据对平面的自动探测

摘要

本发明涉及从三维超声心动图数据对平面的自动探测。从三维超声心动图数据中探测(36)标准视图的平面位置。所述平面在所述容积中的位置通过平移、定向(旋转)、和/或定标来确定。可能的位置被探测(36)，并且其他的可能位置被排除。按顺序地通过平移(26)、然后定向(28)、并然后定标(30)来进行可能位置的分类。该连续过程可以限制为识别期望视图的平面位置所需的计算。

说明书

相关申请

本专利文件要求于2007年9月18日申请的临时美国专利申请序列号60/937,217以及于2007年9月25日申请的60/974,935的在35 U.S.C.§119(e)下的申请日的权益，其通过引用结合于此。

技术领域

本发明的实施例涉及医学诊断超声波成像。尤其是从代表容积的超声心动图数据(echocardiographic data)中提取期望平面的视图。

背景技术

三维(3D)超声波成像系统被用于3D超声心动图显像。3D超声心动图显像允许估计形态学和病理学。研究已表明，关于心脏的病理生理学，3D分析比常规的二维(2D)视图分析提供更精确的信息，并尤其有利于容积和射血分数(EF(ejection fraction))计算。但是，3D容积数据的解释和定量分析比常规的二维(2D)超声心动图显像更复杂并且更耗时。在3D容积数据中解剖学结构的探测可以实现更好的分析，但可能由于复杂性而较少用于诊断。

标准视图被用于可视化心脏结构，并且是许多超声心动图检查的起点。比如，在心尖四腔(A4C)观(apical four chamber view)中有总共四个腔，也即左和右心室以及左和右心房。在心尖四腔(A3C)观中有左心室、左心房和主动脉。在3D容积中，这些视图可以作为多平面重格式化/重建(MPR)平面来进行重建。在3D容积中找到标准2D平面可以增强用户间的一致性，并且可以用于调节用于更好图像质量的获取参数。

尽管3D超声波心动图容积比2D超声心动图图像提供了更丰富的关于心脏的信息，但是心脏在每个容积内可能以不同的定向位于不同的位置。对于用户来说通过3D容积来搜索目标结构是耗时的。在常规临床实践中使用3D超声心动图显像来定量分析心脏功能的主要障碍是缺少使分析自动化所需的精确而稳健的探测方法。除了超声波操作员的能力之外，其他因素，包括换能器选择、仪器设置、患者舒适性和定位、扫描的配置、以及患者的呼吸方式可能影响用于分析的超声波图像或数据的质量。这导致大的外观变化和不一致的图像质量，这使自动探测任务更加困难。

发明内容

通过介绍，在下文所述的优选实施例包括用于从三维超声心动图数据中探测平面的方法、计算机可读介质和系统。平面在容积中的位置通过平移、定向(旋转)、和/或定标(scale)来确定。期望视图的可能位置被探测，并且其他的可能位置被排除。顺序地通过平移、然后旋转、以及然后定标来对可能位置进行分类。顺序的过程可以把所需的计算限制为对期望视图的平面位置进行识别.为了进行分类，由代表容积中的平面的数据来计算特征.这些平面的或其他的特征由机器学习的分类器使用来探测一个或多个期望视图的位置。

在第一方面中，提供了用于从三维超声心动图数据中探测平面的方法。一系列机器训练的分类器被应用于三维超声心动图数据.分类器中的第一个用于在由三维超声心动图数据所代表的容积中来平移所述平面。分类器中的第二个用于在所述容积中旋转所述平面.分类器中的第三个用于在所述容积中来定标所述平面。根据所述第一、第二和第三分类器的输出来探测所述平面的位置。根据所述平面的位置来生成图像。

在第二方面中，计算机可读存储介质在其中已经存储了数据，所述数据代表可由所编程的处理器执行的指令，用于在由三维超声心动图数据所代表的容积中探测标准视图平面。所述存储介质包含用于为所述容积中多个可能平面位置的每一个来计算特征的指令，其中所述特征中的至少一个仅仅从代表所述容积中可能平面位置的数据中来计算，利用相应的分类器根据所述特征来探测标准视图平面，并从标准视图平面的数据来生成图像。

在第三方面中，提供了用于探测心脏容积的多平面重建的标准平面的平面位置的系统。存储器可操作用以存储代表心脏容积的超声波数据。处理器可操作用以为多个平移的平面位置中的每一个来计算第一平面特征，利用平移分类器并根据第一平面特征来排除对应于平移的平面位置的假定，剩下第一剩余假定，为与第一剩余假定有关的多个旋转的平面位置中的每一个来计算第二平面特征，利用定位分类器并根据所述第二平面特征来排除对应于旋转的平面位置的假定，剩下第二剩余假定，为与第二剩余假定有关的多个定标的平面中的每一个来计算第三平面特征，利用定标分类器并根据所述第三平面特征来排除对应于定标的平面的假定，剩下至少一个第三剩余假定，并根据所述至少一个第三剩余假定来确定标准平面之一的平面位置。显示器可操作用于根据平面位置来显示标准平面之一的图像。

本发明通过后面的权利要求来限定，并且在本部分中没有什么应被看作是对权利要求的限制。本发明的其他方面和优点在下文中结合优选实施例来进行讨论，并且在后面可以单独地或组合地来要求。

附图说明

部件和图形不必是按比例的，而重点是示出本发明的原理。而且在附图中，相同的参照数字在不同的视图中表示相应的部分。

图1示出了医学超声波成像系统的一个实施例的框图；

图2示出了用于从三维超声心动图数据中探测平面的方法的实施例的流程图；

图3示出了在一个实施例中容积区域、目标、以及多平面重建的相关平面的图形表示；

图4示出了标准超声心动图视图的示例医学图像，并示出了视图的相对平面位置。

具体实施方式

自动监督学习方法从3D超声心动图容积中探测标准的或其他的多平面重格式化平面(MPR(multiplanar reformatted plane))，以便实现快速、精确、和一致的MPR探测。比如，计算机探测六个主要的或标准的MPR平面：A4C-心尖四腔平面；A2C-心尖两腔平面；A3C-心尖三腔平面；SAXB-短轴基底平面；SAXM-短轴中间平面；以及SAXA-短轴顶点平面。自动探测可以允许自动化临床工作流，并便于后续处理任务，比如心内膜壁运动分析。

图1示出了用于探测期望视图的平面位置的医学诊断成像系统10。平面探测可以从超声波容积数据中提供多平面重建。所述系统10是医学诊断超声波成像系统，但也可以是计算机、工作站、数据库、服务器、或其他系统。

所述系统10包括处理器12、存储器14、显示器16、以及换能器(transducer)18。可以提供附加的、不同的、或较少的部件。比如，所述系统10包括发射波束成形器、接收波束成形器、B模式探测器、多普勒探测器、谐波响应探测器、造影剂探测器、扫描转换器、过滤器、其组合、或其他现在已知的或今后开发的医学诊断超声波系统部件。作为另一例子，比如在所述系统10是用于在容积中离线地或事后探测一个或多个期望2D视图的工作站的情况下，不提供转换器18。

换能器18是压电或电容装置，其可操作用以在声能和电能之间进行转换.换能器18是元件阵列，比如多维或二维阵列。可替代地，换能器18是用于在一维中机械扫描并在另一维中电气扫描的摇摆器.

系统10使用换能器18来扫描容积。电气的和/或机械的操纵装置允许沿着容积中不同的扫描线来发射和接收。可以使用任何的扫描图样。在一个实施例中，发射波束宽得足以沿多个扫描线来接收。在另一实施例中，提供了平面的、准直的或发散的发射波形，用以沿多个、大量、或所有扫描线来接收.

响应于扫描而提供代表容积的超声波数据。超声波数据被波束成形、探测、和/或扫描转换。超声波数据可以以任何格式，比如极坐标、笛卡尔坐标、三维网格、利用极坐标在平面之间隔开的卡迪尔坐标中的二维平面、或其他格式。

存储器14是缓冲器、高速缓冲存储器、RAM、可移动介质、硬盘驱动、磁的、光学的、数据库、或其他现在已知的或今后开发的存储器。存储器14是单独的装置或两个或更多装置的组。存储器14示出在系统10内，但也可以在外部或者远离系统10的其他部件。

存储器14存储超声波数据，比如代表心脏容积的超声波数据。心脏容积是包括心脏的至少一部分的容积。存储器14存储流(比如速度、能量或二者)和/或B模式超声波数据。可替代地，医学图像数据从另一装置被传递到处理器12.医学图像数据是三维数据集、或一系列这种集。数据代表三维区域。可以使用任何格式，比如内插到三维网格中的体素、或者代表平行或非平行平面的数据。

对于实时成像，超声波数据绕过存储器14，临时被存储在存储器14中、或者从存储器14被加载。实时成像可以允许在获得数据与成像之间延迟几分之一秒、或甚至几秒。比如，通过基本与通过扫描获得数据同时地生成图像来提供实时的成像。当进行扫描用以获得下一或随后的数据集时，为前一数据集生成图像。在用于获得数据的同一成像会话期间进行成像.在用于实时运行的获取与成像之间的延迟量可以变化，比如对于多平面重建的最初平面定位而言有较大的延迟，对于随后成像而言有较小的延迟.在可替代实施例中，超声波数据从前一成像会话被存储在存储器14中，并被用于生成多平面重建而无需同时地进行获取.

附加地或可替代地，存储器14是具有处理指令的计算机可读存储介质。存储器14存储数据，所述数据代表可由经编程的处理器12执行的指令，以用于在由三维超声心动图数据所代表的容积中和/或超声波容积数据的多平面重建中探测标准视图平面。用于实施在此所讨论的过程、方法和/或技术的指令被提供于计算机可读存储介质或存储器上，比如高速缓冲存储器、缓冲器、RAM、可移动介质、硬盘驱动或其他计算机可读存储介质.计算机可读存储介质包括不同类型的易失性和非易失性存储介质。在图中所示的或在此所述的功能、动作或任务响应于存储在计算机可读存储介质之中或之上的一个或多个指令集而被执行。所述功能、动作和任务独立于特定类型的指令集、存储介质、处理器或处理策略，并且可以通过软件、硬件、集成电路、固件、微代码以及诸如此类以单独或组合运行的方式被执行。同样，处理策略可以包括多处理、多任务、并行处理以及诸如此类。在一个实施例中，指令被存储在可移动介质装置上，用以由本地或远程系统读取。在其他实施例中，指令被存储在远程位置，用以通过计算机网络或通过电话线来传输。在另外其他实施例中，指令被存储在给定的计算机、CPU、GPU、或系统中。

处理器12是通用处理器、数字信号处理器、三维数据处理器、图形处理单元、专用集成电路、现场可编程门阵列、数字电路、模拟电路、其组合、或其他现在已知的或今后开发的用于处理医学图像数据的装置。处理器12是单个装置、多个装置、或网络.对于多于一个的装置，可使用并行的或顺序的处理划分。构成处理器12的不同装置可以实施不同的功能，比如扫描控制器以及图像生成器单独运行。在一个实施例中，处理器12是医学诊断成像系统的控制处理器或其他处理器，比如医学诊断超声波成像系统处理器。处理器12按照所存储的指令来运行，用以执行这里所述的不同动作，比如获得数据、探测标准视图、和/或控制成像。

在一个实施例中，处理器12在扫描期间或之后接收所获得的超声波数据，并相对于由数据所代表的容积来确定一个或多个平面的位置。处理器12执行或控制其他部件用以实施这里所述的方法。

处理器12实施机器学习和/或采用机器学习算法。对于应用，处理器12对特征进行计算以进行顺序分类。由处理器12所实施的探测算法搜索多个假定用以识别具有高概率的一个。在算法阶段之间保留有多个假定。每个阶段，比如平移阶段、定向阶段、以及定标阶段，快速地清除由任何之前的阶段所剩余的错误假定.正确的或剩余的假定传播到最后阶段。只有一个假定被选择为最终的探测结果，或者从假定组合的信息来探测平面位置(比如在最终阶段之后剩余假定的平均)。

在每个阶段中使用相同的或不同的特征用于分类。比如在平移阶段中，为多个平移平面位置中的每一个都计算特征。利用机器训练平移分类器，使用这些特征来排除与平移平面位置相对应的假定，剩下剩余假定子集。

所述特征是三维特征.围绕平面的3D数据、也即子容积被用于计算特征.可替代地，容积数据可以被内插到平面，所产生的代表平面的数据在无其他数据的情况下被用于计算特征.

可以使用任何特征。不同类型的特征可以被用于相同的分类器，或者所有的特征都对于给定的分类器具有相同的类型。在一个实施例中，类Haar小波(Haar wavelet-like)特征被计算。类Haar小波特征代表区域的不同部分之间的差别。可以使用任意数目的特征，比如几十个、几百个、或几千个。机器学习过程可以运行用以确定用于给定的分类任务的所期望的特征子集或集。

为每个假定计算特征值。对于平移分类，为每个可能的平移平面位置计算特征。为每个可能的平移平面位置计算相同的特征，比如相同的Haar函数。平移分类器根据特征值而输出给定的可能平面位置是正确的或期望的视图的概率。如果该概率高于阈值，那么有关的假定被保留。如果该概率低于阈值，那么有关的假定被排除，并从假定库中被丢弃。

通过排除一个或多个假定，可以限制与旋转相关联的可能平面位置的数目。比如，排除一个假定并剩下两个假定，允许定向分类器相对于两个不同的平移而不是三个来为不同的旋转计算特征。

处理器12为与剩余假定相关联的多个旋转平面位置中的每一个计算相同的或不同的平面特征和/或其他特征。与旋转平面位置相对应的假定利用定向分类器并且根据平面特征或其他特征被排除.在应用定向分类器之后，另一假定子集保留.剩余的假定适用于具有至少一个充分旋转的充分平移。

处理器12为与在平移和定向检查之后剩余的假定相关联的多个定标平面中的每一个计算相同的或不同的平面特征和/或其他特征。定标分类器根据特征而排除与定标平面相对应的假定.在不排除任何一个、排除一个或多个假定之后，剩余的假定集保留用于被探测的平面。

在一个实施例中，用于定向和定标分类器的特征的类型是梯度特征。比如，使用由Zheng等人在“Fast Automatic Heart ChamberSegmentation from 3D CT Data Using Marginal Space Learning andSteerable Features(使用边缘空间学习和可操纵的特征来从3D CT数据中快速自动心腔分割)”(Proc.Int’l Conf.on Computer Vision，pp.1-8，2007)中所述的“可操纵的(steerable)”特征。附加地或可替代地，可以使用其他类型的特征。这些特征是测容积的。

可以采用任何分类器，比如基于模型的分类器或学习分类器(比如基于机器学习的分类器).对于学习分类器，可以使用二元或多类分类器，比如贝叶斯(Bayesian)或神经网络分类器。在一个实施例中，使用具有树或级联结构的二元提升(Boosting)分类器。分类器是用于在医学图像中区分信息的指令、矩阵、学习代码、或其他软件和/或硬件。所述平移、定向、和定标分类器可以是相同或不同类型的分类器。

在一个实施例中，平移分类器、定向分类器、以及定标分类器是机器训练概率提升树(machine-trained probabilistic boosting tree)。每个分类器都被构造为树结构。在可替代实施例中，提供非顺序处理，比如用于平移、定向和定标的独立分类，或者比如用于根据所有可能位置分类、包括定标的单个分类器。

所述机器训练概率提升树针对标准平面之一被训练。处理器12可操作用以实现用于标准平面中不同的一个的不同机器训练概率提升状分类器。

处理器12根据剩余假定来确定标准平面或其他平面之一的平面位置。所探测的视图是通用的或标准的视图(比如心尖四腔、心尖两腔、左胸骨旁、心内侧(sub-coastal))，但也可以识别其他的视图。分类器的输出(比如概率提升树)被用于确定平面位置。与最高概率相关的平面位置被选择。在另一实施例中，作为假定而保留的多于一个的平面位置被选择并被组合。比如，剩余假定的平均平移、定向、和定标被计算。平均数是期望视图的平面位置.

显示器16是CRT、LCD、等离子、投影仪、打印机、或其他用于显示图像的输出装置.显示器16显示所探测的平面的图像，比如所探测的标准平面的图像(比如A4C)。代表容积的数据被用于生成图像。临近所探测的平面或由所探测的平面横断的容积数据集的数据被用于生成剖面或多平面重建图像。

图2示出了用于从三维超声心动图数据中探测平面、比如标准多平面重建平面的方法。该方法通过医学诊断成像系统、检查站、工作站、计算机、PACS站、服务器、其组合、或其他用于医学超声波数据图像处理的装置来实施.比如，在图1中所示的系统或计算机可读介质实施该方法，但也可以使用其他的系统。

该方法以所示的顺序或不同的顺序来实施。可以执行附加的、不同的、或较少的动作。比如，动作34和/或38是可选的。作为另一例子，不提供顺序分类，使得不提供动作24、26、和28的顺序执行或甚至单独执行。

比如在扫描期间实时地执行所述动作。用户可以在用以获得代表容积的另一数据集的扫描期间查看动作38的图像。所述图像可以与同一成像会话中动作22-38的先前执行相关联，但与不同的容积数据相关联。比如，动作22-38被执行用以初始扫描并用于在同一成像会话期间随后扫描。可以在几秒中、比如2秒或较少秒中提供多平面重建图像。

一个或多个数据集被获得。超声波数据对应于内插到规则3D网格的数据集、被显示的图像(比如被探测的并扫描转换的超声波数据)、波束成形的数据、被探测的数据、和/或扫描转换的数据.超声波数据代表患者的容积或3D区域。该区域包括组织、流体或其他结构。不同的结构或不同类型的结构对声能有不同的反应。比如，心脏肌肉组织移动，但与流体相比缓慢。时间上的反应可能导致不同的速度或流数据。结构的形状或空间方面可以在B模式数据中被反映。一个或多个对象、比如心脏、器官、脉管、流体腔、凝块、损伤、肌肉、和/或组织位于容积区域中。数据代表该区域.

在动作22中，一系列机器训练分类器被学习和/或被应用于三维超声心动图数据。每个期望平面、比如标准MPR平面不仅在抽象的2D范围中、而且在3D容积采样中都被考虑.平面探测为每个期望平面估计姿态参数(pose parameter)(也即位置).3D网格体的姿态参数可以包括9个分量：3个平移(x；y；z)、3个定向(比如每个轴的欧拉角w.r.t.)以及3个定标(每个轴一个)。可以不使用所述参数中的一个或多个，比如不提供定标，或者仅沿一个轴提供定标。

对于在线应用或者快速确定来说禁止在高分辨率3D容积中搜索。比如，100 x 100 x 100体素的容积对于平移具有10⁶个假定。如果结合定向和定标，组合的假定搜索空间显著扩大。可以根据任何所期望的准则来使用有限的假定集，所述准则比如是不同平面的相对预期位置。通过对在多个连续阶段中评估平面或姿态参数的一系列探测器进行训练，可以降低计算的数量。随着参数自由度增加，以复杂性顺序来实施所述阶段(比如平移、然后定向、并然后定标)，但也可以使用其他的顺序。比如，可以仅仅沿着由平移和定向而给定的两个轴来调节定标。在其他实施例中，使用了具有或不具有分级搜索的其他学习。

可以使用任何的一个或多个分类器。分类器可以是使用成像处理、过滤、或其他技术的模型或探测器。可以使用单类或二元分类器、不同分类器的集合、级联式分类器、分级分类器、多类分类器、基于模型的分类器、基于机器学习的分类器、或其组合。多级分类器包括CART、K最近邻、神经网络(比如多层感知机)、混合模型或其他。可以使用概率提升树。可以使用误差修正输出码(ECOC(error-correcting output code))。

分类器利用计算机从训练数据集被训练。在一个实施例中，分类器是基于知识的概率模型，比如利用分级搜索的边缘空间学习。已知病例的数据库被收集以用于机器学习，形成数据库驱动的基于知识的方法。对于训练数据，三维上下文信息被保存并指导探测过程。知识嵌入到大的注解数据知识库中，其中临床专家人工指示标准MPR平面。已知病例在空间上被对准或配准，比如通过把坐标系统对准于所所标识的A4C观。探测器在大量的注解3D超声心动图容积上被训练。

对于可选的金字塔数据结构，在不同的级别根据探测任务的复杂性来为探测器选择训练集。在粗糙级别中，负平面位置远离正平面位置，并且当与正的(positive)保持相对大的间隙(比如任何按照经验而确定的间距)时跨越合理的平面配置而随机地被采样.在精细级别时，当与粗糙级别相比之间的间隙缩小时，按照搜索策略，仅仅在正的的按照经验而确定的邻域来选择负的。

图3和4示出了具有平面44的示例容积。所述的学习算法使用学习模型来在假定空间中搜索目标(MPR平面)。分类器学习不同的特征向量，用以区分期望平面和不被探测的平面。在可替代实施例中，分类器被人工编程。

对于基于学习的方法，分类器被教导用以根据特征来进行区分。比如，概率模型算法基于类Haar局部矩形过滤器有选择地把特征组合到弱学习器的强委员会(committe)中，其中通过使用积分图像而实现其快速计算.与MPR有关的特征基于专家注解在机器算法中被提取并被学习，形成用于MPR的概率模型。可以提取大的特征池(pool)。所述训练确定对于给定的分类最有决定性的特征，并丢弃非决定性的特征。

容积特征或平面特征可以用于3D超声心动图数据。在一个实施例中，提供平面特征。从代表平面的数据中来计算所述特征。针对给定平面的每个可能位置而计算相同的特征。可以使用不同的特征组合，用以探测不同的平面和/或平面参数。比如，不同的连续分类阶段采用从3D容积数据所计算的不同特征。每个分类器选择判别特征集，所述判别特征集被用于把正的目标与负的相区分。这些特征从大的特征池中来选择.大的池由编程者来确定，或者可以包括系统地确定的特征。

对于在平移阶段的分类器，使用类Haar小波特征，但也可以提供其他的特征。类Haar小波特征使用基于积分图像的技术来高效地计算。对于在旋转和定标阶段的分类器，使用梯度或可操纵的特征，但也可以提供其他的特征。可操纵的特征构成了灵活的框架，其中在特定图样(比如规则的网格)下从容积中采样几个点。为每个采样点提取几个局部特征，比如体素强度和梯度。为了估计在特定定向下的可操纵的特征，采样图样是被控制的，并且不涉及计算耗费的容积旋转。可操纵的特征的计算不需要计算上耗费的容积旋转和重定标。

树结构可以被学习，并可以在训练和应用中提供效率.通常，在提升多类分类器的中间，一个类(或几个类)已经完全与剩余的一个相分离，并且进一步的提升在分类精度方面也不产生附加的改善。为了进行有效的训练而训练树结构.为了利用这种情况，通过集中于剩余的类来训练树结构，用以提高学习效率。比如可以通过关联在前的概率来计算后验概率或已知的分布。

为了处理具有很多例子的背景类，可以使用级联训练过程。可以形成所提升的二元类强分类器的级联。分类器级联提供统一的算法，该算法在拒绝背景类的同时能够探测并分类多个对象.级联结构对应于简并决策树(degenerate decision tree)。这样的情形呈现了数据采样的不平衡特性。背景类具有大容量的采样，因为不属于对象类的所有数据点都属于背景类。可替代地，所述分类器在无级联的情况下被顺序训练。

可以使用把分类、识别和聚类统一成一个处理的概率提升树(PBT(probabilistic boosting tree)).比如，平移、定向、和定标分类器作为概率提升树被训练。为每个感兴趣平面学习概率提升树。该分类器是基于树的结构，利用所述基于树的结构从给定的数据中来计算感兴趣平面存在的后验概率。每个平面探测器都不仅为给定的采样提供二元决策，而且提供与决策相关的置信度值。利用提升技术由简单分类器的组合来构造树中的节点，该提升技术比如公开于Tu的“Probabilistic Boosting-Tree：Learning Discriminative Models forClassification，Recognition，and Clustering(概率提升树：用于分类、识别、和聚类的学习判别模型)”(Proc.Int’l Conf.on Computer Vision，pp.1589-1596，2005)中。

可以使用任何的概率树结构。在一个实施例中，在动作26中所使用的平移阶段是使用Haar小波特征的二元树。提供了三个级别，其中每个节点都包含20个弱分类器。每个分类器都基于一个特征。在动作28中所使用的定向阶段是使用梯度或可操纵的特征的二元树。提供六个级别，其中每个节点都包含40个弱分类器。在动作30中所使用的定标阶段是使用梯度或可操纵的特征的二元树。提供七个级别，其中每个节点都包含40个弱分类器。作为给定的采样已经穿过的叶节点的所有概率的加权和来计算最终的概率提升树概率。可以使用附加的或不同的特征、分类器、级别、特征类型、概率组合、或树类型。比如，不提供或不采用定标分类器。

为了应用分类器，在动作32中计算特征。针对每个可能的平面位置来计算所述特征。也可以与所述的可能平面位置无关地来计算其他的特征，例如其中子容积的特征与可能的平面位置的平面特征相结合也可能是决定性的。

对于每个可能的平面位置，计算针对给定的分类的特征。对于平移阶段，可能的平面位置涉及沿三个轴平移的不同位置。比如，计算Haar特征，用以分类给定平移可能平面位置是否是所期望的平面。对于旋转阶段，可能的平面位置涉及在剩余的平移位置处围绕三个轴的旋转。对于定标阶段，可能的平面位置涉及在剩余的旋转和平移位置处不同大小的区域。可以为不同的阶段计算不同的特征。可以为所探测的不同视图来计算不同的特征。

从代表容积的超声心动图数据来计算所述的特征。在一个实施例中，从不同分辨率的数据来计算特征。提供容积金字塔，使得该数据集被下采样至不同的分辨率。比如，一个数据集具有精细的分辨率，比如扫描分辨率，而另一数据集具有粗糙的分辨率，比如在每一维中由1/4来分样(decimated)精细集(也即下采样到四分之一)。所述集代表在同一容积中的同一对象。可以使用任意数目(一个、两个、或多个)集。从粗糙集来计算特征，然后在容积金字塔的精细集中来计算特征。机器学习可以确定决定性的特征。对于每个决定性的特征，提供相应分辨率的数据集。

所述集可以以任何格式，比如卡迪尔或极坐标。在一个实施例中，以声学(比如极)坐标格式来获得超声波数据，并且实时地仅利用可视表面或所选择的平面来增加卡迪尔或显示空间。在使用扫描转换器、处理器、或图像处理单元的另一实施例中，提供从声学空间到卡迪尔或显示空间的实时转换。在卡迪尔空间(比如3D网格)中处理超声波数据，用以对多平面重建进行定向。

在动作34中，至少一个特征被标准化。由于在实际应用中不一致的超声波成像条件，可以对每个采样中的特征标准化。可以使用任何的标准化功能，比如通过给定平面位置的例子数据库的平均数来标准化。在一个实施例中，由用于计算特征的数据来对特征进行标准化。比如，由代表整个平面的数据来计算Haar特征.该平面或区域的数据被取平均，从Haar特征值中减去该平均值，并且该结果除以平面或区域的数据的标准偏差。也可以使用其他的标准化或不使用标准化.比如，定向和定标阶段的可操纵的或梯度特征不被标准化。

在动作36中，探测平面的位置。与期望视图有关的位置被探测.比如，根据分类器的输出来探测一个或多个标准视图。所述特征被用于确定视图的最可能平面位置。平面探测器是在3D超声心动图容积上所训练的判别分类器.平面探测器确定给定的子容积采样(可能平面位置的数据)是正的还是负的。正的和负的采样分别对应于正确的和不正确的平面参数(位置)。

为了顺序地探测以便限制复杂性或者增加效率，通过按顺序平移、定向和定标探测来探测视图的平面位置。通过为平移的可能平面位置、为旋转的可能平面位置、以及为定标的可能平面位置来按顺序地计算特征，分类器排除可能的平面位置。每个阶段都从假定列表中移除可能的平面位置.

首先，为不同的可能平面位置计算特征。不同的可能平面位置对应于沿不同轴的平移。可以使用任何的步长或搜索策略，比如具有在粗糙搜索中被识别为很可能的位置处的精细搜索的粗糙搜索。探测器为每个可能的位置提供概率。与充分的概率相关的可能位置被保留在假定池中.通过阈值、通过选择顶部X(其中X为一个或多个)概率、或其他检查来确定充分的概率。

对于定向探测器，要旋转的平面的方位是在应用平移分类器之后剩余的可能平面位置。对于每个充分的平移位置，对不同的旋转进行检查.可以使用任何的角步长和/或搜索策略。定向探测器识别与不同的旋转有关的充分的平面位置。如果给定的平移位置的旋转位置是不充分的，那么平移位置就从假定组中丢弃。

定标探测器为在平移和定向探测之后剩余的可能平面位置而应用不同的定标系数。可以为定标而使用任何的步长和/或搜索策略。如果给定的平面位置的定标是不充分的，那么平面位置就从假定组中丢弃。剩余的平面位置和相应的定标按照平移、定向、和定标分类器是充分的。

所探测的视图是具有由定标分类器所输出的最高概率的可能平面位置。可替代地，所探测的视图是具有来自平移、定向、和定标探测器的最高平均概率的可能平面位置。在其他实施例中，剩余的充分可能平面位置的平均位置被确定。所述平均位置是所探测的视图.可以使用其他的限制，比如对顶部Y个最可能的平面位置取平均。

一个或多个平面被探测。比如，标准超声心动图显像视图的平面的位置被确定。心尖二腔观、心尖四腔观、心尖三腔观、胸骨旁长轴观、和/或胸骨旁短轴观被确定.比如，图3和4示出了容积区域40，其具有至少部分地位于该区域40中的对象42。对象42在容积区域40内可能具有任何定向。平面44相对于容积的位置被确定以用于多平面重建。其他的标准或非标准视图可以被确定。标准视图可以是医学协会的标准或者机构的标准。预定的视图包括非标准视图，比如用于临床检查的预定义视图。

不同的分类器被机器训练以用于不同的标准视图。可以使用任何的分类器组合。每个分类器被应用用以不依赖于其他分类器的输出来确定相应的平面位置.可替代地，一个分类器的输出被用于探测另一平面.在用于探测两个或多个(比如6个标准)平面的一个实施例中，通过多定标分级来应用粗糙到精细策略。利用下采样的数据集(比如1/4分辨率)来探测心尖四腔观的位置.因为目标MPR平面相互之间并且关于左心室(LV)具有解剖学规则性，根据A4C平面位置来设定其他视图的可能平面位置的初始位置。在低分辨率容积中，A4C探测器被学习并以粗糙级别被应用。可以为最初的或基础的位置探测其他视图。

A4C视图的平面位置被用于限制精细或粗糙平面参数估计的搜索区域。另一标准视图平面的初始位置根据A4C视图的位置来确定。其他视图(比如A2C、A3C、SAXB、SAXM、和SAXA)的初始平面参数(位置、定向、和定标)相对于A4C视图而言基于经验统计.比如，使用来自训练数据集的平均相对位置。最初位置设定搜索区域。可能的平面位置可以在相对于初始位置的平移、旋转、和/或定标中被限制。

使用由初始位置所限制的容积数据和搜索空间来探测其他的标准视图平面。由于初始位置限制了搜索空间，所以可以使用较高的分辨率数据。针对每个平面所训练的更精确参数估计的平面探测器以较高的分辨率被应用，用以仅在其初始探测结果周围的小邻域中来搜索最好的候选。可以把不同的或相同的A4C探测器应用于精细的数据集，以使A4C平面精细。

在动作38中，根据所探测的平面位置来生成图像。为每个所确定的视图来生成图像。与该平面的位置相对应的数据从容积中被提取。数据被用于生成视图的图像.比如，多平面重建图像从超声波数据来生成。所述平面定义了要用于成像的数据。与横断每个平面或者邻近每个平面的方位相关的数据被用于生成二维图像。数据可以被内插用以给平面提供空间对准，或者可以使用最近邻选择.得出的图像根据多平面重建的定向而被生成，并提供所期望的视图。所述图像代表穿过容积区域40的不同平面44。

在一个实施例中，特定视图被生成。所有的特定视图或者其子集被生成。如果与视图相对应的平面被识别，那么可以提供视图。比如，在代表区域的超声波数据中所有可用的标准或预定视图被提供。每个视图的图像可以被标记(比如A4C)和/或被注解(比如亮显的瓣膜)。可以提供少于全部的可用视图，比如显示不多于三个视图，并且具有视图优先权列表。

在一个示例实施例中，326个超声心动图容积序列被收集。对于每个序列，心舒张末期(ED(end diastole))帧(3D容积)被提取，并被加入到实验数据库中。在数据库中总共有326个3D超声心动图容积。对于每个容积，六个标准平面(A4C、A2C、A3C、SAXB、SAXM以及SAXA)由临床专家来人工注解，并被用作评估的基础事实。

为了测量两个平面之间的差异，应用两个误差度量，也即角度和距离。在两个平面之间的角度被定义为两个平面法线之间的角度。两个平面之间的距离被测量为在一个平面上的定位点(anchor)到另外平面的距离，其中定位点是LV中心(针对A4C、A3C、A2C、和SAXM)，或者是LV长轴与MPR的交点(针对SAXB和SAXA)。根据基础事实注解，LV长轴被计算为A4C-A2C和A4C-AC3的两个交点的平均，并且LV中心被计算为LV长轴与SAXM的交点。

应用4折交叉验证方案用于评估。326个容积的整个数据集被随机地分区为四个四分之一。对于每个实验，三个四分之一(244个容积)被合并用于训练，而剩余的一个四分之一(82个容积)被用作检查的看不见的数据。

总共有四个实验，使得每个容积都已经有一次被用于检查。自动MPR性能根据所有4折而被总结，并在下面的表格1中提供。在3D超声心动图显像数据中的MPR由于数据质量而存在不确定性，这导致难以精确识别.初步的用户内可变性分析产生了约8.2度的平均角度误差和约3.2mm的平均距离误差。

(a) 总体性能

 

平均角度误差平均距离误差平均11.33.7标准8.02.1中值9.33.3

(b) 性能细目分类(心尖平面)

(c) 性能细目分类(短轴平面)

该自动化系统可以为人员超声心动图显像检查员显著降低跨越大量不同的容积搜索解剖学结构的负担。利用所探测的标准平面，可以自动地进行先进的定量分析，比如射血分数分析。

在另一实施例中，提供基于定位点的方法和系统，用以从3D超声心动图显像数据中进行自动平面探测。精确而稳健地探测解剖学结构可以允许在3D超声心动图显像的常规临床实践中对心脏功能进行自动定量分析。标准平面是许多临床检查的起点。在基于定位点的方法中，标准多平面重格式化/重建(MPR)平面从3D超声心动图容积中来探测，其中从定位点来推断平面定向，而不对大的定向空间进行搜索。

因为三个不共线的点不足以在三维空间中确定平面，而不是搜索定向空间，所以所探测的定位点被用于推断目标平面的定向。可以应用相同的策略来估计感兴趣解剖学结构的定标。

平面被描述为在平面上的点(p)和平面的法线(n)。如果在平面上给定三个所探测的定位点(p1、p2、和p3)，那么平面参数(p、n)可以如下来计算：

n＝(p3-p1)x(p2-p1)，

p＝(p1+p2+p3)/3，(或平面上的任意点)

其中x表示叉乘。

从3D容积中利用数据库驱动的基于知识的方法来探测定位点。知识通过广泛的容积数据训练知识库被学习，其中专家临床医生可靠地通过基于知识的方法连同具有解剖学意义的定位点一起来注解标准MPR平面。MPR平面共享共同的特征。对于三个主要的心尖MPR平面(也即A4C、A2C、和A3C)，专家临床医生注解总共7个定位点，也即心尖、基部下间点(basal inferoseptal point)、基部前外侧点、基部下部点、基部前部点、基部下侧点、以及基部前间点。比如，A4C平面可以通过心尖、基部下间点、和基部前外侧点来确定。尽管三个不共线的定位点是确定平面的最小需求，但是也可以应用更多的定位点连同平面拟合算法和/或定位点选择方案，用以增强对噪声和异常值的推断稳健性。

为每个定位点学习模型/探测器。定位点探测器在大的所配准的3D超声心动图容积集上来被训练，其中所述的所配准的3D超声心动图容积被用于确定给定的子容积采样是正的还是负的.正的采样是以目标定位点为中心的子容积，而负的采样通过提取远离正采样的子容积来进行选择，其中正采样在平移空间中具有预定义的边缘。

使用概率提升树(PBT)或其他的算法来构造每个定位点探测器。可以为不同的定位点使用不同的算法。在一个例子中，分类器是基于树的结构，其中利用这种结构从给定的数据中来计算定位点存在的后验概率。每个定位点探测器不仅为给定的采样提供二元决策，而且还提供与决策有关的置信度值。树中的节点通过利用提升技术对简单分类器非线性组合来构造。

每个定位点探测器都选择判别特征集，所述判别特征集被用于从大的特征池中把目标定位点与负的相区分。使用类Haar小波特征，其中所述类Haar小波特征构建了过度完备特征池并且可以利用基于积分图像的技术被有效计算，但是也可以使用其他的特征。由于在实际应用中不一致的超声波成像条件，所以在每个采样中的特征可以被标准化，比如通过减去平均值和除以标准偏差。

在线探测算法应用所述模型来探测定位点，并使用所探测的定位点来推断目标MPR平面.对于每个定位点，仅仅需要估计平移参数来推断MPR平面，这显著地缩小了参数搜索空间(无定向).

虽然本发明以上已经通过参照不同的实施例进行了阐述，但是应理解的是，可以在不脱离本发明范畴的情况下进行很多变化和更改。因此，前面的详细描述应认为是示例性的而不是限制性的，并且应理解的是，下面的权利要求书、包括所有等效用来限定本发明的精神和范畴。