识别和分析2D和多普勒模态超声心动图图像以用于自动化心脏测量以及心脏病的诊断、预测和预后的自动化临床工作流

摘要

由在至少一个处理器上执行的软件进行的自动化工作流包括接收通过超声装置拍摄的多个超声心动图图像。第一过滤器基于对图像元数据进行分析而通过2D图像和多普勒模态图像来分离所述多个超声心动图图像。第一神经网络按视图类型对2D图像进行分类，并且第二神经网络按视图类型对多普勒模态图像进行分类。第三神经网络对2D图像中的心腔进行分割，并且第四神经网络对多普勒模态图像进行分割以生成波形轨迹，产生经分割2D图像和经分割多普勒模态图像。使用这两种图像集合，计算心脏左侧和右侧二者的心脏特征的测量值。将计算出的测量值与国际心脏指南进行比较以生成结论，并且输出突出显示超出指南的测量值的报告。

说明书

背景技术

本发明涉及用于疾病预测的图像分类，并且更具体地，涉及识别和分析2D和多普勒模态超声心动图(Doppler modality echocardiogram)图像以用于自动化测量以及心脏病的诊断、预测和预后的自动化临床工作流(workflow)。

心血管病(包括心力衰竭)是主要的健康问题，占全世界人死亡的约30％。心力衰竭也是超过65岁成人住院治疗的主要原因。超声心动图是心脏病学中用于心脏的形态和功能评估的重要的诊断辅助。在典型的患者超声心动图(回波)检查中，称为超声医师的临床医师将超声装置抵靠患者胸部放置，以捕获患者心脏的许多2D图像/视频。反射声波揭示了心脏壁的内部结构和血流速度。超声装置位置在回波检查期间会发生变化，以从不同的视点或视图捕获不同的解剖部分作为心脏的2D切片。临床医师具有向这些2D图像添加从多种可能的模态(包括连续波多普勒、m模式、脉冲波多普勒和脉冲波组织多普勒)捕获的波形的选择权。2D图像/视频和多普勒模态图像通常保存在DICOM(医学数字成像和通信(DigitalImaging and Communications in Medicine))格式的文件中。尽管在DICOM文件的元数据中部分指示了模态类型，但在模态和2D视图中超声装置位置(这是对哪个心脏结构进行了成像的最终决定性因素)却未指示。

在患者检查之后，临床医师/技师检查DICOM文件，人工调绘(annotate)心室和结构(如左心室(LV))，并对这些结构进行测量。该过程依赖于对临床医师识别每个图像中的视图并进行合适的测量值的培训。在后续检查中，心脏病专家查看DICOM图像和测量，将它们与记忆的指南值进行比较，并基于由超声心动图作出的解释而做出诊断。

用于分析DICOM图像、测量图像中的心脏结构以及确定、预测和预示心脏病的当前工作流过程是高度人工的、耗时且易于出错的。

最近提出了自动化心脏图像解释以实现非专家对心脏功能低成本评估的提议。尽管与人工过程相比，所提出的自动化系统有望提高性能，但该系统仍有数个不足。一个不足是系统仅识别2D图像。另外，虽然所提出的系统可区分正常心脏与患病心脏，但是所提出的系统不能区分患有看起来相似疾病的心脏。因此，由所提出系统鉴定的心脏病数目非常有限，并且需要人工干预来鉴定其他类型的心脏病。

例如，心力衰竭传统上被视为收缩功能衰竭，并且左心室射血分数(leftventricular ejection fraction，LVEF)已被广泛用于定义收缩功能、评估预后和选择患者进行治疗干预。然而，已认识到心力衰竭可在存在正常或接近正常EF的情况下发生：所谓的“射血分数保留的心力衰竭(heart failure with preserved ejection fraction，HFPEF)”，其占心力衰竭临床病例的很大比例。伴有严重扩张和/或EF显著降低的心力衰竭：所谓的“射血分数降低的心力衰竭(heart failure with reduced ejection fraction，HFREF)”是在病理生理和治疗方面最易理解的心力衰竭类型。心力衰竭的症状可能会突然发展为“急性心力衰竭”导致入院，但其也可逐渐发展。及时诊断、心力衰竭亚型HFREF或HFPEF的分类以及改进的风险分层对于心力衰竭的管理和治疗至关重要，但所提出的系统并未解决这个问题。

所提出的系统也不能基于鉴定的心脏病生成预后，而是需要心脏病专家人工形成预后。

因此，需要识别和分析2D和多普勒模态超声心动图图像二者以用于自动化测量以及心脏病的诊断、预测和预后的改进且全自动化临床工作流。

发明概述

一些示例性实施方案提供了用于由至少一个处理器所执行的软件组件进行的自动化工作流的方法和系统。示例性实施方案的一些方面包括接收包含患者心脏的通过超声装置拍摄的多个超声心动图图像的患者研究。第一过滤器基于对图像元数据进行分析而根据2D图像和多普勒模态图像分离多个超声心动图图像。第一神经网络按视图类型对2D图像进行分类，并且第二神经网络按视图类型对多普勒模态图像进行分类。第三神经网络对2D图像中的心腔进行分割，并且第四神经网络对多普勒模态图像进行分割以生成波形轨迹，从而产生经分割2D图像和经分割多普勒模态图像。使用经分割2D图像和经分割多普勒模态图像二者，软件组件计算心脏左侧和右侧二者的心脏特征的患者研究测量值。然后通过将计算出的测量值与国际心脏指南进行比较来生成结论，以及生成并输出突出显示超出国际指南的计算出的测量值中的值的报告。

根据本文中公开的方法和系统，公开的实施方案使用机器学习来识别和分析2D和多普勒模态超声心动图图像二者以用于自动化测量以及心脏病的诊断、预测和预后，并且该系统可部署在工作站或基于移动的超声定点照护(point-of-care)系统中。

附图简述

图1A至1C是举例说明用于实施识别和分析2D和多普勒模态超声心动图图像二者以用于自动化测量以及心脏病的诊断、预测和预后的自动化临床工作流的系统的一些实施方案的图。

图2示出了回波工作流引擎(engine)的架构层。

图3是举例说明用于由回波工作流引擎执行以自动地识别和分析2D和多普勒模态回波图像二者以进行自动化测量以及心脏病的诊断、预测和预后的过程的一个实施方案的流程图。

图4A是举例说明根据一个实施方案的用于自动地识别和分析2D和多普勒模态回波图像二者以进行自动化测量以及心脏病的诊断、预测和预后的过程的细节的流程图。

图4B是举例说明回波工作流引擎的高级功能的流程图。

图5是举例说明示例性2D回波图像和示例性多普勒模态图像的图。

图6是举例说明由回波工作流引擎自动分类的一些示例性视图类型的图。

图7是举例说明被分割以产生指示心腔的调绘(annotation)的示例性2D图像和被分割以产生掩模(mask)和轨迹波形的示例性多普勒模态图像的图。

图8是举例说明查找收缩期/舒张期终点的一些实例的图。

图9是举例说明2D回波图像中成像窗口的处理和扇区外调绘的自动化检测的图。

图10是以图形方式举例说明从2D图像中的心腔调绘自动生成的结构测量，以及从多普勒模态中的波形调绘自动生成的速度测量的图。

图11是以图形方式举例说明从2D图像中的心腔调绘自动生成的整体纵向应变的测量值的图。

图12A是以图形方式举例说明基于最大容积心腔的最佳测量值数据的示例性集以及将最佳测量值数据保存至储存库的图。

图12B是以图形方式举例说明将从具有正常LV EF测量的患者自动导出的测量值输入至规则集以确定患者具有正常舒张功能、舒张功能障碍或不确定的结论的图。

图13是以图形方式举例说明将分类、调绘和测量值数据输出至示例性JSON文件的图。

图14是举例说明突出显示在国际指南范围之外的值的示例性报告的一部分的图。

图15是举例说明可由用户打印和/或显示的主要检查结果(Main Finding)的示例性报告的一部分的图。

图16是显示绘制PCWP和HFpEF评分的图A和绘制CV死亡率或HF住院治疗的图B的图。

发明详述

一些示例性实施方案涉及识别和分析2D和多普勒模态超声心动图图像以用于自动化测量以及心脏病的诊断、预测和预后的自动化临床工作流。呈现以下描述以使得本领域普通技术人员能够制作和使用本发明，并且将其在专利申请及其要求的上下文中提供。对本文中描述的一般原理和特征以及一些示例性实施方案的多种修改将是显而易见的。一些示例性实施方案主要从特定实施中提供的特定方法和系统方面来描述。然而，所述方法和系统将在其他实施中有效运行。短语例如“示例性实施方案”、“一个实施方案”和“另一个实施方案”可指相同或不同的实施方案。将相对于具有某些组件的系统和/或装置来描述实施方案。然而，系统和/或装置可包含比所示那些更多或更少的组件，并且可在不脱离本发明的范围的情况下对组件的布置和类型进行变化。还将在具有某些步骤的特定方法的情况下描述一些示例性实施方案。然而，该方法和系统对于具有不同和/或另外步骤以及与示例性实施方案不相悖的不同顺序的步骤的其他方法有效地运作。因此，本发明不旨在限于所示的实施方案，而是符合与本文中所述的原理和特征一致的最宽范围。

所公开的实施方案提供了用于使用机器学习来实施基于软件的自动化临床工作流的方法和系统，其识别和分析2D和多普勒模态超声心动图图像二者以用于自动化测量以及心脏病的诊断、预测和预后，并且其可部署在工作站或基于移动的超声定点照护系统中。

图1A至1C是举例说明用于实施识别和分析2D和多普勒模态超声心动图图像二者以用于自动化测量以及心脏病的诊断、预测和预后的自动化临床工作流的系统的一些实施方案的图。图1A示出了自动化临床工作流系统10A的基本独立式配置。自动化临床工作流10A主要作为软件应用来实施，所述软件应用称为回波工作流引擎12，其在独立式环境中运行的计算机14上执行，与网络26上的其他装置断开连接。计算机14可以以任何形状因子实施，所述形状因子包括能够运行操作系统(例如Microsoft

计算机14可包含典型的硬件组件(未示出)，包含处理器、输入装置(例如，键盘、定点装置、用于语音命令的传声器、按钮、触摸屏等)、输出装置(例如，显示装置、扬声器等)，以及用于通信的有线或无线网络通信接口(未示出)。计算机14可包含内部计算机可读介质，例如含有包含回波工作流引擎12的计算机指令的存储器(未示出)，所述回波工作流引擎12在由一个或更多个计算机处理器执行时实施本文中公开的功能。

计算机14还可包含用于存储一个或更多个数据库16和图像文件档案18的本地内部存储器。在一个实施方案中，图像文件档案18的内容包含超声心动图图像文件(本文中也称为回波图像)，其在一些实施方案中可以以DICOM(医学数字成像和通信)格式存储。

在一个实施方案中，计算机14与外围装置通信，所述外围装置例如捕获患者器官(例如心脏)的超声心动图图像，然后可使用数据库16和图像文件档案18将其存储为患者研究的超声成像装置24。例如，计算机14可位于医院或临床实验室环境中，在该环境中进行超声心动图作为心脏病学中用于心脏的形态和功能评估的诊断辅助。在典型的患者超声心动图检查(称为研究)期间，超声医师或技师将超声成像装置24抵靠患者胸部放置以捕获心脏的2D回波图像/视频以帮助诊断特定的心脏病痛。结构和血流的测量值通常使用心脏的2D切片进行，并且超声成像装置24的位置在回波检查期间发生变化以从不同视点捕获心脏的不同解剖部分。技师具有向这些2D回波图像添加从包括以下的多种可能的模态捕获的波形的选择权：连续波多普勒、m模式、脉冲波多普勒和脉冲波组织多普勒。2D图像和多普勒波形图像可作为DICOM文件保存。尽管有时会在DICOM文件的元数据中指示模态类型，但2D视图却未指示。

计算机14还可包含可移动存储装置，例如光盘20和/或闪存22等，用于存储回波图像。在一些实施方案中，可移动存储装置可用作回波图像和相关数据结构到内部图像文件档案18中的导入源，而不是超声成像装置24或除超声成像装置24之外。可移动存储装置也可用作存储在数据库16和/或图像文件档案18中的心电图数据的档案。

在称为连接配置10B的一个高级实施方案中，计算机14可通过网络26和路由器28连接至另一些基于DICOM的装置，例如DICOM服务器30、网络文件共享装置32、回波工作站34和/或托管DICOM文件的云存储服务36。在连接的配置10B中，与数据库16和图像文件档案18的数个可能的交互是可能的，如下所述。

一种可能的交互是使用云存储服务36作为内部档案。在由大量DICOM文件组成的非常大的档案的情况下，计算机14可能没有足够的存储来托管所有文件并且回波工作流引擎12可配置成使用云存储服务36的外部网络存储来进行文件存储。

另一种可能的交互是通过i)选择DICOM文件集或包含DICOM和多普勒波形图像以及患者数据和检查信息的患者研究来使用云存储服务36作为导入源。也可通过从中读取患者、检查和图像文件的保留的DICOMDIR文件实例选择患者研究。

又一个可能的交互是使用DICOM服务器30、网络文件共享装置32、回波工作站34和/或DICOM客户端(图1C)充当DICOM服务器(具有模态CFind、CMove和CStore的工作站)以便通过执行CFind操作来检索患者、检查和图像，随后是CMove操作，以请求远程装置发送由CFind操作产生的图像。

现在参考图1B，示出了用于自动化临床工作流系统的手持式配置10C。在该实施方案中，图1A的计算机14作为手持式装置14’(例如平板电脑或移动电话)实施，其连接至有线或无线便携式超声扫描仪探头24’，所述探头24’将回波图像传输至手持式装置14’。在这样的一些实施方案中，回波工作流引擎12可作为由手持式装置14’执行的应用实施。

图1C示出了用于自动化临床工作流的作为服务性(SaaS)配置10D的软件。在该实施方案中，回波工作流引擎12在通过网络26与多个客户端装置42通信的服务器40上运行。在该实施方案中，服务器42和回波工作流引擎12可以是通过互联网向客户端装置(例如，医院、诊所或医生计算机)提供自动化测量以及心脏病的诊断、预测和预后的第三方服务的一部分。应当理解，尽管服务器40被示出为单计算机，但是应当理解，服务器40的功能可分布在超过一个的服务器上。在一个替代实施方案中，图1C的服务器40和回波工作流引擎12可作为其功能分布在多个客户端装置42上的虚拟实体实施。同样地，应当理解，虽然回波工作流引擎12在每个实施方案中被示出为单组件，但回波工作流引擎12的功能可被分成更多数目的模块/组件。

常规地，在其中捕获存储回波图像的患者检查之后，临床医师/技师检查DICOM文件，人工调绘心室和结构并进行测量，其在报告中呈现。在后续检查中，医生将查看DICOM图像和测量，将它们与记忆的指南值进行比较并做出诊断。这样的过程依赖于对临床医师识别视图并进行合适的测量值以便可做出正确诊断的培训。这样的过程易于出错且耗时。

根据所公开的实施方案，回波工作流引擎12模仿标准临床实践，通过使用机器学习、图像处理和DICOM工作流技术的组合来处理患者的DICOM文件以导出临床测量、诊断特定疾病、以及预示患者结局，如下所述。虽然之前已经提出了使用机器学习进行回波图像解释的自动化解决方案，但该解决方案仅对2D回波图像而不对多普勒模态波形图像进行分析。该解决方案还提及了疾病预测，但仅尝试处理两种疾病(肥厚型心肌病和心脏淀粉样变性)，并且控件仅将正常患者与患病患者进行比较。

然而，所公开实施方案的回波工作流引擎12通过利用机器学习不仅自动地识别和分析2D回波图像而且还自动地识别和分析多普勒模态波形图像来改进自动化解决方案。回波工作流引擎12还能够比较患有看起来相似心脏病的患者(而不是将正常患者与患病患者进行比较)，并且自动鉴定另外的疾病，包括射血分数降低的心力衰竭(HFrEF)和射血分数保留的心力衰竭(HFpEF)。HFrEF被称为由于左心室收缩功能障碍引起的心力衰竭或收缩性心力衰竭，并且在射血分数低于40％时发生。HFpEF是充血性心力衰竭的一种形式，其中每次搏动从心脏左心室泵出的血液量(射血分数)大于50％。最后，与所提出的自动化解决方案不同，回波工作流引擎12自动生成带有用于医学决策支持的分析结果的报告。

图2示出了回波工作流引擎12的架构层。在一个实施方案中，回波工作流引擎12可包含在一个软件应用中一起打包的多个服务器。例如，回波工作流引擎12可包含机器学习层200、展示层202和数据库层204。

机器学习层200包含数个神经网络以处理传入的回波图像和对应的元数据。在一个实施方案中，机器学习层200利用一个或更多个分类卷积神经网络(CNN)200A的集合用于视图分类，一个或更多个分割CNN 200B的集合用于室分割和波形掩模/轨迹，一个或更多个预测CNN 200C的集合用于疾病预测以及任选地一个或更多个预后CNN 200D的集合用于疾病预后。

在机器学习中，CNN是深度前馈人工神经网络的一个类别，通常用于分析视觉图像。每个CNN包含输入层和输出层，以及多个隐藏层。在神经网络中，每个节点或神经元从先前层中的一些数目的位置接收输入。每个神经元通过对来自先前层的输入值应用一些函数来计算输出值。应用于输入值的函数通过权重向量和偏差(通常是实数)来指定。神经网络中的学习通过对偏差和权重进行增量调整来取得进展。权重向量和偏差称为过滤器，并且表示输入的一些特征(例如，特定形状)。

机器学习层200在训练模式下操作以在回波工作流引擎12被置于分析模式以在患者研究中自动地识别和分析回波图像之前训练CNN 200A至200D中的每一个。在一个实施方案中，可训练CNN 200A至200D使用来自在线公共或私人超声心动图DICOM数据库的数千个回波图像来识别和分割多个回波图像视图。

展示层202用于格式化信息并将其呈现给用户。在一个实施方案中，展示层以HTML5、Angular 4和/或JavaScript编写。展示层202可包含用于实施轻量级基于浏览器的用户界面的Windows Presentation Foundation(WPF)图形子系统202A，该用户界面显示报告并允许用户(例如，医生/技师)编辑报告。展示层202还可包含用于查看回波图像的图像查看器202B(例如DICOM查看器)和用于运行CNN算法以及生成例如JavaScript ObjectNotation(JSON)格式的结果文件的python服务器202C。

在一个实施方案中，数据库层204包含SQL数据库204A和系统可使用的其他外部服务。SQL数据库204A存储输入至系统的个体患者研究的患者研究信息。在一些实施方案中，数据库层204还可包含图1的图像文件档案18。

图3是举例说明用于由回波工作流引擎12执行以自动地识别和分析2D和多普勒模态回波图像二者以进行自动化测量以及心脏病的诊断、预测和预后的过程的一个实施方案的流程图。一旦回波工作流引擎12被训练并置于分析模式中，该过程就发生。

该过程可通过回波工作流引擎12从存储器接收包含患者器官(例如心脏)的通过超声装置拍摄的多个超声心动图图像的一个或更多个患者研究(框300)开始。在一个实施方案中，患者研究可包含70至90个图像和视频。

回波工作流引擎12的第一过滤器用于基于对图像元数据进行分析而根据2D图像和多普勒模态图像分离多个超声心动图图像(框302)。过滤器分析图像中并入的DICOM标签或元数据，并基于标签信息运行算法以区分2D与模态图像，并随后将模态图像分为脉冲波、连续波、PWTDI或m模式分组。

由于超声医师不标记回波图像中的视图类型，因此使用一个或更多个CNN 200按视图类型对回波图像进行分类。在一个实施方案中，回波工作流引擎12使用第一神经网络按视图类型对2D图像进行分类(框304)；并且回波工作流引擎12使用第二神经网络按视图类型对多普勒模态图像进行分类(框306)。如所示出的，2D图像的处理与多普勒模态图像的处理是分开的。在一个实施方案中，第一和第二神经网络可使用分类卷积神经网络(CNN)200A的集合来实施。在一个具体实施方案中，可使用五类CNN按视图类型对2D图像进行分类，并且可使用11类CNN按视图类型对多普勒模态图像进行分类。在一个替代实施方案中，第一和第二神经网络可组合成一个神经网络。

在一个实施方案中，回波工作流引擎12训练成对许多不同的视图类型进行分类。例如，回波工作流引擎12可对至少11种不同的视图类型进行分类，包括胸骨旁长轴(parastemal long axis，PLAX)、心尖2-、3-和4室(A2C、A3C和A4C)、A4C加二尖瓣脉冲波、A4C加间隔侧脉冲波组织多普勒、A4C加侧边脉冲波组织多普勒、A4C加三尖瓣侧脉冲波组织多普勒、A5C加主动脉瓣连续波，A4C+M模式(TrV)、A5C+PW(LVOT)。

基于分类的图像，回波工作流引擎12使用第三神经网络对2D图像中的目的区域(例如，心腔)进行分割以产生经调绘或经分割2D图像(框308)。回波工作流引擎12使用第四神经网络来生成多普勒模态图像的波形轨迹以生成经调绘或经分割多普勒模态图像(框309)。分割过程包括确定其中每个心腔开始和结束的位置以生成每个图像和/或视频中描绘的心脏结构(例如，心腔)的轮廓。分割还可用于追踪在多普勒模态中描绘血流速度的波形轮廓。在一个实施方案中，第三和第四神经网络可使用一个或更多个分割CNN 200B的集合来实施。所使用分割CNN的选择由图像的视图类型确定，这使得视图类型的先前正确分类成为关键步骤。

使用经分割2D图像和经分割多普勒模态图像二者，回波工作流引擎12计算心脏左侧和右侧二者的心脏特征的患者研究测量值(框310)。

回波工作流引擎12然后通过将计算出的测量值与国际心脏指南进行比较来生成结论(框312)。回波工作流引擎12还向用户输出突出显示计算出的测量值中超出国际指南之测量值的报告(框314)。在一个实施方案中，报告可在电子装置的显示器上以电子方式显示给医生和/或患者和/或作为纸质报告。在一些实施方案中，用户可根据规则或基于角色的许可来编辑电子报告，例如，可允许心脏病专家修改报告，但患者可能仅具有查看权限。

图4A是举例说明根据一个实施方案的用于自动地识别和分析2D和多普勒模态回波图像二者以进行自动化测量以及心脏病的诊断、预测和预后的过程的进一步细节的流程图。

该过程可从接收一个或更多个患者研究开始(图3框300)，其包含框400至4010。在一个实施方案中，来自每个患者研究的回波图像被自动下载到图像文件档案18中(框400)。回波图像可从计算机14的本地或远程存储源接收。本地存储源可包含计算机14的内部/外部存储器，包括可移动存储装置。远程存储源可包括超声成像装置24、DICOM服务器30、网络文件共享装置32、回波工作站34和/或云存储服务36(参见图1)。在一个实施方案中，回波工作流引擎12包含作为图片存档和通信服务器(picture archiving and communicationserver，PACS)运作的功能，其能够处理来自多种模态(源机器类型，其中之一是超声成像装置24)的图像。回波工作流引擎12使用PACS来下载回波图像并将其存储到图像文件档案18中，并且在自动化工作流期间向回波工作流引擎12提供对回波图像的访问。PACS图像存储和传输的格式是DICOM(医学数字成像和通信)。

来自每个患者研究的患者信息被提取并存储在数据库16中(框402)。非图像患者数据可包括嵌入在DICOM图像和/或扫描文件中的元数据，其一旦封装在DICOM中，就可使用消费行业标准格式(例如PDF(便携式文件格式))并入。在一个实施方案中，接收到的患者研究被置于处理队列中以供将来处理，并且在每个患者研究的处理期间，回波工作流引擎12将未经处理的回波图像进行排队并对其进行检查(框404)。回波工作流引擎12监测患者研究的状态，并在队列中保持对其的追踪以确定哪些已经被处理，而哪些仍然未决。在一个实施方案中，队列中患者研究的优先化可由用户配置。例如，可根据回波检查的日期、患者研究的接收时间或通过患者心脏病的估计严重程度，在队列中优先处理患者研究。

然后过滤任何未经处理的回波图像以使其具有有效的DICOM图像格式，并且丢弃回波研究中的非DICOM文件(框406)。在一个实施方案中，过滤回波图像以使其具有特定类型的格式，例如有效的DICOM文件格式，并且可忽略任何其他文件格式。通过拒绝用于处理的无效DICOM图像来过滤回波图像以使其具有有效的图像文件格式增强了回波工作流引擎12的可靠性。

然后在计算机14的存储器中打开和处理任何未经处理的有效回波图像(框408)。在计算机14的存储器中打开用于患者研究的回波图像是为了增强回波工作流引擎12的处理速度。这与将回波文件作为子过程打开、将回波文件保存到磁盘，并随后在处理期间重新打开每个回波图像的方法(其可能显著降低处理速度)形成对比。

回波工作流引擎12然后从回波图像中提取并存储元数据，并随后通过将图像涂黑并覆盖元数据来使图像匿名化，以便通过覆盖写在图像上的个人信息来保护患者数据隐私(框410)。作为一个实例，DICOM格式的图像文件包含称为DICOM标签的元数据，其可用于存储多种信息，例如患者信息、医生信息、超声制造信息、研究信息等。在一个实施方案中，提取的元数据可存储在数据库16中并且图像文件中的元数据出于私密性而被覆盖。

在接收和处理患者研究之后，回波工作流引擎12将2D图像与多普勒模态图像分离，从而两种不同的图像类型可由不同的管线(pipeline)流处理，如下所述。在一个实施方案中，图像的分离(图3框302)可包含框412至414。首先，通过对元数据进行分析将2D图像与多普勒模态图像分离(框412)。

图5是举例说明示例性2D回波图像500和包含波形的示例性多普勒模态图像502的图。回波工作流引擎12可通过检查元数据/DICOM标签来确定图像类型。在一个实施方案中，可提取DICOM标签内的信息以便将图像分组为以下四类之一：仅2D、脉冲波(PW)、连续波(CW)和m模式。类似地，元数据中的超声成像装置24的换能器频率可用于将一些PW图像进一步分入第五类：脉冲波组织多普勒成像(PWTDI)。

再次参考图4A，回波工作流引擎12还可滤除具有缩放视图的图像，这也可通过对元数据进行分析来确定(框414)。在图像捕获期间被缩放的任何回波图像都不会通过管线进行处理，因为在缩放时，可用的信息必然会被排除在图像之外，这意味着对于丢失的数据必须参考原始图像，这是减慢处理速度的重复工作。因此，回波工作流引擎12滤除或丢弃缩放图像以节省处理时间，而不是以这样的方式潜在地减慢过程。在一个替代实施方案中，可在框412中的分离图像之前进行框414中的滤除缩放图像。

在从多普勒模态图像中分离2D图像之后，回波工作流引擎12从每个回波图像中提取图像数据并将其转换为数值阵列416(框416)。对于作为仅2D的回波图像，像素数据包含按顺序播放的一系列图像帧以创建视频。由于图像帧是未经标记的，因此需要确定视角。对于包含波形模态的多普勒模态图像，DICOM文件中可用于后续视图鉴定的有两幅图像，即心脏的波形图像和回波图像。像素数据从DICOM文件中提取，并且DICOM文件中的标签确定了裁剪图像的坐标。经裁剪的像素数据存储在数值阵列中以供进一步处理。在一个实施方案中，框412、414和416可对应于图3的分离图像框302。

在分离图像之后，回波工作流引擎12尝试按视图类型对每个回波图像进行分类。在一个实施方案中，视图分类(图3框304和306)对应于框418至422。

根据所公开的实施方案，回波工作流引擎12尝试通过利用并行管线流来按视图类型对每个回波图像进行分类。并行管线包含2D图像管线和多普勒模态图像管线。2D管线流开始于通过第一CNN按视图类型对2D图像进行分类(框418)，对应于来自图3的框304。多普勒模态图像管线流开始于通过第二CNN按视图类型对多普勒模态图像进行分类(框420)，对应于来自图3的框306。

图6是举例说明由回波工作流引擎12自动分类的一些示例性视图类型的图。如前所述，示例性视图类型可包括胸骨旁长轴(PLAX)、心尖2-、3-和4室(A2C、A3C和A4C)、A4C加二尖瓣脉冲波、A4C加间隔侧脉冲波组织多普勒、A4C加侧边脉冲波组织多普勒、A4C加三尖瓣侧脉冲波组织多普勒、A5C加主动脉瓣连续波，A4C+M模式(TrV)、A5C+PW(LVOT)。

再次参考图4A，在一个实施方案中，如下进行2D图像分类。如果DICOM文件包含来自2D视图的视频帧，则仅分析视频帧的小子集以确定2D视图分类，以进行更有效的处理。在一个实施方案中，视频帧的子集可为约8至12个视频帧，但优选地将10个帧输入至针对2D训练的CNN200A之一中以确定实际视图。在一个替代实施方案中，可从视频文件中随机选择视频帧子集。在一个实施方案中，CNN 200A将每个所分析视频帧分类为以下之一：A2C、A3C、A4C、A5C、改良PLAX、PLAX、PSAX AoV级、PSAX中级、肋下Ao、肋下Hep静脉、肋下IVC、肋下LAX、肋下SAX、胸骨上和其他。

多普勒模态图像包含两个图像，心脏的超声心动图图像和对应的波形，这二者均是从回波文件中提取出来用于图像处理的。在一个实施方案中，连续波(CW)、脉冲波(PW)和M模式图像的多普勒模态图像分类如下进行。如果DICOM文件包含波形模态(CW、PW、PWTDI、M模式)，则将两个提取的图像输入至针对CW、PW、PWTDI和M模式视图分类训练的CNN 200A之一，以将回波图像进一步分类为以下之一：CW(AoV)、CW(TrV)、CW其他、PW(LVOT)、PW(MV)、PW其他、PWTDI(外侧)、PWTDI(间隔)、PWTDI(三尖瓣)、M模式(TrV)和M模式其他。

存在可用于模态的更多潜在分类，但是本实施方案战略性地选择以上类别，同时将剩余的潜在类别分组为“其他”，以便使处理效率最大化，同时鉴定临床上最重要的图像以用于进一步处理和量化。CNN 200A的定制发生在期望的所使用层数和每层内的过滤器数量中。在训练阶段期间，可通过反复训练和调整来确定CNN的正确尺寸，直至达到最佳性能水平。

在视图分类期间，回波工作流引擎12维持指示视图分类正确的置信度水平的分类置信度评分。回波工作流引擎12滤除具有未能满足阈值的分类置信度评分(即低的分类置信度评分)的回波图像(框422)。可采用多种算法来导出分类置信度评分，其取决于所讨论的视图。心脏结构调绘中检测到的异常、图像品质、检测到的心动周期和图像伪影的存在均可用于降低分类置信度评分并从自动化回波工作流中丢弃回波图像。

关于置信度评分，回波工作流引擎12在处理的不同阶段生成并分析数个不同类型的置信度评分，包括分类、调绘和测量(例如，框422、434和442)。例如，通过过滤分类置信度评分来滤除可能是由于图像品质不达标造成的品质较差的调绘或分类。在另一个实例中，在患者研究中，可多于一次获取相同的视图，在这种情况下，通过滤除低的测量值置信度评分来选择最佳测量值，如下面在框442中进一步描述的。具有满足预定阈值的置信度评分的任何数据均将继续通过工作流。如果存在均具有高置信度的重复测量，则可选择临床上最相关的测量值。

接下来，回波工作流引擎12执行图像分割以限定目的区域(regions ofinterest，ROI)。在计算机视觉中，图像分割是将数字图像划分为多个区段(像素集)以对对象定位和划边界(直线、曲线等)的过程。通常来说，调绘是重叠覆盖在图像上的一系列边界线，以突出显示区段边界/边缘。在一个实施方案中，限定ROI的分割(图3框308)对应于框426至436。

在一个实施方案中，2D图像管线通过第三CNN调绘目的区域，例如2D图像中的心腔，以产生经调绘的2D图像(框426)。调绘后处理然后侵蚀调绘以降低其尺寸、样条拟合心脏结构的轮廓并调整靠近目的区域(ROI)的边界线的位置(框427)。2D图像管线继续分析经调绘2D图像中的ROI(例如，心腔)以通过查找收缩期/舒张期终点来估计容积并确定心动周期中的关键点(框430)。对于仅2D视图，在心动周期的收缩期或舒张期(即当左心室达到最小容积(收缩期)或最大容积(舒张期)时)进行测量。从2D视频图像中，必须基于估计的左心室容积的尺寸确定哪些终点是收缩期的，以及哪些是舒张期的。例如，显著大的左心室可指示张力障碍终点，而显著小的容积可指示收缩期终点。每个视频帧均被调绘，并且在整个心动周期中计算左心室的容积。使用峰值检测算法检测具有最小和最大容积的帧。

多普勒模态管线分析多普勒模态图像并通过第四CNN在多普勒模态图像中生成掩模和波形轨迹，从而产生经调绘的多普勒模态图像(框431)。

图7是举例说明在框426中被分割以产生指示心腔的调绘700的示例性2D图像和在框431中被分割以产生掩模和波形轨迹702的示例性多普勒模态图像的图。

在一个实施方案中，第三和第四CNN可对应于分割CNN 200B。在一个实施方案中，用于分割2D图像和多普勒模态图像的每个CNN 200B可作为U-Net CNN实施，所述U-Net CNN是为生物医学图像分割开发的卷积神经网络。可使用多个U-Net。例如，对于2D图像，可训练第一U-Net CNN从A2C、A3C、A4C视图中调绘心脏的心室和心房。可训练第二U-netCNN来调绘PLAX视图中的室。对于M模式视图，可训练第三U-Net CNN来分割波形，移除一小部分区段以查找目的区域的可能候选者，并随后再连接所述区段以提供二尖瓣的完整运动轨迹。对于CW视图，可训练第四U-net CNN来调绘和追踪血流。对于PW视图，训练第五U-net CNN以调绘和追踪血流。对于PWTDI视图，可训练第六U-net CNN来调绘和追踪组织结构(外侧/间隔/三尖瓣)的运动。

再次参考图4A，多普勒模态管线继续通过使用滑动窗口处理经调绘的多普勒模态图像以鉴定周期，在周期中测量峰值，并且通过查找收缩期/舒张期终点来确定心动周期中的关键点(框432)。通常来说，多普勒模态视频可捕获三个心脏周期，并且调整滑动窗口的尺寸以阻断所述周期中的两个，以便仅对一个所选周期进行分析。在所选周期内，滑动窗口用于鉴定周期，在周期中测量峰值，并通过查找收缩期/舒张期终点来确定心动周期中的关键点。

图8是举例说明对于2D和多普勒模态二者，在心动周期中查找收缩期/舒张期终点(其是为了进行准确心脏测量的关键点)的一些实例的图。

再次参考图4A，在一个实施方案中，回波工作流引擎12维持对应于估计的容积、收缩期/舒张期终点、鉴定的周期和测量的峰值的调绘置信度评分。回波工作流引擎12滤除具有未能满足阈值的调绘置信度评分(即低的调绘置信度评分)的经调绘图像(框434)。低置信度调绘的一些实例可包括具有以下一项或更多项的经调绘图像：过小的区域/容积、突然的宽度变化、不成比例的扇区、部分心脏周期和不足的心脏周期。

在滤除具有低的调绘置信度评分的图像之后，回波工作流引擎12为每个图像限定成像窗口，并滤除位于成像窗口之外的调绘(框435)。

图9是举例说明2D回波图像900中的成像窗口的处理的图。在左图像中，示出了其中具有非阴影区域或洞(hole)904的阴影ROI 902。使用开放式CV形态变换来填充ROI内部的洞904，如右图像所示。此后，可使用霍夫线变换(Hough line transformation)来查找成像窗口边界906。众所周知，霍夫变换是在数字图像处理中使用的特征提取技术，用于在特定类别的形状内查找对象的不完美实例。在找到成像窗口边界之后，对超出成像窗口边界的调绘进行像素说明。然后丢弃在成像窗口的边界之外具有显著数目像素的调绘908。

再次参考图4A，在自动化临床工作流系统10C的手持式配置中(参见图1B)，患者研究可能不包含多普勒模态图像。根据另一方面，所公开的实施方案通过使用左心室(LV)和左心房(LA)容积测量值导出E、e’和A(例如，舒张早期和晚期传输流以及舒张早期/平均舒张期组织速度)测量来通过使用2D图像模拟多普勒模态测量值来适用于这样的手持式配置(框436)。在一个实施方案中，模拟多普勒模态测量值可以是任选的并且可基于对于当前患者研究指示存在手持式配置和/或不存在多普勒模态图像的软件设置来调用。

再次参考图4A，在一个实施方案中，一旦在分割期间调绘心脏特征，则随后在测量过程期间测量心脏特征(图3的框310)，其在一个实施方案中可包含框438至448。测量心脏特征的过程可开始于使用调绘对多个测量进行量化。首先，2D管线测量2D图像的左/右心室、左/右心房、左心室流出(LVOT)和心包(框438)。对于多普勒模态图像，多普勒模态图像管线测量血流速度(框440)。

更具体地，对于A2C、A3C和A4C图像视图，室尺寸的容积测量值在视频的收缩和舒张帧上进行，并且图像处理技术模仿受过训练的临床医师使用磁盘方法(MOD)测量容积。对于2D Plax图像视图，使用图像处理技术模仿受过训练的临床医师，对视频的收缩和舒张帧进行室尺寸和室间距离的线性测量。对于M模式图像视图，从二尖瓣运动的经调绘区段中，提取中心线并使其平滑，并随后测量峰值和谷值以便确定心动周期的最小和最大偏差。对于PW图像视图，根据血流的调绘，创建掩模以隔离部分波形。然后在轨迹上运行滑动窗口，以与来自DICOM标签的心率数据组合鉴定一个完整的心脏周期，来用作模板。然后使用该模板来鉴定图像中的所有其他心脏周期。然后对每个周期进行峰值检测，并随后运行算法以鉴定每个峰值表示心脏周期的哪个部分。对于CW图像视图，根据血流轨迹的调绘，对调绘进行曲线拟合，以然后对所期望的测量值进行量化。对于PWTDI图像视图，根据组织运动的调绘，创建掩模来隔离部分波形。然后在轨迹上运行滑动窗口，以与来自DICOM标签的心率数据组合鉴定一个完整的心脏周期，来用作模板。然后使用该模板来鉴定图像中的所有其他心脏周期。然后对每个周期进行峰值检测，并随后运行算法以鉴定每个峰值表示心脏周期的哪个部分。

图10是以图形方式举例说明从2D图像中的心腔调绘自动生成的结构测量(左)和从多普勒模态中的波形调绘自动生成的速度测量(右)的图。

以下测量表列出了可由根据一个实施方案的回波工作流引擎12编译的测量值。

测量表

再次参考图4A，在一个实施方案中，回波工作流引擎12维持与测量的左/右心室、左/右心房、LVOT、心包和测量的速度相对应的测量值置信度评分。回波工作流引擎12滤除具有未能满足阈值的测量值置信度评分(即低的测量值置信度评分)的回波图像(框442)。

心脏特征的测量值继续使用由CNN生成的调绘计算纵向应变图(框444)。此后，第五CNN检测心包积液446。

图11是以图形方式举例说明从2D图像中的心腔调绘自动生成的整体纵向应变的测量值的图。

再次参考图4A，对于所有剩余的未被滤除的数据，回波工作流引擎12选择与具有最大容积的心腔相关的测量值作为最佳测量值数据，并与最佳测量值数据、图像位置、分类、调绘和与最佳测量值相关的其他测量值数据一起保存(框447)。

图12A是以图形方式举例说明基于最大容积心腔的最佳测量值数据1200的示例性集以及将最佳测量值数据1200保存至储存库(例如图1的数据库16)的图。

再次参考图4A，回波工作流引擎12然后通过将最佳测量值数据1200输入至基于国际测量值指南的规则集合来生成用于医学决策支持的结论而生成结论(框448)。

图12B是以图形方式举例说明将正常LV EF测量输入至规则集合以确定患者具有正常舒张功能、舒张功能障碍或不确定的结论的图。

再次参考图4A，在生成结论之后，生成并输出报告(图3框314)，其可包含框450至456。报告生成可开始于回波工作流引擎12将最佳测量值数据1200输出至JSON文件，以便灵活地导出到其他应用(框450)。

图13是以图形方式举例说明将分类、调绘和测量值数据输出至示例性JSON文件的图。

再次参考图4A，显示基于轻量级浏览器的用户界面(UI)，其示出了使来自JSON文件的最佳测量值数据1200显现并且可由用户(例如，医生/技师)编辑以供人查证的报告(框452)。众所周知，轻量级web浏览器是被优化以降低系统资源消耗，特别是使存储器印迹最小化，并通过牺牲主流web浏览器的一些特征的web浏览器。在一个实施方案中，对数据所做的任何编辑均存储在数据库16中并显示在UI中。

为了向用户做出临床相关建议，自动地将与最佳测量值数据1200相关的测量值与当前国际指南值进行比较，并且为用户突出显示任何超出范围的值(框454)。

图14是举例说明突出显示在国际指南范围之外的值的示例性报告的一部分的图。

再次参考图4A，向用户提供生成示出主要检查结果的自动化总结(即，在检查之后得出的结论)并强调患者健康状况测量的可打印报告的选项(框456)。

图15是举例说明可由用户打印和/或显示的主要检查结果的示例性报告的一部分的图。

在一个实施方案中，回波工作流引擎12的自动化工作流可在框456处结束。然而，在所公开实施方案的另一些方面中，该过程可继续高级功能，如下所述。

图4B是举例说明回波工作流引擎的高级功能的流程图。根据该实施方案，回波工作流引擎12将使用机器学习自动导出的特定测量作为输入值(参见框310)，并对该特定测量进行分析以相对于疾病和匹配对照和正常患者对照二者确定疾病诊断/预测/预后(框460)。在一个实施方案中，回波工作流引擎12可使用疾病预测来进行对以下任意组合的诊断：心脏淀粉样变性、肥厚型心肌病、限制性心包炎、心脏毒性、舒张早期功能障碍和无多普勒舒张功能障碍评估(框462)。然后可生成自动化评分形式的预后以预测未来的死亡率和住院治疗(框464)。

超声心动图是诊断射血分数保留的心力衰竭(HFpEF)的关键。然而，现有指南在其超声心动图标准的建议中混杂在一起，并且没有可用的指南针对HFpEF中的金标准侵入性血流动力学测量进行验证。

根据一个实施方案，回波工作流引擎12还生成诊断评分以用于理解预测(框466)。使用机器学习，回波工作流引擎12针对侵入性测量的肺毛细血管楔压(pulmonarycapillary wedge pressure，PCWP)验证诊断评分，并确定该评分在大HFpEF组群中的预后效用。

在一个实施方案中，回波工作流引擎12将使用机器学习工作流自动导出的特定测量作为输入值，并使用HFpEF算法对输入值进行分析以计算HFpEF诊断评分。

认识到高血压性心脏病是HFpEF最常见的前兆，并且超声心动图特征与HFpEF重叠，因此将患有HFpEF(LVEF≥50％)的233名患者的超声心动图特征与具有正常射血分数但无心力衰竭的273名高血压对照进行比较。使用惩罚逻辑回归模型以及分类和回归树(Classification and Regression Tree，CART)分析开发了不可知论模型(agnosticmodel)。在分开的96名患者组群中研究了衍生的超声心动图评分与侵入性测量的PCWP的关联。在来自TOPCAT试验的美洲超声心动图子研究的患有HFpEF的653名患者中，研究了该评分与HF住院治疗的心血管死亡率的综合临床结局之间的关联。

根据一个实施方案，选择左心室射血分数(LVEF＜60％)、峰值TR速度(＞2.3m/s)、相对壁厚度(RWT＞0.39mm)、室间隔厚度(＞12.2mm)和E波(＞1m/s)作为最简洁的变量组合，以从高血压对照中鉴定HFpEF。基于这5个超声心动图变量的加权评分(范围0至9)具有0.9的曲线下组合面积，用于从高血压对照中鉴定HFpEF。

图16是显示绘制PCWP和HFpEF评分的图A和绘制CV死亡率或HF住院治疗的图B的图。图A示出了在独立组群中，在患有HFpEF的患者中，HFpEF评分与PCWP显著相关(R

根据所公开的实施方案，超声心动图评分可将HFpEF与高血压对照区分开来并且在HFpEF中与严重程度和结局的客观测量相关。

公开了用于使用机器学习来实施基于软件的自动化临床工作流的方法和系统，其识别和分析2D和多普勒模态超声心动图图像二者以用于自动化测量以及心脏病的诊断、预测和预后，并且其可部署在工作站或基于移动的超声定点照护系统中。已根据所示实施方案对本发明进行了描述，并且实施方案可存在变化，并且任何变化均在本发明的精神和范围内。例如，示例性实施方案可使用硬件、软件、包含程序指令的计算机可读介质或其组合来实施。根据本发明编写的软件将存储在某种形式的计算机可读介质，例如存储器、硬盘或光ROM中，并且将由处理器执行。因此，在不脱离所附权利要求书的精神和范围的情况下，本领域普通技术人员可做出许多修改。