用于标识后续医学图像中的病理变化的方法和系统

摘要

本发明提供了用于标识后续医学图像中的病理变化的方法和系统，该方法包括以下步骤：提供在第一时间示出患者的身体部位的参考图像数据；提供在随后的第二时间示出患者的身体部位的后续图像数据；使用至少一个图像配准来针对参考图像数据和后续图像数据生成一个或更多个变形场，所述一个或更多个变形场描述身体部位在参考图像数据与后续图像数据之间的解剖变形；使用一个或更多个变形场使参考图像数据和后续图像数据对准以生成共同对准图像数据；使用机器学习网络来分析共同对准图像数据以标识身体部位从参考图像数据到后续图像数据的病理变化，该机器学习网络被训练成识别共同对准图像数据中的病理相关变化。

说明书

技术领域

本实施方式涉及医学图像处理，例如，用于计算机断层扫描图像或磁共振图像的图像处理。

背景技术

用于后续阅读和纵向变化评估的自动化图像处理是医学成像技术例如计算机断层扫描(CT)或磁共振成像(MRI)中的重要任务。由于将医学图像中的病理变化与正常变化区分开的挑战，识别医学图像中的变化的任务是一个技术问题。例如，对于患者的肺或其他器官的后续扫描，正常解剖变化例如呼吸或其他解剖差异可以掩盖病理变化例如癌性节结生长或收缩。

由于可能发生的大量正常变化，检测在两个或更多个时间点处获取的CT图像或MRI图像中的病理变化是困难的。正常变化对比病理变化的手动检测可能是困难或容易出错的。可以使用计算机辅助的图像配准来提供客观性提高和增加的结果。图像配准可以被分类为两个组：刚性和非刚性。非刚性图像配准也被称为可变形图像配准。在刚性图像配准中，所有像素均匀地移动和/或旋转，使得每个像素到像素(pixel-to-pixel)的关系在变换之前和之后保持相同。然而，在非刚性图像配准中，像素到像素的关系发生变化以对非线性变形进行建模。

在预期没有解剖变化或变形的情况下，刚性图像配准是非常有效的。然而，一些患者可能由于体重减轻、肿瘤收缩和/或生理器官形状变化而经历解剖结构变化。刚性图像配准通常无法很好地处理这些变化。因为非刚性图像配准可以管理两个图像集之间的局部畸变(例如，解剖结构变化)，因此与刚性图像配准相比，非刚性图像配准具有明显更大的灵活性。

然而，所述方法不能区分正常的解剖变化和病理变化。在示例中，如果不可避免地包括在非刚性图像配准中的平滑程度太强，则可能抑制对后续图像中正在生长的肿瘤的识别。与计算机实现的图像配准相关联的另一个问题是：并非所有解剖结构或器官都能同样好地被捕获。虽然存在针对某些主要解剖结构或器官例如肺、心脏、肝脏、肾脏、脾脏或脑进行优化的许多图像配准模型，但其他结构例如淋巴结、主血管、大肠和小肠或胰腺缺乏专用配准。这可能是由于以下事实：这些结构较小，固有地更具动态性或更具分布性。此外，计算机辅助的图像配准技术通常无法很好地处理与其他器官的边界。

一旦在所谓的“全身(部位)变化可视化图像”中分析多于一个的单个专用器官，所有这些就会带来以下问题：不仅在图像后处理之后突出(highlight)预期的病理变化，而且还突出许多视觉伪像(artefact)。可能由于运动(例如，心跳、呼吸和肠胃气胀)、金属伪像和/或体重减轻而引入这些伪像。另外的伪像源自器官边界沿着彼此物理地移动，例如，肺胸膜抵靠胸腔。尤其当涉及分析不仅仅是一个单个器官的变化时，许多当前的计算机辅助的方法是不准确的并且不能区分异常变化和正常变化。因此，它们提供不一致且令人困惑的图像配准。

发明内容

因此，本发明的目的是提供一种计算机辅助诊断工具，该计算机辅助诊断工具特别地通过适当地突出在后续医学图像扫描之间的病理变化来支持用户/医师/放射科医师/病理学医师从医学图像体积得出医学诊断。特别地，本发明的目的是提供一种将病理变化与后续医学图像中的解剖(即，正常、健康)变形区分开的改进的计算机实现的方法。在这点上，还期望提供以下方法(和相关联的系统)，所述方法(和相关联的系统)可以递送描绘患者的身体部位内的多个器官和解剖结构的医学图像中的病理变化的全面图片，从而辅助医师进行医学诊断。

该目的通过根据本发明的技术方案的用于标识后续医学图像中的病理变化的方法、相应的系统、用于训练机器学习网络的相应方法、相应的计算机程序产品以及计算机可读存储介质来解决。替选和/或优选实施方式是本发明的技术方案的目的。

在下文中，关于所要求保护的设备以及关于所要求保护的方法描述了根据本发明的技术解决方案。本文中描述的特征、优点或替选实施方式可以同样地被分配给其他所要求保护的对象，反之亦然。换言之，可以通过关于设备所描述或所要求保护的特征来改进针对本发明方法的权利要求。在这种情况下，例如，该方法的功能特征由设备的目标单元或元件体现。

根据一方面，提供了一种用于标识后续医学图像中的病理变化的计算机实现的方法。该方法包括若干步骤。第一步骤涉及提供(或接收)在第一时间示出患者的身体部位的参考图像数据。另一步骤涉及提供(或接收)在随后的第二时间示出患者(或所述患者)的身体部位(或所述身体部位)的后续图像数据。此外，该方法包括以下步骤：使用至少一个图像配准来针对参考图像数据和后续图像数据生成一个或更多个变形场，所述一个或更多个变形场描述身体部位在参考图像数据与后续图像数据之间的解剖变形。在另一步骤中，使用一个或更多个变形场来使参考图像数据和后续图像数据对准以生成共同对准图像数据。另一步骤涉及使用机器学习网络来分析共同对准图像数据以标识身体部位从参考图像数据到后续图像数据的病理变化，所述机器学习网络被训练成标识共同对准图像数据中的病理相关变化(即，病理变化)。

参考医学图像和后续医学图像可以涉及在空间上提供二维的二维数据集。此外，参考医学图像和后续医学图像可以涉及在空间上提供三维的三维数据集。参考医学图像数据和后续医学图像数据描绘了患者的身体部位，在某种意义上，它们包含患者身体部位的二维或三维图像数据(即，后续图像和参考图像通常示出同一患者的同一身体部位)。参考医学图像数据和后续医学图像数据可以例如呈像素或体素阵列的形式。这样的像素或体素阵列可以表示根据三维位置的强度、吸收或其他参数，并且可以例如通过对由医学成像模态获得的测量信号进行适当处理来获得这样的像素或体素阵列。医学成像模态与用于生成或产生医学图像的系统相对应。例如，医学成像模态可以是计算机断层扫描系统(CT系统)、磁共振系统(MR系统)、血管造影(或C型臂X射线)系统、正电子发射断层扫描系统(PET系统)等。具体地，计算机断层扫描是一种广泛使用的成像方法，并且利用由特殊旋转仪器产生和检测的“硬”X射线。所得到的衰减数据(也被称为原始数据)由计算机分析软件呈现，该计算机分析软件产生患者身体部位的内部结构的详细图像。所产生的图像集被称为CT扫描，所述CT扫描可以构成多个系列的连续图像，以垂直于人体的轴线的截面呈现内部解剖结构。要提供的另一示例磁共振成像(MRI)是一种先进的医学成像技术，该医学成像技术利用有效磁场对质子移动的影响。在MRI机器中，检测器是天线，并且由计算机对信号进行分析，从而创建人体的任何部段中的内部结构的详细图像。因此，所描绘的患者身体部位通常将包括多个解剖结构和/或器官。以胸部图像作为示例，参考图像数据和后续图像数据可以示出肺组织、胸腔、淋巴结等。在本申请的框架中“提供”可能意味着：参考图像数据和后续图像数据是从医学成像模态获取的。另外的“提供”可能意味着：参考图像数据和后续图像数据是从适当的存储器例如图片存档及通信系统(PACS)或任何其他适当的医学图像存储设施获取的。另外的“提供”可能意味着：仅接收参考图像数据和后续图像数据以进行进一步处理。

由于参考图像数据和后续图像数据与在不同时间获取的图像相关，因此将存在从参考图像数据到后续图像数据的可见变化。原则上，可以定义两种类型的变化。一种类型的变化是解剖变化或变形。这些变化与正常或“健康”变化相关。这样的解剖变形的一个示例与肺组织的呼吸运动相关。当患者吸气或呼气时，肺的形状发生变化。因此，肺的下部可以表现出比例如肺的中心更大的变形。当肺变形时，邻近组织同样将经历解剖变形。尽管解剖变形发生在更长的时间尺度上，但解剖变形的另一示例将是患者的(正常)体重减轻或体重增加。解剖变化必须与通常和疾病状态相关的病理变形或变化形成对比。示例包括节结(nodule)的生长或收缩、新节结和/或病变的出现等。虽然医师在制定医学诊断时，病理变化是高度相关的信息，但是解剖变形却不那么相关或甚至不相关，原因是解剖变形与病理相关性较小或很小的“健康”变形相关。为了适当地辅助医师(或放射科医师或就此而言的任何其他用户)进行医学诊断，必须从病理变形中描画出解剖变形的轮廓，或者换言之，必须滤除解剖变形。这需要用于标识解剖变化与病理变化之间的差异的方法。

为此，该方法实质上预见到要采用两步法。在第一步骤中，使用一个或更多个图像配准来计算指示解剖变形的变形场。如之前所说明的，这些变形场在大多数情况下将包含伪像，所述伪像主要源自不准确的图像配准和边界效应。在第二步骤中，图像配准的结果(即，在图像配准期间使用的所有变形场和运动模型等)与基础图像数据(即，后续图像数据和/或参考图像数据)一起将被提供给以机器学习网络的形式的经训练的功能。机器学习网络被训练成：识别在图像配准步骤中创建的伪像(例如，计算出的变形场中的错误或非物理变形和/或在拟合运动模型时的不匹配等)以及/或者识别剩余变化的病理相关性，或者换言之，基于输入信息来识别病理变化。

因此，通过使用一个或更多个图像配准来生成(或换言之，计算)变形场的步骤可以被看作是关于解剖变化的第一估计。特别地，这可以包括应用多个图像配准，例如，针对在所描绘的患者的身体部位中标识的每个解剖结构指定的图像配准。图像配准本身是本领域中公知的方法。本质上，这包括：将图像与时间序列的相应图像配准以及找到两个图像之间的变形场，该变形场确定参考图像数据和后续图像数据的坐标系之间的关系，使得参考图像数据中的每个解剖位置被映射到后续图像数据中的相同解剖位置。因此，变形场可以包括分别与参考图像数据和后续图像数据的体素相关联的多个单独的偏移矢量。在这种情况下，刚性配准可以包括如下配准：使一个数据集中的数据点的坐标经历旋转和平移，以便使数据集与另一数据集配准。在这种情况下，仿射配准可以包括如下配准：使一个数据集中的数据点的坐标经历旋转、平移、缩放和/或剪切，以便使数据集与另一数据集配准。因此，刚性配准可以被认为是特定类型的仿射配准。相比之下，非刚性配准可以为要配准的数据集的每个体素提供不同的偏移，并且可以例如使用非线性变换，在所述非线性变换中，使一个数据集中的数据点的坐标经历灵活变形以便使数据集与另一数据集配准。在一些情况下，可以使用矢量场例如扭曲场或其他场或函数来定义非线性变换，从而为三维数据集中的每个体素定义单独的偏移。对于关于图像配准的更多详细信息，请参考US 2011/0 081066和US 2012/0 235 679，其内容通过引用包括在本申请中。根据第一方面使用的一个或更多个图像配准可以是刚性图像配准、非刚性图像配准及其组合。

一旦根据变形场获取了解剖变形的第一估计，就使用变形场来使参考图像数据和后续图像数据对准。使用对准来标识两个数据集之间的病理差异。对准可以包括：将变形场应用于参考图像数据以生成变形的先前图像或变形的参考图像数据作为共同对准图像数据。此外，对准的步骤可以包括：将变形场(作为逆变形场)应用于后续图像数据以生成变形的后续图像数据。此外，共同对准图像数据还可以涉及如下数据，在所述数据中，后续图像数据和/或参考图像数据与变形场配准，例如使得偏移被分配给后续图像数据和/或参考图像数据的每个像素或体素。通常，共同对准图像数据因此使计算的变形场与包含在后续图像数据和/或参考图像数据中的视觉信息相关。这样，共同对准参考图像可以被设想为构成已经滤除了解剖变形的经滤波的图像数据。然而，由于通过一个或更多个图像配准获得的变形场仍然易于包含伪像，因此解剖变化的估计也将包括以缺陷、非物理畸变和不准确的形式的伪像。

在下一个步骤中，共同对准图像数据被提供给机器学习网络。如所说明的，共同对准图像数据包括关于变形场的信息以及起初被用于生成变形场的图像内容信息的部分或全部。机器学习网络被训练成：使用此信息并标识后续图像数据与参考图像数据之间的病理变化。为此，机器学习网络可以被训练成：通过将它与基础图像数据进行比较来识别变形场中的伪像(即，源自生成步骤的伪像)。神经网络的训练可以利用以下事实：在图像已经被对准之后，变形场中的伪像仍然存在，并且这些伪像可能容易与基础图像数据相关。因此，这样，当与基础图像数据进行比较时，可以容易地识别出变形场中的伪像。例如，机器学习网络可以检查变形场中的扭曲或奇异点是否落在器官或解剖结构之间可见的边界上，原因是这可能指示：变形中的不规则性源自图像配准中的伪像。此外，机器学习网络可以被训练成：识别由视觉图像特征表征的病理变化(或者换言之，疾病模式)。就这一点而言，例如当变形出现在其他同质的图像片段内时，机器学习网络可以将变形标记为与病理变化相关。

优选地，机器学习网络是机器学习(人工)神经网络，最优选地，是卷积神经网络。神经网络基本上是像生物神经网例如人脑一样构建的。特别地，人工神经网络包括输入层和输出层。人工神经网络还可以包括在输入层与输出层之间的多个层。每个层包括至少一个节点，优选地，多个节点。每个节点可以被理解为生物处理单元，例如，神经元。换言之，每个神经元与应用于输入数据的操作对应。一个层的节点可以通过边或连接与其他层的节点互相连接，特别地，一个层的节点可以通过有向边或连接与其他层的节点互相连接。这些边或连接限定网络的节点之间的数据流。特别地，缘或连接配备有参数，其中参数通常被表示为“权重”。该参数可以调节第一节点的输出对第二节点的输入的重要性，其中第一节点和第二节点通过边连接。特别地，可以训练神经网络。特别地，根据“监督学习”技术，基于已知的输入值和输出值对来执行神经网络的训练，其中，已知的输入值被用作神经网络的输入，并且其中，将神经网络的相应输出值与相应的已知输出值进行比较。只要最后的网络层的输出值充分地对应于根据训练数据的已知输出值，人工神经网络就独立地学习并调整各个节点的权重。对于卷积神经网络，该技术也被称为“深度学习”。术语“神经网络”和“人工神经网络”可以用作同义词。

可以应用第一组神经网络层从图像中提取特征。在这种情况下，图像数据例如变形的参考图像数据或变形的后续图像数据——即图像的每个单独图像元素的灰度值和/或颜色值——充当神经网络的输入值。另外，可以从变形场提取相应特征。这样提取的特征如对比度、梯度、纹理、密度、畸变、奇异点、梯度等可以作为输入值被馈送至也被称为分类器的第二组网络层，所述分类器用于进一步将对象和/或特性分配给图像中存在的所提取的特征中的至少一个。然而，所描述的神经网络的两个功能同样可以由分离的、单独的神经网络来执行。换言之，可以由第一神经网络执行用于特征提取的图像分析，并且可以由第二神经网络执行分类，即，对象和/或特性分配。

特别地，机器学习神经网络可以是卷积神经网络。特别地，机器学习神经网络可以是深度卷积神经网络。在一个示例中，可以使用全卷积的图像到图像神经网络，其中共同对准图像数据被输入到网络中，并且输出是病理变化的似然图(likelihood map)或滤波图像。可以使用任何类型的图像到图像神经网络。如果提供有变形场和相应的医学图像数据，则可以使用被配置成或被训练成标识病理变化的替选的机器学习网络。

根据实现，机器学习神经网络包括一个或更多个卷积层和/或一个或更多个去卷积层。此外，机器学习神经网络可以包括一个或更多个池化层和/或一个或更多个上采样层。此外，机器学习神经网络可以包括一个或更多个完全连接的层。

发明人已经认识到，通过使用卷积层和/或去卷积层，可以将神经网络特别有效地用于图像处理，原因是尽管节点层之间有许多连接，但是只有几个边权重(即，与卷积核的值相对应的边权重)必须通过训练来确定。因此，在具有相同数量的训练数据的情况下，神经网络的准确性也可以得到提高。

可以使用包括参考图像数据和后续图像数据的真实数据来训练网络，其中病理变化已经被手动地注释。然后，可以按照与结合以上方法所说明的方式相同的方式——即，通过生成变形场和共同对准图像数据以及通过将共同对准图像数据输入至机器学习模型——来处理该真实数据。然后，可以将机器学习网络在此基础上提供的病理变化的指示与手动注释的变化进行比较。比较(例如，差异)——即损失函数——用于向网络提供反馈，使得可以调节网络的权重以生成对病理相关变化的更好指示。此外，如将在下面进一步详细描述的，可以使用用于模拟解剖变形的运动模型，使用从现有参考图像数据(或后续图像数据)人工生成的后续图像数据(或参考图像数据)来训练网络。

换言之，被训练成识别源自生成偏移场的步骤的伪像和/或病理变化意味着：机器学习网络被训练成将病理变化与例如由于图像配准而引起的解剖变化和伪像区分开。这样，还可以将机器学习网络视为被训练成识别伪像和/或解剖变化/变形。网络标识病理变化的能力可能意味着：网络被训练成(仅)识别共同对准图像数据中的伪像和/或解剖变形。然后，病理相关变化的标识可以被认为是伪像识别的隐式“副产品”，原因是所有残留变化将自动与病理变化相关。此外，机器学习网络可以被训练成积极地识别病理变化(这将超越仅仅识别伪像)。于是，将变得更加可能主动向用户标记出病理变化(否则其可能几乎不可见)。在这种情况下，“识别”可能意味着：机器学习网络提供关于参考图像数据和/或后续图像数据中的病理变化的位置和涉及的体素、变化量等的信息。

总之，以上介绍的方法步骤协同地有助于如下方法，所述方法允许可靠地标识后续医学图像中的病理变化。因此，提供了一种方法，该方法通过处理生理测量来辅助用户提供医学诊断。因此，处理基本上被分为两个互相联系的步骤：在适当的图像配准的帮助下计算一个或更多个变形场；以及随后使用人工智能来对结果进行分析。基于图像配准的方法意味着：可以部署如下方案和算法，多年来已经针对特定器官和解剖结构对所述方案和算法进行了全面优化，并且已经证明所述方案和算法对特定任务极为有效。使用图像配准具有如下另一个优点：显著地改善了机器学习网络的起点，这减轻了训练阶段，并且提高了该方法的整体准确性。继而，机器学习网络的实现使得可以为用户容易地验证并突出该方法的结果。更重要的是，使用机器学习模型是在不同解剖结构之间容易地使用图像配准和/或组合多个图像配准的前提。原因在于：当图像配准被应用于包括多个解剖结构和结构的全身部位时，伪像是不可避免的，而学习到的区分相关变化与不相关变化的能力固有地包括对伪像的错误校正。对用户而言，这是相当大的帮助，原因在于：医学诊断通常不仅仅关注一个器官，还需要对邻近器官和组织进行癌性向内生长和转移的筛查。通过提供身体部位中的病理变化的全面图片，根据第一方面的方法能够最佳地支持用户提供医学诊断。

注意，该方法不限于将一个参考图像数据集与一个后续图像数据集进行精确地比较。而是，当比较在多于两个时间点处拍摄的图像数据时，可以重复地应用所述步骤，就像当将手头的后续图像数据与两个不同的参考图像数据集进行比较时的情况一样。

根据实施方式，对准的步骤包括：通过将至少一个变形场应用于参考图像数据来计算变形的参考图像数据。

通过将变形场应用于参考图像数据，参考图像数据被变换为后续图像数据的“坐标系”。换言之，针对在参考图像数据和后续图像数据的获取之间的时间段中发生的解剖变化和变形来校正随后的变形的参考图像数据。不考虑变形场中的任何伪像，变形的参考图像数据和后续图像数据原则上将已经适合于直接比较以确定两个图像之间的病理变化。这样的比较可以例如包括：从后续图像数据中减去变形的参考图像数据。然而，由于变形的参考图像数据仍然基于易于包含伪像的直接图像配准，因此，实际上将几乎不能从伪像中辨别出结果中包括的任何病理变化。

此外，提供的变形的参考图像数据构成了重要的中间结果，这具有双重优点：提供的变形的参考图像数据可以被机器学习网络容易地处理，并且为随后向用户呈现病理变化提供了良好的基础。此外，在训练机器学习模型方面，提供的变形的参考图像数据也构成了合理的起点，原因是可以针对可用的训练数据集容易地计算出变形的参考图像数据。

作为替选方案，对准的步骤可以同样包括：通过将至少一个变形场应用于参考图像数据来计算变形的后续图像数据。根据图像配准的实现，可以通过反转变形场的步骤来补充该步骤。

根据实施方式，分析的步骤包括：生成与共同对准图像数据相对应的图像滤波器，图像滤波器被配置成：基于机器学习网络的输出来突出病理变化。

图像滤波器可以被配置成使得它构成与参考图像数据和后续图像数据兼容的图像数据。特别地，图像滤波器可以具有与参考图像数据和/或后续图像数据相同或相似的格式和/或维度。图像滤波器可以被配置成使得：当该图像滤波器被应用于参考图像数据和/或后续图像数据时，病理变化被突出。例如，图像滤波器可以被配置成使得：它可以被叠加在参考图像数据和/或后续图像数据上，或者它可以与参考图像数据和/或后续图像数据相乘。机器学习网络可以被配置为图像到图像网络，其中，共同对准图像数据作为输入并且图像滤波器作为输出。

突出病理变化可能意味着：不相关的变化例如源自图像配准的残留伪像被滤除(由于机器学习网络检测伪像的能力)以及/或者相关变化即病理变化被突出(由于机器学习网络识别病理变化的能力)。突出可能意味着：病理变化下面的像素或体素可以在视觉上例如在颜色和/或亮度方面被增强。滤除可能意味着：例如通过降低与伪像对应的像素或体素的强度或使与伪像对应的像素或体素和背景融合，从而使与伪像对应的像素或体素在视觉上变暗。

通过生成用于突出病理变化的图像滤波器，提供了可以由用户直观访问的输出。它允许快速视觉检查从一种医学检查到另一种医学检查的病理变化。

根据实施方式，分析的步骤包括：从后续图像数据中减去变形的参考图像数据；以及将结果与图像滤波器相乘。

从后续图像数据中减去变形的参考图像数据生成如下图像数据，已经针对通过图像配准所标识的运动和变形对所述图像数据进行了校正。该图像数据随后也被称为减影图像数据。减影图像数据保留了病理变化。然而，变形的参考图像数据还包含源自错误图像配准的伪像。本质上，减影图像数据是二维图像或三维图像，其中病理变化以及伪像可能表现为非零条目(像素或体素)。为了滤除伪像，将减影图像数据与图像滤波器相乘。继而，图像滤波器被配置成使得：该图像滤波器滤除减影图像数据中的伪像。例如，图像滤波器可以在三维图像数据中伪像已经被标识的位置处包含零。此外，图像滤波器可以被配置成突出病理变化。为此，图像滤波器可以在二维或三维图像数据中病理变化已经被标识的位置处包含增强因素。增强因素可以使得相应像素或体素的强度或亮度(例如，在灰度值方面)被增加，或者增强因素可以使得颜色被改变或添加以相对于背景而突出相应的像素或体素。以上过程(即，从后续图像中减去变形的参考图像并且将该结果与图像滤波器相乘)的结果随后也可以被称为“变化可视化图像数据”。

根据实施方式，生成的步骤还包括：对参考图像数据和后续图像数据进行分割，以在参考图像数据和后续图像数据内定义多个相应的片段对，每个片段对与参考图像数据和后续图像数据中描绘的患者身体部位的不同解剖结构相对应。

如所提到的，患者的身体部位通常包括多个解剖结构和器官，例如以胸部图像作为示例，包括肺叶、肋骨结构、脊柱、心脏等。在许多情况下，并非所有这些解剖结构都与给定的诊断相关，并且更重要的是，并非所有解剖结构都能通过可用的图像处理算法得到同样好的处理。在这种情况下，分割允许标识图像数据中的解剖结构和器官并相对于邻近的结构、背景和非结构化组织描画出这些解剖结构和器官的轮廓。这使得可以应用针对特定器官已经进行优化的专用图像分析过程。这不仅适用于图像配准(参见下文)，而且还适用于实际图像配准的上游发生的可能的图像预处理步骤。另外，参考图像数据和后续图像数据的划分使得能够交互式地关注关于用户感兴趣的器官和解剖结构的信息的分析和随后显示，从而使得该方法更容易被用户使用。对于图像分割，原则上可以使用已知方法。

根据实施方式，生成的步骤包括：通过将图像配准分别应用于在参考图像数据和后续图像数据中相应地定义的不同片段(或片段对)来生成多个变形场。

换言之，不同的图像配准被用于参考图像数据和后续图像数据的不同片段。在不同片段上使用不同的图像配准使得能够应用针对不同解剖结构例如肺、肝、肾、脾、脑、骨骼等而特别优化的配准。对于没有指定的图像配准可用的片段(例如，淋巴结、主血管、大肠和小肠、胰腺等)，可以使用一般的图像配准。同样，一般的图像配准技术可以被用于参考图像数据和后续图像数据的非结构化部分，例如以便覆盖目标解剖结构及其周围环境。通常，每个图像配准将提供它自己的变形场。所有变形场一起限定通过图像配准计算的从参考图像数据到后续图像数据的解剖变形。注意，所述片段也可能交叠，因此各个变形场也可能交叠。机器学习网络被训练成处理这样的输入。

针对参考图像数据和后续图像数据的不同片段使用不同的图像配准具有如下优点：可以部署通常比更多一般模型执行得更好的专用例程。注意，可以通过用于起初标识病理伪像的机器学习网络的后续实现来进行多个不同图像配准的使用。这是因为不同图像配准的组合可能导致整个变形场中(特别地，在两个解剖结构的边界处，在该边界处，由各个图像配准输出的各个变形场已经被拼凑在一起)的巨大伪像。在没有如机器学习网络所影响的随后滤波的情况下，用户将因此几乎不能够标识参考图像数据与后续图像数据之间的相关病理变化。

根据实施方式，该方法还包括：渲染后续图像数据的图像，并且显示具有突出的病理变化的图像。

通过向用户提供具有突出的病理变化的后续图像数据的渲染，用户可以立即推断出发生了什么变化以及这些变化出现的位置。这有助于引导图像读取，因此增加了该方法的可用性，并且为用户得出医学诊断提供了更好的帮助。

通常，二维渲染可以依赖于已知的渲染过程，例如，光线投射、光线跟踪、纹理渲染等。在这种情况下，术语“突出”可以意味着：病理变化在视觉上在亮度、颜色和/或强度方面得到了增强。除此之外或作为替选方案，可以使用符号来突出所标识的病理变化。此外，可以使用包括语义表达的标签来突出所标识的病理变化。可以基于来自机器学习网络的关于所标识的病理变化的信息——例如病理变化的位置、体积和变化量——来执行突出或标记。具有突出的病理变化的显示还可以意味着：以叠加的变化可视化图像数据显示后续图像数据的渲染图像。突出还可以意味着使用热图，其中，例如，变化量是颜色编码的。例如，可以为收缩节结分配与生长节结不同的颜色。热图同样可以被可视化为在后续图像数据上的叠加图像。

根据实施方式，标识病理变化可以包括：确定与病理变化相关联的元数据。

元数据可以被看作提供关于已标识的病理变化的其他见解的辅助信息。元数据可以涉及：变化的类型，例如新形成的病变或消失的病变的指示；病理类型；根据大小和/或形状的分类；根据恶性或良性的分类；以及/或者根据诸如生长或收缩的行为的分类。元数据可以包括描述以上参数的语义信息。此外，元数据可以包括潜在病变、节结、肿块或其他病理相关特征的数值信息，例如体积、截面、周长、直径、生长速率或收缩速率、量化可观察值的值例如轮廓的状态(例如，平滑的或毛刺状的)、钙化或脂肪沉积的程度或者坚固程度等。为了在标识病理变化时检索元数据，机器学习网络可以被训练成：从共同对准图像数据确定(提取)元数据。在这点上，神经网络的训练可以依赖于专家注释的数据或具有已知元数据的模拟病理变化。

根据实施方式，该方法还包括：基于元数据为用户标记病理变化。

可以在后续图像数据的以上提到的渲染中在所标识的病理变化的位置处执行标记。作为替选方案或除此之外，可以针对用户以列表的形式执行标记，该列表列出了病理变化以及相应的元数据。根据另一实现，可以基于元数据对列表中的病理变化进行排序。这样做时，可以使病理变化以优先顺序排列。具体地，可以根据诸如恶性程度或生长速率的标准对病理变化进行排序，从而将用户的注意力引向最相关的病理变化。根据实现，排序标准可以由用户交互式地设置。

根据实施方式，也可以通过适当地标记伪像和/或解剖变化来向用户标识这些伪像和/或解剖变化。

根据实施方式，该方法还包括：确定用于参考图像数据和/或后续图像数据的成像窗口，以及基于所确定的成像窗口来渲染后续图像数据(例如，通过仅渲染后续图像数据在成像窗口内的那些部分)。

成像窗口可以由用户确定——或者对于需要更多帮助的用户，成像窗口可以通过该方法半自动地或自动地确定。术语“成像窗口”通常涉及仅选择后续图像数据和/或参考图像数据的一部分或几部分以进行显示的过程。这可以包括仅选择图像片段的一部分(例如，如在前述分割步骤中确定的)以进行显示。它还可以包括限定图像强度窗口并在该窗口内仅显示这样的强度。后一个示例在CT成像中具有相当大的意义。CT图像数据的每个体素通常具有强度值(通常以Hounsfield或HU单位被测量)，该强度值表示从CT测量确定的在体积中的相应位置处X射线的衰减。由于这种关系，可以仅基于体素强度值的阈值化来执行分割。例如，可以将具有特定范围内的强度值的所有体素视为代表骨骼。相应的范围被称为“骨骼窗口”。其他窗口可能与划分软组织或肺部相关。在本领域中，这些窗口通常被称为HU窗口。

也就是说，根据实施方式，参考图像数据和后续图像数据是计算机断层扫描图像数据(即，已经通过CT系统被获取)，并且该方法包括：确定当前HU窗口，并且仅渲染后续图像数据(和/或参考图像数据和/或变化可视化数据)中布置在当前HU窗口内的那些部分。

在任何情况下，将显示的信息限制到成像体积的当前正在考虑的仅那些部分，即，布置在成像窗口内的仅那些部分，向用户提供更清晰且更不会混淆的信息呈现。此外，这提供了手动改变成像窗口的选项。这样做时，用户可以交互式地选择成像参数，这使得呈现能够适应于用户的个人偏好和所考虑的情况。

根据实施方式，生成变形场的步骤包括：使用一个或更多个非刚性图像配准。

非刚性图像配准的使用具有以下优点：与其他图像配准相比，非刚性图像配准具有明显更大的灵活性。非刚性图像配准可以例如通过使用已知信息应用数学建模以找到所考虑的器官中的运动或变形的统计来管理两个图像集之间的局部畸变(例如，解剖结构变化)。此外，非刚性图像配准容易允许考虑附加信息例如解剖界标或图像分割以使图像集配准。因此，非刚性图像配准允许再现与患者体重减轻或组织收缩或肿胀相关而出现的非仿射器官变形。

根据实施方式，生成一个或更多个变形场的步骤还涉及：使用用于软组织变形的一个或更多个(数学)模型。

可以通过通常描述软组织中的解剖变形的生物力学模型来体现模型。通过构造，它们不覆盖病理变化。所述模型可以基于通过Navier-Cauchy方程举例说明的运动的宏观物理方程。例如，可以通过分析参考图像数据和后续图像数据的组群并将模型拟合到(被注释的)观察值来得出模型参数。在生成变形场时“使用”一个或更多个模型可能意味着：将变形场与模型的预测进行比较，或者将变形场拟合到模型。换言之，“使用”可能意味着：使用一个或更多个模型来校正变形场和/或使变形场平滑。根据一些实施方式，同样可以与图像配准一起执行模型拟合(即，作为图像配准的整体步骤)。由于模型拟合结果被“包括”在变形场和共同对准图像数据中，因此模型拟合结果与图像配准结果一起自动地被提供给机器学习网络。

通过在生成变形场时使用用于软组织变形的一个或更多个模型，可以执行伪像校正的第一步骤。例如，与模型的比较可以被用来使奇异点平滑并填充不存在来自图像配准的信息的间隙。于是，提供了“已清理的”变形场，因此提供了“已清理的”共同对准图像数据，这有助于进一步处理。

根据实施方式，后续图像数据和参考图像数据是磁共振图像数据(即，通过磁共振成像系统被获取)，其中，使用第一磁共振脉冲序列来获取参考图像数据，并且使用功能上不同于第一序列的第二磁共振脉冲序列——优选地双反转恢复序列或一个或更多个对比后序列——来获取后续图像数据。

在这种情况下，“功能上不同”意味着：对于第一磁共振脉冲序列和第二磁共振脉冲序列，应用不同的术语和条件。这可能相当于在MR成像模态下调节的不同物理参数以及对患者的不同生理状况的受控调节。将两个功能上不同的MR脉冲序列与跟踪病理变化结合使用，使得可以通过观察一个区域且相同区域对于不同序列如何表现来收集附加信息。特别地，可以通过分析区域吸收和洗掉磁性对比剂的方式来使附加信息闪烁。为此，第二磁共振脉冲序列可以是在向患者施用对比剂之后的对比后序列，而第一MR脉冲序列与在向患者施用对比剂之前的对比前序列相关。可替选地，第一脉冲序列和第二脉冲序列可以与不同的对比后序列即在向患者施用对比剂之后的不同时间点获取的序列相关。对比后MR图像的序列可以包括非常适合于监视磁性对比剂的吸收和洗掉的T1弛豫序列。作为又一示例，第二脉冲序列可以是使用两个非选择性180°反转脉冲的所谓的双反转恢复序列。这样，双反转恢复是一种用于抑制来自特定组织或液体类型的信号的技术，并且可以被用来使某些病变更明显和/或不仅显示新病变而且显示活动性病变。

根据实施方式，使用从由软组织变形的生物力学模型生成的一个或更多个变形场得出的损失函数来训练机器学习网络。

在训练机器学习网络时使用的生物力学模型可以由与变形场的计算相关的如上所述的类似模型来体现。如所提到的，损失函数用于在训练期间向网络提供反馈，使得可以调节网络的权重以生成对病理相关变化的更好指示。损失函数可以被认为是将机器学习网的输出与经验证的结果进行比较的结果。该实施方式的构思是：通过使用生物力学运动模型从医学图像数据计算已知的解剖变形和伪像来“人工地”生成该经验证的结果(并且利用该损失函数)。这样做时，生成伪像已知的一对“人工”参考图像数据和后续图像数据，并且可以将所述一对“人工”参考图像数据和后续图像数据输入至机器学习网络，以查看是否正确滤除了所有伪像。这具有如下益处：可用于训练的数据得到了增强，使得对于可接受的结果，需要较少的专家注释的参考图像数据和后续图像数据对。还可以通过以下操作来增强训练效果：将模型配置成使得模型可以在被应用于医学图像数据时模拟“人工”病理变化。

也就是说，根据另一方面，提供了一种用于将机器学习网络训练成识别共同对准图像数据中的病理相关变化的方法，该方法包括多个步骤。第一步骤涉及提供示出患者的身体部位的训练参考图像数据。第二步骤涉及：通过使用用于生物力学软组织变形的一个或更多个模型使训练参考图像数据变形来生成模拟的后续图像数据，并且可选地包括一个或更多个模拟的病理变化(并且进一步可选地，模拟的变形中的伪像)。随后，使用一个或更多个图像配准来针对训练参考图像数据和模拟的后续图像数据计算一个或更多个变形场，所述一个或更多个变形场描述身体部位在训练参考图像数据与模拟的后续图像数据之间的解剖变形。另一步骤涉及：使用所述一个或更多个变形场使训练参考图像数据和模拟的后续图像数据对准以生成共同对准图像数据；随后使用机器学习网络来分析共同对准图像数据，以标识身体部位从训练参考图像数据到模拟的后续图像数据的病理变化。另一步骤涉及：将结果与由用于生物力学软组织变形的一个或更多个模型生成的已知输入进行比较，并且根据所述比较来调节神经网络中的权重。

注意，在变形中并入模拟的病理变化和/或伪像是可选的。如果不包括这些影响，则机器学习网络应该既不标识病理变化也不识别任何伪像。

具体地，根据实施方式，比较的步骤可以包括：将所标识的病理变化与模拟的病理变化进行比较。

更具体地，根据实施方式，在用于训练机器学习网络以识别共同对准图像数据中的病理相关变化的方法中，对准的步骤可以包括：通过将一个或更多个变形场应用于参考图像数据来计算变形的参考图像数据。此外，分析的步骤包括：生成与共同对准图像数据相对应的图像滤波器，该图像滤波器被配置成基于机器学习网络的输出来突出病理变化；从后续图像中减去变形的参考图像；以及将结果与图像滤波器相乘，以生成变化可视化图像数据。更进一步，比较的步骤包括：计算突出模拟的病理变化的比较图像滤波器，并且将图像滤波器与比较图像滤波器进行比较。

根据一个方面，提供了一种用于标识后续医学图像中的病理变化的系统。该系统包括接口单元，该接口单元用于接收在第一时间示出患者的身体部位的参考图像数据和在随后的第二时间示出患者的身体部位的后续图像数据。此外，该系统包括计算单元，该计算单元被配置成：接收参考图像数据和后续图像数据；使用至少一个图像配准针对参考图像数据和后续图像数据生成一个或更多个变形场，所述一个或更多个变形场描述身体部位在参考图像数据与后续图像数据之间的解剖变形；使用所述一个或更多个变形场使参考图像数据和后续图像数据对准以生成共同对准图像数据；以及使用机器学习网络来分析共同对准图像数据以标识身体部位从参考图像数据到后续图像数据的病理变化，所述机器学习网络被训练成识别共同对准图像数据中的病理相关变化。

根据实施方式，该系统适于实现用于标识后续医学图像中的病理变化的本发明方法。所述计算单元可以包括图像配准单元，所述图像配准单元被配置成使用至少一个图像配准来生成一个或更多个变形场。可选地，所述配准单元还可以被配置成：另外基于软组织变形的一个或更多个生物力学模型来生成一个或更多个变形场。所述计算单元还可以包括被配置成生成共同对准图像数据的对准单元。所述计算单元还被配置成运行机器学习网络，所述机器学习网络用于分析共同对准图像数据以将病理相关变化与源自一个或更多个变形场的生成的伪像和解剖变形区分开。所述计算单元还可以包括可视化单元，所述可视化单元被配置成生成可视化(针对用户)，所述可视化例如以上述变化可视化图像数据的形式相对于包括在共同对准图像数据中的任何伪像和解剖变形突出所标识的病理变化。

所述计算单元可以被实现为数据处理系统或数据处理系统的一部分。这样的数据处理系统可以例如包括云计算系统、计算机网络、计算机、平板计算机、智能电话等。所述计算单元可以包括硬件和/或软件。硬件可以包括例如一个或更多个处理器、一个或更多个存储器及其组合。所述一个或更多个存储器可以存储用于执行根据本发明的方法步骤的指令。硬件能够由软件配置以及/或者能够由软件操作。通常，所有单元、子单元或模块可以至少临时地例如经由网络连接或相应的接口彼此进行数据交换。因此，各个单元可以彼此分开放置。

所述接口单元可以包括如下接口，所述接口用于经由因特网连接与本地服务器或中央web服务器进行数据交换以接收参考图像数据或后续图像数据。所述接口单元还可以适于：例如通过向用户显示计算单元的处理结果(例如，在图形用户界面中)或通过允许用户调节用于图像处理或可视化的参数以及/或者选择参考图像数据和后续图像数据来与系统的一个或更多个用户联系。

根据另一方面，本发明还涉及一种用于训练机器学习网络的训练系统，所述训练系统包括接口，所述接口被实施成用于接收机器学习网络，并且所述接口还被实施成用于接收示出患者的身体部位的训练参考图像数据。训练系统还包括处理器，所述处理器被配置成：通过使用用于生物力学软组织变形的一个或更多个模型使训练参考图像数据变形来生成模拟的后续图像数据，并且可选地包括一个或更多个模拟的病理变化(并且进一步可选地，变形中的伪像)。所述处理器还被配置成：针对训练参考图像数据和模拟的后续图像数据计算一个或更多个变形场，所述一个或更多个变形场描述身体部位在训练参考图像数据与模拟的后续图像数据之间的解剖变形。所述处理器还被配置成：使用一个或更多个变形场使训练参考图像数据和模拟的后续图像数据对准以生成共同对准图像数据；以及使用机器学习网络来分析共同对准图像数据，以标识身体部位从训练参考图像数据到模拟的后续图像数据的病理变化。所述处理器还被配置成：将结果与由用于生物力学软组织变形的一个或更多个模型生成的已知输入进行比较，并且根据所述比较来调节神经网络中的权重。

特别地，这样的训练系统可以被实施成用于执行用于训练机器学习网络的发明方法和先前描述的该方法的各方面。所述训练系统被实施成执行该方法和该方法的各方面，其中接口和处理单元被实施成执行相应的方法步骤。

特别地，所述训练系统的处理器可以包括计算机、微控制器或集成电路。作为替选方案，所述训练系统可以包括计算机的真实或虚拟网络(真实网络被称为集群，虚拟网络被称为云)。接口可以包括硬件或软件接口(例如，PCI-总线、USB或火线)。

根据另一方面，本发明还涉及一种图像分析系统，所述图像分析系统包括用于标识后续医学图像中的病理变化的系统以及被配置成获取、存储和/或转发后续医学图像(包括参考图像数据和后续图像数据)的医学图像系统。从而，接口单元被配置成从医学图像系统接收参考图像数据和后续图像数据。

根据实施方式，所述医学图像系统包括用于存储参考图像数据RI和/或后续图像数据FI的一个或更多个存档站，所述一个或更多个存档站可以被实现为云存储装置或者本地或分散存储装置，例如PACS(图片存档及通信系统)。此外，所述医学图像系统可以包括一个或更多个医学成像模态，例如计算机断层扫描系统、磁共振系统、血管造影(或C臂X射线)系统、正电子发射断层扫描系统、乳房X线照相系统、用于获取数字病理图像的系统等。

根据另一方面，本发明涉及一种包括程序元素的计算机程序产品，当所述程序元素被加载到计算单元的存储器中时，所述程序元素促使用于量化医学图像体积的系统的计算单元执行根据以上方法的步骤。

根据另一方面，本发明涉及一种计算机可读介质，所述计算机可读介质上存储有程序元素，所述程序元素能够由用于量化医学图像体积的系统的计算单元读取和执行，以便当所述程序元素由计算单元执行时执行本发明方法的步骤。

通过计算机程序产品和/或计算机可读介质实现本发明具有以下优点：可以通过软件更新容易地采用已经存在的提供系统，以便如本发明所建议的那样工作。

计算机程序产品可以是例如计算机程序或者包括邻近所述计算机程序本身的另一要素。该另一要素可以是：硬件，例如其上存储有计算机程序的存储器装置、用于使用计算机程序的硬件密钥等；和/或软件，例如用于使用计算机程序的文档或软件密钥。计算机程序产品还可以包括开发材料、运行时系统和/或数据库或库。计算机程序产品可以分布在若干个计算机实例之间。

总之，本发明提供了一种依赖机器学习网络来标识后续医学图像数据中的病理相关变化的方法和系统。所述机器学习网络被训练成：基于已经包含关于潜在相关病理变化的第一估计的输入数据来滤除不相关的变化(例如，通过将机器学习网络训练成检测伪像)以及/或者突出相关(也几乎不可见)病理变化。具体地，通过对特定于器官的(非刚性)图像配准进行组合——可选地，通过针对患者的全身部位的运动模型拟合——来生成用于机器学习网络的该输入。

附图说明

根据将关于附图详细描述的以下描述和实施方式，上述发明的特性、特征和优点以及实现它们的方式变得更加清楚且更易于理解。该以下描述不将本发明限制在所包含的实施方式上。在不同的图中，可以用相同的附图标记来标记相同的部件或部分。通常，图没有按比例绘制。在下文中：

图1描绘了根据实施方式的用于标识后续医学图像数据中的病理变化的系统；

图2A描绘了示出根据实施方式的用于标识后续医学图像数据中的病理变化的方法的流程图；

图2B示意性地示出了根据实施方式的与主要方法步骤相关联的之间的数据流；

图3描绘了根据实施方式的机器学习网络；以及

图4描绘了示出根据实施方式的用于训练机器学习网络的方法的流程图。

具体实施方式

图1描绘了根据本发明的实施方式的用于标识后续医学图像数据中的病理变化的系统1。系统1适于执行根据一个或更多个实施方式的方法，例如，如参照图2A和图2B或图4进一步描述的方法。

系统1包括用户接口10(作为接口单元的一部分)和处理系统20(作为计算单元的一部分)。此外，系统1可以包括用于获取、存储和/或转发参考图像数据RI和后续图像数据FI的医学图像系统40。可以例如通过处理系统20或通过用户接口10直接从医学图像系统40加载用于后续读取的这样的图像研究IS。

参考图像数据RI和后续图像数据FI是例如使用计算机断层扫描系统或磁共振成像系统获取的三维医学图像数据集。图像信息被编码为k乘以m乘以n个体素的三维数组。此外，参考图像数据RI和后续图像数据FI可能涉及例如用X射线设施获取的二维医学图像，其中图像信息被编码为m乘以n个像素。通常，参考图像数据RI和后续图像数据FI示出了在不同的时间点处患者的相同身体部位。虽然在第一时间在较早检查时已经获取了参考图像数据RI，但是后续图像数据FI与在第二时间在较晚阶段的后续检查相关。第二时间可以是第一时间之后的几小时、几天、一周、几个月或几年。此外，在第一时间与第二时间之间可能存在中间扫描或规程。在实施方式中，使用与参考图像数据RI相同或相似的设置和参数来获取后续图像数据FI。相似的设置和参数可以包括例如相同的医学成像模态、相同的剂量(如果可用)、相同的相位定时、x射线源电压、对比剂、MRI协议等。通常，参考图像数据RI和后续图像数据FI中描绘的身体部位将包括各种解剖结构和器官。将胸部区域视为身体部位，参考图像数据RI和后续图像数据FI可能例如描绘肺叶、胸腔、心脏、淋巴结等。如果参考图像数据RI和/或后续图像数据FI与患者的磁共振(MR)图像数据相关(即，如果已经使用磁共振成像系统获取了它们)，则可能已经使用不同的MR(脉冲)序列获取了参考图像数据RI和/或后续图像数据FI(即，已经使用第一MR序列获取了参考图像数据RI，并且已经使用与第一MR序列不同的第二MR序列获取了后续图像数据FI)。例如，参考图像数据RI和后续图像数据FI可能与不同的对比后序列相关，或者后续图像数据FI可能与对比后序列相关，而在向患者施用对比剂之前已经获取了参考图像数据RI。此外，可以使用包括两个非选择性180°反相脉冲的所谓的双反转恢复序列来获取后续图像数据FI，以便抑制来自特定组织或流体类型的信号。这可以用于使某些病变更明显以及/或者用于不仅显示新病变而且显示活动性病变。

用户接口10包括显示单元11和输入单元12。用户接口10可以由诸如智能电话或平板计算机的移动设备来体现。此外，用户接口10可以被体现为以桌面PC或膝上型计算机的形式的工作站。输入单元12可以例如以触摸屏的形式集成在显示单元11中。作为替选方案或除此之外，输入单元12可以包括键盘、鼠标或数字笔及其任意组合。显示单元11被配置成用于显示参考图像数据RI、后续图像数据FI和/或如由处理系统20执行的图像处理的结果。

用户接口10还包括接口计算单元13，接口计算单元13被配置成：执行用于服务显示单元11和输入单元12的至少一个软件组件，以便提供用于允许用户例如在图形用户界面内选择参考图像数据RI和后续图像数据FI的图形用户界面。另外，接口计算单元13可以被配置成：与医学图像系统40或处理系统20进行通信，以接收参考图像数据RI、后续图像数据FI和/或要显示给用户的图像处理结果。用户可以经由用户接口10来激活软件组件，并且可以例如通过从因特网应用商店下载软件组件来获取软件组件。根据示例，软件组件还可以是以在web浏览器中运行的web应用的形式的客户端-服务器计算机程序。接口计算单元可以是通用处理器、中央处理单元、控制处理器、图形处理单元、数字信号处理器、三维渲染处理器、图像处理器、专用集成电路、现场可编程门阵列、数字电路、模拟电路、它们的组合或用于处理图像数据的其他现在已知的装置。

处理系统20可以包括子单元21至24，子单元21至24被配置成：处理参考图像数据RI和后续图像数据FI，以标识参考图像数据RI与后续图像数据FI之间的病理相关变化。处理系统20可以是图像处理器。图像处理器可以是通用处理器、中央处理单元、控制处理器、图形处理单元、数字信号处理器、三维渲染处理器、图像处理器、专用集成电路、现场可编程门阵列、数字电路、模拟电路、它们的组合或用于处理图像数据的其他现在已知的装置。图像处理器是单个装置或者串行、并行或分别操作的多个装置。图像处理器可以是计算机例如膝上型计算机或桌面计算机的主处理器，或者可以是用于在诸如成像系统或服务器的较大系统中处理一些任务的处理器。图像处理器由指令、设计、硬件和/或软件进行配置以执行本文中讨论的步骤。可替选地，处理系统20可以包括真实或虚拟的计算机组，例如所谓的“集群”或“云”。这样的服务器系统可以是中央服务器，例如，云服务器或者例如位于医院或放射科站点处的本地服务器。此外，处理系统20可以包括诸如RAM的存储器，以用于从医学图像系统40临时加载参考图像数据RI和后续图像数据FI(例如，作为图像研究IS)以进行进一步处理。可替选地，这样的存储器也可以被包括在用户接口10中。

子单元21是图像配准模块或单元。它被配置成：通过使参考图像数据RI与后续图像数据FI配准，可选地通过将跟踪的变化与一个或更多个运动模型进行拟合，来生成一个或更多个变形场DF。为了执行图像配准，子单元21可以应用一个或更多个图像配准技术，所述图像配准技术包括刚性图像配准、仿射图像配准、非刚性图像配准及其任意组合。此外，子单元21可以被配置成：例如根据身体部位中包括的解剖结构或器官将参考图像数据RI和后续图像数据FI划分为多个片段对。为此，子单元21可以被配置成运行一个或更多个分割滤波器，例如肺分割滤波器、骨分割滤波器、肝脏分割滤波器等。子单元21还可以被配置成：使用各自的图像配准和运动模型(可能针对相应片段中包括的器官或解剖结构对其进行优化)来为每个片段生成各自的变形场DF。

子单元22是如下对准模块或单元，所述对准模块或单元被配置成：使用如由子单元21提供的变形场DF来使参考图像数据RI和后续图像数据FI对准以便创建共同对准图像数据CAI。为此，子单元22可以被配置成：根据计算出的变形场将参考图像数据RI和后续图像数据FI变换为彼此的变形状态。优选地，变换涉及通过由子单元22将变形场DF应用于参考图像数据RI来计算变形的参考图像数据。可替选地，可以计算变形的后续图像数据并对变形的后续图像数据进行进一步处理。作为另一替选方案，子单元22可以仅将变形场DF分配给参考图像数据RI和/或后续图像数据FI(没有计算任何变形)，并且将该数据提供至子单元23以进行进一步处理。

子单元23是被配置成基于共同对准图像数据CAI(变形的参考图像数据)来标识病理变化的模块或单元。为此，子单元23被配置成运行机器学习网络100，该机器学习网络100已经被训练成识别共同对准图像数据CAI中的病理相关变化。识别病理变化可以至少包括：识别共同对准图像数据CAI中的任何伪像，以将伪像与病理相关变化区分开。识别病理变化还可以包括：主动地识别病理变化，以及可选地识别与病理变化相关联的任何元数据。具体地，如由子单元23提供的分析结果可以是与参考图像数据RI和后续图像数据FI兼容的图像滤波器IF的形式。图像滤波器IF可以被配置成：如果图像滤波器IF被应用于参考图像数据RI和/或后续图像数据FI或任何减影图像数据(参见下文)，则使得变形中的伪像被滤除和/或病理变化被增强。机器学习模型可以由被配置成训练机器学习模型的训练模块(未示出)提供。

子单元24是如下可视化模块，所述可视化模块被配置成：将如由子单元23标识的病理变化转变或转换成合适的表示以显示给用户。合适的表示可以是辅助图像(assistance image)AI的形式，在辅助图像AI中，病理变化在视觉上被编码。这可能意味着：以可视化伪像被滤除和/或病理变化被增强。具体地，子单元24可以被配置成：从后续图像数据FI中减去变形的参考图像数据，并且使结果与图像滤波器IF相乘。这将产生仅包含病理相关变化的图像数据(“变化可视化图像数据”CVI)。基于此，子单元24还可以被配置成运行或执行如下算法，所述算法用于根据变化可视化图像数据CVI渲染要被叠加在相应渲染的参考图像数据RI和/或后续图像数据FI上的半透明叠加图像。此外，子单元24可以被配置成：以参考图像数据RI和/或后续图像数据FI中的符号或标签的形式突出病理变化，或者仅将变化可视化图像数据CVI显示为辅助图像AI。根据实现，标签可以包括描述所标识的病理变化的类型和其他属性的元数据。此外，子单元24可以被配置成：“窗口化”对用户选择的感兴趣区域的可视化，在这种意义上，仅显示位于感兴趣区域中的这样的病理变化。为此，子单元24可能依赖于前述的分割掩模或滤波器，以仅显示所选择的解剖结构或器官内的病理变化。此外，特别地，计算机断层扫描图像数据提供了一种对可视化进行强度滤波的方法，原因是CT图像数据的每个体素通常具有强度值，该强度值表示如从CT测量(通常以Hounsfield或HU单位来测量)确定的X射线在体积中的相应位置处的衰减。因此，可以仅基于体素强度值的阈值化来执行分割。

将通过示例而非限制的方式来解释对不同子单元21至24的指定。因此，子单元21至24可以被集成以形成一个单个单元，或者可以由被配置成执行在处理系统20的处理器等上运行的相应方法步骤的计算机代码段来体现。关于接口计算单元13也是如此。每个子单元21至24和接口计算单元13可以各自连接至系统1的需要数据交换以执行方法步骤的其他子单元和/或其他部件。例如，子单元21可以连接至医学图像系统40以检索参考图像数据RI和/或后续图像数据FI，以及/或者连接至接口计算单元13以经由用户接口10将辅助图像AI转发/显示给用户。处理系统20和接口计算单元13一起可以构成计算单元30。注意，计算单元30的布局，即接口计算单元13和子单元21至24的物理分布，原则上是任意的。例如，子单元24(或者子单元24的各个要素或特定算法序列)同样可以位于用户接口10中。对于其他子单元21至23也是如此。具体地，处理系统20也可以集成在用户接口10中。如已经提到的，处理系统20可以可替选地体现为服务器系统，例如，云服务器或者例如位于医院或放射科站点处的本地服务器。根据这样的实现，用户接口10可以被指定为面向用户的“前端”或“客户端”，而处理系统20则可以被认为是“后端”或服务器。例如，可以使用https协议来执行用户接口10与处理系统20之间的通信。系统的计算能力可以分散在服务器和客户端(即，用户接口10)之间。在“瘦客户端”系统中，大部分计算能力存在于服务器处。在“胖客户端”系统中，更多的计算能力以及可能的数据存在于客户端上。

医学图像系统40通常被配置成用于获取和/或存储和/或转发参考图像数据RI和/或后续图像数据FI。例如，医学图像系统40可以包括用于存储参考图像数据RI和/或后续图像数据FI的存档/查阅站42。存档/查阅站42可以被实现为云存储装置。可替选地，存档/查阅站42可以被实现为本地或扩展存储装置，例如，被实现为PACS(图片存档及通信系统)。存档/查阅站42还可以存储与参考图像数据RI和/或后续图像数据FI相关的其他临床信息，其中临床信息可以包括例如相关医学发现、与所考虑的患者相关的个人信息、患者记录等。可替选地，另一数据库(未示出)可以存储该相关信息。此外，医学图像系统40可以包括医学成像模态41，例如计算机断层扫描系统、磁共振系统、血管造影(或C臂X射线)系统、正电子发射断层扫描系统、乳房X线照相系统、用于获取数字病理图像的系统等。

系统1的各个部件可以至少临时地彼此连接，以进行数据传送和/或交换。用户接口10经由接口与处理系统20进行通信，以交换例如参考图像数据RI和/或后续图像数据FI或例如以辅助图像AI的形式的计算结果。例如，处理系统20可以基于请求而被激活，其中请求由用户接口10发送。此外，处理系统20可以与医学图像系统40进行通信，以便检索包括参考RI和后续图像数据FI的一个或更多个图像研究IS。作为替选方案或除此之外，用户接口10可以与医学图像系统40直接进行通信。医学图像系统40以及特别地存档/查阅站42同样可以基于请求而被激活，其中请求由处理系统20和/或用户接口10发送。用于数据交换的接口可以被实现为硬件接口或软件接口，例如PCI总线、USB或火线。可以使用网络连接来实现数据传送。网络可以被实现为局域网(LAN)，例如内联网或广域网(WAN)。网络连接优选地是无线的，例如，无线LAN(WLAN或Wi-Fi)。此外，网络可以包括不同网络示例的组合。具体地，网络可以包括与DICOM标准(医学数字成像和通信)兼容的网络，并且可以通过DICOM查询和检索应用类别来执行参考图像数据RI和/或后续图像数据FI的检索。同样地，可以使用DICOM查询和检索应用类别来执行将辅助图像AI存档在医学图像系统40中。用于数据交换的接口和用于与用户联系的部件一起可以被视为构成前述接口单元。

图2A描绘了根据本发明的实施方式的用于标识后续医学图像中的病理变化的发明方法。在图2B中示出了相应的数据流。该方法包括若干步骤。步骤的顺序不一定与步骤的编号相对应，而是也可以在本发明的不同实施方式之间变化。在图2A中以虚线框示出了可选步骤。

在第一步骤M10中，参考图像数据RI和后续图像数据FI被提供(或被接收)。这可以涉及从例如存储在医学图像系统40中的患者的多个后续图像中选择参考图像数据RI和后续图像数据FI。可以由用户例如通过在运行在用户接口10中的图形用户界面中选择合适的图像数据来手动地执行选择。此外，对于需要更多帮助的用户，系统可以自动或半自动地执行选择。特别地，这可能涉及自动向适当的数据库42查询用户在用户界面处当前正在查阅的后续检查的参考图像数据。此外，提供可能涉及仅接收参考RI和后续图像数据FI。由于参考图像数据RI和后续图像数据FI描绘在不同的时间点处患者的相同身体部位，因此这两个图像数据集之间将存在变更或变化。除了由于对准的变化而引起的差异(可以通过最先进的自动对准例程容易地对其进行补偿)之外，这些变化还主要与例如源于呼吸运动、体重增加或减轻等的非关键或“健康的”变形相关。这样的变化随后也被表示为解剖结构变化或变形。此外，还可能存在需要用户注意的病理相关变化(病理变化)。例如，这些可能与新病变的出现、肿瘤生长和收缩等相关。为了帮助用户得到针对病理相关变化的医学诊断，该方法可以为用户突出这些变化。为此，它必须将非关键(解剖)变化与相关病理变化区分开。可以至少部分地在用户接口10上或在处理系统20上执行步骤M10。在必要时，在该步骤中包括相应的数据交换。

为了区分非关键(解剖)变化与相关病理变化，步骤M20提供了参考图像数据RI和后续图像数据FI中描绘的全身部位的解剖变形的全面第一估计。为此，一个或更多个变形场DF被计算，以反映参考图像数据RI与后续图像数据FI之间的解剖变形。变形场DF可以被认为是变形矢量的集合，其指示体素(或像素)或者体素(像素)组从参考图像数据RI到后续图像数据FI的偏移。根据实施方式，参考图像数据RI的每个体素被分配变形矢量。根据替选实施方式，在体素(像素)组被组合并且被分配共同的变形矢量的意义上，变形场DF可以是粗粒度的。原则上，使用图像配准技术，特别地使用非刚性图像配准，来生成变形场DF(子步骤M22)。由于应当适当地处理身体部位中包括的所有解剖结构和器官，因此，如果可用的话，则优选地依赖于为各个器官和解剖结构指定的非刚性图像配准。如果没有指定的非刚性图像配准可用于身体部位的某些结构，则可以使用一般的非刚性图像配准。在将图像数据分成多个图像片段不可行的情况下，步骤M20还可以包括仅应用一个统一的图像配准。为了专门应用指定的非刚性图像配准，可以在步骤M22中的图像配准之前进行可选的子步骤M21，该子步骤M21根据所描绘的身体部位中包括的解剖结构和器官来分割参考图像数据RI和后续图像数据FI。分割可以包括：应用(原则上是已知的)图像分割过程来标识和描画参考图像数据RI和后续图像数据FI中的器官和解剖结构的轮廓。例如，可以应用肺分割来标识参考图像数据RI和后续图像数据FI中的肺叶，这有助于使用特别针对计算肺组织中的解剖变形而优化的图像配准。可以类似地处理参考图像数据RI和后续图像数据FI中示出的其他解剖结构。通常，使用多个单独的图像配准将导致多个变形场DF，它们一起提供对身体部位中的整体解剖变形的估计。然而，不可避免地，该估计将包括由于有限的尺寸和边界效应而导致的伪像和错误，其中不同的变形场DF被拼凑在一起。此外，并非身体部位中包括的所有解剖结构都能通过图像配准得到同样好的处理。特别地，这可能适用于非结构化的周围组织或小且相对动态的器官，如淋巴结、主血管、肠、胰腺等。为了允许已经在该阶段的误差校正(即，在将图像配准结果实际上提供给机器学习网络100之前)，在可选子步骤M23中可以将图像配准的结果拟合到软组织变形的一个或更多个运动模型。在这点上，获得的变形场DF中的每一个可以分别被拟合。作为替选方案或除此之外，可以对从多个单独的偏移场一起拼凑而成的总偏移场进行拟合。运动模型可以例如基于用于三维软组织变形的Navier-Cauchy方程，其参数对于某些类型的组织而言是众所周知的(例如，从将模型拟合到比较图像数据或者从确定基础组织的粘弹性的单独实验)。在任何情况下，子步骤M23的模型拟合可以带来如下益处：在此阶段已经滤除了偏移场中的某些伪像，例如奇异点、各个变形场DF之间的非物理扭曲或破坏。此外，运动模型可以用于对图像体积的“空白点”进行插值，对于图像体积的“空白点”，利用图像配准无法生成变形场DF。优选地，在处理系统20中执行步骤M20。

在下一个步骤M30中，变形场DF用于使参考图像数据RI和后续图像数据FI对准。对准可能意味着：将一个图像数据集变换为相应的另一个图像数据集的(变形的)坐标系，或者换言之，将一个图像数据集的度量应用于相应的另一个数据集。此外，对准还可以相当于将变形矢量(仅)分配给基础体素。在任何情况下，共同对准图像数据为机器学习网络100提供如下输入数据，在所述输入数据中，(视觉)图像信息被分配给关于变形状态的信息。换言之，机器学习网络100因此被提供有图像配准和可选模型拟合的结果以及基础图像信息。这使机器学习网络100处于将变形场DF与基础图像信息进行比较并决定参考图像数据RI与后续图像数据FI之间的变化的性质和相关性的位置。根据说明性示例，共同对准图像数据是参考图像数据RI的变形版本。可以通过将计算出的变形场DF应用于参考图像数据RI来生成该变形的参考图像数据。作为替选方案，共同对准图像数据可以是通过将逆变形场DF应用于后续图像数据FI而生成的后续图像数据FI的变形版本。变形的参考图像数据可以被认为是与后续图像数据FI的比较数据，已经针对如在步骤M20中所估计的参考图像数据RI与后续图像数据FI之间的解剖变形对该比较数据进行了校正。如果步骤M20中的图像配准是100％准确的，则从后续图像数据FI中减去变形的参考图像数据将导致如下图像数据集，所述图像数据集仅包括在获取参考图像数据RI和后续图像数据FI之间的时间段中发生的病理变化。然而，由于包括多个解剖结构和结构的全身部位的图像配准通常远非100％准确，因此，此时的减影图像(subtraction image)将另外包括来自不正确图像配准的伪像。众所周知，这些很难与病理变化区分开，或者甚至更糟的是，可能会完全掩盖病理变化。优选地，在处理系统20中执行步骤M30。

这就是为什么在随后的步骤M40中将共同对准图像数据CAI馈送至被训练成标识用户的病理变化的机器学习网络100中的原因。注意，“标识”不一定意味着机器学习网络100肯定地标识病理变化。为了标识用户的病理变化，原则上足以识别出共同对准图像数据CAI中的上述伪像并滤除这些伪像，原因是结果将已经相对于其他解剖变化和任何伪像突出了用户的病理变化。然而，如果机器学习网络100已经进一步被训练成在肯定地标识共同对准图像数据CAI中的这些病理变化的意义上还识别病理变化，则可以增强机器学习网络100的多功能性。这不仅将带来对病理变化的更可靠检测，而且还将提供突出用户的病理变化的甚至更多的可能性。机器学习网络100的输出可以以指定坐标的数值的形式被提供，可选地，可以以病理变化的其他参数或元数据(例如，生长速率、组织穿透性、病理类型、体积、截面、周长、直径、轮廓的状态、钙化或脂肪沉积的程度、坚固程度等)的形式被提供。作为替选方案，机器学习网络100可以被配置成输出图像滤波器IF，该图像滤波器IF被配置成滤除变形场DF中的解剖变化和伪像以及/或者在视觉上增强共同对准图像数据CAI中的病理变化。具体地，图像滤波器IF可以被配置成使得：如果图像滤波器IF被应用于上述减影图像数据(通过从后续图像数据FI中减去变形的参考图像数据而生成)，则变形场DF中的解剖变化和伪像被滤除以及/或者病理变化被增强。这样，图像滤波器IF可以被认为是用于使用户注意到病理变化的加权掩模。此外，图像滤波器将具有与参考图像数据RI和后续图像数据FI相同或至少相似的格式。如果参考图像数据RI和后续图像数据FI涉及三维体积，则图像滤波器IF也将具有体素条目，所述体素条目适合于在已经识别出伪像和/或病理变化的地方提供预期的滤波和/或增强。特别地，“增强”可以涉及如可以通过例如根据所标识的生长速率或恶性将特定的配色方案或热图分配给病理变化来为用户提供的视觉增强。此外，可以为病理变化分配符号，从而使得它们对于用户来说容易追踪。另外，可以相对于背景增强病理变化的颜色饱和度、亮度或发光。优选地，在处理系统20中执行步骤M40。

在随后的步骤M50中，如由机器学习网络100提供的结果用于为用户生成可视化。通常，可视化可以包括例如如所提到的通过以下操作来渲染具有针对用户突出的病理变化的后续图像数据FI的一个或更多个表示：引入符号；应用颜色图或热图以及/或者调节亮度值或发光值。渲染的结果可以呈一个或更多个辅助图像AI的形式，其向用户指示病理变化在哪里和/或它们具有什么样的量值。渲染可以是基于后续图像数据FI的适当表示例如穿过图像体积的截面或切片的二维渲染。可以由用户例如通过滚动浏览后续图像数据FI来手动地选择表示，或者由系统(半)自动地选择表示。此外，可以采用已知的体积式渲染技术，例如光线跟踪、光线投射等。在这点上，用户可以指定诸如视角或观看距离的参数。优选地，这可以在合适的图形用户界面的帮助下经由用户接口10以交互方式完成。如所提到的，一种突出病理变化的特定方式是：例如通过从后续图像数据FI中减去变形的参考图像数据来使共同对准图像彼此相减(子步骤M51)。然后，可以在子步骤M52中将结果与图像滤波器IF相乘，从而滤除减影图像中的残留伪像以及/或者突出病理变化。所得到的校正后的差异图像(也被称为“变化可视化图像数据”——CVI)也可以被视为如下图像数据——通过构建，所述图像数据应该仅包含属于病理变化的这样的体素的条目。变化可视化数据CVI可以用于在后续图像数据FI上生成叠加，或者作为在后续图像数据FI的体积式渲染时的附加信息。变化可视化数据CVI在变化大的区域例如扩张的肿瘤周围的边界或如肺气肿的组织疾病的指示中将具有最大量值。变化的量值可以被可视化为热图，例如，被可视化为后续图像数据FI上的叠加图像，以帮助引导用户读取图像。在此，可以将具有给定色谱的颜色梯度分配给变化的量值，使得大的正变化(生长、新出现的病变等)与色谱的一端相关联，使得大的负变化(收缩、消失)与色谱的另一端相关联。此外，可视化可以可选地被收缩或“窗口化”以仅提供用户感兴趣的区域或图像片段的信息。于是，可以防止辅助图像AI被感兴趣区域之外的信息遮掩。一方面，可以使用分割掩模或滤波器来实现这样的“成像窗口”，以仅示出如由用户选择的解剖结构或器官内的病理变化。此外，当处理CT图像数据时，可以读取用户当前应用的HU强度滤波器，然后可以在此基础上调整可视化。如果例如用户选择了HU窗口，则该方法可以自动确定图像数据的哪些区域仍然在所应用的成像窗口内，并且仅示出位于这些区域内的这样的病理变化。可以利用进一步描述所标识的病理变化的元数据来增强提供给用户的结果。可以使用元数据来创建标签，所述标签可以被直接包括在病理变化已经被标识出的相应位置处的后续图像数据的上述渲染中。作为替选方案或除此之外，可以使用元数据来生成用户的病理变化的列表或表格，包括与相应的元数据结合的所标识的病理变化。可以至少部分地在用户接口10上或在处理系统20上执行步骤M50。在必要时，在该步骤中包括相应的数据交换。优选地，在处理系统20中执行步骤M50。

在可选步骤M60中，步骤M10至M50的处理的结果被转发给医学图像系统40，以将结果与参考图像数据RI和后续图像数据FI一起存档以供以后使用。就结果而言，可以对机器学习网络100的任何输出以及随后的其他处理步骤的任何结果进行存档，特别地，可以对图像滤波器IF、变化可视化图像数据CVI和/或辅助图像AI进行存档。此外，可以以结构化报告的形式导出列表。优选地，步骤M60被实现成使得用户必须主动地决定她或他是否希望评估结果被存档。例如，这可以通过在用户接口10中运行的图形用户接口中的相应按钮来实现。可以至少部分地在用户接口10上或在处理系统20上执行步骤M60。在必要时，在该步骤中包括相应的数据交换。

图3描绘了图像到图像的机器学习网络100的示例表示，该图像到图像的机器学习网络100被训练成：例如通过输出图像滤波器IF或通过提供病理相关变化的坐标来标识病理变化。图像滤波器IF可以被配置成抑制变形场DF中的伪像以及/或者增强病理变化(例如，如果与参考图像数据RI或后续图像数据FI相乘)。在任何情况下，网络100的输出指示参考图像数据RI与后续图像数据FI之间——相对于共同对准图像数据CAI中包括的解剖变形和伪像——的病理相关变化。机器学习网络100将共同对准图像数据CAI视为输入，并由此被提供有图像配准结果(可选地包括任何模型拟合结果)以及以参考图像数据RI和/或后续图像数据FI的形式的基础(视觉)图像信息。在一个实施方式中，机器学习网络100的布置是用于深度学习的神经网络。可以使用其他网络布置，例如支持向量机。深度架构包括卷积神经网络(CNN)或深度信念网络(DBN)。在实施方式中，机器学习网络100的布置是完全卷积网络(FCN)。可以使用替选的网络布置，例如，3D超深度卷积网络(3D-VGGNet)。VGGNet堆叠许多层块，这些层块包含狭窄卷积层，接着是最大池化层。

以多个顺序层101至107的形式定义机器学习网络100。术语“顺序”用于指示输出特征值从一层到输入到下一层的一般流程。来自下一层的信息被馈送至下一层，依此类推，直到最终输出层。层101至107可以仅向前馈送或者可以是双向的，包括对前一层的一些反馈。层101至107可以被加权。此外，每个层101至107通常包括也被加权的多个节点。本质上，每个节点可以被看作执行将一个或更多个输入值映射到输出值的数学运算。每个层的节点可以与前一层和/或后一层的节点的全部或仅子集连接。如果两个节点的输入和/或输出被连接，则这两个节点是“连接的”。此外，可以使用跳跃连接，使得层还可以输出至除了顺序的下一层之外的其他层。

在图3中示出的示例中，层101是输入层。层101的节点的输入值是图像元素值，优选地，是体素值和共同对准图像数据CAI的变形场DF。层107是输出层。输出层107的节点的输出值可以是图像滤波器FI的图像元素值。作为替选方案，输出层107可以通过输出关于相关联的变化量的相应坐标和值来指示病理变化。在输入101与输出层107之间，存在许多隐藏层102至106。可以使用各种层，例如，卷积层102、池化(例如，最大池化或平均池化)层103、上采样层105、去卷积层106、完全连接的层104或其他类型的层。卷积层对输入进行卷积，并通过在输入上移动图像滤波器核而将卷积的结果传递到下一层。池化层103通过将一个层处的节点集群的输出组合到下一层中的单个节点中来减少数据的维度，从而简化底层计算。上采样层105和去卷积层106根据抽象级别反转卷积层102和池化层103的动作，以重构输出图像(即，图像滤波器IF)。完全连接的层104将一个层中的每个节点连接至另一层中的每个节点，使得基本上每个特征获得“投票”。

本实施方式的机器学习网络100基于训练数据通过调整各个层和节点的权重或加权参数来进行学习。机器学习网络架构被定义成基于输入数据在不同的抽象级别学习这些模式，而不是对可能的伪像或病理变化进行预编程并试图标识共同对准图像数据CAI中的这些可能的伪像或病理变化。学习可以被认为是学习病理变化和/或变形伪像的常见并可以从中重构病理变化和/或变形伪像的较低级别特征(即，处于更抽象级别或更压缩级别的特征)。此外，在机器学习网络100中，该过程是级联的，原因是在每个层中学习用于重构前一层的特征的特征被学习，从而提供了更多的抽象(参见层102至104)。通常，对于卷积，后续单元具有更多的抽象。

层的每个节点可以被认为表示特征。设置了不同层来学习不同特征。为了给出说明性示例，一个特征可以是在共同对准图像数据CAI中直接找到的线。下一层可以对线进行组合，使得新特征之一是角或交叉点。下一层可以对来自前一层的特征(例如，角和线的长度)进行组合，使得下一层提供形状指示。对于转置卷积来重构结果，抽象级别倒转(参见层105至106)。然后，每个层降低抽象级别或压缩级别。

可以优选地使用根据监督学习的方法来训练机器学习网络100。良好建立是反向传播方法，其可以被应用于本发明的实施方式。在训练期间，将机器学习网络100应用于训练输入值，以产生其目标值已知的相应输出值。可以使用产生的输出值与目标输出值之间的差异(例如，以产生的值与目标值之间的差异的均方误差(MSE)的形式)来引入成本函数或损失函数，作为对机器学习网络100执行的多么好或多么坏的度量。训练的目标是：通过迭代地调节机器学习网络100的权重来找到损失函数的(局部)最小值，从而使得机器学习网络100最终能够在(足够)大的训练数据群组上生成可接受的结果。可以使用随机梯度下降或本领域已知的其他方法来执行该优化问题。

图4描绘了用于在提供有以下的情况下训练机器学习网络100以识别病理变化的发明方法：(a)参考图像数据RI与后续图像数据FI之间的变形场DF，通过一个或更多个图形配准生成所述变形场；以及(b)来自参考图像数据RI和/或后续图像数据FI的图像数据。该方法包括若干步骤。步骤的顺序不一定与步骤的编号相对应，而是也可以在本发明的不同实施方式之间变化。在图4中以虚线框示出了可选步骤。

第一步骤T1涉及提供多个训练参考图像数据集TRI。训练参考图像数据集TRI优选地与要由被部署且容易训练的机器学习模型处理的图像数据具有相同的类型。因此，训练参考图像数据集TRI各自同样示出了患者的包括多个解剖结构和器官的身体部位，并且已经使用上述医学成像模态之一被获取。

随后的步骤T10涉及通过使用软组织变形的一个或更多个生物力学模型(随后也被称为“运动模型”)使每个训练参考图像数据集TRI变形来生成多个模拟的后续图像数据集SFI。所述模型可以是与之前结合步骤M20描述的模型相同种类的模型。可替选地，可以使用专门调整的模型。根据实施方式，可以以“特定于器官”的方式来应用运动模型，使得通过应用指定的运动模型而使包括在训练参考图像数据中的每个器官和/或解剖结构变形。在这种情况下，可以在变形步骤T10之前进行识别训练参考图像数据中的解剖结构的步骤。特别地，如果多个运动模型被拼凑在一起以定义模拟的后续图像数据SFI，则结果已经易于包括变形场DF中的多个伪像，原因是器官之间的边界通常无法通过运动模型很好地被处理。此外，例如通过在图像配准中模仿常见伪像的指定建模模块，在生成模拟的后续图像数据SFI(参见可选的子步骤T11)时可以模拟其他伪像。像以前一样，伪像与由图像处理引起的非生理(非解剖)变形相关。此外，也可以例如通过将指定建模模块应用于训练参考图像数据TRI来模拟病理变化(参见可选的子步骤T12)。在此，与模拟的病理变化相关联的任何元数据例如类型、体积、截面、周长、直径、轮廓的状态、钙化或脂肪沉积的程度、坚固程度等也可以被模拟。

在随后的步骤T20中，如之前结合步骤M20描述的，分别在每对训练参考图像数据TRI和模拟的后续图像数据SFI之间计算一个或更多个变形场DF。在随后的步骤T30中，如之前结合步骤M30描述的，分别从成对的训练参考图像数据TRI和模拟的后续图像数据SFI中生成训练共同对准图像数据集。特别地，训练共同对准图像数据可以是训练参考图像数据TRI的变形版本。

接下来，一个训练共同对准图像数据被提供给(不容易被训练的)机器学习模型。基于训练共同对准图像数据，机器学习模型将根据结合以上步骤M40描述的步骤T40中的学习任务来识别任何伪像和/或病理变化。特别地，这可以涉及针对下面的一对训练参考图像数据TRI和模拟的后续图像数据SFI生成图像滤波器IF。如果所述对包含变形场DF中的伪像，则相应的图像滤波器IF被期望滤除这些伪像。此外，如果存在病理变化，则图像滤波器IF可能被期望增强病理变化。

在随后的步骤T50中，机器学习模型的性能(即，图像滤波器的质量)被评估。实现这个的一种方法将是逐体素(逐像素)比较相应的变化可视化数据CVI。如以上结合步骤M50所说明的，这涉及从模拟的后续图像数据SFI中减去变形的训练参考图像数据TRI并且使结果与图像滤波器IF相乘。由于结果应该仅包含(可选地，突出的)病理变化(如果有的话)，因此可以将它与训练参考图像数据TRI的格式的其他空图像数据集中的模拟病理变化(以期望的突出)的表示进行比较。如果不存在病理变化，则该比较数据将完全为空——变化可视化数据CVI也应为空。实现比较的另一种方法是：将由机器学习网络100生成的图像滤波器与分别从关于模拟的病理变化的知识计算出的相应图像滤波器进行比较。

该比较被用作损失函数，以调节机器学习网络100的权重(步骤T60)。在步骤T70处，利用成对的训练参考图像数据TRI和模拟的后续图像数据SFI的集合来重复由机器学习网络100标识病理变化(步骤T40)以及将结果与已知输出进行比较(步骤T50)的步骤，直到机器学习网络100能够生成可接受的结果为止(即，直到达到损失函数的局部最小值为止)。一旦所有对都已经被使用，则对就随机地被混洗(shuffle)以进行下一轮。

注意，优选地，通过基于“真实”后续图像数据对的训练——其中，生理变化已经被专家适当地标注并且被突出——来补充基于模拟的后续图像数据SFI的训练。

只要有意义，在不限制或不扩大本发明的范围的情况下，可以使各个实施方式或它们的各个方面和特征彼此进行组合或交换。在适用的情况下，关于本发明的一个实施方式描述的优点也有利于本发明的其他实施方式。

以下几点也是本公开内容的一部分：

1.一种用于标识后续医学图像中的病理变化的计算机实现的方法，所述方法包括：

接收在第一时间示出患者的身体部位的参考图像数据；

接收在随后的第二时间示出患者的身体部位的后续图像数据；

使用至少一个图像配准针对所述参考图像数据和所述后续图像数据生成一个或更多个变形场，所述一个或更多个变形场描述所述身体部位在所述参考图像数据与所述后续图像数据之间的解剖变形；

使用所述一个或更多个变形场使所述参考图像数据和所述后续图像数据对准，以生成共同对准图像数据；

使用机器学习网络来分析所述共同对准图像数据，以标识所述身体部位从所述参考图像数据到所述后续图像数据的病理变化，所述机器学习网络被训练成：识别共同对准图像数据中源自生成步骤的病理相关变化和/或伪像。

2.根据1所述的方法，

其中，对准的步骤包括：通过将所述一个或更多个变形场应用于所述参考图像数据来计算变形的参考图像数据；

还具有以下步骤：从所述后续图像数据中减去所述变形的参考图像数据以生成减影图像数据；

其中，在分析的步骤中，所述机器学习网络被训练成输出图像滤波器，所述图像滤波器被配置成：当所述图像滤波器与所述减影图像数据相乘时突出病理变化；

还具有以下步骤：将所述图像滤波器与所述减影图像数据相乘并将结果可视化给用户。

3.根据2所述的方法，还具有以下步骤：

确定由用户选择的用于显示参考图像数据和/或后续图像数据的成像窗口；以及

将所述成像窗口应用于以下步骤：

对所述结果进行可视化，以及/或者

生成一个或更多个变形场，以及/或者

分析所述共同对准图像数据。

4.根据权利要求3所述的方法，其中，参考图像数据和后续图像数据是计算机断层扫描图像数据，并且所述成像窗口是由用户选择的HU窗口。

5.根据2至4所述的方法，其中，可视化包括：

渲染所述结果的图像；

渲染所述后续图像数据的第二图像；

使所述图像叠加在所述第二图像上。

6.根据前述点中任一项所述的方法，还具有以下步骤：

在参考图像数据和后续图像数据中定义多个图像片段，使得所述参考图像数据中的每个图像片段在所述后续图像数据中具有相应的图像片段；

为所述片段中的每一个选择单独的图像配准；

其中，生成的步骤包括：分别通过单独的图像配准针对图像片段中的每一个生成单独的变形场。

7.根据6所述的方法，其中，生成的步骤包括：使用所述单独的变形场来组装变形场。

根据6或7所述的方法，还具有以下步骤：

为图像片段中的每一个选择用于软组织变形的单独的运动模型；以及

将单独的变形场中的每一个拟合到选择的单独运动模型。

9.根据前述点中任一项所述的方法，其中，所述机器学习网络是卷积神经网络，优选地，是图像到图像卷积神经网络。

10.根据前述点中任一项所述的方法，

其中，标识病理变化的步骤包括：确定与所述病理变化相关联的元数据，以及

还具有以下步骤：基于相应的元数据为用户标记病理变化。

11.一种用于标识后续医学图像中的病理变化的系统，包括：

医学图像系统，其被配置成存档和/或获取医学图像数据；

接口单元，其用于从医学图像设施接收在第一时间示出患者的身体部位的参考图像数据和在随后的第二时间示出患者的身体部位的后续图像数据；

计算单元，其被配置成：

接收参考图像数据和后续图像数据；

使用至少一个图像配准针对所述参考图像数据和所述后续图像数据生成一个或更多个变形场，所述一个或更多个变形场描述所述身体部位在所述参考图像数据与所述后续图像数据之间的解剖变形；

使用所述一个或更多个变形场使所述参考图像数据和所述后续

图像数据对准，以生成共同对准图像数据；

使用机器学习网络来分析所述共同对准图像数据，以标识所述身体部位从所述参考图像数据到所述后续图像数据的病理变化，所述机器学习网络被训练成识别共同对准图像数据中的病理相关变化。

12.根据11所述的系统，其中，所述医学图像系统包括：

一个或更多个医学成像模态，所述一个或更多个医学成像模态优选地选自：计算机断层扫描系统、磁共振系统、血管造影系统、正电子发射断层扫描系统及其任意组合；以及/或者

一个或更多个医学图像存档系统，优选地，一个或更多个图片存档及通信系统(PACS)。