表征放射学图像中的病变

摘要

本发明涉及一种用于在表征放射学图像中的病变中使用的方法，包括：执行对象的病变的样本的病理学图像的基于计算机的分析，以便识别病变的组织和/或细胞特性，其中，分析产生表示识别的组织和/或细胞特性的导出的病理学图像；根据所述病变的放射学图像计算针对所述病变的一个或多个放射学特征；并且确定所计算的一个或多个放射学特征与所述识别的组织和/或细胞特性之间的相关性。利用该方法，生物学标准数据信息能够用于识别指示病变的某些组织和/或细胞特性并且因此可以更好地适于表征病变的放射学特征。此类放射学特征然后能够与对应的相关性一起被用于放射学图像中的病变的改进的表征。

说明书

技术领域

本发明涉及用于在表征放射学图像中的病变中使用的方法、装置和计算机程序。

背景技术

癌症是全世界发病率和死亡率的主要原因之一；在2015年，其是造成全球8800万人死亡的原因。在癌症的诊断和监测中，无创放射学成像(诸如X射线放射摄影、磁共振(MR)成像、计算机断层摄影(CT)和正电子发射断层摄影(PET))常规地用于评估肿瘤和解剖组织特性。此外，放射学成像能够潜在地为被用于基于个体患者和其肿瘤的特性定制处置策略的个性化医学提供有价值的信息。

典型的癌症呈现在放射学图像中可见地显现的强表型差异。在新兴的放射组学领域中，放射学图像通过应用大量定量图像特征来分析，以便客观地且定量地描述肿瘤表型(例如，参见Aerts H.J.W.L.,“Decoding tumour phenotype by noninvasive imagingusing a quantitative radiomics approach”,Nature Communications,5:4006,2014)。

尽管放射学图像能够提供关于患者身体中的整个病变和所有病变的信息，但是它们具有以下缺点：由于缺乏空间分辨率并且缺乏所测量的信号与组织的生物学的相关性，图像特征不能与疾病的生物学直接相关。出于该原因，放射组学基于例如通过与治疗响应相关而以数据驱动的方式将计算的图像特征相关。不存在关于相关的特征的意义的标准数据(ground truth)信息，并且结果不能被容易地转变/推断为其他患者群组或癌症。

另一方面，病理学图像能够提供亚细胞分辨率并且-经由免疫染色-提供关于肿瘤中的生物学的直接信息。然而，图像受限于从患者提取的样本的位置和尺寸。使用诸如高级图像分析、机器学习和人工智能的技术，病理学图像的丰富特征能够根据具有诊断相关性的细胞组成和组织(子)类型来进行解释(例如，参见Heindl A.et al.,“Mapping spatialheterogeneity in the tumor microenvironment:a new era for digital pathology”,Laboratory Investigation，第95卷，2015年，第377至384页)。由于(数字)病理学能够分析并描述肿瘤组织的细胞组成和生物标记表达，因此其能够建立与治疗响应的基于知识的联系。然而，由于病理学样本通常不从所有病变可用，并且仅从可能不表示整个肿瘤的活检可用，因此发现的相关性能够显而易见比固有可能性的弱得多。

因此，期望提供针对癌症的基于图像的表征的改进的方式。

发明内容

本发明的目的是提供一种用于在表征放射学图像中的病变中使用的方法，其允许病变的改进的表征。本发明的又一目的是提供对应的装置和计算机程序。

在本发明的第一方面中，提出了一种用于在表征放射学图像中的病变中使用的方法，包括：

执行对象的病变的样本的病理学图像的基于计算机的分析，以便识别病变的组织和/或细胞特性，其中，分析产生表示识别的组织和/或细胞特性的导出的病理学图像，

根据病变的放射学图像计算针对病变的一个或多个放射学特征，并且

确定计算的一个或多个放射学特征与识别的组织和/或细胞特性之间的相关性。

放射组学方面的先前工作已经旨在通过以数据驱动的方式将计算的图像特征相关(例如，通过与治疗响应相关)来评估根据放射学图像导出的各种定量图像特征的预后值。然而，利用这种方法，这些特征的生物学意义在很大程度上保持未知，并且其变得难以将结果转变/外推到其他患者群组或癌症(例如，参见Parmar C.,“Radiomic featureclusters and prognostic signatures specific for lung and head&neck cancer”,Scientific reports,5:11044,2015)。通过执行对象的病变的样本的病理学图像的基于计算机的分析以便识别病变的组织和/或细胞特性，其中，分析产生表示识别的组织和/或细胞特性的导出的病理学图像，根据病变的放射学图像计算针对病变的一个或多个放射学特征，并且确定计算的一个或多个放射学特征与识别的组织和/或细胞特性之间的相关性。生物学标准数据信息能够用于识别指示病变的某些组织和/或细胞特性并且因此可以更好地适于表征病变的放射学特征。此类放射学特征然后能够与对应的相关性一起被用于放射学图像中的病变的改进的表征。

病理学图像可以从病变样本的组织的薄切片生成，病变样本通过固定和石蜡包埋而从病变的活检或切除获得。这样的切片通常被放置在载玻片上，并且利用苏木精和伊红(H&E)染色来进行染色以增加用于可视化细胞和组织形态学的对比度，允许不同细胞类型基于形态学特征(如细胞核尺寸和形状)被识别。另外，特定的染色(如免疫组织化学(IHC)染色、免疫荧光(IF)染色或荧光原位杂交技术(FISH))能够被应用，以便例如分别使用抗体和杂交探针突出显示组织中的蛋白质和基因的过度表达。病理学图像然后可以通过数字地扫描染色的组织玻片来采集。这允许病理学图像的基于计算机的分析。病理学图像通常以大约0.25微米的空间分辨率来采集，即，数字图像的一个正方形像素对应于被放置在载玻片上的样本的0.25x0.25微米的区域。

病理学图像的基于计算机的分析优选利用诸如高级图像分析、机器学习和人工智能(例如，深度神经网络)的技术，以便识别病变的组织和/或细胞特性。此类分析技术在本领域中是已知的，并且能够例如在Heindl A.等人的“Mapping spatial heterogeneity inthe tumor microenvironment:a new era for digital pathology”(LaboratoryInvestigation，第95卷、第377至384页(2015))中发现。由于基于计算机的分析能够独立于作为具体染色流程的结果的表观突出显示具体组织和/或细胞特性，因此能够实现与根据病变的放射学图像计算的一个或多个放射学特征的更好相关性，其中，着重指出病变的不同方面。

病变的放射学图像可以利用在临床实践中使用的各种种类的放射学成像模态来采集，每个成像模态具有它们自己的优点和限制。范例包括计算机断层摄影(CT)、磁共振成像(MRI)(具体地，多参数MRI(mpMRI))、正电子发射断层摄影(PET)和单光子发射断层计算机摄影(SPECT)。任选地，能够使用对比剂，其富集在具体感兴趣区域(例如，肿瘤)中并且允许某些分子的存在(分子成像)或代谢过程(例如，FDG)或组织性质(如氧合或pH(MRI))的可视化。CT或PET/CT中的典型空间分辨率为大约4毫米。MRI分辨率能够依据位置而降至毫米(脑部是最受控的)。

一个或多个放射学特征可以包括大量不同特征，包括不同的类型，诸如(i)基于强度的特征、(ii)基于形状的特征、(iii)基于纹理的特征以及(iv)基于小波的特征(例如，参见Aerts H.J.W.L.的“Decoding tumour phenotype by noninvasive imaging using aquantitative radiomics approach”,Nature Communications,5:4006,2014)。这些特征通常被实施为图像滤波器，其中，能够在文献中发现特征的数学定义，例如，在Haralick,R.M.等人的“Textural Features for Image Classification”(IEEE Transactions onSystems,Man,and Cybernetics，第3卷、第6号、第610至621页(1973年))和Thibault,G.等人的“Advanced Statistical Matrices for Texture Characterization:Applicationto Cell Classification”(IEEE Transactions on Biomedical Engineering，第61卷、第3号、第630至637页(2013年))中。能够在Depeursinge,A.等人(Eds.)的“BiomedicalTexture Analysis:Fundamentals,Tools and Challenges”(Elsevier,2017)中发现针对放射组学的纹理特征的详细描述。

优选的是，该方法还包括：

(i)基于一个或多个计算的放射学特征的至少子集(诸如一个、两个或更多个)和对应的确定的相关性来表征放射学图像中的病变，和/或

(ii)基于针对相同病变的不同区域计算的一个或多个放射学特征和对应的确定的相关性的至少子集(诸如一个、两个或更多个)来表征相同对象的相同或不同放射学图像中的相同病变的不同区域，和/或

(iii)基于针对来自相同或不同对象的放射学图像的不同病变和/或针对来自对象的不同放射学图像的相同病变计算的一个或多个放射学特征的至少子集(诸如一个、两个或更多个)和对应的确定的相关性来表征相同或不同对象的放射学图像中的不同病变和/或对象的不同放射学图像中的相同病变。通过这样做，关于一个或多个放射学特征如何与识别的组织和/或细胞特性相关的知识能够被用于来自病理学图像的生物学标准数据信息不可用的一个和/或多个病变(包括相同病变的其他部分)的表征。优选地，这也可以允许针对患者的特定群组一般化放射学特征。

优选地，在(i)、(ii)和/或(iii)中，一个或多个放射学特征的子集基于对应的确定的相关性的强度来选择。例如，子集可以被选择为仅包括发现与识别的组织和/或细胞特性的相关性是强的或显著的放射学特征，而仅具有弱或不显著的相关性的放射学特征不会在表征中使用。

优选的是，导出的病理学图像的空间分辨率基本上匹配(一幅或多幅)放射学图像的空间分辨率。如上面提到的，放射学图像通常利用几毫米的空间分辨率来采集，而病理学图像具有0.25微米的高得多的空间分辨率。病变的病理学图像和放射学图像的空间分辨率的这种差异性使得难以直接比较图像。通过利用以与放射学图像的空间分辨率基本上匹配的空间分辨率表示识别的组织和/或细胞特性的导出的病理学图像，将计算的一个或多个放射学特征与识别的组织和/或细胞特性相关的相关步骤能够被简化。

优选地，该方法还包括将病变的放射学图像和导出的病理学图像共配准。由于旨在识别指示病变的某些组织和/或细胞特性的放射学特征，因此确定病变的放射学图像与导出的病理学图像之间的空间对应性是有利的。导出的病理学图像的区域中的具体的识别的组织和/或细胞特性然后能够被直接用作用于共配准的放射学图像中的对应区域的生物学标准数据(参见下面)。

优选地，共配准步骤基于自动特征识别和/或采用通过样本的图像引导的活检确定的空间信息。前者方法具有以下优点：其不依赖于针对病理学图像的空间信息的可用性。然而，其需要病变的放射学图像和导出的病理学图像两者中共同的可检测特征(诸如特征点或其他可检测结构)的存在。这可以例如与从肿瘤切除获得的组织一起使用，因为在这种情况下，具有可识别特性的足够组织材料通常将是可用的。另一方面，后者方法能够采用通过样本的图像引导的活检确定的空间信息。如果这样的信息是可用的，其可以有助于使共配准更鲁棒。例如，如果放射学图像是表示对象或对象的部分的三维(3D)重建的断层摄影图像，断层摄影图像的二维(2D)切片能够在不同方向上选择。如果关于对象内的样本的活检的位置和取向的信息可用，则该信息能够用于鲁棒地选择匹配导出的病理学图像(以及导出的病理学图像下层的病理学图像)的放射学图像的部分和取向。

优选的是，确定步骤包括选择导出的病理学图像中的表示具体的识别的组织和/或细胞特性的至少一个区域，并且针对共配准的放射学图像中的对应区域分析计算的一个或多个放射学特征。

在病理学图像基于从肿瘤切除获得的组织的情况下，这会是尤其适用的。例如，如果发现具体的计算的放射学特征通常提供对应于表示具体的识别的组织和/或细胞特性的导出的病理学图像的区域的共配准的放射学图像的区域中的强响应，则具体的计算的放射学特征可以被认为与具体的识别的组织和/或细胞特性具有强相关性。相比之下，如果具体的计算的放射学特征的响应在在对应于表示具体的识别的组织和/或细胞特性的导出的病理学图像的区域的共配准的放射学图像的区域中很大地不同，则具体的计算的放射学特征可以被认为与具体的识别的组织和/或细胞特性仅具有弱-或甚至没有-相关性。

通过这样做，能够评估计算的一个或多个放射学特征是否确实指示导出的病理学图像中的选定的至少一个区域的具体的识别的组织和/或细胞特性。

还优选的是，确定步骤包括计算针对来自导出的病理学图像的至少一个区域的一个或多个特征，并且将针对来自导出的病理学图像的至少一个区域计算的一个或多个特征与针对共配准的放射学图像中的对应区域的计算的一个或多个放射学特征相关。通过这样做，能够针对相似性和/或相似特征分析导出的病理学图像和放射学图像，并且以这种方式，能够识别示出与放射学图像中的放射学特征的对应性的导出的病理学图像中的特征。此类特征可以是例如基于图像滤波的特征，并且其可以与被用于放射学图像的分析的放射学特征相同。例如，可以计算导出的病理学图像中的脂肪分布的熵或基质组织的高斯分布，并且确定是否存在与放射学图像中的对应滤波器的相关性。在这种背景下，调节导出的放射学图像的分辨率和/或对比度是可能的。这提供基于具体的生物学推理选择导出的放射学图像的分辨率和/或对比度并且查看哪些基于滤波器的参数响应并对应于放射学特征的输出的自由。换言之，这提供两个自由度：(1)生物学(该基于计算机的分析(检测器)在原始病理学图像上运行)；以及(2)分辨率和对比度(形态学参数)，其能够被调节以便以与放射学图像(即，例如，基于滤波器)类似的方式分析导出的病理学图像。

备选地，优选的是，确定步骤包括根据导出的病理学图像计算作为针对病变的整个样本的特性的一个或多个特征，并且将计算的一个或多个放射学特征与根据导出的病理学图像计算的一个或多个特征相关，其中，相关不取决于病变的放射学图像与导出的病理学图像的共配准。在病理学图像基于从样本的活检获得的组织的情况下，这会是尤其适用的，因为在这种情况下，仅少量组织材料可以是可用的，其可以部针对不同的区域进行分析，而是其生物学可以例如通过可以与根据放射学图像针对获取活检的病变的区域计算的放射学特征相关的平均值来表示。因为在这种方法中没有病变的不同区域被单独地相关，因此不需要真实的共配准，但是唯一考虑是确定病变的对应部分之间的相关性。

优选的是，识别的组织和/或细胞特性包括以下中的至少一项：(i)一个或多个组织类型、(ii)一个或多个细胞类型的分布以及(iii)钙化。这些组织和/或细胞特性提供能够用于有助于癌症的诊断、响应预测和监测的关于病变的生物学的重要信息。例如，病理学图像的基于计算机的分析可以产生其中(肿瘤)上皮组织与基质连接组织、脂肪组织和背景区分的导出的病理学图像。或者，导出的病理学图像仅将上皮组织与非上皮组织区分。病理学图像的备选类型的分析将是检测具体细胞类型，如肿瘤细胞或免疫细胞，并且然后表示导出的病理学图像中的具体细胞类型的密度分布。而且，分布可以针对所有细胞来表示，而非区分细胞类型。病理学图像的另一备选分析将是检测钙化的片段，并且在导出的病理学图像中表示其。

病理学图像的染色和基于计算机的分析能够优选地依据放射学成像模态被选择和调谐。例如，MRI中的形态学特征可以与从H&E染色的组织图像导出的组织类型分布相关，而FDG-PET代谢活动可以与从H&E染色的组织图像导出的细胞密度相关，并且免疫PET图像可以直接与以免疫组织学(IHC)染色的细胞的密度相关，其中，抗体靶向与免疫PET对比剂相同的细胞类型。

优选的是，表征步骤在没有针对不同病变可用的病理学图像的情况下被执行。因此，来自病理学图像的生物学标准数据信息不必是针对所有病变可用的。替代地，足够的是，计算的一个或多个放射学特征与识别的组织和/或细胞特性的相关性已经被确定，以便在无需个体病理学信息的情况下基于相关性表征不同的病变。

还优选的是，对象的不同放射学图像在没有病理学图像针对病变可用的不同时间点处被采集。这允许随着时间的病变的重复表征，例如，以跟踪疾病或处置响应、信息的进展，而无需为每个新的表征提供病变的当前样本。

还优选的是，表征步骤包括基于一个或多个放射学特征和对应的相关性的至少子集来表征对象的一幅或多幅放射学图像中的多个病变，并且基于多个病变表征来确定对象的癌症的特性。已知许多癌症呈现实质性病变间异质性，这在设计有效的处置策略方面造成显著的挑战。此类癌症不能单独基于单个病变的表征被充分地表征。通过基于一个或多个放射学特征和对应的相关性的至少子集执行多个病变表征，可以获得癌症的特性(例如癌症的异质性)的更准确描写。这可以允许包含异质性的了解以产生更高效果的更改善的处置策略的产生。

在本发明的另一方面中，提出了一种用于表征放射学图像中的病变的方法，包括：

根据病变的放射学图像计算针对病变的一个或多个放射学特征，

至少基于一个或多个计算的放射学特征和对应的相关性来表征放射学图像中的病变，

其中，一个或多个放射学特征和对应的相关性已经被选择为已经如权利要求1至12中的任一项限定针对一个或多个不同对象的一个或多个不同病变计算的一个或多个放射学特征和对应的确定的相关性的子集。

该方面预见了可以使用根据权利要求1至12中的任一项定义的方法从对象或从合适的对象群组预先确定放射学特征和对应的确定的相关性。这些放射学特征(例如，示出与来自病理学的生物学信息的显著相关性的放射学特征)然后可以被一般化以便从其他对象的放射学图像提取关于生物学的信息。

在本发明的又一方面中，提出了一种用于在表征放射学图像中的病变中使用的装置，包括：

分析单元，其用于执行对象的病变的样本的病理学图像的基于计算机的分析，以便识别病变的组织和/或细胞特性，其中，分析产生表示识别的组织和/或细胞特性的导出的病理学图像，

计算单元，其用于根据病变的放射学图像计算针对病变的一个或多个放射学特征，

确定单元，其用于确定计算的一个或多个放射学特征与识别的组织和/或细胞特性之间的相关性。

在本发明的又一方面中，提出了一种用于在表征放射学图像中的病变中使用的计算机程序，所述计算机程序包括程序代码模块，当计算机程序在控制根据权利要求14所述的装置的计算机上运行时，所述程序代码模块用于使所述装置执行根据权利要求1至12中的任一项所述的方法的步骤。

应当理解，根据权利要求1所述的方法、根据权利要求14所述的装置和根据权利要求15所述的计算机程序具有相似和/或相同的优选实施例，具体地如在从属权利要求中定义的。

应当理解，本发明的优选实施例也能够是独立权利要求或以上实施例与相应从属权利要求的任何组合。

参考下文描述的实施例，本发明的这些方面和其他方面将显而易见并且得到阐述。

附图说明

在以下附图中：

图1图示了用于在表征放射学图像中的病变中使用的方法的实施例的流程图，

图2示意性且示范性地示出了病理学图像和表示识别的组织特性的导出的病理学图像，

图3示意性且示范性地示出了导出的病理学图像和到灰度级图像中的转换，

图4示意性且示范性地示出了导出的病理学图像的不同组织类型分类到熵图中的转换，并且

图5示意性且示范性地示出了用于在表征放射学图像中的病变中使用的装置的实施例。

具体实施方式

图1图示了用于在表征放射学图像中的病变中使用的方法的实施例的流程图。该方法假设对象的病变的样本的病理学图像以及病变的放射学图像已经在之前的步骤中被采集。备选地，采集这些图像的步骤也可以是方法本身的一部分。

病理学图像可以如上面描述的使用已知的染色(诸如H&E染色、IHC染色、IF染色或FISH)来生成。病变的放射学图像可以使用放射学成像模态(诸如CT、MRI(具体地mpMRI)、PET或SPECT)来采集。任选地，能够使用对比剂，对比剂富集在具体感兴趣区域(例如，肿瘤)中，并且允许某些分子的存在(分子成像)或代谢过程(例如，FDG)或组织性质(如氧合或pH(MRI))的可视化。

在步骤101中，执行对象的病变的样本的病理学图像的基于计算机的分析以便识别病变的组织和/或细胞特性，其中，所述分析产生表示识别的组织和/或细胞特性的导出的病理学图像。导出的图像的对比度和分辨率能够被改变以分析和/或优化与放射学图像的相关性的灵敏度。用于不同生物学特性的多个检测器能够被组合以生成导出的病理学图像。

识别的组织和/或细胞特性包括以下项中的至少一项：(i)一个或多个组织类型、(ii)一个或多个细胞类型的分布以及(iii)钙化。这些组织和/或细胞特性提供能够用于有助于癌症的诊断、响应预测和监测的关于病变的生物学的重要信息。

病理学图像的基于计算机的分析利用诸如高级图像分析、机器学习和人工智能(例如，深度神经网络)的技术，以便识别病变的组织和/或细胞特性。此类分析技术在本领域中是已知的，并且能够例如在Heindl A.等人的“Mapping spatial heterogeneity inthe tumor microenvironment:a new era for digital pathology”(LaboratoryInvestigation、第95卷、第377至384页(2015))中发现。由于基于计算机的分析能够独立于作为具体染色流程的结果的表观突出显示具体组织和/或细胞特性，因此能够实现与根据病变的放射学图像计算的一个或多个放射学特征的更好相关性，其中，着重指出病变的不同方面。

为了给出范例，图2示意性且示范性地示出了病理学图像和表示识别的组织特性的导出的病理学图像。在这种情况下，对象的病变的样本已经通过乳房肿瘤的切除被获得，并且切片已经使用H&E染色被染色(参见图2(a))。然后已经对病理学图像执行基于计算机的分析，以便识别病变的组织特性(参见图2(b))。此处，不同类型的组织以假彩色表示来表示-在图中仅以灰度级来示出。例如，由‘A’、‘B’、‘C’和‘D’指示的区域对应于不同类型的组织，即，肿瘤上皮组织(‘D’)、基质连接组织(‘A’)、脂肪组织(‘B’)和腺泡(‘C’)。如能够从图2看见的，不同类型的组织在导出的病理学图像中被清楚地区分，这使确定与一个或多个计算的放射学特征的相关性更容易。

在图中未示出的备选范例中，导出的病理学图像仅可以将上皮组织与非上皮组织区分。此外，病理学图像的备选类型的分析将是检测具体细胞类型，如肿瘤细胞或免疫细胞，并且然后表示导出的病理学图像中的具体细胞类型的密度分布。而且，分布可以针对所有细胞进行表示，而非区分细胞类型。病理学图像的另一备选分析将是检测钙化的片段，并且在导出的病理学图像中表示它们。

返回参考图1，在步骤102中，病变的放射学图像和导出的病理学图像被共配准。

由于旨在识别指示病变的某些组织和/或细胞特性的放射学特征，因此确定病变的放射学图像与导出的病理学图像之间的空间对应性是有利的。导出的病理学图像的区域中的具体的识别的组织和/或细胞特性然后能够被直接用作用于共配准的放射学图像中的对应区域的生物学标准数据(参见下面)。共配准步骤可以基于自动特征识别，和/或它可以采用通过样本的图像引导的活检确定的空间信息。

在步骤103中，从病变的放射学图像计算针对病变的一个或多个放射学特征。

如上面提到的，一个或多个放射学特征可以包括大量不同的特征，包括不同的类型，诸如(i)基于强度的特征、(ii)基于形状的特征、(iii)基于纹理的特征以及(iv)基于小波的特征。

在步骤104中，确定计算的一个或多个放射学特征与识别的组织和/或细胞特性之间的相关性。

在该实施例中，选择导出的病理学图像中的表示具体的识别的组织和/或细胞特性的至少一个区域，并且针对共配准的放射学图像中的对应区域分析计算的一个或多个放射学特征。

例如，如果发现具体的计算的放射学特征通常提供对应于导出的病理学图像的表示具体的识别的组织和/或细胞特性的区域的共配准的放射学图像的区域中的强响应，则具体的计算的放射学特征可以被认为与具体的识别的组织和/或细胞特性具有强相关性。相比之下，如果具体的计算的放射学特征的响应在在对应于导出的病理学图像的表示具体的识别的组织和/或细胞特性的共配准的放射学图像的区域中很大地不同，具体的计算的放射学特征可以被认为与具体的识别的组织和/或细胞特性仅具有弱-或甚至没有-相关性。

借助于到目前为止阐述的方法，生物学标准数据信息能够用于识别指示病变的某些组织和/或细胞特性并且因此可以更好地适合于表征病变的放射学特征。此类放射学特征然后能够与对应的相关性一起被用于放射学图像中的病变的改进的表征。

在可选的步骤105中，(i)基于一个或多个计算的放射学特征的至少子集和对应的确定的相关性来表征放射学图像中的病变，和/或(ii)基于相同病变的不同区域计算的一个或多个放射学特征和对应的确定的相关性的至少子集来表征相同对象的相同或不同放射学图像中的相同病变的不同区域，和/或(iii)基于来自相同或不同对象的放射学图像的不同病变和/或针对来自对象的不同放射学图像的相同病变计算的一个或多个放射学特征和对应的相关性的至少子集来表征相同或不同对象的放射学图像中的不同病变和/或对象的不同放射学图像中的相同病变。

通过这样做，关于一个或多个放射学特征如何与识别的组织和/或细胞特性相关的知识能够被用于从病理学图像不可用生物学标准数据信息的一个和/或多个病变的表征。优选地，这也可以允许针对患者的具体群组一般化放射学特征。

在该实施例中，一个或多个放射学特征的子集基于对应的确定的相关性的强度来选择。具体地，子集被选择为仅包括与识别的组织和/或细胞特性的相关性被发现为是强的或显著的放射学特征，而仅具有弱或不显著的相关性的放射学特征不在表征中使用。

应当注意，表征步骤优选地在没有针对不同病变可用的病理学图像的情况下被执行。因此，来自病理学图像的生物学标准数据信息不必是针对所有病变可用的。替代地，足够的是，计算的一个或多个放射学特征与所识别的组织和/或细胞特性的相关性已经被确定，以便在无需个体病理学信息的情况下基于相关性表征不同的病变。

同样地，优选的是，对象的不同放射学图像在没有病理学图像针对病变可用的不同时间点处被采集。

在该实施例中，表征步骤包括基于一个或多个放射学特征的至少子集和对应的相关性来表征对象的一幅或多幅放射学图像中的多个病变，并且基于多个病变表征来确定对象的癌症的特性。通过这样做，可以获得癌症的特性(例如癌症的异质性)的更准确描写。这可以允许包含异质性的了解以产生更高效果的更改进的处置策略的产生。

上面概述的用于在表征放射学图像中的病变中使用的方法可以被认为是‘基于位置的’方法，因为其包括将病变的放射学图像和导出的病理学图像共配准的步骤102，并且因为其在确定计算的一个或多个放射学特征与识别的组织和/或细胞特性之间的相关性的步骤104中利用了位置信息。

在‘基于共同位置的’方法的变型中，确定步骤包括计算针对来自导出的病理学图像的至少一个区域的一个或多个特征，并且将针对来自导出的病理学图像的至少一个区域计算的一个或多个特征和来自导出的病理学图像的共配准的放射学图像中的对应区域计算的一个或多个放射学特征相关。通过这样做，能够针对相似性和/或相似特征分析所导出的病理学图像和放射学图像，并且以这种方式，能够识别示出到放射学图像中的放射学特征的对应性的导出的病理学图像中的特征。此类特征可以是例如基于图像滤波的特征，并且其可以与被用于放射学图像的分析的放射学特征相同(参见Aerts H.J.W.L.的“Decoding tumour phenotype by noninvasive imaging using a quantitativeradiomics approach”,Nature Communications,5:4006,2014)。例如，可以计算导出的病理学图像中的脂肪分布的熵或基质组织的高斯分布，并且确定是否存在与放射学图像中的对应滤波器的相关性。在这种背景下，调节导出的放射学图像的分辨率和/或对比度是可能的。这提供基于具体的生物学推理选择导出的放射学图像的分辨率和/或对比度并且查看哪些基于滤波器的参数响应并对应于放射学特征的输出的自由。换言之，这提供了两个自由度：(1)生物学(该基于计算机的分析(检测器)在原始病理学图像上运行)，以及(2)分辨率和对比度(形态学参数)，其能够被调节以便以与以放射学图像(即，例如，基于滤波器)类似的方式分析导出的病理学图像。这仍然可以被认为是‘基于共同位置的’方法。

在用于在表征放射学图像中的病变中使用的方法的另一实施例中，相关性可以使用纯粹‘基于特征的’方法来确定，即，将病变的放射学图像和导出的病理学图像共配准的步骤102能够被省略。具体地，确定步骤包括根据导出的病理学图像计算作为病变的整个样本的特性的一个或多个特征，并且将计算的一个或多个放射学特征和根据导出的病理学图像计算的一个或多个特征相关，其中，相关不取决于病变的放射学图像与导出的病理学图像的共配准。如上面提到的，在病理学图像基于从样本的活检获得的组织的情况下，这会是尤其适用的，因为在这种情况下，仅少量组织材料可以是可用的，其可以不针对不同的区域进行分析，但是其生物学可以例如通过可以与从放射学图像针对获取活检的病变的区域计算的放射学特征相关的平均值来表示。因为在这种方法中没有病变的不同区域被单独地相关，因此不需要真实的共配准，但是唯一考虑是确定病变的对应部分之间的相关性。从导出的病理学图像计算的一个或多个特征可以是也被用于放射组学中的那些的子集，诸如在Aerts H.J.W.L.的“Decoding tumour phenotype by noninvasive imaging using aquantitative radiomics approach”(Nature Communications,5:4006,2014)中解释的。

在‘基于共同位置的’方法中和在‘基于特征的’方法中，从导出的病理学图像产生灰度级图像会是必要的。

为了给出范例，图3示意性且示范性地示出了导出的病理学图像和成为灰度级图像的转换。在这种情况下，对象的病变的样本已经通过乳房肿瘤的切除来获得，并且H&E染色的切片的病理学图像的基于计算机的分析已经被执行以便确定淋巴细胞的密度图。该密度图已经被叠加在病理学图像上，以便产生导出的病理学图像(参见图3(a))。此处，淋巴细胞的不同密度以假彩色表示来表示-在图中仅以灰度级来示出。例如，通过‘E1’、‘E2’、‘E3’和‘E4’指示的区域对应于具有与淋巴细胞的积聚的区域，淋巴细胞趋向于位于病变周围。然后在图3(b)中示出了导出的病理学图像成为灰度级图像的转换的结果。这种表示能够通过将灰度值分配给分箱的成比例的密度范围而以简单的方式被生成。

图4示意性且示范性地示出了将导出的病理学图像的不同组织类型分类转换成熵图。在这种情况下，图4(a)示出了原始H&E染色的病理学图像，图4(c)示出了表示不同类型的组织(即，肿瘤上皮组织、基质连接组织、脂肪组织和背景)的导出的病理学图像，并且图4(e)示出了表示不同类型的组织、上皮组织与非上皮组织的导出的病理学图像-均被表示为灰度级图像。图4(b)、(d)和(f)然后分别示出成为熵图的转换。如能够从图中看见的，导出的病理学图像的熵图比原始H&E染色的病理学图像的熵图丰富且具信息性得多。

在病理学图像上使用的基于计算机的分析能够独立于作为具体染色流程的结果的表观而突出显示具体特征，并且以这种方式，与从放射学导出的着重指出非常不同的特征的特征更好地相关。被用于病理学图像的基于计算机的分析能够依据放射学模态来选择和调谐。通过分析导出的病理学图像与放射学图像之间的最强相关特征，那些特征能够被优先化并优选地用于来自其他病变的放射学图像的分析和解释中，以便关于例如与异质性相关的癌症的特性得出患者的结论。

图5示意性且示范性地示出了用于在表征放射学图像中的病变中使用的装置的实施例。该装置能够被配置为执行如上面概述的用于在表征放射学图像中的病变中使用的方法。

在该实施例中，该装置包括分析单元10，以用于执行对象的病变的样本的病理学图像的基于计算机的分析，以便识别病变的组织和/或细胞特性，其中，分析产生表示所识别的组织和/或细胞特性的导出的病理学图像。该装置还包括共配准单元20，以用于将病变的放射学图像与导出的病理学图像共配准。此外，该装置包括计算单元30和确定单元40，计算单元30用于根据病变的放射学图像计算针对病变的一个或多个放射学特征，确定单元40用于确定计算的一个或多个放射学特征与所识别的组织和/或细胞特性之间的相关性。更另外，该装置任选地包括表征单元50，以用于(i)基于一个或多个计算的放射学特征和对应的确定的相关性的至少子集来表征放射学图像中的病变，和/或(ii)基于针对相同病变的不同区域计算的一个或多个放射学特征和对应的确定的相关性的至少子集来表征相同对象的相同或不同放射学图像中的相同病变的不同区域，和/或(iii)基于针对来自相同或不同对象的放射学图像的不同病变和/或针对来自对象的不同放射学图像的相同病变计算的一个或多个放射学特征的至少子集和对应的确定的相关性来表征相同或不同对象的放射学图像中的不同病变和/或对象的不同放射学图像中的相同病变。

通过研究附图、公开内容和所附权利要求，本领域技术人员在实践请求保护的发明时可以理解和实现所公开的实施方案的其他变型。

在权利要求中，词语“包括”不排除其他元件或步骤，并且词语“一”或“一个”不排除多个。

图1中图示的方法的一个或多个步骤可以在计算机程序产品中实施，所述计算机程序产品可以在计算机上执行。所述计算机程序产品可以包括其上记录(存储)控制程序的非瞬态计算机可读记录介质，例如磁盘、硬盘驱动器等。非瞬态计算机可读介质的常见形式包括例如软盘、软磁盘、硬盘、磁带或任何其他磁存储介质、CD-ROM、DVD或任何其他光学介质、RAM、PROM、EPROM、FLASH-EPROM或其他存储器芯片或盒式磁带，或计算机可以从中读取和使用的任何其他非瞬态介质。

备选地，方法的一个或多个步骤可以在诸如可传输载波的瞬态介质中实施，其中，使用诸如声波或光波的传输介质将控制程序实现为数据信号，诸如在无线电波和红外数据通信等期间生成的那些。

可以在一个或多个通用计算机、(一个或多个)专用计算机、编程的微处理器或微控制器以及外围集成电路元件、ASIC或其他集成电路、数字信号处理器、硬连线的电子或逻辑电路(诸如分立元件电路)、可编程逻辑装置(诸如PLD、PLA、FPGA、显卡CPU(GPU)或PAL等)上实施示范性方法。通常，能够实施有限状态机(其继而能够实施图1所示的流程图)的任何设备都能够用于实施如图示的用于在表征放射学图像中的病变中使用的方法的一个或多个步骤。如将意识到的，尽管方法的步骤可以全部是计算机实施的，但是在一些实施例中，步骤中的一个或多个可以至少部分地手动执行。

计算机程序指令还可以被加载到计算机、其他可编程数据处理装置或其他设备上，以引起要在计算机、其他可编程装置或其他设备上执行的一系列操作步骤以产生计算机实施的过程，使得在计算机或其他可编程装置上执行的指令提供用于实施本文中指定的功能/动作的过程。

权利要求中的任何附图标记不应被解释为对范围的限制。

本发明涉及一种用于在表征放射学图像中的病变中使用的方法，包括执行对象的病变的样本的病理学图像的基于计算机的分析，以便识别病变的组织和/或细胞特性，其中，分析产生表示识别的组织和/或细胞特性的导出的病理学图像；根据病变的放射学图像计算针对病变的一个或多个放射学特征；并且确定计算的一个或多个放射学特征与识别的组织和/或细胞特性之间的相关性。利用该方法，生物学标准数据信息能够用于识别指示病变的某些组织和/或细胞特性并且因此可以更好地适于表征病变的放射学特征。此类放射学特征然后能够与对应的相关性一起被用于放射学图像中的病变的改进的表征。

一些布置的特征在以下编号段落中进行阐述：

1、一种用于在表征放射学图像中的病变中使用的方法，包括：

执行(101)对对象的病变的样本的病理学图像的基于计算机的分析以便识别所述病变的组织和/或细胞特性，其中，所述分析产生表示所识别的组织和/或细胞特性的导出的病理学图像，

根所述病变的所述放射学图像计算(103)所述病变的一个或多个放射学特征，并且

确定(104)所计算的一个或多个放射学特征与所述导出的病理学图像中的所识别的组织和/或细胞特性之间的相关性。

2、根据段落1所述的方法，其中所述方法还包括：

(i)基于一个或多个计算的放射学特征和对应的确定的相关性的至少子集来表征所述放射学图像中的所述病变，和/或

(ii)基于针对相同病变的不同区域计算的一个或多个放射学特征和对应的确定的相关性的至少子集来表征相同对象的相同或不同放射学图像中的相同病变的不同区域，和/或

(iii)基于以下项的至少子集来表征相同对象或不同对象的放射学图像中的不同病变和/或所述对象的不同放射学图像中的相同病变：针对来自所述相同对象或所述不同对象的所述放射学图像的所述不同病变和/或针对来自所述对象的所述不同放射学图像的所述相同病变计算的所述一个或多个放射学特征和所述对应的确定的相关性。

3、根据段落2所述的方法，其中，在(i)、(ii)和/或(iii)中，所述一个或多个放射学特征的所述子集是基于所述对应的确定的相关性的强度来选择的。

4、根据段落1至3中的任一项所述的方法，其中，所述导出的病理学图像的空间分辨率基本上匹配(一幅或多幅)所述放射学图像的所述空间分辨率。

5、根据段落1至4中的任一项所述的方法，其中，所述方法还包括将所述病变的所述放射学图像与所述导出的病理学图像共配准。

6、根据段落5所述的方法，其中，共配准步骤基于自动特征识别和/或采用通过对所述样本的图像引导的活检确定的空间信息。

7、根据段落5或6所述的方法，其中，确定步骤包括：选择所述导出的病理学图像中表示具体的识别的组织和/或细胞特性的至少一个区域；并且分析针对共配准的放射学图像中的对应区域的所计算的一个或多个放射学特征。

8、根据段落1所述的方法，其中，所述确定步骤包括：计算针对来自所述导出的病理学图像的至少一个区域的一个或多个特征；并且将针对来自所述导出的病理学图像的所述至少一个区域计算的所述一个或多个特征与针对所述共配准的放射学图像中的对应区域的所计算的一个或多个放射学特征相关。

9、根据段落1至4中的任一项所述的方法，其中，所述确定步骤包括：根据所述导出的病理学图像来计算作为针对所述病变的整个样本的特性的一个或多个特征；并且将所计算的一个或多个放射学特征与根据所述导出的病理学图像计算的一个或多个特征相关，其中，所述相关不取决于所述病变的所述放射学图像与所述导出的病理学图像的共配准。

10、根据段落1至9中的任一项所述的方法，其中，所识别的组织和/或细胞特性包括以下项中的至少一项：(i)一个或多个组织类型、(ii)一个或多个细胞类型的分布以及(iii)钙化。

11、根据段落2至10中的任一项所述的方法，其中，表征步骤是在没有能用于所述不同病变的病理学图像的情况下被执行的，和/或其中，所述对象的所述不同放射学图像是在没有病理学图像能用于所述病变的不同时间点处被采集的。

12、根据段落2至11中的任一项所述的方法，其中，所述表征步骤包括：基于所述一个或多个放射学特征和所述对应的相关性的至少子集来表征所述对象的一幅或多幅放射学图像中的多个病变；并且基于所述多个病变表征来确定所述对象的癌症的特性。

13、一种用于表征放射学图像中的病变的方法，包括：

根据病变的放射学图像计算病变的一个或多个放射学特征，

至少基于一个或多个计算的放射学特征和对应的相关性来表征所述放射学图像中的所述病变，

其中，所述一个或多个放射学特征和所述对应的相关性已经被选择为已经根据段落1至12中的任一项所述的针对一个或多个不同对象的一个或多个不同病变计算的一个或多个放射学特征和对应的确定的相关性的子集。

14、一种用于在表征放射学图像中的病变中使用的装置，包括：

分析单元(10)，其用于执行对对象的病变的样本的病理学图像的基于计算机的分析以便识别所述病变的组织和/或细胞特性，其中，所述分析产生表示所识别的组织和/或细胞特性的导出的病理学图像，

计算单元(30)，其用于根据所述病变的放射学图像来计算所述病变的一个或多个放射学特征，以及

确定单元(40)，其用于确定所计算的一个或多个放射学特征与所识别的组织和/或细胞特性之间的相关性。

15、一种用于在表征放射学图像中的病变中使用的计算机程序，所述计算机程序包括程序代码模块，所述程序代码模块用于当所述计算机程序在控制根据段落14所述的装置的计算机上运行时使所述装置执行根据段落1至12中的任一项所述的方法的步骤。