一种基于空间相对位置先验的颞骨关键解剖结构自动定位方法

摘要

本发明提出一种基于空间相对位置先验的颞骨关键解剖结构自动定位方法，提升了解剖结构的定位速度和定位精度，同时提升了对不同数据分布的颞骨CT数据的分割效果。本发明中，通过以邻接矩阵图对颞骨9个关键解剖结构进行空间相对位置建模，并对该模型设计了一种自适主动微调策略，使得该模型适用于不同尺度的颞骨CT。本文提出的二阶段定位算法以易定位结构先定位作为基准点，结合空间相对位置对其他难定位结构粗定位，再进一步采用精确定位算法在粗定位范围内进行各个解剖结构的精确定位，降低了复杂背景对于定位结果的干扰，有效提升了定位精度和定位速度。同时，我们的模型在处理不同数据分布的颞骨CT有更好的泛化能力。

说明书

技术领域

本发明属于医学影像处理领域，特别涉及一种结合空间相对位置先验信息，进行颞骨关键结构小目标自动定位方法。

背景技术

颞骨CT可以显示中耳、内耳等细微结构，例如耳蜗、半规管、前庭、听小骨等结构。医生通过观察颞骨关键解剖结构有无异常，对病人症状做出判断。而随着临床需求的不断增加，医学影像数据每年急剧增长，以及我国医疗资源的短缺，极大增加了医生的工作量，同时降低了患者的就诊效率。因此，快速地将医生需要关注的区域定位出来，可以大大减轻医生的工作负担，提升诊断效率，缓解医疗资源短缺的状况。

近些年基于深度学习的医学影像智能化分析成为研究热门。准确的解剖结构定位，不仅可以为医生快速地提供需要关注的区域，还可以为后续解剖结构的异常检测奠定基础。医学影像不同于常规的自然图像，一般情况下是一组序列组成的三维体数据。对于小的解剖结构而言，占整例影像的比例较小，且每个结构之间并没有明显的界限，因此定位困难。常规的定位算法在整例CT影像中定位，定位速度较慢，且常被复杂的无关背景干扰，难以获得准确的定位效果。此外，这些算法并没有利用到解剖结构之间的相对位置关系，而是将每个待定位的结构视为独立的个体，解剖结构之间的相对位置关系是医学影像的优势特点，可以为定位提供指导信息。

即便解剖结构之间的空间相对位置是医学影像的特点，但是目前尚未有一种模型表示方法能够对解剖结构之间的空间相对位置关系进行表示，转化为计算机能够处理的数据，进而利用到这种关系处理医学影像定位任务。因此，本发明提出了一种邻接矩阵图模型描述的颞骨解剖结构空间相对位置先验模型，并结合一种由粗分割到精确分割的解剖结构定位算法，将容易定位的解剖结构先定位出来，再根据解剖结构间的空间相对位置关系，在易定位结构的特定空间范围内，进行难定位解剖结构的进一步精确定位。

发明内容

本发明的目的在于克服现有医学影像定位方法不足。对于多个小解剖结构定位任务而言，常规的定位算法不能对每类解剖结构都有良好的定位性能。在医学影像定位任务中，解剖结构之间的空间相对位置关系可以为解剖结构定位提供先验指导，如果将容易定位的解剖结构先定位出来，再根据空间相对位置对其他难定位结构提供指导，可以进一步提升难定位解剖结构的定位效果。但是，目前的定位方法将每个解剖结构视为独立的个体，尚未有一种模型表示方法对解剖结构之间的空间相对位置关系进行表示，并能够按照不同患者自身尺寸自适应调整，转化为计算机能够处理的格式进行解剖结构之间指导定位；颞骨关键解剖结构微小，常规的医学影像定位方法在定位的过程中采用滑动窗口的方式，在一整例影像中进行解剖结构检测，时间复杂度较高；此外，对于大量医学影像而言，数据分布的不同会降低算法模型的泛化能力。针对以上问题，提出了一种基于邻接矩阵图模型的解剖结构空间相对位置先验模型表示方法，用于颞骨关键解剖结构自动定位，基于该模型，在确立容易定位解剖结构作为基准点基础上，自适应调整模型尺度以适应不同的患者，缩小难定位解剖结构待定位区域，降低定位的时间复杂度，同时降低医学影像整体数据分布不同对模型泛化能力的影响，实现颞骨关键解剖结构锤骨、砧骨、耳蜗外壁、耳蜗内腔、外半规管、后半规管、前半规管、前庭以及内听道的自动定位。

本发明是采用以下技术手段实现的：

一种基于空间相对位置先验的颞骨关键解剖结构自动定位方法。该方法整体分为四个阶段：基于统计的空间相对位置先验图模型建模阶段、空间相对位置先验图模型基准点定位阶段、空间相对位置先验图模型粗定解剖结构候选区域阶段和颞骨关键解剖结构精确定位阶段，如图1所示。

该方法具体包括以下步骤：

1)基于统计的空间相对位置先验图模型建模阶段：

第一步，统计统一像素间距和层间距的颞骨CT影像关键解剖结构中心点坐标。为保证相同颞骨CT影像具有统一的实际物理距离对应关系，将颞骨CT影像重采样统一层间距和像素间距至0.5，基于颞骨CT影像解剖结构的体素级标注，以颞骨CT中心为坐标原点，向前、右、上方向分别作为x、y、z轴正方向，计算各个解剖结构的中心点坐标。

第二步，统计各解剖结构的中心点坐标的平均值。

第三步，建立颞骨CT关键解剖结构平均位置模型。以双侧m个解剖结构中心2m个点的平均值坐标，组成一个m*6的矩阵，m行表示m个解剖结构，6列中每三列为一组x、y、z坐标值描述的解剖结构平均位置，以该矩阵表示颞骨CT关键解剖结构平均位置模型，平均位置模型示意图如图2所示。

第四步，建立颞骨CT关键解剖结构平均相对位置模型。目前尚未有一种表示方法对人们所理解的空间相对位置转化为计算机能够处理的数据进行有效表示。本发明采用邻接矩阵的形式通过加权无向图描述颞骨CT关键解剖结构空间相对位置关系。将颞骨单侧m个解剖结构中心点作为m个数据节点，矩阵中上三角区域或下三角区域的权值用于描述各个节点间的空间位置关系。统计各个解剖结构之间x、y、z坐标的差值作为邻接矩阵权值，描述每个解剖结构之间的相对位置关系。以左侧、右侧各三个维度坐标建立6个邻接矩阵，每个邻接矩阵用于描述单侧解剖结构对应维度上的相对位置关系。该空间相对位置先验模型示意图如图3所示。

2)空间相对位置先验图模型基准点定位阶段：

第一步，基于3D Unet的耳蜗内腔结构定位。本发明特点在于避免使用定位算法同时对所有结构进行定位，这样往往难以对每个结构都有良好的定位效果，而是采用一种定位结果好的结构利用空间相对位置指导其他结构定位的方法。由于耳蜗内腔在颞骨CT关键解剖结构中，是容积数据较大的解剖结构，并且具有明显的形状特点，每例颞骨CT之间形状差异较小。采用的3D Unet对耳蜗内腔的定位精度和泛化性都最好。因此采用3D Unet对耳蜗内腔结构进行初步定位。

第二步，采用统计异常值检测算法去除粗分割离群点。分割出现的离群点会影响耳蜗内腔中心点的定位。采用统计中的绝对中位差算法，去除异常值。绝对中位差函数如公式(1)所示：

MAD＝median(|Xi-median(X)|) (1)

绝对中位差算法过程如下：

(1)计算所有预测前景点坐标的中位数median(X)；

(2)计算每个预测前景点与中位数的绝对偏差值abs(X

(3)计算(2)中的绝对偏差值的中位数(Median Absolute Deviation，MAD)；

(4)将(2)中的值除以(3)的值，得到一组基于MAD的所有预测前景点距离中心的距离Dis。计算公式如式(2)：

(5)将x、y、z三个维度上最大Dis值大于阈值Threshold的点作为异常点去除。Threshold是绝对偏差值与绝对偏差值中位数之间比值Dis的筛选阈值。可以根据真实前景点与离群点之间的比例关系进行选取，Threshold选取较大，表示对前景点的位置差异更加不敏感，会保留更多的前景点，有可能无法完全去除离群点；选取较小，则表示前景点筛选的条件更严格，在去除离群点、保留大部分前景点的同时，有可能会删除掉正确的前景点。由于本部分去除离群点用于获取耳蜗内腔解剖结构中心坐标，离群点会对中心坐标产生干扰，因此对于Threshold值的选取较小,采用Threshold等于2.5作为阈值可以适用于耳蜗内腔结构分割后的离群点去除，在完整去除离群点的同时，保留更多的前景点。

第三步，计算耳蜗内腔分割体素点的中心坐标值，作为颞骨CT关键解剖结构空间相对位置模型的基准点。

3)空间相对位置先验图模型粗定解剖结构候选区域阶段

第一步，基于仿射变换的图模型配准阶段。常规基于统计平均模型的方法难以保证对于所有未知的医学影像待定位解剖结构均符合平均模型的分布。因此本发明提出对平均形状模型进行自适应调整，以适应不同尺寸的颞骨CT。首先，对空间位置先验图模型进行左右侧结构距离的归一化处理。耳蜗内腔在颞骨CT关键解剖结构中，是容积数据较大的解剖结构，并且具有明显的形状特点，每例颞骨CT之间形状差异较小，故考虑选择双侧耳蜗内腔作为仿射变换基准点，对空间位置先验图模型进行归一化处理。已定位双侧耳蜗内腔间的距离为Distance，平均形状间的平均距离为Distance_m，应用公式(3)计算缩放系数Scale：

应用缩放系数Scale，对6个邻接矩阵AdjacencyMatrix进行各个方向空间相对位置的尺度缩放。具体操作为采用公式(4)，对平均相对位置邻接矩阵AdjacencyMatrix与Scale进行乘法运算，得到缩放后的邻接矩阵AdjacencyMatrixAdjust：

AdjacencyMatrixAdjust＝AdjacencyMatrix×Scale (4)

AdjacencyMatrixAdjust经过自适应尺度缩放，用于描述针每例颞骨CT各自解剖结构之间的空间相对位置关系。以双侧耳蜗内腔三维坐标作为基准点，结合缩放后的邻接矩阵中描述的空间相对位置关系，通过对三维空间坐标间取差值计算剩余关键解剖结构中心点坐标。

第二步，统计颞骨CT关键解剖候选区域提取尺寸。基于统计体素级标注数据，统计关键解剖结构所有标注体素点在x、y、z三个维度上的最大值和最小值，以x、y、z最大值与x、y、z最小值之间的差值初步统计解剖结构尺寸。此后，将初步统计尺寸向外扩延至满足分割算法输入且保证能够包围完整待分割解剖结构的尺寸。以医学影像常用的U型网络分割算法为例，算法在编码过程中需要进行下采样，每经过一次下采样后，输出数据各方向尺寸均为输入尺寸0.5倍，此类U型网络编解码结构之间采用了跳跃连接的设计，因此，此类算法的输入数据三个维度上尺寸均需要至少满足2

第三步，结合各关键解剖结构中心点和每个解剖结构先验包围框尺寸信息，提取感兴趣区域。感兴趣区域以感兴趣区域中心点和感兴趣区域三维尺寸描述，其中，以第一步预测的颞骨CT各个关键解剖结构中心点为中心，向外扩延提取立方体数据，立方体三维尺寸满足第二步统计计算的颞骨各个关键解剖结构候选区域尺寸，以提取后的立方体数据区域作为进一步精确分割的候选区域。

4)颞骨关键解剖结构精确定位阶段

第一步，关键解剖结构分割阶段。基于耳蜗内腔体素级标注数据，按照1)～3)阶段方法，提取各解剖结构的CT影像数据以及对应区域的标注数据，作为分割网络的训练数据，分别对m个解剖结构训练对应的分割模型。对第三阶段提取的待分割候选区域，采用现有基于深度网络的医学影像分割算法进行体素级分割。

第二步，采用统计异常值检测算法去除分割算法分割出的离群点。由于精确割的算法仅对提取的小区域进行分割，异常值点的分布范围小于对整例CT数据分割。此处采用箱线图检测数据中是否存在极端异常值，效果优于绝对中位差法。箱线图主要由下边界值、第一四分位数Q1，中位数、第三四分位数Q3、上边界5个数值组成。箱线图第三四分位数Q3和第一四分位数Q1的差作为盒子长度IQR，上边界距离Q3和下边界距离Q1均为IQR值的1.5倍，计算边界公式为公式(5)和公式(6)：

min＝Q1-1.5×IQR (5)

max＝Q3+1.5×IQR (6)

对于三个维度任一维度上坐标不满足min～max之间的预测点，作为异常点去除。

第三步，根据第3)阶段提取候选区域的位置，将各解剖结构分割结果填充到对应区域。

第四步，结合各个解剖结构的精确体素级分割结果，以完整包围分割前景体素点的最小包围框作为该解剖结构定位结果。

本发明与现有技术相比，具有以下明显的优势和有益效果：

本发明提出了一种医学影像解剖结构空间相对位置关系的建模方法，作为解剖结构的位置先验信息指导定位。通过统计已有体素级标注的颞骨CT影像，建立颞骨关键解剖结构平均位置模型，以邻接矩阵图模型表示颞骨各个解剖结构的空间相对位置关系，基于医学影像中人体结构的位置及各个结构之间的相对位置固定的特点，在优先定位较为容易的解剖结构基础上，以该解剖结构定位结果作为基准点，结合各个解剖结构的空间相对位置关系，进一步缩小其他解剖结构定位的候选区域。在缩小定位区域的基础上，进一步采用精确分割的方法，实现颞骨解剖结构的精确定位。所述方法通过建立颞骨CT关键解剖结构空间相对位置先验模型，采用易定位结构指导难定位结构定位的思想，缩小难定位结构候选区域，缓解不同医学影像数据整体分布差异造成对算法模型泛化性的影响，同时进一步提升较难解剖结构的定位准确率，降低了时间复杂度。

1.提出了一种邻接矩阵图模型表示的颞骨关键解剖结构空间相对位置先验建模方法，用于将颞骨区域关键解剖结构锤骨、砧骨、耳蜗外壁、耳蜗内腔、外半规管、后半规管、前半规管、前庭和内听道之间的相对位置关系建模。常规的基于统计解剖结构位置分布的方法仅能适用于统计范围内的样本，与之不同的是，本发明对解剖结构间更为稳定的空间相对位置关系进行表示，作为解剖结构精确算法的先验信息引入定位算法。

2.所述算法基于易分割结构作为基准点，设计仿射变换系数，对所建立的空间相对位置模型进行调整，自适应不同尺寸的人体头部；

3.所述算法通过各个解剖结构之间的空间相对位置关系，结合模型基准点缩小待定位候选区域，降低整例CT影像数据分布不同对分割效果泛化性的影响，进而保证不同数据下的定位准确率，同时降低定位所需时间。

附图说明：

图1、整体颞骨解剖结构定位流程图；

图2、颞骨关键解剖结构平均位置模型示意图，其中字符含义：锤骨(Malleus)、砧骨(Incus)、耳蜗外壁(ECC)、耳蜗内腔(ICC)、后半规管(PSC)、外半规管(LSC)、上半规管(SSC)、前庭(Vestibule)、内听道(IAM)；

图3、邻接矩阵图模型描述的颞骨关键解剖结构空间相对位置模型；

图4、二阶段颞骨解剖结构定位实例示意图，左图为感兴趣区域粗定位结果，中间为所提取的感兴趣区域，右侧为第二阶段精确定位结果；

图5、缩小/未缩小定位区域对无标注数据分割效果对比，左侧为待分割图像，中间为未缩小定位区域的分割结果，右侧为本文提出的缩小定位区域后的分割结果。

具体实施方式：

以下结合说明书附图，对本发明的实施实例加以说明：

本发明采用颞骨CT数据集进行训练和测试。共计64例含标注的正常人体颞骨CT数据。其中33人为男性，31人为女性，平均年龄44岁。共标注锤骨、砧骨、耳蜗外壁、耳蜗内腔、外半规管、后半规管、前半规管、前庭和内听道共计9个解剖结构。实验中，使用56例数据作为训练集，8例数据作为训练集。同时，使用无标注数据，对定位结果进行主观性能评价，作为算法泛化性评估。

本发明的采用的数据预处理包括对CT影像和标注数据的重采样。

为避免CT采集设备品牌、参数的不同造成CT影像数据的像素间距、层间距不一致，导致无法使用统一的坐标轴参数描述解剖结构的位置关系的问题，对CT影像数据采用B样条插值算法重采样统一像素间距、层间距至0.5毫米；对标注数据采用最近邻算法同样重采样至统一像素间距、层间距为0.5毫米。

(1)基于统计的空间相对位置先验图模型建模阶段：

空间相对位置先验图模型建模过程如下：

a)统计解剖结构平均位置模型

第一步：对56例训练集的颞骨CT各关键解剖结构体素级标注数据计算解剖结构中心点，统计各个解剖结构中心点的平均值，建立颞骨CT关键解剖结构平均位置模型；

第二步，颞骨关键解剖结构平均相对位置模型建模。根据关键解剖结构平均位置模型，分别计算两侧每个解剖结构之间的体素坐标差值。以左侧、右侧的x、y、z坐标差值，建立6个9×9维的邻接矩阵，邻接矩阵权值表示解剖结构中心体素坐标差值。

b)空间相对位置先验图模型基准点定位阶段：

第一步：采用3D Unet算法，使用56例训练集，8例测试集做分割测试。训练阶段，在56例完整的颞骨CT影像数据和对应的耳蜗内腔标注数据中，随机抽取一例，并在该例中随机抽取48×48的立方体，进行耳蜗内腔分割模型的训练，共以该方法训练18万次。测试阶段，将完整的8例测试数据，以重叠滑窗的方式，重叠率为4，每个滑窗立方体为48×48×48，将测试数据输入3D Unet算法进行分割测试，对76例无标注数据进行耳蜗内腔的分割预测；

第二步，结合绝对中位差算法，以阈值为2.5，去除3D Unet分割的极端异常离群点；

第三步，以耳蜗内腔体素级分割结果的中心点作为颞骨关键解剖结构空间相对位置模型基准点。

c)空间相对位置先验图模型粗定解剖结构候选区域阶段：

第一步：计算双侧中心点间的欧氏距离，并与平均形状模型双侧耳蜗内腔间的欧氏距离做比，作为放射变换系数，根据放射变换系数，调整平均相对位置模型，可以使得颞骨关键解剖结构平均相对位置模型适应不同尺度的人体头部尺寸；

第二步：根据基准点和空间相对位置先验模型，计算其他解剖结构的中心坐标，结合表1中的基于统计的尺寸进行候选区域的提取，并保留每例提取的位置信息。

表1不同关键解剖结构候选区域提取尺寸(单位：体素)

d)颞骨关键解剖结构精确定位阶段

第一步，关键解剖结构分割阶段，采用3D深监督密集连接(3D Deep SupervisedDensely，3D DSD)的分割方法。基于耳蜗内腔体素级标注数据，按照1～3阶段方法，对56例训练集提取各解剖结构的CT影像数据以及对应区域的标注数据，作为3D DSD分割算法的训练数据。训练阶段，3D DSD分割算法在c阶段提取的候选区域内，随机抽取28×28的立方体进行特征提取，每个结构训练12万次，共对9个解剖结构训练对应的分割模型。测试阶段，将候选区域以重叠滑窗的方式，重叠率为4，输入3D DSD算法模型，对9个解剖结构进行体素级分割。

第二步，采用箱线图算法，对3D DSD体素级分割结果进行极端异常值检测，去除被预测为前景的异常点，将去除异常点后的分割结果作为最终分割结果。

第三步，根据提取候选区域的位置信息，将3D DSD精确分割小区域的结果还原至提取候选区域所在位置。

第四步，根据体素级标注，生成包围分割前景的包围框，以包围框包围区域作为该解剖结构定位结果。

附图4以一例颞骨CT影像左侧为例，通过所述二阶段定位方法实现颞骨关键解剖结构定位。

所述算法与未缩小候选区域的算法对未标注数据进行分割效果比较，用于描述降低候选区域后对不同数据分割泛化性的提升，进而提升关键解剖结构的定位精度，对比图见附图5。