基于三维随机森林模型的头影测量图像中特征点定位方法

摘要

本发明公开了一种基于三维随机森林模型的头影测量图像中特征点定位方法，属于图像处理技术领域。方法包括：为每个目标特征点构建一个双层回归森林模型，并利用每个训练图像训练每个目标特征点的双层回归森林模型，得到预测的各特征点对应的位移场；对待测头影测量图像，利用已训练的各特征点对应的双层回归森林模型进行预测，获得每个特征点的位移场；根据各特征点的位移场计算得到对应的偏移距离图，根据偏移距离图计算获得每个特征点的坐标位置。本发明中每个目标特征点都有一个双层回归森林模型作为特征点检测器，第二层回归森林可以显著提升每一个预测位移场的质量，因此该方法可以比传统方法更加精确地检测到解剖特征点。

说明书

技术领域

本发明涉及图像特征点定位技术领域，具体涉及一种基于三维随机森林模型的头影测量图像中特征点定位方法。

背景技术

三维CBCT（锥形束CT）头影测量分析是口腔正畸治疗中的一个重要方法，主要研究人类头面部的形态结构。它通过对三维CBCT头影测量图像中相关的软硬组织特征点之间角度、距离或比例的测量与计算，清晰地了解牙颌与颅面软硬组织的结构及其相互间关系，以进一步了解其内部结构，揭示颅、领、面畸形的机理，为病情诊断、治疗计划、治疗结果的评估以及生长发育预测提供准确的定量信息。CBCT的优点有图像清晰，成像范围合理，独特的金属伪影矫正技术，节省空间，操作方便以及拥有标准DICOM3.0格式，与第三方软件完美兼容等。自20世纪中期以来，三维CBCT头影测量已被广泛用于口腔正畸临床诊断、矫治设计、疗效评价等领域，还可以用于头面部结构研究、儿童生长发育观察等方面。

然而，临床上对三维CBCT头影测量分析仍然以人工操作为主。人工操作不仅要消耗大量精力和时间，而且其分析的准确性不可避免地会受到人为误差等主观因素的影响，比如同一个医生不同工作时段的精神状态和不同医生的临床经验差异。而三维CBCT头影测量分析作为研究颅颌面生长发育和牙颌面畸形的重要手段，其分析结果的可信度直接影响正畸或正颌外科治疗的设计和预后效果。

因此，国内外很多学者开始研究如何实现三维CBCT头影测量自动分析，以减少人为因素、医生状况对特征点定位准确性的影响。例如，Gupta等开发了一种基于知识的自动分析方法，该方法从选定的种子点出发，在距离矢量上选定一个经验点并确定该点附近的三维感兴趣区域，对该感兴趣区域上的解剖结构检测出曲线，最后利用基于知识的数学实体方法定位特征点并进行自动分析。该方法的缺陷在于不是全自动算法，需要人工选取种子点，该种子点的选取会对定位结果产生较大影响。在Makram等人的报告中提出了一种基于Reeb图理论的自动定位和分析方法。Shahidi等人利用配准方法将测试图像转换到参考图像空间，则参考图像上已人工标注的特征点被自动转移到测试图像上。传统的机器学习方法同样也开始被少量用于CBCT图像的头影测量分析。例如，Vandaele等人提出了一种基于机器学习的定位算法，该算法将随机森林和基于像素的多分辨率特征相结合训练回归预测模型，并将该模型用于特征点的自动定位，最后根据特征点判断是否存在解剖异常情况。Cheng等人将随机森林作为判别学习框架，结合上下文特征训练出定位模型，直接用于CBCT图像中三维特征点的定位和异常情况检测。以前基于回归的解剖特征点检测的方法所预测的位移场存在空间不一致性的问题，具体表现在不仅同一个解剖特征点的每个位移场存在空间不一致性，而且不同的解剖特征点的位移场之间存在空间不一致性，因此最终解剖特征检测的准确性有限。

发明内容

本发明的目的在于克服现有技术中的不足，提出了一种基于三维随机森林模型的头影测量图像中特征点定位方法，解决了现有方法中由于空间不一致性导致的检测出的解剖标记点空间分布不合理的问题。

为解决上述技术问题，本发明提供了一种基于三维随机森林模型的头影测量图像中特征点定位方法，其特征是，包括以下过程：

S1，获取一定数量三维头影测量图像作为训练图像集；

S2，在每个训练图像中随机选取若干个采样点，计算每个采样点的三维外观特征；

S3，为每个目标特征点构建一个双层回归森林模型，并利用每个训练图像及其三维外观特征训练每个目标特征点的双层回归森林模型，得到预测的各特征点对应的位移场；

S4，对待测头影测量图像，利用已训练的各特征点对应的双层回归森林模型进行预测，获得每个特征点的位移场；

S5，根据各特征点的位移场计算得到对应的偏移距离图，根据偏移距离图计算获得每个特征点的坐标位置。

进一步的，训练图像尺寸是512x512x60像素。

进一步的，每个采样点的三维外观特征为三维Haar-like特征。

进一步的，双层回归森林模型保留两层回归森林模型，分别记为第一层回归森林模型和第二层回归森林模型。

进一步的，训练每个目标特征点的双层回归森林模型的训练过程为：

首先训练第一层回归森林模型：

计算每个训练图像中各采样点到目标特征点的三维坐标偏移向量；

以每个训练图像中各采样点的三维外观特征及三维坐标偏移向量作为输入，训练第一层回归森林模型；得到训练图像上每个体素到目标特征点的位移矢量，这些位移矢量形成目标特征点的初始位移场；

然后通过在初始位移场上取L2范数，获得训练图像上每个体素与目标特征点之间的距离，各个体素与目标特征点之间的距离构成第一层偏移距离图；

然后训练第二层回归森林模型：

从获得的第一层偏移距离图中提取采样点的高级上下文特征；

以每个训练图像中各采样点的三维外观特征及高级上下文特征作为输入，训练第二层回归森林模型；得到训练图像上每个体素到目标特征点的位移矢量，这些位移矢量形成目标特征点的位移场；

再通过在位移场上取L2范数，获得训练图像上每个体素与目标特征点之间的距离，各个体素与目标特征点之间的距离构成第二层偏移距离图。

进一步的，根据偏移距离图计算获得每个特征点的坐标位置的过程为：采用投票方法计算获得每个特征点的坐标位置。

与现有技术相比，本发明所达到的有益效果是：本发明中每个目标特征点都有一个双层回归森林模型作为特征点检测器。这里，第一层回归森林与传统的基于回归的方法相同，仅使用图像外观特征将测试图像映射到位移场。由第一层为每个解剖特征点预测的位移场提供了丰富的上下文信息，这些上下文信息可以帮助改进第二层中相应的位移场。也就是说，因为可以大致了解每个图片体素相对于所有解剖特征点的相对空间位置，所以可以利用这些位置信息来加强已经被改进过的位移场的空间一致性。同时，通过结合高级上下文特征和三维外观特征，第二层回归森林可以显著提升每一个预测位移场的质量，因此该方法可以比传统方法更加精确地检测到解剖特征点。

附图说明

图1是本发明方法的流程示意图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

本发明的一种基于三维随机森林模型的头影测量图像中特征点定位方法，参见图1所示，包括以下过程：

步骤（1），获取一定数量三维头影测量CBCT图像作为训练图像集。

训练图像尺寸是512x512x60像素。

步骤（2），在每个训练图像中随机选取若干个采样点，计算每个采样点的三维Haar-like特征并将其作为三维外观特征。

在每个训练图像中随机选取采样点的数量为200。采样点x处的三维Haar-like特征的定义为：

其中，表示一个Haar-like特征，在此处代表一个体素，I是一个以它为中心的局部图像块，Z是这种Haar-like特征中使用的3D立方函数的个数，，，分别是第i个3D立方函数的极性、位置和尺度。

通过改变Z、、和的值，可以生成无限数量的Haar-like的特性。在回归森林训练中，我们随机抽取Z、、和样本，在需要时生成一个特征子集。Haar-like特征反映了图像的灰度变化情况。

步骤（3），为每一个目标特征点（或简称特征点）建立一个双层回归森林模型作为特征点检测器，双层回归森林模型包含两层回归森林模型，分别记为第一层回归森林模型和第二层回归森林模型，逐个训练每一个目标特征点的双层回归森林模型。

回归森林模型是一类专门用于非线性回归任务的随机森林，它由多个独立训练的二元决策树组成。回归森林通常可以产生更稳健和准确的预测。

训练图像里的各目标特征点位置坐标是已知的（事先标注好），对于每一个目标特征点都执行相同的训练过程。本实施例中以其中一个目标特征点的双层回归森林模型训练过程为例，详细描述训练过程，包括：

1）首先训练第一层回归森林模型：

计算每个图像中各采样点到目标特征点的三维坐标偏移向量（两个点的三维坐标值分别相减）；

以每个训练图像中各采样点的三维外观特征及三维坐标偏移向量作为输入，训练第一层回归森林模型；得到训练图像上每个体素到目标特征点的位移矢量，这些位移矢量形成目标特征点的初始位移场。

然后通过在初始位移场上取L2范数，获得训练图像上每个体素与目标特征点之间的距离，各个体素与目标特征点之间的距离构成第一层偏移距离图（即偏移距离图中的像素值为各体素到目标特征点之间的距离）。

对于三维坐标位移矢量，其基于L2范数的偏移距离为。

2）训练第二层回归森林模型：

通过公式（1）从获得的第一层偏移距离图中提取采样点的高级上下文特征，这个高级上下文特征可以大致表现图中点到点之间的空间关系。

以每个训练图像中各采样点的三维外观特征及高级上下文特征作为输入，训练第二层回归森林模型；得到训练图像上每个体素到目标特征点的位移矢量，这些位移矢量形成目标特征点的位移场。

再通过在位移场上取L2范数，获得训练图像上每个体素与目标特征点之间的距离，各个体素与目标特征点之间的距离构成第二层偏移距离图。

步骤（4），在测试阶段利用测试图像集检测每个目标特征点对应的双层回归森林模型的预测精确度。

对于每一个目标特征点都执行相同的测试过程。本实施例中以其中一个目标特征点的双层回归森林模型测试过程为例，详细描述测试过程，包括：

首先在测试图像中标注出一组目标特征点；

将测试图像中各采样点的三维外观特征及三维坐标偏移向量输入第一层回归森林模型，得到测试图像中每个体素到目标特征点的初始位移矢量，然后计算出相应的第一层偏移距离图；

然后，将从第一层偏移距离图中提取的上下文特征和从原始测试图像中提取三维外观特征输入第二层回归森林模型，得到每个体素到目标特征点的位移矢量，然后计算出相应的第二层偏移距离图；

根据目标特征点的第二次偏移距离图，采用投票方法来检测特征点位置。具体而言，待检测图像中的每个像素点均对坐标为的像素点进行一次回归投票，其中是像素点到目标特征点的坐标偏移向量。当检测图像中所有像素点完成投票后，得到票数最多的像素点即特征点。

根据检测得到的特征点位置与测试图像中已标注的特征点位置进行比较，两者位置越接近说明模型预测的更精准，因此根据比较结果逐步修改双层回归森林模型以使模型准确度更高。

步骤（5），对待测头影测量图像，利用已训练的各特征点对应的双层回归森林模型进行预测，获得每个特征点的位移场，根据位移场计算得到对应的第二层偏移距离图；

步骤（6），根据每个特征点的第二层偏移距离图，采用投票方法计算获得每个特征点的坐标位置。

本发明中每个目标特征点都有一个双层回归森林模型作为特征点检测器。这里，第一层回归森林与传统的基于回归的方法相同，仅使用图像外观特征将测试图像映射到位移场。由第一层为每个解剖特征点预测的位移场提供了丰富的上下文信息，这些上下文信息可以帮助改进第二层中相应的位移场。也就是说，因为可以大致了解每个图片体素相对于所有解剖特征点的相对空间位置，所以可以利用这些位置信息来加强已经被改进过的位移场的空间一致性。同时，通过结合高级上下文特征和三维外观特征，第二层回归森林可以显著提升每一个预测位移场的质量，因此该方法可以比传统方法更加精确地检测到解剖特征点。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。