基于强化学习的X射线头影测量标志点自动定位方法

摘要

本发明公开一种基于强化学习的X射线头影测量标志点自动定位方法，包括以下：获取若干训练用的正畸科X线头颅侧位片图像数据，人工标注出多个标志点的位置，并预处理后确定每一个标志点的最终位置；建立马尔科夫决策过程模型，基于深度强化学习定位算法，求解马尔科夫决策过程，得到最优策略；S3）输入一张X线头颅侧位片，得到每个标志点的估算值，在图中标出目标点和经过模型预测的标志点位置，同目标点相比较得出平均误差和方差。本发明采用深度强化学习的方法，将头影标志点定位问题表示为强化学习中的顺序决策问题；能够针对不同的标志点，分配不同的强化学习代理，同时探索各自的标志点，从而解决头影标志点定位的耗时和准确性问题。

说明书

技术领域

本发明属于医学图像处理技术领域，涉及计算机视觉、医学图像处理、关键点检测、强化学习等技术领域，以医学中头影测量分析为应用场景，使用强化学习方法实现头颅侧位片中解剖学特征点的自动定位，具体涉及一种基于强化学习的X射线头影测量标志点自动定位方法。

背景技术

随着时代的变迁和社会的进步，人们在满足衣食住行的基础之上，更加追求生活的品质，尤其是拥有干净整齐的牙齿、优美的下颌线和清秀的脸型等。而“地包天”、“凸嘴”和“偏颌”等这些现象的存在，不仅带来了外观上的困扰，甚至给人们带来了生理上和心理上的痛苦，严重地影响了生活的质量。对此，作为口腔正畸、颌面外科及整形外科领域中一项非常重要的辅助诊断技术，头影测量分析辅助医生解决患者的牙齿、颌以及外科整形等多方面存在的问题，推动了口腔正畸学和正颌外科学的发展。

学界的普遍性而被大量使用。X射线头影测量技术在科研上和医学上得到了广泛地应用和蓬勃地发展。至今该技术已经在国内外发展地相当成熟。具体说来，医生通过对头颅侧位片、正位片和颏顶位片进行头影测量分析，得到关于牙、颌、颅面的相关信息，这些信息用于研究牙颌、颅面生长发育和正颌外科，并且帮助医生完成正畸诊断分析、矫正计划制定、评估疗效等工作。

头影测量分析作为牙医、口腔医生和面部外科医生经常使用的分析治疗手段，是一个繁琐且费力的工作。一名医生手工地进行一次完整的头影测量分析往往需要花费十五分钟甚至更久，由此可见，基于人工的头影测量分析是一项十分耗时的任务。同时，由于专家当前的知识、经验、思想、教育背景和传统等不同，甚至是铅笔厚度不同、人眼限制等，导致同一名医生在不同时间进行头影测量分析，或者不同医生对同一张～X～射线头影进行头影测量分析，所得到的标志点、线、角是不尽然相同的，极易出现人为错误，使得头影测量分析过程、结果具有主观性和随机性。因此，有必要开发有效的自动化方法来进行头影测量分析。

标志点检测作为自动化头影测量分析的第一步，一旦标定好，相应的线、角和分类就可以自动生成，但如若标志点确定的位置存在误差，经蝴蝶效应后将会极大地影响后续的结果，因此成为自动化头影测量分析的研究重点。目前有很多工作来研究头影标志点的自动检测，但是这些方法往往使用了计算欠优的搜索方案和效果次优的特征方案。为此，本发明通过使用深度强化学习方法来避免这些缺陷，将头影标志点定位问题表示为深度强化学习中的顺序决策问题。深度强化学习具有深度学习有效特征提取的优势，且兼顾了强化学习的行为学习优势，利用强化学习代理进行有策略地学习，从而在全局中探索标志点的最佳位置。

发明内容

为了解决头影标志点定位的耗时和准确性问题，本发明提供一种基于强化学习的X射线头影测量标志点自动定位方法，能够实现头影标志点的自动检测，将头影标志点定位问题表示为强化学习中的顺序决策问题。针对不同的标志点，分配不同的强化学习代理，这些代理同时探索各自的标志点。

为了达到上述目的，本发明技术方案如下：

一种基于强化学习的X射线头影测量标志点自动定位方法，包括以下：

S1)准备数据集：获取若干训练用的正畸科X线头颅侧位片图像数据，人工标注出多个标志点的位置，并预处理后确定每一个标志点的最终位置；

S2)训练阶段：建立马尔科夫决策过程模型，基于深度强化学习定位算法，求解马尔科夫决策过程MDP，得到最优策略；

S3)测试评估阶段：输入一张X线头颅侧位片，得到每个标志点的估算值，在图中标出目标点和经过步骤S2)预测的标志点位置，同目标点相比较得出平均误差和方差。

进一步的，步骤S1)的具体步骤如下：

S11)获取若干训练用的正畸科X线头颅侧位片图像数据，每个图像由多名正畸医生人工标出多个头影测量标志点、多个腺样体部位标志点和多个颈椎部位标志点；

S12)对同一个标注点的最终位置由多位医生标注的平均值决定。

进一步的，步骤S2)的具体步骤如下：

S21)将头影图像作为环境environment，agent从一个起始点出发，根据在当前位置观察到的状态，采取由粗到细的搜索策略，从学习策略分布中采样的离散动作，即上、下、左、右中的一个方向与环境进行交互，agent试图获得一个最优策略，该策略将最大化长期回报，并且将其表现为折扣累积回报G；

S22)针对每个标志点分配一个agent，所有agent共同在environment中搜索，实现在给定的二维X光头影中同时对多个标志点进行定位。

更进一步的，步骤S2)的具体步骤还包括如下：

S23)进行S21)和S22)之前，建立基于邻居的推理模块NeighborReasoningModule，以帮助agent做出更好的决策，该模块利用图神经网络层聚合所有agent学习到的解剖标志点特征，为每一个agent生成对应的空间信息；

S24)将上述额外的空间信息视为一种全局的结构信息，起到显式的联络作用，来辅助agent对标志点的推理过程。

进一步的，步骤S3)采用具有对应标准差的平均径向误差为评估标准和相对于不同精度范围的成功检测率。

第一个评估标准是具有对应标准差的平均径向误差。径向误差R指的是手动注释位置和方法预测位置之间的欧几里得距离，其公式(1)如下，进一步计算平均径向误差(Meanradialerror，MRE)和标准差(StandardDeviation，SD)定义(2)、(3)如下：

其中，其中，Δy是方法获得的标志点和参考标志点之间在x方向上的绝对距离，Δy是检测到的标志点和参考标志点之间在y方向上的绝对距离；N为样本数。

进一步的，步骤S3)采用相对于不同精度范围的成功检测率为评估标准，设定若检测到的标志点和参考标志点之间的绝对差值不大于z，则认为检测成果；否则，被视为误检；精度小于zmm时的成功检测率Successfuldetectionrate，SDR公式(4)表示为：

其中，L

进一步的，z有四种，包括2mm、2.5mm、3mm和4mm。

有益效果：本发明采用深度强化学习的方法，将头影标志点定位问题表示为强化学习中的顺序决策问题；能够针对不同的标志点，分配不同的强化学习代理，这些代理同时探索各自的标志点，从而帮助医生解决头影标志点定位的耗时和准确性问题。

附图说明

图1为本发明实施例提供的X线头颅侧位片标定图，图中，圆点为医生标定点，数字为对应圆点的编号；

图2为本发明实施例提供的标定值和实验结果的对比图，图中，白色圆圈为标定值，黑色圆圈为实验结果。

具体实施方式

以下参照具体的实施例来说明本发明。本领域技术人员能够理解，这些实施例仅用于说明本发明，其不以任何方式限制本发明的范围。

一种基于强化学习的X射线头影测量标志点自动定位方法，包括以下步骤：

S1)准备数据集：获取若干训练用的正畸科X线头颅侧位片图像数据，人工标注出多个标志点的位置，并预处理后确定每一个标志点的最终位置。

S11)获取若干训练用的正畸科X线头颅侧位片图像数据，每个图像由多名正畸医生人工标出多个头影测量标志点、多个腺样体部位标志点和多个颈椎部位标志点；

S12)对同一个标注点的最终位置由多位医生标注的平均值决定。

本实施例中，数据集由天津市口腔医院正畸科提供，共计400张图像，所有样本来自患者档案，每张图片都经过匿名处理，以避免识别患者，所有实验均按照相关指南和道德规范进行。患者年龄范围为7至50岁，400张图像分别包含184名女性和216名男性。图像分辨率为2808×2136，像素间距为0.1mm，每个像素单通道灰度值为[0，255]，以jpg的数字格式存储在计算机中。每张图片由两名正畸医生标注40个标志点，如图1所示，标志点的最终位置由两位医生标注的平均值决定，标志点包括19个用于临床实践研究的头影测量标志点，20个腺样体部位标志点和11个颈椎部位标志点，其中，腺样体部位的标志点用于判断腺样体是否发生病变，颈椎部位的标志点用于骨龄的预测。表1是对图1涉及到的头影标志点的描述。

表1头影测量标志点的描述

S2)训练阶段：建立马尔科夫决策过程模型，基于深度强化学习定位算法，求解马尔科夫决策过程MDP，得到最优策略。

S21)建立基于邻居的推理模块NeighborReasoningModule，以帮助agent做出更好的决策，该模块利用图神经网络层聚合所有agent学习到的解剖标志点特征，为每一个agent生成对应的空间信息；

S22)将上述额外的空间信息视为一种全局的结构信息，起到显式的联络作用，来辅助agent对标志点的推理过程；

S23)将头影图像作为环境environment，agent从一个起始点出发，根据在当前位置观察到的状态，采取由粗到细的搜索策略，从学习策略分布中采样的离散动作，即上、下、左、右中的一个方向与环境进行交互，agent试图获得一个最优策略，该策略将最大化长期回报，并且将其表现为折扣累积回报G；

S24)针对每个标志点分配一个agent，所有agent共同在environment中搜索，实现在给定的二维X光头影中同时对多个标志点进行定位。

本实施例中，马尔科夫决策过程MDP建模如下：

a.States：被表示为k个连续的感兴趣区域RegionOfInterest，ROI；感兴趣区域ROI是以agent位置为中心的，大小为w×w的正方形窗口；其中，agent的位置表现为图像中的坐标(x，y)，w是窗口的大小；

b.Actions：表示agent和环境交互所采取的动作，用来表示agent在参数空间中的移动；

c.Rewards：奖励函数定义为执行移动前后预测标志点位置到目标标志点位置的两个欧氏距离之差。

S24)针对每个标志点分配一个agent，所有agent共同在environment中搜索，具体过程如下：

S241)初始化agents在图片中的位置；

S242)agents从经验池中随机抽取minibatch作为网络输入，而后网络输出可能动作的近似Q值，agents根据∈-greedy策略，选择一个动作a

S243)environment根据当前搜索级别L，选择移动步长m和采样级别L，得到新的状态st+1以及相应的reward，同时根据新的状态st+1更新帧历史记录缓冲区并判断是否发生振荡，如若振荡则将该agent所对应的end值设置为True，并减小搜索级别和采样级别为L-1，移动步长为m/3，然后environment将st+1、reward和end传递给agents；

S244)经验池进行更新；

S245)若所有的agents状态end等于True，则重复步骤S241)-S244)，否则重复步骤S242)-S244)；agent和environment不断循环这个过程，直到episode为最大值。

S3)测试评估阶段：输入一张X线头颅侧位片，得到每个标志点的估算值，在图中标出目标点和经过步骤S2)预测的标志点位置，同目标点相比较得出平均误差和方差。

本实施例中，提供两个评估标准：具有对应标准差的平均径向误差和相对于不同精度范围的成功检测率。

第一个评估标准是具有对应标准差的平均径向误差。径向误差R指的是手动注释位置(真实值)和方法预测位置之间的欧几里得距离，其公式(1)如下：

其中，Δx是方法获得的标志点和参考标志点之间在x方向上的绝对距离，Δy是检测到的标志点和参考标志点之间在y方向上的绝对距离。

平均径向误差(Meanradialerror，MRE)和标准差(StandardDeviation，SD)定义(2)、(3)如下：

其中，N为样本数。

第二个评估标准是相对于2.0mm，2.5mm，3.0mm和4.0mm精度范围的成功检测率。如果检测到的标志点和参考标志点之间的绝对差值不大于z，则认为检测成果；否则，被视为误检。精度小于zmm时的成功检测率(Successfuldetectionrate，SDR)公式(4)表示为：

其中，L

根据这两个评估标准，利用表2显示了40个点以毫米为单位的MRE以及分别在2mm、2.5mm、3mm和4mm精度范围内的SDR。

表2评估标准

表2中，40个标志点的平均径向误差和在不同精度范围内的成功检测率。其中，对2mm以内的平均径向误差以及总平均值加粗显示。