基于X射线吸收图像生成相位衬度图像和暗场图像的方法、装置、计算设备和存储介质

摘要

本发明公开了一种基于X射线吸收图像生成相位衬度图像和暗场图像的方法、装置、计算设备和存储介质，包括：获取测试样品的X射线吸收图像、相位衬度图像以及暗场图像，组成训练样本；基于深度学习网络构建用于将输入的X射线吸收图像分别转换为相位衬度图像和暗场图像的两个图像转换模型，并利用训练样本优化图像转换模型的网络参数；利用参数优化的两个图像转换模型分别对输入的X射线吸收图像进行计算，以生成相位衬度图像和暗场图像。以解决利用测试仪器测量测试样品的相位衬度图像以及暗场图像存在测试时间长，复杂，效率低的问题。

说明书

技术领域

本发明涉及医学工程技术领域，具体涉及一种基于X射线吸收图像生成相位衬度图像和暗场图像的方法、装置、计算设备和存储介质。

背景技术

相位衬度成像是一种基于X射线的新技术，可以提供传统吸收成像无法区分的材料和组织信息，尤其是在软组织的对比度增强和改善癌症结构的可视化等方面。目前，相位衬度成像主要分为：晶体干涉法、衍射增强法、同轴传播法、光栅相衬成像法、散斑成像法和多色远场干涉法。其中，基于光栅的X射线干涉成像法是相位衬度成像中最有潜力的一种方法。基于X射线干涉测量数据的计算机断层重建(CT)不仅可以获得物体的衰减系数，还可以获得折射角和超小角散射的信息，分别对应于吸收图像、相位衬度和暗场图像。这种信息的获取是以更长的测量时间为代价的，基于投影信号的提取算法不仅需要对每个投影角度进行一次测量，而且需要在相位步进扫描时进行精确的光栅运动。同时，加入光栅结构后，对于系统的转动稳定性和精度要求很高，对系统的硬件水平提出了非常大的挑战，如文献Tapfer,A.,et al.,Experimental results from a preclinical X-ray phase-contrastCT scanner.2012.109(39):p.15691-15696。这些瓶颈阻碍了基于光栅的X射线干涉成像法在连续转动的CT装置中的应用，如von Teuffenbach,M.,et al.,Grating-based phase-contrast and dark-field computed tomography:a single-shot method.2017.7(1):p.1-8。对于这些问题科学家们已经提出了一些解决方案，但都存在较大的缺陷。

发明内容

鉴于上述，本发明提供了一种基于X射线吸收图像生成相位衬度图像和暗场图像的方法、装置、计算设备和存储介质，不依靠仪器测量，即可以根据X射线吸收图像生成相位衬度图像和暗场图像。

第一方面，实施例提供的一种基于X射线吸收图像生成相位衬度图像和暗场图像的方法，包括以下步骤：

获取测试样品的X射线吸收图像、相位衬度图像以及暗场图像，组成训练样本；

基于深度学习网络构建用于将输入的X射线吸收图像分别转换为相位衬度图像和暗场图像的两个图像转换模型，并利用训练样本优化图像转换模型的网络参数；

利用参数优化的两个图像转换模型分别对输入的X射线吸收图像进行计算，以生成相位衬度图像和暗场图像。

在一个实施例中，采用同步辐射光源成像站获取测试样品的X射线吸收图像、相位衬度图像以及暗场图像，测试时，测试样品被置于相位光栅之后，由Talbot效应产生的莫尔条纹因测试样品的吸收、折射和散射而改变，通过分析莫尔条纹来获得测试样品的X射线吸收图像、相位衬度图像以及暗场图像。

在一个实施例中，构建每个图像转换模型的深度学习网络采用Pixel2Pixel或Pixel2Pixel HD算法。

在一个实施例中，在利用Pixel2Pixel或Pixel2Pixel HD算法构建图像转换模型时，包含生成器组和判别器组组成的GAN，其中，生成器组包含全局生成器和n个局域增强器，分别用于依据输入的X射线吸收图像全局生成相位衬度图像或暗场图像，局域增强相位衬度图像或暗场图像中的像素点，判别器组包含n+1个判别器，分别与生成器组中的全局生成器与局域增强器对应，用于对全局生成器与局域增强器生成的特征与真实图像提取的特征做匹配，以得到匹配损失，该匹配损失与GAN损失组成总损失，以优化GAN的网络参数，提取参数优化的生成器组作为图像转换模型。

在一个实施例中，所述全局生成器与局域增强器均包含依次连接的卷积模块、残差模块以及转置卷积模块，用于提取图像特征并映射生成相位衬度图像或暗场图像。

在一个实施例中，对生成相位衬度图像和暗场图像为投影图，对投影图进行重建，以得到相位衬度CT图像和暗场CT图像。

第二方面，实施例提供的一种基于X射线吸收图像生成相位衬度图像和暗场图像的装置，包括：

采集模块，用于获取测试样品的X射线吸收图像、相位衬度图像以及暗场图像，组成训练样本；

构建模块，用于基于深度学习网络构建用于将输入的X射线吸收图像分别转换为相位衬度图像和暗场图像的两个图像转换模型，并利用训练样本优化图像转换模型的网络参数；

生成模块，用于利用参数优化的两个图像转换模型分别对输入的X射线吸收图像进行计算，以生成相位衬度图像和暗场图像。

第三方面，实施例提供的一种计算设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上执行的计算机程序，所述存储器中存储有利用上述基于X射线吸收图像生成相位衬度图像和暗场图像的方法构建的两个图像转换模型；所述处理器执行所述计算机程序时实现以下步骤：

利用两个图像转换模型分别对输入的X射线吸收图像进行计算，以生成相位衬度图像和暗场图像。

第四方面，实施例提供的一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理执行时实现以下步骤：

基于深度学习网络构建用于将输入的X射线吸收图像分别转换为相位衬度图像和暗场图像的两个图像转换模型，并利用训练样本优化图像转换模型的网络参数；

利用参数优化的两个图像转换模型分别对输入的X射线吸收图像进行计算，以生成相位衬度图像和暗场图像。

上述实施例提供的技术方案，具有的有益效果至少包括：

通过对测试样品进行同步处理获得的X射线吸收图像、相位衬度图像以及暗场图像来构建训练样本，并利用训练样本来训练深度学习网络来构建图像转换模型，然后利用图像转换模型基于X射线吸收图像，生成相位衬度图像以及暗场图像，这样可以不利用测试仪器，直接可以根据X射线吸收图像上快速、准确和鲁棒地获得相位衬度图像或暗场图像，增强低吸收成像区域的对比度，满足临床的需求。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。

图1是一实施例提供的基于X射线吸收图像生成相位衬度图像和暗场图像的方法的流程图；

图2是一实施例提供的全局生成器和局域增强器的结构示意图；

图3是一实施例提供的X射线吸收图像、相位衬度图像以及暗场图像对比图；

图4是一实施例提供的基于X射线吸收图像生成相位衬度图像和暗场图像的装置的结构示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

鉴于现有技术中利用测试仪器测量测试样品的相位衬度图像以及暗场图像存在测试时间长，复杂，效率低的问题，实施例提供了一种基于X射线吸收图像生成相位衬度图像和暗场图像的方法和装置，能够直接在X射线吸收图像上生成X射线相位衬度图像和散射图像，进而重建出相位衬度CT图像和散射CT图像。

图1是一实施例提供的基于X射线吸收图像生成相位衬度图像和暗场图像的方法的流程图。如图1所示，实施例提供的基于X射线吸收图像生成相位衬度图像和暗场图像的方法，包括以下步骤：

步骤1，获取测试样品的X射线吸收图像、相位衬度图像以及暗场图像，组成训练样本。

实施例中，采用同步辐射光源成像站获取测试样品的X射线吸收图像、相位衬度图像以及暗场图像，测试时，测试样品被置于相位光栅之后，由Talbot效应产生的莫尔条纹因测试样品的吸收、折射和散射而改变，通过分析莫尔条纹来获得测试样品的X射线吸收图像、相位衬度图像以及暗场图像。

具体地，可以采用上海同步辐射光源BL13W1成像站获得X射线吸收图像、相位衬度图像和暗场图像作为数据集。光栅相衬成像是基于Talbot效应或自成像现象：测试样品被放置在相位光栅之后，由Talbot效应产生的莫尔条纹因样品的吸收、折射和散射而改变。分析光栅通常与干涉条纹具有相同的周期，可以将局部条纹变化转换为探测器的信号强度变化。为了提取相位信息，使用了一种称为相位步进的技术。沿横向扫描光栅并在一个光栅周期内，针对光栅的不同位置拍摄图像。探测器的信号强度变化是关于横向的摇摆曲线。通过记录和比较有或没有样品的摇摆曲线，可以提取相移和吸收信号。通过对莫尔条纹的傅立叶分析，还可以提取暗场信号。当应用于由低原子序数Z原子组成的样品时，相衬成像对样品中的密度变化比传统的吸收成像更敏感，从而获取增强软组织对比度的图像。暗场成像可用于提取成像系统分辨率之下的亚微米结构信息，从而提供了样品在微米和亚微米长度尺度上的补充成像和其他无法传统吸收成像获得的结构信息。

利用上海同步辐射光源BL13W1成像站获得CT投影图后，提取每个角度的X射线吸收图像作为学习源图像，提取同一角度对应的相位衬度图像以及暗场图像作为学习目标图像，形成监督学习的训练样本，将训练样本分成训练集和验证集，训练集用于优化图像转换模型的模型参数，验证集用于验证图像转换模型的预测有效程度。

步骤2，基于深度学习网络构建用于将输入的X射线吸收图像分别转换为相位衬度图像和暗场图像的两个图像转换模型，并利用训练样本优化图像转换模型的网络参数。

实施例中，采用深度学习网络来构建图像转换模型，其中，图像转换模型用于将输入的X射线吸收图像转换成相位衬度图像和暗场图像。具体可以采用Pixel2Pixel或Pixel2Pixel HD算法，通过优化低对比度区域图像，实现输入X射线吸收图像预测输出X射线相衬图像或暗场图像。利用训练样本对深度学习网络进行监督学习，以优化深度学习网络的网络参数。

实施例中，深度学习网络采用生成器组和判别器组组成的GAN，其中，生成器组包含全局生成器和n个局域增强器，分别用于依据输入的X射线吸收图像全局生成相位衬度图像或暗场图像，局域增强相位衬度图像或暗场图像中的像素点，判别器组包含n+1个判别器，分别与生成器组中的全局生成器与局域增强器对应，用于对全局生成器与局域增强器生成的特征与真实图像提取的特征做匹配，以得到匹配损失，该匹配损失与GAN损失组成总损失，以优化GAN的网络参数，提取参数优化的生成器组作为图像转换模型。

实施例中，GAN损失表示为：

其中，生成器组G用于生成接近真实的相位衬度图像和暗场图像，G1是全局生成器，G2是局部增强器，G＝{G1，G2}。D

GAN损失中全局生成器G1是对一个角度的X射线吸收图像作为输入，局部增强器G2可以将图像提升一倍的分辨率。如果想要更高的分辨率，比如从已有的2048×1024提升到4096×2048，可以再加局部增强器G3。图2中的全局生成器G1由三部分组成，分别是卷积前端

局部增强器和全局生成器采用联合残差学习框架来学习输入的X射线吸收图像与折射角和散射图像之间的残差补偿图像，残差学习框架的映射函数为：

f

其中，f

为了生成高分辨率图像，在网络中增加了多层的卷积网络构成的判别器D

其中s是语义标签，x是X射线吸收图像，k是第k个判别器(一共3个)，i是每个判别器的第i层(一共T个)，N是每层中的元素数量。将特征损失和GAN的损失值合起来，总的损失如下：

其中，λ是权重调节系数，经验值为100。D

训练过程中，采用自适应矩阵估计算法作为求解器来优化监督学习网络的网参数。

步骤3，利用参数优化的两个图像转换模型分别对输入的X射线吸收图像进行计算，以生成相位衬度图像和暗场图像。

应用时，将需要学习的吸收图像输入至模型参数确定的图像转换模型中，计算输出X射线相位衬度图像和暗场图像。采用均方根误差和结构相似性作为图像定量评价指标来评估图像转换的效果。

在获得转化图像后，还可以对相位衬度图像进行平移操作来进行相衬数据增强，对暗场图像进行镜像和翻转操作进行暗场数据增强。

图3是实施例提供的采用图像转换模型生成X射线相衬图像或暗场图像的相关图片。其中，第一行为吸收和相衬的测试图像，第二行为吸收和暗场的测试图像。通过分析图3，可以得到图像转换器生成的X射线相位衬度图像和暗场图像接近于真实图像，较好的重现了原有相衬或暗场图像的纹理特征和边界特征。

上述实施例提供的方法，通过对测试样品进行同步处理获得的X射线吸收图像、相位衬度图像以及暗场图像来构建训练样本，并利用训练样本来训练深度学习网络来构建图像转换模型，然后利用图像转换模型基于X射线吸收图像，生成不同角度相位衬度图像以及暗场图像，通过对相位衬度图像以及暗场图像滤波反投影重建得到相位衬度CT图像或暗场CT图像，这样可以不利用测试仪器，直接可以根据X射线吸收图像上快速、准确和鲁棒地获得相位衬度图像或暗场图像，增强低吸收成像区域的对比度，满足临床的需求。

图4是一实施例提供的基于X射线吸收图像生成相位衬度图像和暗场图像的装置的结构示意图。如图4所示，实施例提供的基于X射线吸收图像生成相位衬度图像和暗场图像的装置400，包括：

采集模块410，用于获取测试样品的X射线吸收图像、相位衬度图像以及暗场图像，组成训练样本；

构建模块420，用于基于深度学习网络构建用于将输入的X射线吸收图像分别转换为相位衬度图像和暗场图像的两个图像转换模型，并利用训练样本优化图像转换模型的网络参数；

生成模块430，用于利用参数优化的两个图像转换模型分别对输入的X射线吸收图像进行计算，以生成相位衬度图像和暗场图像。

需要说明的是，上述实施例提供的基于X射线吸收图像生成相位衬度图像和暗场图像装置在进行基于X射线吸收图像生成相位衬度图像和暗场图像时，应以上述各功能模块的划分进行举例说明，可以根据需要将上述功能分配由不同的功能模块完成，即在终端或服务器的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的基于X射线吸收图像生成相位衬度图像和暗场图像装置与基于X射线吸收图像生成相位衬度图像和暗场图像方法实施例属于同一构思，其具体实现过程详见基于X射线吸收图像生成相位衬度图像和暗场图像方法实施例，这里不再赘述。

实施例还提供一种计算设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上执行的计算机程序，所述存储器中存储有利用上述基于X射线吸收图像生成相位衬度图像和暗场图像的方法构建的两个图像转换模型；所述处理器执行所述计算机程序时实现以下步骤：

利用两个图像转换模型分别对输入的X射线吸收图像进行计算，以生成相位衬度图像和暗场图像。

实际应用中，存储器可以为在近端的易失性存储器，如RAM，还可以是非易失性存储器，如ROM，FLASH，软盘，机械硬盘等，还可以是远端的存储云。处理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)、或现场可编程门阵列(FPGA)，即可以通过这些处理器实现基于X射线吸收图像生成相位衬度图像和暗场图像的步骤。

实施例还提供一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理执行时实现以下步骤：

基于深度学习网络构建用于将输入的X射线吸收图像分别转换为相位衬度图像和暗场图像的两个图像转换模型，并利用训练样本优化图像转换模型的网络参数；

利用参数优化的两个图像转换模型分别对输入的X射线吸收图像进行计算，以生成相位衬度图像和暗场图像。

实施例中，计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。