一种食管癌影像在能谱CT与普通CT的特征空间重构的方法

摘要

本申请公开了一种食管癌影像在能谱CT与普通CT的特征空间重构的方法，对食管癌的普通CT样本和能谱CT样本分别进行特征提取，得到普通CT样本特征和能谱CT样本特征；对普通CT样本特征和能谱CT样本特征分别进行注意力特征映射，得到普通CT融合特征和能谱CT融合特征；将普通CT融合特征和能谱CT融合特征输入到判别网络进行对抗式特征对齐训练，使得判别网络根据对训练得到的对抗权重对普通CT融合特征和能谱CT融合特征进行特征重构，得到食管癌重构特征，解决了现有技术通常只针对一种食管癌CT样本进行分析，对不同食管癌CT样本缺乏兼容性，不能将不同的CT样本进行有效结合，对特征的变化分析缺失鲁棒性的技术问题。

说明书

技术领域

本申请涉及图像处理技术领域，尤其涉及一种食管癌影像在能谱CT与普通CT的特征空间重构的方法。

背景技术

在临床医学诊断中，CT已成为广泛应用于临床诊断和筛查疾病的一种重要手段。随着技术的发展，目前的CT有很多种，例如普通的CT、螺旋CT、电子束CT、能谱CT以及PET-CT(正电子发射计算机断层显像)等。食管癌病灶成像方面也具有以上CT的成像方式，而不同食管癌CT的成像方式各不相同，从而导致其具有不同的特征及新增特征。例如，食管癌普通CT能提供病灶的精确定位，食管癌能谱CT能提供病灶详尽的功能与代谢等分子信息。但是，现有技术中未能将各种成像技术进行有效结合。因此，将医学有用信息与计算机视觉成像技术结合，最大化的呈现病理信息,对于疾病诊断和治疗具有十分重要的意义。

现有技术中已经有通过医学图像识别模型辅助医生进行图像分析，但这些模型通常只针对一种食管癌CT样本进行分析，对不同食管癌CT样本缺乏兼容性，不能将不同的CT样本进行有效结合，对特征的变化分析缺失鲁棒性。

发明内容

本申请提供了一种食管癌影像在能谱CT与普通CT的特征空间重构的方法，用于解决现有技术通常只针对一种食管癌CT样本进行分析，对不同食管癌CT样本缺乏兼容性，不能将不同的CT样本进行有效结合，对特征的变化分析缺失鲁棒性的技术问题。

有鉴于此，本申请第一方面提供了一种食管癌影像在能谱CT与普通CT的特征空间重构的方法，包括：

对食管癌的普通CT样本和能谱CT样本分别进行特征提取，得到普通CT样本特征和能谱CT样本特征；

对所述普通CT样本特征和所述能谱CT样本特征分别进行注意力特征映射，得到普通CT融合特征和能谱CT融合特征；

将所述普通CT融合特征和所述能谱CT融合特征输入到判别网络进行对抗式特征对齐训练，使得所述判别网络根据对抗式特征对齐训练得到的对抗权重对所述普通CT融合特征和所述能谱CT融合特征进行特征重构，得到食管癌重构特征。

可选的，所述对所述普通CT样本特征和所述能谱CT样本特征分别进行注意力特征映射，得到普通CT融合特征和能谱CT融合特征，包括：

对所述普通CT样本特征和所述能谱CT样本特征分别进行通道注意力特征映射，得到第一普通CT映射特征和第一能谱CT映射特征；

对所述普通CT样本特征和所述能谱CT样本特征依次进行维度注意力特征映射和双注意力特征映射，得到第二普通CT映射特征和第二能谱CT映射特征，其中，所述双注意力特征映射包括所述通道注意力特征映射和所述维度注意力特征映射；

将所述第一普通CT映射特征和所述第二普通CT映射特征进行特征融合得到普通CT融合特征，将所述第一能谱CT映射特征和所述第二能谱CT映射特征进行特征融合得到能谱CT融合特征。

可选的，所述方法还包括：

通过所述判别网络分别计算所述普通CT融合特征和所述能谱CT融合特征的概率分布；

通过所述判别网络根据所述普通CT融合特征和所述能谱CT融合特征的概率分布计算信息量，并根据所述信息量进行梯度更新，以对所述对抗权重进行修正，使得所述判别网络根据修正后的所述对抗权重对所述普通CT融合特征和所述能谱CT融合特征进行特征重构，得到食管癌重构特征。

可选的，所述方法还包括：

计算所述普通CT融合特征和所述能谱CT融合特征之间的特征距离，使得所述判别网络根据所述特征距离进行网络参数更新。

可选的，所述将所述普通CT融合特征和所述能谱CT融合特征输入到判别网络进行对抗式特征对齐训练，使得所述判别网络根据对抗式特征对齐训练得到的对抗权重对所述普通CT融合特征和所述能谱CT融合特征进行特征重构，得到食管癌重构特征，之后还包括：

将所述普通CT样本特征与所述食管癌重构特征进行特征融合。

从以上技术方案可以看出，本申请具有以下优点：

本申请提供了一种食管癌影像在能谱CT与普通CT的特征空间重构的方法，包括：对食管癌的普通CT样本和能谱CT样本分别进行特征提取，得到普通CT样本特征和能谱CT样本特征；对普通CT样本特征和能谱CT样本特征分别进行注意力特征映射，得到普通CT融合特征和能谱CT融合特征；将普通CT融合特征和能谱CT融合特征输入到判别网络进行对抗式特征对齐训练，使得判别网络根据对抗式特征对齐训练得到的对抗权重对普通CT融合特征和能谱CT融合特征进行特征重构，得到食管癌重构特征。

本申请中，对提取到的普通CT样本特征和能谱CT样本特征进行注意力特征映射，以提高普通CT样本特征和能谱CT样本特征之间的差异性，通过判别网络进行对抗式特征对齐训练，以生成维度一致且融合普通CT样本特征与能谱CT样本特征知识的空间，判别网络根据对抗式特征对齐训练得到的对抗权重对普通CT融合特征和能谱CT融合特征进行特征重构，得到食管癌重构特征，实现了不同CT样本的有效结合，解决了现有技术通常只针对一种食管癌CT样本进行分析，对食管癌影像在能谱CT与普通CT的特征空间重构的方法，对特征的变化分析缺失鲁棒性的技术问题。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本申请实施例提供的一种食管癌影像在能谱CT与普通CT的特征空间重构的方法的一个流程示意图；

图2为本申请实施例提供的一种对普通CT样本特征和能谱CT样本特征分别进行注意力特征映射过程的一个示意图；

图3为本申请实施例提供的Net2Net框架图；

图4为本申请实施例提供的一种基于判别网络的对抗式对齐和重构构成示意图；

图5为本申请实施例提供的一种食管癌影像在能谱CT与普通CT的特征空间重构的装置的一个结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

由于食管癌影像在能谱CT与普通CT中呈现状态不同，从而导致了对于食管癌影像样本进行病灶分割时，由于特征维度不一致，使得在增量学习过程中无法对特征维度不相同的样本进行有效的学习，从而导致学习的性能大幅下降。针对食管癌普通CT与能谱CT图像在同一数据集中样本特征维度不一致问题，有必要研究一种特征空间重构的增量学习方法，旨在解决食管癌样本中特征维度不一致问题。而基于最小二乘法支持向量机的特征增量学习算法只能利用先前的结构参数来训练新的特征，虽然可以缩短训练时间，减少存储空间，但并未考虑到训练数据和测试数据的特征维度不一致情况。为了改善特征维度不一致带来的兼容性差，导致不能将不同的CT样本进行有效结合的问题，本申请实施例提供了一种食管癌影像在能谱CT与普通CT的特征空间重构的方法。

为了便于理解，请参阅图1，本申请提供的一种食管癌影像在能谱CT与普通CT的特征空间重构的方法的一个实施例，包括：

步骤101、对食管癌的普通CT样本和能谱CT样本分别进行特征提取，得到普通CT样本特征和能谱CT样本特征。

本申请实施例中采用分割网络对食管癌的普通CT样本和能谱CT样本分别进行特征提取，得到普通CT样本特征和能谱CT样本特征，分割网络可以为现有的U-Net网络。通过分割网络将给定的样本映射到一个特征表征空间，其中，分割网络的损失函数为：

式中，φ

步骤102、对普通CT样本特征和能谱CT样本特征分别进行注意力特征映射，得到普通CT融合特征和能谱CT融合特征。

本申请实施例中的注意力特征映射过程具体为：对普通CT样本特征和能谱CT样本特征分别进行通道注意力特征映射，得到第一普通CT映射特征和第一能谱CT映射特征；对普通CT样本特征和能谱CT样本特征依次进行维度注意力特征映射和双注意力特征映射，得到第二普通CT映射特征和第二能谱CT映射特征，其中，双注意力特征映射包括通道注意力特征映射和维度注意力特征映射；将第一普通CT映射特征和第二普通CT映射特征进行特征融合得到普通CT融合特征，将第一能谱CT映射特征和第二能谱CT映射特征进行特征融合得到能谱CT融合特征。

可以参考图2，Z为能谱CT样本特征，Base为普通CT样本特征，CAM为用于进行通道注意力特征映射的通道注意力模块、DAM为用于进行维度注意力特征映射的维度注意力模块、DualAttention为用于双注意力特征映射的双注意力模块，Concat-feature为用于特征拼接的特征拼接模块。CAM通过下采样方式对普通CT样本特征和能谱CT样本特征的通道特征进行提纯，因为在通过分割网络进行特征提取，这些特征已经由低级特征提升到高级特征，其语义响应已经高度关联，这种相互特征映射在特定语义的特征表示下能够一定程度提升特征区分性，因此构建多层通道注意力模块能通过多次迭代建立不同语义层级的通道关系，最后，综合多级通道注意力，进行网络层级数求和。通道注意力特征映射可以表示为：

式中，N为通道注意力模块的网络层级数，F'

在卷积神经网络中，高层特征具有丰富的语义信息，这有助于指导底层特征的选择，实现更准确的分辨率信息选择。通过通道注意力模块可以了解每个通道的权重，从而在通道内通过注意力调整权重。CAM实现执行全局池化，以提供全局三维结构信息作为低层特征的指南，以选择类别局部化详细信息。具体来说，对低层特征执行3×3卷积滤波，以减少来自分割网络中低层特征输出的特征图通道数。高层特征生成的全局三维结构信息是通过具有批归一化和ReLU非线性函数的1×1卷积滤波器执行的，然后与低层特征相乘。最后，用加权的低级特征添加高级特征。该CAM更有效地部署不同比例的特征图，并使用高级特征图为低级特征图提供指导信息。

通过DAM引入维度通道注意力来关注新的维度特征，与通道注意力模块不同，通过一个维度转换器将输入的特征图中的维度信息进行对应的维度变换，然后通过DAM学习每个维度的权重，产生维度注意力。定义

最后根据计算得到的维度注意力系数F'

最后通过Concat-feature将第一普通CT映射特征和第二普通CT映射特征进行特征融合得到普通CT融合特征，将第一能谱CT映射特征和第二能谱CT映射特征进行特征融合得到能谱CT融合特征。通过一系列注意力模块组合映射提高普通CT样本特征和能谱CT样本特征之间的差异性。

步骤103、将普通CT融合特征和能谱CT融合特征输入到判别网络进行对抗式特征对齐训练，使得判别网络根据对抗式特征对齐训练得到的对抗权重对普通CT融合特征和能谱CT融合特征进行特征重构，得到食管癌重构特征。

在对食管癌的普通CT样本和能谱CT样本进行注意力特征映射后，需要对普通CT融合特征和能谱CT融合特征进行特征对齐，这里的特征对齐是对普通CT融合特征和能谱CT融合特征进行特征映射学习，能够在不重新训练网络模型的情况下，学习普通CT样本特征和能谱CT样本特征之间的映射关系，以生成一组可以自适应普通CT融合特征和能谱CT融合特征的对抗权重。本申请实施例将普通CT融合特征和能谱CT融合特征输入到判别网络进行对抗式特征对齐训练，以生成对抗权重，使得判别网络(Discriminator-network)根据对抗式特征对齐训练得到的对抗权重对普通CT融合特征和能谱CT融合特征进行特征重构，得到食管癌重构特征。

进一步，本申请实施例基于Net2Net框架进行特征重构，通过生成的对抗权重对普通CT融合特征和能谱CT融合特征进行特征融合得到食管癌重构特征。可以参考图3，x[1]、x[2]为普通CT融合特征，x[3]为能谱CT融合特征，a、b、c、d、e、f、g为对抗权重，h[1]、h[2]为判别网络的隐含层，y为食管癌重构特征。

进一步，本申请实施例中的判别网络的网络结构与分割网络的网络结构一致，目的是确定那些在普通CT融合特征和能谱CT融合特征的特征空间之间已经很好地对齐的特征维度，并保护这种维度级别的对齐。

进一步，在将普通CT融合特征和能谱CT融合特征输入到判别网络进行对抗式特征对齐训练时，还可以对对抗权重进行修正。具体的，通过判别网络分别计算普通CT融合特征和能谱CT融合特征的概率分布；通过判别网络根据普通CT融合特征和能谱CT融合特征的概率分布计算信息量，并根据信息量进行梯度更新，以对对抗权重进行修正，使得判别网络根据修正后的对抗权重对普通CT融合特征和能谱CT融合特征进行特征重构，得到食管癌重构特征。

请参考图4，通过判别网络分别计算普通CT融合特征和能谱CT融合特征的概率分布C1、C2，通过对抗式维度交叉熵模块(图4中的Cross-entropy against dimension)进行特征优化，通过公式(4)的损失函数以及判别网络之间的对抗，能更好地融合特征，实现特征重构。

式中，Z*为普通CT融合特征，Z为能谱CT融合特征，D为判别网络，

式中，p(x)、q(x)为普通CT融合特征、能谱CT融合特征的概率分布，具体计算过程类似，β是一个可变系数，可以通过训练得到，x为普通CT融合特征或能谱CT融合特征对应的一维向量，x

本申请实施例中加入对抗性齐次惩罚机制修正特征注意力映射，并结合普通CT融合特征与能谱CT融合特征的概率分布，以预测每个维度特征在两个样本特征之间的对齐情况。具体来说，如果普通CT融合特征与能谱CT融合特征的概率分布一致，则表明实现了良好的语义对齐，在这种情况下，减少对抗性损失的影响，以鼓励判别网络生成可以保持特征空间之间语义一致性的不变特征。相反，如果普通CT融合特征与能谱CT融合特征的概率分布彼此不一致，这表明目标特征远未被正确映射，此时就增加特征上的对抗性损失的权重，以便调整对齐。

进一步，在计算到概率分布C1、C2后，进入任务差异判别模块(图4中的Discrepancybetween tasks)进行度量学习，通过度量学习来评价特征距离来衡量对抗式特征对齐的差异性以及特征的融合程度是否达到最优，以辅助判别网络对特征进行判别。具体的，计算普通CT融合特征和能谱CT融合特征之间的特征距离，使得判别网络根据特征距离进行网络参数更新。在任务差异判别模块中，通过比对两个特征的特征距离来评估特征的融合距离，通过公式(7)计算普通CT融合特征与能谱CT融合特征之间的特征距离：

式中，k(x

本申请实施例通过比对两个任务的特征距离来评定二者特征领域的融合距离，以此来衡量对抗式特征对齐的差异性以及特征的融合程度是否达到最优，以此辅助对抗式特征对齐网络对特征进行判别。

进一步，在通过特征重构得到食管癌重构特征，之后还可以将普通CT样本特征与食管癌重构特征进行特征融合，此处的特征融合可以通过残差映射操作实现，目的是弥补在对齐和重组特征过程中食管癌能谱CT图像数据样本所丢失的特征信息，从而兼容不同特征维度的样本数据，重构后的食管癌重构特征与普通CT样本特征的维度一致。可以将普通CT样本特征与食管癌重构特征进行特征融合后的特征输入到原分割网络中进行特征增量学习，通过结合终身学习迭代存储原有的特征表示，使得原有分割网络模型能动态兼容食管癌能谱CT图像样本特征维度不一致的样本，从而维持相对稳定的网络性能，实现增量学习中能谱CT与普通CT图像特征维度的一致性。

本申请实施例中，对提取到的普通CT样本特征和能谱CT样本特征进行注意力特征映射，以提高普通CT样本特征和能谱CT样本特征之间的差异性，通过判别网络进行对抗式特征对齐训练，以生成维度一致且融合普通CT样本特征与能谱CT样本特征知识的空间，判别网络根据对抗式特征对齐训练得到的对抗权重对普通CT融合特征和能谱CT融合特征进行特征重构，得到食管癌重构特征，实现了不同CT样本的有效结合，解决了现有技术通常只针对一种食管癌CT样本进行分析，对食管癌影像在能谱CT与普通CT的特征空间重构的方法，对特征的变化分析缺失鲁棒性的技术问题。

以上为本申请提供的一种食管癌影像在能谱CT与普通CT的特征空间重构的方法的一个实施例，以下为本申请提供的一种食管癌影像在能谱CT与普通CT的特征空间重构的装置的一个实施例。

请参考图5，本申请实施例提供的一种食管癌影像在能谱CT与普通CT的特征空间重构的装置，包括：

特征提取单元，用于对食管癌的普通CT样本和能谱CT样本分别进行特征提取，得到普通CT样本特征和能谱CT样本特征；

注意力特征映射单元，用于对普通CT样本特征和能谱CT样本特征分别进行注意力特征映射，得到普通CT融合特征和能谱CT融合特征；

对齐训练单元，用于将普通CT融合特征和能谱CT融合特征输入到判别网络进行对抗式特征对齐训练，使得判别网络根据对抗式特征对齐训练得到的对抗权重对普通CT融合特征和能谱CT融合特征进行特征重构，得到食管癌重构特征。

作为进一步地改进，注意力特征映射单元，具体用于：

对普通CT样本特征和能谱CT样本特征分别进行通道注意力特征映射，得到第一普通CT映射特征和第一能谱CT映射特征；

对普通CT样本特征和能谱CT样本特征依次进行维度注意力特征映射和双注意力特征映射，得到第二普通CT映射特征和第二能谱CT映射特征，其中，双注意力特征映射包括通道注意力特征映射和维度注意力特征映射；

将第一普通CT映射特征和第二普通CT映射特征进行特征融合得到普通CT融合特征，将第一能谱CT映射特征和第二能谱CT映射特征进行特征融合得到能谱CT融合特征。

作为进一步地改进，装置还包括：权重修正单元，用于：

通过判别网络分别计算普通CT融合特征和能谱CT融合特征的概率分布；

通过判别网络根据普通CT融合特征和能谱CT融合特征的概率分布计算信息量，并根据信息量进行梯度更新，以对对抗权重进行修正，使得判别网络根据修正后的对抗权重对普通CT融合特征和能谱CT融合特征进行特征重构，得到食管癌重构特征。

作为进一步地改进，装置还包括：

计算单元，用于计算普通CT融合特征和能谱CT融合特征之间的特征距离，使得判别网络根据特征距离进行网络参数更新。

作为进一步地改进，装置还包括：

特征融合单元，用于将普通CT样本特征与食管癌重构特征进行特征融合。

本申请实施例中，对提取到的普通CT样本特征和能谱CT样本特征进行注意力特征映射，以提高普通CT样本特征和能谱CT样本特征之间的差异性，通过判别网络进行对抗式特征对齐训练，以生成维度一致且融合普通CT样本特征与能谱CT样本特征知识的空间，判别网络根据对抗式特征对齐训练得到的对抗权重对普通CT融合特征和能谱CT融合特征进行特征重构，得到食管癌重构特征，实现了不同CT样本的有效结合，解决了现有技术通常只针对一种食管癌CT样本进行分析，对食管癌影像在能谱CT与普通CT的特征空间重构的方法，对特征的变化分析缺失鲁棒性的技术问题。

本申请实施例还提供了一种食管癌影像在能谱CT与普通CT的特征空间重构的设备，设备包括处理器以及存储器；

存储器用于存储程序代码，并将程序代码传输给处理器；

处理器用于根据程序代码中的指令执行前述方法实施例中的食管癌影像在能谱CT与普通CT的特征空间重构的方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以通过一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称：Read-OnlyMemory，英文缩写：ROM)、随机存取存储器(英文全称：Random Access Memory，英文缩写：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。