一种基于多尺度的鞍区病变医学图像分割方法

摘要

本发明公开了一种基于多尺度的鞍区病变医学图像分割方法，属于图像识别与医学领域。本技术方案的主要要点包括：将患者的MRI图像从DICOM文件转换成PNG图像，并且用IKT‑SNAP标注图像的鞍区病变区域。将处理后的图像输入到检测模中进行训练，训练完毕可以直接对DICOM文件进行预测，输出为模型预测的患者脑部鞍区病变区域。检测模型通过将多路径视觉转换成U型结构，修改上采样部分，构建阶段的特征层次结构，用于生成不同比例的特征图，使用包含因子化自我注意的Transformer编码器作为模型中的Transformer主干，并且用不同大小的补丁生成相同序列长度的各种大小的视觉标记，通过该方法进行下采样，最终实现基于多尺度的对脑部鞍区病变区域的分割方法。

说明书

技术领域

本发明属于图像识别领域，具体涉及一种基于多尺度的鞍区病变医学图像分割方法。

背景技术

脑鞍区是颅中窝中央部的蝶鞍及其周围的区域，是颅内疾病好发部位，位于鞍区的病变部位较深，种类繁多，诊断比较困难，由于鞍区病变的多样性以及鞍区肿瘤复发后肿瘤组织与瘢痕组织鉴别困难，使得鞍区病变的诊断和精准治疗一直是神经外科亟待解决的难题。

医学图像分割是医学图像智能分析和理解的关键技术之一,为临床医生诊断和治疗提供了重要的辅助信息。随着医学影像技术的发展,大量不同模态的影像数据(例如CT、磁共振成像(Magnetic resonance imaging,MRI)和数字病理图像)应运而起。

目前,医学图像分割方法大致可分为两大类，即基于传统的手工提取特征的方法和基于深度学习的特征自动学习方法。传统的手工提取特征的方法通常依据图像中的灰度值、形状和纹理等特征,利用专家知识手工设计这些特征,实现目标区域的自动分割。例如阈值分割法、聚类分割法、基于区域的分割方法以及基于边缘检测的分制方法。该类方法往往需要大量的先验知识提取手工特征进行分割。然而,设计的手工特征只在特定数据集上的分割任务有效,分割性能不稳定。基于深度学习的分割方法采用像素分类的思想,与传统手工提取特征的方法不同,能够自动提取图像中的语义信息,对数据进行表征学习,有效克服了传统手工特征分割的局限性。

多路径视觉Transformer对自然语言处理(NLP)产生了巨大的影响，同样，视觉转换器(ViT)的出现也推动了计算机视觉界的发展。因此，基于变换器的视觉工作最近出现了爆炸式的发展，涵盖了静态图像分类、目标检测和语义分割等任务，以及视频分类和目标跟踪等时间任务。

发明内容

本发明针对医学图像图像语义较为简单，结构较为固定、特征小且极为相似以及数据集稀少问题，提出一种基于多尺度的鞍区病变医学图像分割方法，能够在有限的数据集中获得更好的分割效果。

技术方案：本发明提供的一种基于多尺度的鞍区病变医学图像分割方法，包括以下步骤：

步骤1，建立鞍区病变MRI数据集，通过ITK-SNAP对患者病变区域进行标注，对收集到的MRI数据集进行预处理，得到图像数据；

步骤2，建立检测模型，使用步骤1中预处理后的图像数据训练检测模型；

步骤3，使用步骤2训练好的检测模型，输入待检测的患者的为医疗影像格式文件，检测是否存在鞍区病变，并且分割出鞍区病变区域。

作为优选，步骤1包括以下步骤：步骤1.1，格式转换：将MRI数据集中的数据文件转换为医疗影像格式文件；步骤1.2，重新命名每个患者的医疗影像文件名称，在文件上标注病变区域，且将未标注病变区域的原始数据文件与已标注病变区域的标记数据文件一一对应；步骤1.3，将处理后的数据文件裁剪成统一尺寸，并且进行随机翻转和随机改变对比度，从而实现图像增广；步骤1.4，统一图像的颜色区间范围，并且将三维的图像保存为二维的图像。

作为优选，检测模型为使用MPViT即MP-Transformer块作为主干的U型卷积神经网络，包括进行下采样的收缩路径部分和进行上采样的扩展路径部分；其中，下采样对输入的图像数据进行训练，得到特征信息，并将该特征信息与新的特征图结合，作为上采样的运行样本，以保留下采样过程中的特征信息。

作为优选，步骤2的下采样包括以下步骤：步骤2.1，将二维图像文件输入到检测模型中，图像为H*W*3的图像，即H*W像素、3通道的二维图像，通过一个stem块，即两个连续的的卷积层，卷积层的卷积核为3*3，步幅为2，通道数分别为C/2和C，提取一个大小为H/4*W/4*C的特征；步骤2.2，将stem块生成的特征输入到多尺度补丁嵌入层，基于输入特征X

A

X

其中，A

作为优选，步骤2.2中的学习函数F

作为优选，步骤2.3中的MP-Transformer块使用的是一种高效因子化自注意力：

作为优选，步骤2的上采样过程与下采样过程相对应，不同的是在多尺度补丁嵌入层的嵌入过程前增加扩展的过程。

作为优选，步骤2的上采样过程具体为：

步骤2.61，通过一个线性层将特征维数增加到原始维度的两倍；其次，使用重排操作将输入特征的分辨率扩展到输入分辨率的2倍，同时将特征维数减少到输入特征维数的四分之一；步骤2.62，将得到特征输入到多尺度补丁嵌入层中，再输入到每个MP-Transformer块中的X

作为优选，将输入检测模型的未标注病变区域的原始图像数据，与该检测模型输出的已标注病变区域的标记数据文件进行对比，以检测检测模型的精度。

与现有技术相比，本发明的有益效果为：本发明通过使用MP-Transformer作为U-net的主干，路径的Transformer获得多路径，将其作为U型结构的主干从而获得更多路径，实现多尺度的特征，在有限的数据集中获得更好的分割效果；采用Transformer从而能够获取更多的全局和远程语义信息的交互。

附图说明

图1为本发明一个实施例的流程图；

图2(a)(b)分别为本发明一个实施例的标注的数据图像以及通过本检测模型预测的病变区域。

具体实施方式

下面结合附图对本发明作进一步详细说明。

本发明提出一种基于多尺度的鞍区病变医学图像分割方法，将患者的MRI图像从DICOM文件转换成PNG图像，并且用IKT-SNAP标注图像的鞍区病变区域；将处理后的图像输入到检测模中进行训练，训练完毕可以直接对DICOM文件进行预测，输出为模型预测的患者脑部鞍区病变区域。检测模型通过将多路径视觉Transformer(MPViT)转换成U型结构，修改上采样部分，构建阶段的特征层次结构，用于生成不同比例的特征图，使用包含因子化自我注意的Transformer编码器作为模型中的Transformer主干，并且用不同大小的补丁生成相同序列长度的各种大小的视觉标记，通过该方法进行下采样。上采样过程中同样包含四个特征层次以及多路径结构，并且通过跳跃连接将下采样过程中每一层次的特征信息进行连接，最终实现基于多尺度的对脑部鞍区病变区域的分割方法。

如图1所示，包括以下步骤：

步骤1，建立的鞍区病变MRI数据集，专家通过ITK-SNAP对患者病变区域进行标注，对收集到的数据集进行预处理。对病变区域进行标注，在训练检测模型时，将训练检测模型得到的病变区域信息比对专家人工标注的病变区域进行比对，以测试检测模型的准确性。具体的，包括：

步骤1.1，收集到的MRI数据集为DICOM文件，将这些文件转换成医疗影像格式nii.gz文件。

步骤1.2，将每个患者的nii.gz文件，按照阿拉伯数字0开始重新命名文件名称，在文件上标注病变区域并且和未标记病变区域的原始文件一一对应。

步骤1.3，将处理后的数据集裁剪成统一尺寸，本实施例将处理后的数据集分别裁剪成512*512的尺寸，并且进行随机翻转，随机改变对比度，从而实现图像增广，以提升模型的泛化性。

步骤1.4，将图像增广后数据集的RGB数值转换为0-255，以统一颜色区间范围，并且将Nii3D文件保存成2Djpg文件。

步骤2，使用步骤1中的MRI数据集预处理后的图像数据进行训练所提出的模型。检测模型为使用MPViT作为主干的U型卷积神经网络，包括进行下采样的收缩路径部分和进行上采样的扩展路径部分。其中，下采样对样本数据进行训练，得到特征信息，该特征信息与新的特征图结合，作为上采样的运行样本，以保留下采样过程中的特征信息。

MPViT(Multi-path Vision Transformer,MPViT)为用于密集预测的多路径视觉变换器，结合重叠卷积块嵌入，MPViT可以同时对不同尺度、相同序列长度特征进行嵌入聚合。不同尺度的Token分别送入到不同的Transformer模块中以构建同特征层级的粗粒度与细粒度特征。

收缩路径上是每两个3*3的卷积层(unpadded convolutional layers)后会跟一个2*2的最大池化层(Maxpooling layer:步长为2)，并且每个卷积层后面采用relu激活函数来对原始图片进行下采样操作，除此之外，每一次降采样都会增加一杯通道数。在扩展路径的向上采样中，每一步会有一个2*2的卷积层，同时激活函数也是relu和一个两个3*3的卷积层，于此同时，每一步的升采样都会加入来自相对应收缩路径的特征图(经裁剪以保持相同的形状shape)。

U型卷积神经网络基本可以对任意形状大小的图片进行卷积操作，特别是任意大的图片。

具体的，包括编码器过程以及解码器过程，

编码器过程：

步骤2.1，将二维图像文件输入到检测模型中，图像为H*W*3的图像，即H*W像素、3通道的二维图像，通过一个stem块，即两个连续的的卷积层，卷积层的卷积核为3*3，步幅为2，通道数分别为C/4和C/2，提取到一个大小为H/4*W/4*C/2的特征。

步骤2.2，将上一层生成的特征输入到多尺度补丁嵌入(MS-PatchEmbed)层，基于输入特征学习函数F

其中k为卷积核大小，p为填充，s为步幅，设置第一层(即第一次循环)MS-PatchEmbed层的步幅为1，其余MS-PatchEmbed层的步幅为2。

将图像切割为重叠的补丁，并将补丁合并到图像中：将图像分割为k*k且重叠的补丁，其中k取不同值，以生成相同序列长度的各种大小的视觉标记，以得到F

本实施例取k＝3,5,7，通过使用3×3、5×5、7×7的补丁大小生成相同序列长度的各种大小的视觉标记，使用具有重叠补丁的卷积操作，以得到F

步骤2.3，将步骤2.2的F

并且额外的F

步骤2.4，MP-Transformer块中还有一个特征交互函数，将步骤2.3的特征进行连接并且通过一个函数学习特征交互函数：

A

X

其中，H(·)为学习与特征交互的函数生成最终的特征

步骤2.5，将步骤2.2-步骤2.4重复进行4次，从而实现下采样的过程，即作为编码器。其中，假设C/2为编码器中stem块生成的特征维度，则第一次运行提取H/8*W/8*C的特征，第二次运行提取H/8*W/8*2C的特征，第三次运行提取H/16*W/16*4C的特征，第四次运行提取H/32*W/32*8C的特征。

解码器即上采样过程：

步骤2.6，解码器过程与编码器过程相对应，不同的是将多尺度补丁嵌入MS-PatchEmbed换成一种扩展层，即在多尺度补丁嵌入层的嵌入过程前增加了一个扩展的过程。首先，通过一个线性层将特征维数增加到原始维度的两倍，即将输入特征

步骤2.7，在输入到MP-Transformer块之前使用跳过连接用于将编码器的多尺度特征与上采样特征融合。

步骤2.8，在最后，使用up-stem层进行反卷积得到原始图像，并且预测病变区域。

步骤3，读取训练好的检测模型，将待检测的患者的nii.gz文件输入该检测模型中，检测是否存在鞍区病变，并且分割出鞍区病变区域。

如图2(a)(b)所示，其脑部中央位置分割出来的区域分别为通过标注软件ITK-SNAP所展示的真实区域，右侧则为通过本检测模型预测出来的区域，可以看出通过本检测模型得到的病变区域预测准确，能够实现基于多尺度的对脑部鞍区病变区域的分割方法。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均为等效的置换方式，都包含在本发明的保护范围之内。