基于3DHOG辅助卷积神经网络的前列腺图像分割方法

摘要

本发明提供一种基于3DHOG辅助卷积神经网络的前列腺图像分割方法，包括：S1、获取并分析前列腺MRI图像信息，对3D前列腺MRI图像进行预处理；S2、将预处理后的3D前列腺MRI图像的2D HOG特征扩展为3D HOG特征，并进行特征提取；S3、将3D前列腺MRI图像输入卷积神经网络获取深度特征图；S4、将步骤S2获得的3D HOG特征和步骤S3获得的深度特征进行融合，训练得到最终分割模型；S5、通过最终分割模型对测试图像进行处理，获取前列腺MRI分割概率图。本发明可以有效缓解MRI中前列腺边界模糊不清带来的问题，并有效提高分割的准确率。

说明书

技术领域

本发明涉及医学图像处理技术领域，尤其涉及一种基于3DHOG辅助卷积神经网络的前列腺图像分割方法。

背景技术

前列腺疾病的诊断通常是通过医学图像观察研究来进行的，前列腺体积(PV)的定量估计在前列腺疾病的诊断中起着重要作用。最近，MRI提供的高分辨率和软组织对比度使其成为获得PV的最准确方法。MRI定位和对前列腺癌进行分级的潜力相结合，其使用率迅速增加，越来越多的研究学者将其用于疾病研究中。MRI由于具有多参数成像，高对比度成像和多方向成像的特点，被广泛用于前列腺的检测和分割中。MRI在前列腺疾病的诊断和评估中起着重要作用。因此，MRI中前列腺区域的准确、自动分割已逐渐引起研究人员的广泛关注。现有的对前列腺图像自动分割方法主要分为2类，传统机器学习基于特征的方法或者基于深度学习自动分割方法。前者基于传统特征对前列腺MRI进行分割难以实现高精度，并且该方法的可重复性受到限制，不能快速应用于医疗系统。后者仅基于卷积神经网络的特征训练来对前列腺MRI进行分割，不能针对性地选择合适的特征，这将导致对前列腺边界进行精确分割存在问题。

发明内容

本发明的目的在于提供一种基于3DHOG辅助卷积神经网络的前列腺图像分割方法，解决前列腺MRI分割中边界模糊不清、分割精度较低的问题，提高分割的准确率。

本发明第一方面提供一种基于3DHOG辅助卷积神经网络的前列腺图像分割方法，包括以下步骤：

S1、获取并分析前列腺MRI图像信息，对3D前列腺MRI图像进行预处理；

S2、将预处理后的3D前列腺MRI图像的2D HOG特征扩展为3D HOG特征，并进行特征提取；

S3、将3D前列腺MRI图像输入卷积神经网络获取深度特征图；

S4、将步骤S2获得的3D HOG特征和步骤S3获得的深度特征图进行融合，通过训练得到最终分割模型；

S5、通过最终分割模型对测试图像进行处理，获取前列腺MRI分割概率图。

进一步的，所述步骤S1具体包括：

S11、获取一组前列腺MRI图像数据集，并划分为训练集和测试集，所述训练集各个图像的不同区域设有相应标签；

S12、对训练集图像和对应的标签数据进行切块处理，用于3D HOG特征提取；

S13、对训练集图像和对应的标签数据进行翻转处理。

进一步的，所述步骤S2具体包括：

S21、对预处理后的3D前列腺MRI图像使用1D[-1,0,1]滤波进行卷积操作，通过式(1)计算图像中的梯度，

其中G(x,y,z)表示图像在坐标位置(x,y,z)处的像素值；

S22、通过式(2)将每个梯度转换为3D球坐标，并根据其方向将其转换为二进制，

其中r表示3D球半径，方位角θ∈[0,2π)，

S23、构造直方图网格，将单位中的每个像素分级以获得梯度直方图；

S24、将直方图单元格本身组织成重叠的矩形块，并连接一个矩形块中所有单元格的直方图值以形成矢量；

S25、将每个矩形块的向量归一化，进行级联以产生最终的3D HOG特征向量。

进一步的，所述步骤S3具体包括：

S31、将3D前列腺MRI图像输入神经网络第一层做卷积操作2次，在每个卷积层后进行BN操作和ReLU操作；

S32、将步骤S31得到的特征图输入到最大池化层做下采样操作；

S33、将步骤S32得到的特征图重复3次步骤S31和2次步骤S32获得新的特征图；

S34、将步骤S33得到的特征图做卷积操作，卷积层后进行BN操作和ReLU操作；

S35、将步骤S34得到的特征图输入到最大池化层做上采样操作，获得的特征图记为A；

S36、将步骤S31获得的特征图输入最大池化层做2次下采样操作和卷积操作，卷积层后进行BN操作和ReLU操作，获得的特征图记为B；

S37、将步骤S33中第1次重复步骤S31获得的特征图输入最大池化层做1次下采样操作和卷积操作，卷积层后进行BN操作和ReLU操作，获得的特征图记为C；

S38、将步骤S33中第2次重复步骤3-1获得的特征图做卷积操作，卷积层后进行BN操作和ReLU操作，获得的特征图记为D；

S39、将特征图A、B、C、D进行特征融合操作，并做卷积操作，卷积层后进行BN操作和ReLU操作。

进一步的，所述步骤S39后还包括：

S310、将步骤S39中获得的特征图做卷积操作2次，在每个卷积层后进行BN操作和ReLU操作；

S311、将步骤S310中获得的特征图做卷积操作，在卷积层后进行BN操作和ReLU操作；

S312、将步骤S311中获得的特征图输入到最大池化层做上采样操作，获得的特征图记为E；

S313、将步骤S31获得的特征图输入最大池化层做1次下采样操作和卷积操作，卷积层后进行BN操作和ReLU操作，获得的特征图记为F；

S314、将步骤S33中第1次重复步骤S31获得的特征图做卷积操作，卷积层后进行BN操作和ReLU操作，获得的特征图记为G；

S315、将步骤S33中第3次重复步骤S31获得的特征图输入最大池化层做1次上采样操作，并且做卷积操作，卷积层后进行BN和ReLU操作，获得的特征图记为H；

S316、将特征图E、F、G、H进行特征融合操作，并做卷积操作，卷积层后进行BN和ReLU操作。

进一步的，所述步骤S316后还包括：

S317、将步骤S316中获得的特征图做卷积操作2次，在每个卷积层后进行BN和ReLU操作；

S318、将步骤S317中获得的特征图做卷积操作，在卷积层后进行BN和ReLU操作；

S319、将步骤S318中获得的特征图输入到最大池化层做上采样操作，获得的特征图记为I；

S320、将步骤S33中第1次重复步骤S31获得的特征图做卷积操作，卷积层后进行BN和ReLU操作，获得的特征图记为J；

S321、将步骤S33中第3次重复步骤S31获得的特征图输入最大池化层做2次上采样操作，并且做卷积操作，卷积层后进行BN和ReLU操作，获得的特征图记为K；

S322、将步骤S317中获得的特征图输入最大池化层做1次上采样操作，并且做卷积操作，卷积层后进行BN和ReLU操作，获得的特征图记为L；

S323、将特征图I、J、K、L进行特征融合操作，并做卷积操作，卷积层后进行BN和ReLU操作；

S324、将步骤S323中获得的特征图做卷积操作2次，在每个卷积层后进行BN和ReLU操作。

进一步的，所述卷积操作为3×3×3卷积操作。

进一步的，所述步骤S4具体包括：

S41、将步骤S2中获得的3D HOG特征图做3×3×3卷积操作2次，在每个卷积层后进行BN和ReLU操作，获得的特征图记为F1；

S42、将步骤S3中获得的深度特征图做3×3×3卷积操作2次，在每个卷积层后进行BN和ReLU操作，获得的特征图记为F2；

S43、将特征图F1和F2做特征融合，获得新的特征图；

S44、将步骤S43中获得的特征做3×3×3卷积操作多次，在每个卷积层后进行BN和ReLU操作；

S45、将步骤4-4最后一层做1×1×1卷积操作，作为softmax激活层的输入，获得最终分割模型。

本发明第二方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现前述第一方面所述的方法。

与现有技术相比，本发明的有益效果是：

(1)通过3D HOG辅助卷积神经网络在3D前列腺MRI图像分割过程中难以区分的边界问题上可以实现与专家标注结果高度一致；

(2)将2D HOG扩展到3D-HOG，可以有效保留3D前列腺MRI图像边界的空间信息；

(3)将传统3D HOG特征和卷积神经网络深度特征融合学习，相比于其他方法，分割精度更高，解决了边界分割模糊的问题。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的优选实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的前列腺图像分割方法整体流程示意图。

图2是本发明实施例提供的3D HOG特征提取流程示意图。

图3是本发明实施例提供的卷积神经网络结构原理示意图。

图4是本发明实施例提供的特征融合原理示意图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所列举实施例只用于解释本发明，并非用于限定本发明的范围。

参照图1，本发明提供一种基于3DHOG辅助卷积神经网络的前列腺图像分割方法，该方法包括以下步骤：

S1、获取并分析前列腺MRI图像信息，对3D前列腺MRI图像进行预处理。

S2、将预处理后的3D前列腺MRI图像的2D HOG特征扩展为3D HOG特征，并进行特征提取。

S3、将3D前列腺MRI图像输入卷积神经网络获取深度特征图。

S4、将步骤S2获得的3D HOG特征和步骤S3获得的深度特征进行融合，训练得到最终分割模型。

S5、通过最终分割模型对测试图像进行处理，获取前列腺MRI分割概率图。

其中，步骤S1所获取的前列腺MRI图像信息可以是从医院数据库中获取，步骤S1具体包括以下步骤：

S11、获取一组前列腺MRI图像数据集，并按照一定比例划分为训练集和测试集，所述训练集的不同区域设有相应标签。

具体的，所述标签可以是由专家手动标注，训练集图像的背景标注为0，前列腺区域标注为1。

S12、对训练集图像和对应的标签数据进行切块处理，用于3D HOG特征提取。

一些实施方式中，所述切块处理可以是将训练集图像和对应的标签数据切分成大小为N×N×M的的图像块，其中N的值为64，M的值为图像总数。

S13、对训练集图像和对应的标签数据进行翻转处理。

所述翻转处理的目的在于为训练深度学习模型提供充足数据，一些实施方式中，所述翻转处理可以是将训练集图像和对应的标签数据从左到右、由上至下翻转，并将图像分别旋转90°、180°和270°，从而在为训练深度学习模型提供充足数据的基础上保留图像的视觉结构。

如图2所示，所述步骤S2具体包括以下步骤：

S21、对预处理后的3D前列腺MRI图像使用1D[-1,0,1]滤波进行卷积操作，通过式(1)计算图像中的梯度，

其中G(x,y,z)表示图像在坐标位置(x,y,z)处的像素值。

S22、通过式(2)将每个梯度转换为3D球坐标，并根据其方向将其转换为二进制，

其中r表示3D球半径，方位角θ∈[0,2π)，

S23、构造直方图网格，将单位中的每个像素分级以获得梯度直方图。所述分级具体可以是将像素映射到固定角度范围。

S24、将直方图单元格本身组织成重叠的矩形块，并连接一个矩形块中所有单元格的直方图值以形成矢量。

S25、将每个矩形块的向量归一化，进行级联以产生最终的3D HOG特征向量。

所述步骤S3具体包括：

S31、将3D前列腺MRI图像输入神经网络第一层做卷积操作2次，在每个卷积层后进行BN(批量归一化)操作和ReLU(修正线性激活)操作。

S32、将步骤S31得到的特征图输入到最大池化层做下采样操作。

S33、将步骤S32得到的特征图重复3次步骤S31和2次步骤S32获得新的特征图。

S34、将步骤S33得到的特征图做卷积操作，卷积层后进行BN操作和ReLU操作。

S35、将步骤S34得到的特征图输入到最大池化层做上采样操作，获得的特征图记为A。

S36、将步骤S31获得的特征图输入最大池化层做2次下采样操作和卷积操作，卷积层后进行BN操作和ReLU操作，获得的特征图记为B。

S37、将步骤S33中第1次重复步骤S31获得的特征图输入最大池化层做1次下采样操作和卷积操作，卷积层后进行BN操作和ReLU操作，获得的特征图记为C。

S38、将步骤S33中第2次重复步骤3-1获得的特征图做卷积操作，卷积层后进行BN操作和ReLU操作，获得的特征图记为D。

S39、将特征图A、B、C、D进行特征融合操作，并做卷积操作，卷积层后进行BN操作和ReLU操作。

作为一个优选的示例，所述步骤S39后还包括：

S310、将步骤S39中获得的特征图做卷积操作2次，在每个卷积层后进行BN操作和ReLU操作。

S311、将步骤S310中获得的特征图做卷积操作，在卷积层后进行BN操作和ReLU操作。

S312、将步骤S311中获得的特征图输入到最大池化层做上采样操作，获得的特征图记为E。

S313、将步骤S31获得的特征图输入最大池化层做1次下采样操作和卷积操作，卷积层后进行BN操作和ReLU操作，获得的特征图记为F。

S314、将步骤S33中第1次重复步骤S31获得的特征图做卷积操作，卷积层后进行BN操作和ReLU操作，获得的特征图记为G。

S315、将步骤S33中第3次重复步骤S31获得的特征图输入最大池化层做1次上采样操作，并且做卷积操作，卷积层后进行BN和ReLU操作，获得的特征图记为H。

S316、将特征图E、F、G、H进行特征融合操作，并做卷积操作，卷积层后进行BN和ReLU操作。

作为一个优选的示例，所述步骤S316后还包括：

S317、将步骤S316中获得的特征图做卷积操作2次，在每个卷积层后进行BN和ReLU操作；

S318、将步骤S317中获得的特征图做卷积操作，在卷积层后进行BN和ReLU操作；

S319、将步骤S318中获得的特征图输入到最大池化层做上采样操作，获得的特征图记为I；

S320、将步骤S33中第1次重复步骤S31获得的特征图做卷积操作，卷积层后进行BN和ReLU操作，获得的特征图记为J；

S321、将步骤S33中第3次重复步骤S31获得的特征图输入最大池化层做2次上采样操作，并且做卷积操作，卷积层后进行BN和ReLU操作，获得的特征图记为K；

S322、将步骤S317中获得的特征图输入最大池化层做1次上采样操作，并且做卷积操作，卷积层后进行BN和ReLU操作，获得的特征图记为L；

S323、将特征图I、J、K、L进行特征融合操作，并做卷积操作，卷积层后进行BN和ReLU操作；

S324、将步骤S323中获得的特征图做卷积操作2次，在每个卷积层后进行BN和ReLU操作。

上述实施例中，所述卷积操作为3×3×3卷积操作，在其他实施方式中，也可以采用不同的卷积操作。最终形成的3D CNN原理图如图3所示。

如图4所示，所述步骤S4具体包括：

S41、将步骤S2中获得的3D HOG特征图做3×3×3卷积操作2次，在每个卷积层后进行BN和ReLU操作，获得的特征图记为F1。

S42、将步骤S3中获得的深度特征图做3×3×3卷积操作2次，在每个卷积层后进行BN和ReLU操作，获得的特征图记为F2。

S43、将特征图F1和F2做特征融合，获得新的特征图。

S44、将步骤S43中获得的特征做3×3×3卷积操作多次，在每个卷积层后进行BN和ReLU操作。

S45、将步骤4-4最后一层做1×1×1卷积操作，作为softmax激活层的输入，获得最终分割模型。

MRI(磁共振成像)由于具有多参数成像，高对比度成像和多方向成像的特点，被广泛用于前列腺的检测和分割中。前列腺体积(PV)的定量估计在前列腺疾病的诊断中起着重要作用，因此MRI中前列腺区域的准确，自动分割已逐渐引起研究人员的广泛关注。然而，由于前列腺MRI的复杂性，准确的前列腺分割仍然是一个具有挑战性的问题。针对前列腺边界模糊问题，3D HOG特征的主要思想是通过梯度或边缘的方向密度分布来描述局部对象。本发明通过计算3D前列腺边缘梯度的方向密度(HOG特征)来提供边界信息。改进的3D CNN卷积神经网络在跳跃连接上与其他方法不同，跳跃连接使每个解码器层合并编码器的较小和相同比例的特征图以及解码器的较大比例的特征图。通过将3D HOG特征和3D CNN深度特征图相结合，最终提高前列腺MRI的分割精度。

在本发明的一个实施例中，获取了78例患者的3D前列腺MRI图像数据，每例均具有多个随访时间的3DMRI，在2015年1月至2019年1月之间，所有连续的患者都接受了MP-MRI检查，然后进行了系统的前列腺穿刺活检以确认前列腺癌。其中，将50个患者图像数据用作训练集，将12个患者图像数据用作验证集，将16个患者图像数据用作测试集。所有检查均使用32通道相控阵线圈在3T扫描仪上进行。前列腺的MRI由高级专家独立手动注释，以验证实验。该实施例分别计算了本发明所提供的方法(3D HaCNN)和其他的前列腺分割方法(HDnet和Patch-wise DeeplabV3+)以及其他改进的3D CNN方法(2D and 3D U-net-generated)对实验数据进行处理的评价指标，所述评价指标包括骰子相似度系数(DSC)、体积重叠误差(VOE)和相对体积差(RVD)。

骰子相似度系数(DSC)用于度量A、B两个集合的相似性，是医学图像分割中最常用的评估方法之一，定义如下:

体积重叠误差(VOE)是相应的误差量度，定义如下:

相对体积差(RVD)是两个对象之间相对体积差的量度，定义如下：

表1为测试集数据分别通过上述方法进行处理后相应评价指标的平均值。

表1

从表1中3个评价指标的对比可以看出，本发明所提供的方法(3D HaCNN)显然优于现有的前列腺分割方法，本发明不仅可以分割出前列腺的整体区域，还可以做到模糊边界的精确分割。

本发明另一实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现前述方法实施例所述的方法。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。