一种循环跳跃的深度学习网络

摘要

一种循环跳跃的深度学习网络，主要用于执行医学图像中不同兴趣目标的准确提取。该网络在现有的BiO‑Net分割网络的基础上引入一种新的反向短跳跃链接和一个注意引导的卷积模块，从而构建一种循环跳跃的深度学习网络，然后采样本地OCT图像数据和公开的眼底图像数据验证其分割性能。本发明能够有效提取图像中的不同兴趣目标，具有优于U‑Net、AU‑Net以及BiO‑Net等现有网络的分割性能。

说明书

技术领域

本发明涉及图像分割技术领域，具体涉及一种循环跳跃的深度学习网络。

背景技术

图像分割是一个将图像分成不同区域并使每个区域具有完全不同成像特性(如像素灰度分布、组织对比度以及解剖形态等)的过程，从而降低兴趣区域的分析与测量难度，为相关疾病的病灶定位与形态量化，病情分析，临床诊断和预后监控等提供关键指导，因此具有重要的学术研究价值。为准确提取所需的兴趣区域，人们开发了大量的图像分割算法，例如基于阈值的方法、基于活动轮廓的方法，以及基于图谱的方法。这些分割算法通常被简单分为无监督(unsupervised)分割算法和有监督(supervised)分割算法。(a)无监督分割算法通常根据图像自身的像素灰度分布、解剖结构之间的位置关系、组织对比度及其形态特征等成像特性进行不同区域的分辨，借助形态学操作和阈值化处理等图像评估策略，实现兴趣区域提取和无关背景的排除。这类算法通常具有操作简单，运行快速的特点，能有效处理高质量的医学图像并获得合理的分割性能，然而它们对组织的对比度，成像噪声以及各种伪影较为敏感，导致分割算法易受这些现象的干扰而存在严重的性能退化。此外，这类算法常常涉及较多的依靠经验赋值的参数，因此算法的设计对图像处理知识和临床背景具有较高的要求，从而导致算法难以适用于大规模临床图像的处理。(b)有监督分割算法不仅需要考虑图像自身的成像特性而且需要人工的干预(如人工设计和选取的特征或标注)，通过使用各种不同类型的图像信息执行多个兴趣区域的分辨和提取，并且具有比无监督分割算法更高的性能。这类算法由于使用了更多的图像信息，能够在一定程度上缓解各种图像伪影或噪声对图像分割的干扰，从而更适合大规模临床数据的处理。然而，手工设计特征或标注的获取需要足够的图像处理和临床背景等多学科知识，并且高度依赖算法设计人员或图像标注人员的个人经验，导致获取的特征信息或标注可能存在较大的误差，从而制约了算法的分割性能。

近年来，基于深度学习的有监督分割算法得到了广泛的关注和深入的研究。该类算法通过大量叠加基本的深度学习操作(如卷积运算、批样本正则化和激活函数等)，能够在标注信息的辅助下从输入图像中学习到各种类型的卷积特征，合理整合这些特征信息，可执行每个像素的准确分类，实现高质量图像分割。这类算法中，U-Net是较为经典的深度学习网络，具有结构简单和性能优越等众多优点，但其存在如下不足：(a)U-Net多次使用图像下采样操作加速卷积特征的提取，导致图像维度的降低，从而引发信息的模糊和丢失；(b)仅使用单一种类的跳跃链接执行编码卷积特征的传递，不足以重建丢失的大量图像信息；(c)大量卷积层的简单叠加导致分割网络能够有效提取兴趣目标的中心区域而无法处理其边界区域，引发较大的边界误差。为了实现准确的图像分割，U-Net的大量改进网络被开发处理，例如CE-Net、AU-Net和BiO-Net。这些分割网络虽具有更好的图像处理性能，但是它们在目标的边界区域仍存在较大的分割误差。

发明内容

为了解决现有技术存在的技术缺陷，本发明提供了一种循环跳跃的深度学习网络，主要用于医学图像中不同兴趣目标的准确提取，可有效降低弱组织对比度、严重成像伪影或噪声等现象对图像分割的影响，辅助医学图像中病灶的定位与探测，为病灶区域的准确分割及其形态量化奠定坚实的理论基础。

本发明采用的技术解决方案是：一种循环跳跃的深度学习网络，包括以下步骤：

(1)反向短跳跃链接的设计：现有分割网络(如U-Net和BiO-Net等)为缓解多次图像下采样造成信息丢失的问题，通常使用跳跃链接将图像的编码和解码卷积特征串联起来，确保解码卷积模块有够的信息输入并从输入信息中学习和抓取所需的目标特征。然而，这些跳跃链接通常只能进行单向传递并且传递的特征信息需要具有相同的图像维度，导致其具有有限的信息保存潜力，制约了多层次特征的整合。为降低下采样造成的信息丢失，本发明引入了一个新的反向跳跃链接，串联卷积模块的输入输出变量并将串联结果重新作为卷积模块的输入变量，使得该模块能够循环地学习和探测最相关的特征信息；

(2)注意引导卷积模块的设计：现有分割网络在执行跳跃链接时通常进行较为简单的信息传递而不对其进行任何处理，导致大量冗余信息被多次输入到卷积模块中，严重干扰卷积模块对目标特征的学习，降低分割网络对关键兴趣区域的探测敏感性。基于此，本发明引入一个注意引导的卷积模块，针对性地处理跳跃链接传递的图像信息，以凸显潜在的重要区域，降低无法背景对分割的影响；

(3)循环跳跃的深度学习网络：将跳跃链接和注意卷积模块整合到BiO-Net分割网络中，从而构建一个循环跳跃的深度学习网络,该网络在一定程度上缓解了BiO-Net存在的不足，能够更加准确的执行图像的分割。为验证拟设计网络的性能，采用温州医科大学附属眼视光医院收集的角膜OCT图像和公开的彩色眼底图像进行分割实验，将实验结果与现有分割网络的性能进行对比评估。该网络包含三种不同的跳跃链接,分别为前向跳跃链接、反向跳跃链接、以及反向短跳跃链接和三种不同的卷积模块,分别为编码卷积模块、解码卷积模块、以及注意引导卷积模块，其中，跳跃链接主要用于不同层次不同位置上各种卷积特征的传递，实现编码卷积模块和解码卷积模块以及二者之间特征信息的循环使用，确保这些模块能够探测到所需的目标特征，缓解多次图像下采样导致的信息丢失问题。编码和解码卷积模块具有十分相似的组成结构，主要用于整合各种不同的卷积特征并从中提取更深层次的图像信息。编码和解码卷积模块由两个基于图像通道的串联操作和两个相同卷积层构成。

所述的步骤(3)中编码和解码卷积模块中的两个相同卷积层的每个卷积层包含三个基本的操作单元，即一个3×3的卷积运算，一个批样本正则化运算和一个线性修正激活运算，即卷积层可表示为Conv3×3→BN→ReLU。

所述的步骤(3)中注意引导的卷积模块由三个卷积窗为1×1的卷积层构成，用于处理跳跃链接传递的卷积特征，降低这些特征中的冗余信息。

所述的步骤(2)中注意引导卷积模块的设计如下：

使用三个卷积窗为1×1的卷积层对跳跃链接传递的特征信息进行处理，第一和第三个卷积层具有完全相同的组成结构，即Conv1×1→BN→ReLU，其主要作用是获取所需的图像维度，使不同卷积特征可以进行基于像素的算术运算；第二个卷积层的结构为Conv1×1→BN→Sigmoid，其中Sigmoid为不同于ReLU的激活函数，其次，使用基于像素的乘法和加法运算对处理后的卷积特征及其原始版本进行整合，在基本保持原始特征不变的条件下，凸显某些关键的兴趣区域，特征整合过程可表示为：

X

其中，X

本发明的有益效果是：本发明提供一种循环跳跃的深度学习网络，分别设计了一种反向短跳跃链接和一个注意引导的卷积模块；前者用于串联每个卷积模块(主要为编码和解码卷积模块)的输入和输出特征，使不同类型的卷积特征能够多样化的聚合，从而确保卷积模块可以循环渐进地探测最重要最相关的图像特征，实现快速准确的目标分割；后者用于改善分割网络对潜在目标区域的探测敏感性，提升这些重要区域的作用权重，降低无关背景的影响，上述两个引入结构整合到BiO-Net网络中，可构建一个循环跳跃的深度学习网络，利用该网络可实现图像中多个目标区域的同时准确提取。本发明能够有效提取图像中的不同兴趣目标，具有优于U-Net、AU-Net以及BiO-Net等现有网络的分割性能。

附图说明

图1是本发明的流程图；

图2是本发明中拟设计的一种循环跳跃的深度学习网络，该网络由三种卷积模块(即编码卷积模块、解码卷积模块、注意引导卷积模块)和三种跳跃链接(即前向跳跃链接、反向跳跃链接、反向短跳跃链接)构成。

图3是本发明使用的两种实验数据及其对应的手工标注，其中OCT图像对应的标注分别为角膜中心区域内的上皮细胞层(epithelium layer)、鲍曼层(Bowman’s layer)以及基质层(stroma layer)，彩色眼底图像对应标注分别为视盘(optic disc,OD)和视杯(optic cup,OC)区域。

图4是本发明针对角膜OCT图像进行分割后的结果，第1-2列分别为待分割的原始图像及其对应的手工标注结果，第3-6列分别为U-Net、AU-Net、BiO-Net、以及拟设计网络对应的分割结果。

图5是本发明针对彩色眼底图像进行分割后的结果，第1-2列分别为待分割的原始图像及其对应的手工标注结果，第3-6列分别为U-Net、AU-Net、BiO-Net、以及拟设计网络对应的分割结果。

具体实施方式

下面结合附图对一种循环跳跃的深度学习网络及应用做进一步描述；

参考图1，本发明一种循环跳跃的深度学习网络及应用，包括如下步骤：

步骤1，分析现有分割网络(如U-Net和BiO-Net)中跳跃链接的作用及其存在的不足，然后针对性地设计合适的跳跃链接和卷积模块，缓解图像信息的丢失，改善网络的分割性能。具体地，现有分割网络主要使用前向和反向跳跃链接在编码与解码卷积模块之间进行特征信息的传递，然而这些跳跃链接只能将具有相同图像维度的单一种类特征传递给指定的卷积模块，从而限制了图像信息的多样化整合，导致难以重建丢失的大量信息。为此，本发明受反向跳跃链接的启发，将每个卷积模块的输入输出特征串联起来并将串联结果作为卷积模块的输入特征，从而构建一种新的反向短跳跃链接，使卷积模块能够循环学习所需的各种特征信息。

步骤2，注意引导卷积模块的设计

除上述不足外，跳跃链接还会导致大量冗余信息的重复出现，降低卷积模块对重要特征的探测敏感性，严重干扰分割网络对兴趣目标的提取。为降低无关背景的影响，本发明引入一个注意引导的卷积模块，针对性地处理跳跃链接传递的特征信息，缓解大量无关背景对图像分割的干扰，提升分割网络的目标探测准确性。

步骤3，循环跳跃的深度学习网络

将上述设计的反向短跳跃链接和注意引导的卷积摸引入到BiO-Net网络中，可得到本发明对应的循环跳跃分割网络。该网络在保持BiO-Net网络主体结构不变的条件下，将每个卷积模块(主要为编码和解码卷积模块)的输入输出信息串联起来作为新的输入信息，实现卷积特征的循环利用，然后用注意引导卷积模块处理所有跳跃链接传递的图像信息，最后将具有相同图像维度的相关信息串联起来，实现多层次特征的灵活聚合，利于图像的准确分割。

1、仿真条件：

本发明在Windows 10 64bit Intel(R)Xeon(R)Gold 5120CPU@2.20GHz 2.19GHzRAM 64GB和Windows 10 64bit Intel(R)Core(TM)i9-10920X CPU@3.50GHz 3.50GHz RAM32GB两种平台上的Keras深度学习软件上进行分割实验，实验数据为温州医科大学附属眼视光医院收集并手工标注的角膜OCT图像和公开的彩色眼底图像数据(REFUGE)。

2、仿真内容与结果

仿真实验分别使用角膜OCT图像和彩色眼底图像对拟设计的循环跳跃深度学习网络进行训练和独立验证，评估算法的可行性和有效性，然后与现有的U-Net、AU-Net以及BiO-Net三种分割网络进行性能比较，实验结果如图4和5：

图4中，第1-2列分别为待分割的原始图像及其对应的手工标注结果，第3-6列分别为U-Net、AU-Net、BiO-Net、以及拟设计网络对应的分割结果。从实验结果可以看出，拟设计网络比其他分割网络具有更好的分割精度，能有效排除无关的背景信息。

图5中，第1-2列分别为待分割的原始图像及其对应的手工标注结果，第3-6列分别为U-Net、AU-Net、BiO-Net、以及拟设计网络对应的分割结果。根据实验结果可以看出，拟设计的分割网络能够同时准确地提取两个不同的图像区域，并且在提取相对较小的目标时比现有网络具有更好的分割性能。

对比四种分割网络的实验结果可以发现：拟设计的分割网络能够同时准确探测不同大小和形状的兴趣目标，其综合分割性能优于其他几种分割网络。

在本发明的描述中，需要说明的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

各位技术人员须知：虽然本发明已按照上述具体实施方式做了描述，但是本发明的发明思想并不仅限于此发明，任何运用本发明思想的改装，都将纳入本专利专利权保护范围内。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。