基于专注误分割区域的交互式图像分割方法和系统

摘要

本发明提供一种基于专注误分割区域的交互式图像分割方法和系统，对输入图像的初始分割进行前景和背景的抠图处理，得到前景和背景抠图图像；对输入图像以及欠分割和过分割指示点，生成欠分割和过分割测地距离指引图；根据输入图像、初始分割图像、欠分割以及过分割测地距离指引图，提取全图图像特征；根据背景和前景抠图图像以及欠分割和过分割指示点，提取欠分割和过分割区域特征；将欠分割和过分割区域特征以及全图图像特征进行特征融合，得到修正后的分割图像。本发明结合先验知识和神经网络本身的学习能力，提升对于图像分割的准确率和可解释性，并且作为获取分割数据标注的手段，使标注仅经过几次点击交互就能完成，避免逐像素点标注。

说明书

技术领域

本发明涉及一种计算机视觉和图像处理领域的方法，具体地，涉及一种基于专注误分割区域的交互式图像分割方法和系统。

背景技术

近年来，随着计算机视觉技术的迅速发展，语义分割任务作为视觉任务中的一个重要分支，越来越受到广泛研究。其中图像分割是计算机辅助诊断和外科手术计划等的重要组成部分。专家手工分割可以保证标注质量，但繁琐耗时。自动分割如U型网络已经取得了显著的进展，但在准确性和性能鲁棒性方面仍然不够好，不能用于临床应用。交互式分割以一种交互式的方式利用用户的知识来克服手工和自动方法所面临的挑战，利用少量所需人力得到良好的分割鲁棒性。

现有的交互式分割方法主要先使用自动分割网络分割出一个初始结果，而后将初始分割结果反馈给医生。医生根据初始分割给予一定的点击，涂抹或者范围框，表示在初始分割中所点击或者圈定的范围里有错误分割。交互式分割就是根据医生所给提示信息来改善初始分割得到令医生满意的结果。其中，基于深度学习的交互式分割有两个关键问题：(1)如何从医生的交互中有效地获取和表达交互式提示信息，这通常被称为“提示图生成”；(2)如何设计一个合适的网络来有效地利用这些交互式提示图来改善初始分割，同时具有更少的交互和更快的响应。

目前基于深度学习的交互式图像分割方法一般将医生给定的点击信息转换成距离图，例如欧氏距离图、高斯距离图或者测地距离图。然后将输入图像、初始分割、距离图拼接到一起，然后直接输入深度卷积神经网络得到改善后的分割。这样的作法主要有两个缺点，一是对于欧式距离图或者高斯距离图对于图中每个方向都相同的对待，没有考虑输入原图的信息，与之相反测地距离图能够反映一部分原图的信息做到更有针对性的指引；二是直接将所有已知信息进行拼接然后由网络学习整体分割没有关注到交互式分割问题的本质。交互式分割问题的本质是对初始分割中分错的地方进行改进，因此网络更应该注意到这些难以分割的区域，即更多网络参数应当为错误分割区域服务。因此如何设计网络更多更好地提取出错误分割区域的特征是需要着重考虑得问题。同时如何设计前端的输入图像使数据特征更容易地被观察也是在设计中需要解决的问题。

经过检索发现：公开号为CN108765426A，公开日为2018年11月6日的中国发明专利申请《自动图像分割方法及装置》，公开了：包括以下步骤：A、基于图论方法进行图像像素划分，由此将图像分割为不同区域；B、对图像分割的区域进行欠分割检测，修正图像分割区域；C、分析欠分割检测后的图像分割区域两两之间的近似度，如果足够近似则进行图像分割区域的合并。通过本发明的自动图像分割方法及装置，能够实现快速、准确、可靠的图像区域分割，并使分割结果更加接近人的视觉效果。该技术仍然存在以下问题：

1、该方法基于像素灰度值的相似性来决定判断像素点是否为同一类，但实际上误分割和正确分割区域往往存在一定的像素差异，即大的类内距离，所以仅根据像素灰度值来判断是否为同一类是不准确的；；

2、该方法基于传统图像分割算法，性能较深度学习分割方法差。

经过检索发现：公开号为CN110910396A，公开日为：2020年3月24日的中国发明专利申请《一种用于优化图像分割结果的方法和装置》，公开了：包括：若图像分割结果中的相邻两个分割区域之间存在不明显边界，确定所述两个分割区域中的欠分割区域和过分割区域；对所述欠分割区域和所述过分割区域进行像素值分布统计，并根据统计结果确定转化区间；将所述过分割区域中满足所述转化区间的像素转换到所述欠分割区域中。根据本申请的方案，能够将误分割至过分割区域的像素转换到欠分割区域中，解决了相邻的两个分割区域之间存在不明显边界的技术问题，能够达到很好的优化效果，使得优化后输出的图像能够准确地呈现原始输入中的各项信息，从而便于基于图像分割结果进行后续的分析处理，提高分析处理结果的准确性。该技术仍然存在以下问题：

1、该方法基于误分割区域像素灰度值的统计分布来决定判断像素点是哪一类，但实际上误分割和正确分割区域往往存在一定的像素差异，即大的类内距离，所以仅根据像素灰度值的分布来判断是否为同一类是不准确的；

2、该方法基于传统图像分割算法，性能较深度学习分割方法差。

因此，现有技术中的图像分割方法仍然存在精度较差等问题，目前没有发现同本发明类似技术的说明或报道，也尚未收集到国内外类似的资料。

发明内容

本发明针对现有技术中存在的上述不足，提供了一种基于专注误分割区域的交互式图像分割方法和系统。

根据本发明的一个方面，提供了一种基于专注误分割区域的交互式图像分割方法，包括：

对输入图像进行初始分割，得到初始分割图像，并根据初始分割图像进行前景和背景的抠图处理，分别得到前景抠图图像和背景抠图图像；

针对所述初始分割图像提供误分割区域指示点，得到欠分割和过分割指示点；

根据输入图像以及欠分割和过分割指示点，分别生成欠分割测地距离指引图和过分割测地距离指引图；

根据输入图像、所述初始分割图像、所述欠分割测地距离指引图以及所述过分割测地距离指引图，对全图图像特征进行提取；

根据所述背景抠图图像及欠分割指示点，对误分割区域中的欠分割区域特征进行提取；

根据所述前景抠图图像及过分割指示点，对误分割区域中的过分割区域特征进行提取；

将所述欠分割区域特征、所述过分割区域特征以及所述全图图像特征进行特征融合，得到修正后的分割图像，完成图像分割。

优选地，所述根据初始分割图像进行前景和背景的抠图处理，分别得到前景抠图图像和背景抠图图像，包括：

根据初始分割图像，将输入图像分为初始分割前景和初始分割背景，然后通过直方图均衡调整对比度，得到前景抠图图像和背景抠图图像。

优选地，所述根据输入图像以及欠分割和过分割指示点，分别生成欠分割测地距离指引图和过分割测地距离指引图，包括：

测地距离指引图D

其中，I表示输入图像，j表示交互点位置，i表示图像I中的像素点位置，P

优选地，所述根据输入图像、所述初始分割图像、所述欠分割测地距离指引图以及所述过分割测地距离指引图，对全图图像特征进行提取，包括：

采用全图图像特征提取网络，将输入图像、所述初始分割图像、所述欠分割测地距离指引图以及所述过分割测地距离指引图一起作为所述全图图像特征提取网络的输入，提取网络各层的全图图像特征来改善初始分割图像进而提高分割结果的精度；其中：

所述全图图像特征提取网络包括若干层卷积层和最大池化层，所述全图图像特征提取网络对应的目标函数为：

其中，L

优选地，所述根据所述背景抠图图像及欠分割指示点，对欠分割区域特征进行提取，包括：

采用欠分割区域特征提取网络，以所述背景抠图图像和欠分割指示点作为输入，使用欠分割区域金标准进行监督，提取所述背景抠图图像中欠分割区域的特征；其中：

所述欠分割区域特征提取网络包括若干层卷积层和最大池化层，所述欠分割区域特征提取网络对应的目标函数为：

其中，L

优选地，所述根据所述前景抠图图像及过分割指示点，对过分割区域特征进行提取，包括：

采用分割区域特征提取网络，以所述前景抠图图像和过分割指示点作为输入，使用过分割区域金标准进行监督，提取所述前景抠图图像中过分割区域的特征；其中：

所述过分割区域特征提取网络包括若干层卷积层和最大池化层，所述过分割区域特征提取网络的目标函数为：

其中，L

优选地，所述将所述提取的欠分割区域特征、所述过分割区域特征以及所述全图图像特征进行特征融合，得到修正后的分割图像，完成图像分割，包括：

采用全图特征提取步骤中所述的深度卷积神经网络以及注意力融合机制，对特征进行融合：

f

其中，f

优选地，所述注意力融合机制包括：基于误分割区域的注意力机制和保留误分割特征融合机制；其中：

所述基于误分割区域的注意力机制，包括：

将所述欠分割区域特征或所述过分割区域特征经过卷积层得到加权特征图，同时将所述全图图像特征经过卷积层得到中间特征图，通过逐像素点相乘的注意力加权方式，对得到的加权特征图和中间特征图进行融合，得到包含有错误区域信息的全图特征，最后将包含有错误区域信息的全图特征与所述全图图像特征相加实现特征融合；

所述保留误分割特征融合机制，包括：

将所述欠分割区域特征和所述过分割区域特征进行合并，直接拼接到所述全图图像特征上，并通过下一层卷积层进行特征筛选及判断。

根据本发明的另一个方面，提供了一种基于专注误分割区域的交互式图像分割系统，包括：

初始分割模块：该模块对输入图像进行初始分割，得到初始分割图像，并根据初始分割图像进行前景和背景的抠图处理，分别得到前景抠图图像和背景抠图图像；

指示点生成模块：该模块针对所述初始分割图像提供误分割区域指示点，得到欠分割和过分割指示点；

测地距离指引图生成模块：该模块根据输入图像以及欠分割和过分割指示点，分别生成欠分割测地距离指引图和过分割测地距离指引图；

全图图像特征提取模块：该模块根据输入图像、所述初始分割图像、所述欠分割测地距离指引图以及所述过分割测地距离指引图，对全图图像特征进行提取；

欠分割区域特征提取模块：该模块根据所述背景抠图图像及欠分割指示点，对欠分割区域特征进行提取；

过分割区域特征提取模块：该模块根据所述前景抠图图像及过分割指示点，对过分割区域特征进行提取；

特征融合模块：该模块将所述欠分割区域特征、所述过分割区域特征以及所述全图图像特征进行特征融合，得到修正后的分割图像，完成图像分割。

根据本发明的第三个方面，提供了一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时可用于执行上述任一项所述的方法。

根据本发明的第四个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可用于执行上述任一项所述的方法。

由于采用了上述技术方案，本发明与现有技术相比，具有如下至少一项的有益效果：

本发明提供的基于专注误分割区域的交互式图像分割方法和系统，通过融合全图特征和误分割区域特征，使网络更加注重对误分割区域特征的关注，进而使最后的分割结果得到提升。经过与国际顶尖方法对比，对比仅一次交互取得的分割性能提升、对比多次交互每次交互得到的分割性能提升、对比交互及运算时间，本发明都取得了较大的提升。同时使用t-SNE做结果分析，结果显示本发明所提供的方法和系统在错误分割区域像素特征的聚类上要远远好于其他方法。

本发明提供的基于专注误分割区域的交互式图像分割方法和系统，还提出了使用抠图及直方图均衡技术对网络前端输入图像做处理，从原理上看本发明的处理方法实现了忽略较大类内距离、增大较小类间距离的效果，从输入数据层面构建对于网络友好型数据，从而使误分割区域提取网络便于提取优质特征。

本发明提供的基于专注误分割区域的交互式图像分割方法和系统，首先通过对误分割区域特征的着重提取和利用，在提取全图图像特征的基础上，对其中错误区域的细节特征进行增添以及权重增强，使其整体的设计更符合改善图像分割的任务。其次，为了使深度卷积神经网络更容易提取到图像中误分割区域(难以分割区域)的特征，对输入数据进行了抠图和直方图均衡处理，实现了从难分割数据到易分割数据的转换，由此能够更好提取错误区域的细节特征从而帮助改善全图分割。

本发明提供的基于专注误分割区域的交互式图像分割方法和系统，使用根据初始分割的抠图操作来达到忽略过大的类间距离，以此更容易分辨出误分割的区域，同时采用深度卷积神经网络进行多维度特征的提取，以更丰富的特征提取达到更好的分割效果。

本发明提供的基于专注误分割区域的交互式图像分割方法和系统，在深度学习分割方法的基础上引入人工的指引，大大提升分割精度。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明一实施例中基于专注误分割区域的交互式图像分割方法流程图；

图2为本发明一优选实施例中基于专注误分割区域的交互式图像分割方法流程图；

图3为本发明一实施例中基于专注误分割区域的交互式图像分割系统组成模块示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

图1为本发明一实施例中基于专注误分割区域的交互式图像分割方法流程图。

如图1所示，该实施例提供的基于专注误分割区域的交互式图像分割方法，可以包括以下步骤：

S100a，对输入图像进行初始分割，得到精度较差的初始分割图像，并根据初始分割图像进行前景和背景的抠图处理，分别得到前景抠图图像和背景抠图图像；

S100b，针对初始分割图像提供误分割区域指示点，得到欠分割和过分割指示点，以便于指引修正初始分割，根据输入图像以及欠分割和过分割指示点，分别生成欠分割测地距离指引图和过分割测地距离指引图；

S200a，根据输入图像、初始分割图像、欠分割测地距离指引图以及过分割测地距离指引图，对全图图像特征进行提取；

S200b，根据背景抠图图像及欠分割指示点，对欠分割区域特征进行提取；

S200c，根据前景抠图图像及过分割指示点，对过分割区域特征进行提取；

S300，将欠分割区域特征、过分割区域特征以及全图图像特征进行特征融合，得到修正后的分割图像，完成图像分割。

在该实施例的S100a中，根据初始分割图像进行前景和背景的抠图处理，分别得到前景抠图图像和背景抠图图像，可以包括：

根据精度较差的初始分割图像，将输入图像分为初始分割前景和初始分割背景，然后通过直方图均衡调整对比度，得到前景抠图图像和背景抠图图像，能够忽略大的类内距离，增大小的类间距离，有效解决同类像素点灰度差异过大，而不同类像素点灰度相似的问题。

在一具体应用实例中，大的类内距离是指：医疗CT图像肿瘤分割中，同一个肿瘤中会显示出不同的底层特征，例如像素灰度值或者纹理差异大的情况具体差异阈值可根据实际情况进行设置；小的类间距离是指：肿瘤的边界和周围的肌肉组织等像素灰度值相近，具体阈值可根据实际情况进行设置。

在该实施例的S100b中的一具体应用实例中，将输入图像的初始分割图像反馈给交互人员，由交互人员提供误分割区域指示点，即为欠分割和过分割指示点。

在该实施例的S100b中，根据输入图像以及欠分割和过分割指示点，分别生成欠分割测地距离指引图和过分割测地距离指引图，可以包括：

测地距离指引图D

其中，I表示输入图像，j表示交互点位置，i表示图像I中的像素点位置，P

在该实施例的S200a中，根据输入图像、初始分割图像、欠分割测地距离指引图以及过分割测地距离指引图，对全图图像特征进行提取，可以包括：

可以采用全图图像特征提取网络，将输入图像、初始分割图像、欠分割测地距离指引图以及过分割测地距离指引图一起作为全图图像特征提取网络的输入，提取网络各层的全图图像特征来改善初始分割图像得到高精度的分割结果；其中：

在一具体应用实例中，全图图像特征提取网络可以包括若干层卷积层和最大池化层，全图图像特征提取网络对应的目标函数可以为：

其中，L

在该实施例的S200b中，根据背景抠图图像及欠分割指示点，对欠分割区域特征进行提取，可以包括：

可以采用欠分割区域特征提取网络，以背景抠图图像和欠分割指示点作为输入，使用欠分割区域金标准进行监督，提取背景抠图图像中欠分割区域的特征。

在一具体应用实例中，欠分割区域特征提取网络可以包括若干层卷积层和最大池化层，欠分割区域特征提取网络对应的目标函数可以为：

其中，L

在该实施例的S200c中，根据前景抠图图像及过分割指示点，对过分割区域特征进行提取，可以包括：

可以采用分割区域特征提取网络，以前景抠图图像和过分割指示点作为输入，使用过分割区域金标准进行监督，提取前景抠图图像中过分割区域的特征。

在一具体应用实例中，过分割区域特征提取网络可以包括若干层卷积层和最大池化层，过分割区域特征提取网络的目标函数可以为：

其中，L

在该实施例的S300中，将提取的欠分割区域特征、过分割区域特征以及全图图像特征进行特征融合，得到修正后的分割图像，完成图像分割，可以包括：

采用全图特征提取步骤中的深度卷积神经网络以及注意力融合机制，对特征进行融合：

f

其中，f

在一具体应用实例中，注意力融合机制可以包括：基于误分割区域的注意力机制和保留误分割特征融合机制。

进一步地，基于误分割区域的注意力机制，可以包括：

将欠分割区域特征或过分割区域特征经过卷积层得到加权特征图，同时将全图图像特征经过卷积层得到中间特征图，通过逐像素点相乘的注意力加权方式，对得到的加权特征图和中间特征图进行融合，得到包含有错误区域信息的全图特征，最后将包含有错误区域信息的全图特征与全图图像特征相加实现特征融合。

进一步地，保留误分割特征融合机制，可以包括：

将欠分割区域特征和过分割区域特征进行合并，直接拼接到全图图像特征上，并通过下一层卷积层进行特征筛选及判断。

图2为本发明一优选实施例中基于专注误分割区域的交互式图像分割方法流程图。

如图2所示，该优选实施例可以包括如下步骤：

抠图及直方图处理步骤：对输入图像进行初始分割，根据初始分割图进行前景和背景的抠图处理，对抠图后的图片进行直方图均衡步骤，最后得到前景抠图图像和背景抠图图像；

测地距离指引图生成步骤：针对初始分割图像提供误分割区域指示点，即得到欠分割和过分割指示点，以便于指引修正初始分割，根据输入图像以及欠分割和过分割指示点生成欠分割和过分割测地距离指引图；

全图特征提取步骤：对输入图像、初始分割图、欠分割测地距离指引图、过分割测地距离指引图，使用深度卷积神经网络进行提取图像的特征，并通过融合误分割区域特征来提高分割精度；

欠分割区域特征提取步骤：对背景抠图图像及欠分割指示点，使用深度卷积神经网络进行欠分割区域特征(细节信息)的提取；

过分割区域特征提取步骤：对前景抠图图像及过分割指示点，使用深度卷积神经网络进行过分割区域特征(细节信息)的提取；

特征融合步骤：将神经网络提取的欠分割区域特征及过分割区域特征传输到全图特征提取网络中，并对全图图像特征采用基于误分割区域的注意力融合机制进行特征融合，使全图特征提取网络的特征更关注误分割区域，进而得到更高精度的分割结果；

作为一优选实施例，抠图及直方图处理步骤，其中：对输入图像，根据初始分割图像进行前景和背景的抠图处理，对抠图后的图片进行直方图均衡步骤，最后得到便于分割的前景抠图图像和背景抠图图像。

作为一优选实施例，测地距离指引图生成步骤，其中：根据输入图像以及欠分割和过分割指示点生成欠分割和过分割测地距离指引图，因为测地距离指引图的特征考虑到了输入图像，所以能够在指引特征中更加全面反映输入图像中像素点与指示点的关系。

作为一优选实施例，全图特征提取步骤，其中：特征提取网络由若干层卷积和最大池化操作构成。利用该特征提取网络，将输入图像、初始分割图像、欠分割测地距离图、过分割测地距离图输入全图特征提取网络，以全监督的方式训练网络，最后得到改善后的分割图；

作为一优选实施例，欠分割区域特征提取步骤，其中：以背景抠图及欠分割指示点为输入，以全监督的方式，使用深度卷积神经网络进行欠分割区域细节信息的提取；

作为一优选实施例，过分割区域特征提取步骤，其中：以前景抠图及过分割指示点为输入，以全监督的方式，使用深度卷积神经网络进行过分割区域细节信息的提取；

作为一优选实施例，特征融合步骤，其中：将通过卷积神经网络提取的欠分割区域细节特征及过分割区域细节特征传输到全图特征提取网络中，并对全图特征信息采用基于误分割区域的注意力机制进行特征筛选。

在本发明部分实施例中，抠图及直方图处理步骤，其中：对输入图像，根据初始分割进行前景和背景的抠图处理，对抠图后的图片进行直方图均衡步骤，最后得到前景抠图图像和背景抠图图像。抠图操作依赖于输入图像和初始分割，根据初始分割将输入图像分为前景和背景，而后通过直方图均衡调整对比度，达到忽略大的类内距离，增大小的类间距离的效果。

在本发明部分实施例中，测地距离指引图生成步骤，其中：根据输入图像以及欠分割和过分割指示点生成欠分割和过分割测地距离指引图，根据公式：

其中，I表示输入图像，j表示交互点位置，i表示图像I中的像素点位置，P

在本发明部分实施例中，全图特征提取步骤，其中：对输入图像、初始分割、欠分割测地距离指引图、过分割测地距离指引图，使用深度卷积神经网络进行提取图像的特征，并承担主要和特征筛选和图像分割任务。特征提取网络由若干层卷积和最大池化操作构成，医疗图像当中一般采用U型网络由编码器和解码器部分构成。利用该特征提取网络，将输入图像、初始分割图像、欠分割测地距离图、过分割测地距离图输入全图特征提取网络，提取网络各层的全图分割特征以及得到改善后的分割；

对应的目标(优化)函数如下：

其中，L

在本发明部分实施例中，欠分割区域特征提取步骤，其中：对背景抠图及欠分割指示点，使用深度卷积神经网络进行欠分割区域细节信息的提取。特征提取网络由若干层卷积和最大池化操作构成，医疗图像当中一般采用U型网络由编码器和解码器部分构成。利用该特征提取网络，以背景抠图和欠分割指示点作为输入，使用欠分割区域金标准进行监督，提取背景抠图中欠分割区域的细节特征，目标(优化)函数如下：

其中，L

在本发明部分实施例中，过分割区域特征提取步骤，其中：对前景抠图及过分割指示点，使用深度卷积神经网络进行过分割区域细节信息的提取，特征提取网络由若干层卷积和最大池化操作构成,医疗图像当中一般采用U型网络由编码器和解码器部分构成。利用该特征提取网络，以前景抠图和过分割指示点作为输入，使用过分割区域金标准进行监督，提取前景抠图中过分割区域的细节特征，目标(优化)函数如下：

其中，L

在本发明部分实施例中，特征融合步骤，其中：将神经网络提取的欠分割区域细节特征及过分割区域细节特征传输到全图特征提取网络中，并对全图特征信息采用基于误分割区域的注意力融合机制进行特征筛选。主要包括两种融合方法：基于误分割区域的注意力机制、保留误分割特征融合机制。具体实现公式如下：

f

其中，f

本发明另一实施例提供了一种基于专注误分割区域的交互式图像分割系统，如图3所示，可以包括：初始分割模块、测地距离指引图生成模块、全图图像特征提取模块、欠分割区域特征提取模块、过分割区域特征提取模块和特征融合模块。其中：

初始分割模块：对输入图像进行初始分割，得到初始分割图像，并根据初始分割图像进行前景和背景的抠图处理，分别得到前景抠图图像和背景抠图图像；

指示点生成模块：针对初始分割图像提供误分割区域指示点，即得到欠分割和过分割指示点，以便于指引修正初始分割；

测地距离指引图生成模块：根据输入图像以及欠分割和过分割指示点，分别生成欠分割测地距离指引图和过分割测地距离指引图；

全图图像特征提取模块：根据输入图像、初始分割图像、欠分割测地距离指引图以及过分割测地距离指引图，对全图图像特征进行提取；

欠分割区域特征提取模块：根据背景抠图图像及欠分割指示点，对欠分割区域特征进行提取；

过分割区域特征提取模块：根据前景抠图图像及过分割指示点，对过分割区域特征进行提取；

特征融合模块：将欠分割区域特征、过分割区域特征以及全图图像特征进行特征融合，得到修正后的分割图像，完成图像分割。

该实施例提供的基于专注误分割区域的交互式图像分割系统，可以用来执行本发明上述实施例中提供的基于专注误分割区域的交互式图像分割方法。

本发明上述实施例提供的基于专注误分割区域的交互式图像分割方法和系统，可以进行端到端的训练；具体地：以图像分割标注(分割准则)对全图图像特征提取模块进行全监督训练。根据图像分割标注始分割图像能得到欠分割区域分割标注和过分割区域分割标注，用来对欠分割区域特征提取模块和过分割区域特征提取模块进行全监督训练。最终的目标优化函数为三个提取模块的目标优化函数之和，同时对全图图像特征提取模块、欠分割区域特征提取模块和过分割区域特征提取模块进行全监督训练。

根据本发明的第三个方面，提供了一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时可用于执行本发明上述实施例中任一项的方法。

可选地，存储器，用于存储程序；存储器，可以包括易失性存储器(英文：volatilememory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)，如静态随机存取存储器(英文：static random-access memory，缩写：SRAM)，双倍数据率同步动态随机存取存储器(英文：Double Data Rate Synchronous Dynamic Random Access Memory，缩写：DDR SDRAM)等；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)。存储器用于存储计算机程序(如实现上述方法的应用程序、功能模块等)、计算机指令等，上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器中。并且上述的计算机程序、计算机指令、数据等可以被处理器调用。

上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器中。并且上述的计算机程序、计算机指令、数据等可以被处理器调用。

处理器，用于执行存储器存储的计算机程序，以实现上述实施例涉及的方法中的各个步骤。具体可以参见前面方法实施例中的相关描述。

处理器和存储器可以是独立结构，也可以是集成在一起的集成结构。当处理器和存储器是独立结构时，存储器、处理器可以通过总线耦合连接。

根据本发明的第四个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可用于执行本发明上述实施例中任一项的方法。

本发明上述实施例提供的基于专注误分割区域的交互式图像分割方法和系统，在误分割区域信息提取及融合功能部分：根据输入图像、初始分割以及医生交互信息(欠分割区域指示点击，过分割区域指示点击)，使用深度卷积神经主网络提取整幅图像的细节信息，并通过两只分支网络提取欠分割区域特征以及过分割区域特征，以此达到更为完备的特征提取，提升分割性能。在抠图及直方图处理的初始分割功能部分：基于误分割图像的区域特性——类内距离大，类间距离小，提出了采用抠图方式将分割问题分成两个分割子问题忽略类内距离大来简化优化目标，同时采用直方图均衡的手段来增大图像的对比度以增大类间距离，通过这种形式的前端输入数据处理，利于网络提取特征。全图图像特征提取功能部分：对输入图像、初始分割、欠分割测地距离指引图、过分割测地距离指引图，使用深度卷积神经网络进行提取图像的特征，并承担主要和特征筛选和图像分割任务。欠分割区域特征提取功能部分：对背景抠图及欠分割指示点，使用深度卷积神经网络进行欠分割区域细节信息的提取。过分割区域特征提取功能部分：对前景抠图及过分割指示点，使用深度卷积神经网络进行过分割区域细节信息的提取。特征融合功能部分：由主分割网络和误分割分支网络分别提取出全图图像特征和误分割区域特征，通过注意力机制使用乘性运算和保留特征操作进行特征的加权，最后使主体分割网络更加关注误分割区域的改善，达到更优质的分割结果。

本发明上述实施例提供的基于专注误分割区域的交互式图像分割方法和系统，能够有效结合先验知识(例如医生的先验知识)和神经网络本身的学习能力，提升方法和系统对于图像分割的准确率和可解释性，并且可以作为获取分割数据标注的手段，使标注仅经过几次点击交互就能完成，避免逐像素点标注。

本发明上述实施例提供的基于专注误分割区域的交互式图像分割方法和系统，通过在对全图图像特征进行误分割区域特征的补充，使其整体网络更关注于误分割难分割区域，由此对最后的结果进行更好改善。此外，为了更好提取到误分割区域的特征，对网络前端的图像输入进行了抠图和直方图均衡的操作，达到忽略大的类内距离，增大小的类间距离的效果，是输入数据更容易被提取特征。最后，通过注意力加权及保存特征的方式将误分割区域的特征和全图图像特征进行融合，从而实现更好进行特征筛选和最后改善分割的目的。

实施本发明的任一产品并不一定需要同时达到以上的所有优点。

需要说明的是，本发明提供的方法中的步骤，可以利用系统中对应的模块、装置、单元等予以实现，本领域技术人员可以参照系统的技术方案实现方法的步骤流程，即，系统中的实施例可理解为实现方法的优选例，在此不予赘述。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。