基于可解释性病变植入的糖尿病性视网膜病变检测方法

摘要

本发明涉及基于可解释性病变植入的糖尿病性视网膜病变检测方法，基于可解释性病变植入的糖尿病性视网膜病变检测方法：首先获取相关IDRID的数据集，对数据集进行预处理，裁剪为512x512的尺寸，使用UNet改进结构同时引入高斯函数和opencv库，提取出病变的信息，得到存取病变信息的病理描述符，然后使用Encoder‑Decoder+Transformer+CodeBook结构生成含有病变的高分辨率视网膜血管图，再基于Pix2PixHD模型实现风格迁移，生成最终的糖尿病视网膜图，最后将增强的数据集在分类器中进行训练和测试。

说明书

技术领域：

本发明涉及糖尿病视网膜领域，尤其涉及基于可解释性病变植入的糖尿病 性视网膜病变检测方法。

背景技术：

目前，糖尿病视网膜病变诊断检测的研究领域已经有了很多重要发现，国 外基于全局图像的糖尿病视网膜分类针对全图的整体特征信息来设计不同的特 征提取方法进行分类，不需要针对单一的病灶特征信息进行特定的检测方法， 避免复杂的特征提取工作。2014年Antal提出了一种基于整体的糖尿病视网膜 病变筛查方法，该方法是基于从几种视网膜图像处理算法的输出中提取的特征， 例如图像级别(质量评估，预筛查，AM/FM)，病变特定(微动脉瘤，渗出液) 和解剖结构(黄斑，视盘)，然后由一组机器学习分类器做出有关疾病存在的 最终判断，2016年Pratt提出了一种基于CNN的方法，用于从数字眼底图像 诊断DR并对其严重性进行准确分类，开发了具有CNN特性的体系结构和数 据增强功能的网络，该网络可以识别分类任务中涉及的复杂特征，例如视网膜 上的微动脉瘤，渗出液和出血，因此可以自动进行诊断，而无需用户输入。2019 年Torre等提出了糖尿病性视网膜病深度学习可解释的分类器，一方面，它将 视网膜图像分类为具有可分辨特征的不同严重程度，另一方面，该分类器能够 通过为隐藏和输入空间中的每个点分配分数来解释分类结果。

在我国，已经有很多高等院校进行了糖尿病视网膜分类检测的研究，并且 取得很多成果。2012年，哈尔滨工业大学的陈向在分类阶段，针对分辨硬性渗 出的需求，分析其图像中的特点后对所有待检验区域抽取了44个特征向量，使 用支持向量机(SupportVectorMachine,SVM)进行分类，进而获得最终的分类 器，2017年，人工智能技术得到了社会各界的广泛关注,深度学习日渐成为人 工智能领域的主流学习算法，2017年，北京交通大学的丁蓬莉根据视网膜数据 集的特殊性提出了一系列图像预处理方式，设计了紧凑的神经网络模型— CompactNet，比较了迭代次数和Kappa，可以得出CompactNet网络的微调方 法要优于其他的网络的结论，先对图像数据集进行了数据预处理，使得不同类 别的数量得到均衡，然后在DSN中添加了针对分类的监督信号，使得网络训 练的准确率提高，训练时间也由15天减少至2.5天，同年，深圳大学的熊彪使 用卷积神经网络对视网膜图像进行分类，在进行数据预处理扩增图像后，使用 迁移学习对网络结构进行预训练，最后使用视网膜图像对网络进行训练，2018 年周磊为了实现DR分类提出的一种多阶段注意力模型，这种注意力机制与 CNN相结合提高分类的准确率，此外，使用稠密条件随机场进行图像分割，并 使用多目标的分割算法对病灶进行了分割。

发明内容：

本发明为了克服现有方法的不足和缺点，提出一种基于可解释性的病变多 样性的数据增强，特别是针对目前该领域数据集不平衡的问题，该发明将病变 植的方法和Pix2PixHD风格迁移模型组合，以解决糖尿病视网膜病变诊断检测 数据集分布不均的问题。

基于可解释性病变植入的糖尿病性视网膜病变检测方法，包括如下步骤：

步骤1：获取IDRiD公开的数据集，对无病变的视网膜图片进行分割，得 到血管分割图；

步骤2：基于传统提取病变算法，加入跳跃连接，实现视网膜病变特征提取， 定义病例描述符来存取病变信息；

步骤3：通过Encoder-Decoder+Transformer+序列化(codebook)网络，将病变 植入到无病变的血管图中，生成高分辨率视网膜血管含病变图；

步骤4：基于PixPixHD的模型得到最终含有病变的视网膜图。

步骤1的实现包括：

步骤1.1：获取IDRiD公开的数据，数据集采集了431张视网膜图片，其 中含有病变的一共81张，54张作为训练集，27张作为测试集，同时对每个图 片进行标注了病变等级；

步骤1.2：提取出没有病变的视网膜血管图片；

步骤1.3：对图片进行不失细节的裁剪，裁剪后的分辨率为512x512；

步骤1.4：在视网膜血管分割中，只有9％-14％的像素属于血管，而其他像 素被视为背景像素，Matthews相关系数(MCC)适用于对具有不同大小的两个 类别的二进制分类进行性能测量，因此，MCC值可以帮助找到血管分割算法 的最佳设置，MCC定义为：

其中TP表示真阳性，FP表示假阳性，FN表示假阴性，TN表示真阴性；

最后根据改进版的SA-UNet,进行血管分割。

步骤2的实现包括：

步骤2.1：将含有病变的图片进行裁剪，裁剪后的分辨率为512x512；

步骤2.2：根据o_O team模型进行改进，引入跳跃连接，定位病变的位置 信息，通过定义的病理描述符来存储病变信息；

步骤2.3将病理描述符的提取结果进行可视化。

步骤3的实现包括：

步骤3.1在设计Encoder-Decoder+Transformer+序列化(codebook)的GAN网 络和三个损失函数；

步骤3.2将病理描述符和视网膜血管一起输入到Generator中，生成含有病 变的血管图；

步骤3.3将生成器的结果送到Discriminator，通过Adversarial Loss、Perceptual Loss和Severity Loss进行约束，最终生成我们所需要的图片。

步骤4的实现包括：

步骤4.1基于Pix2PixHD，改进GAN网络结构模型；

步骤4.2利用Kaggle数据集训练网络；

步骤4.3将步骤3所生成的图片作为输入，生成最后的视网膜病变结果图。

附图说明：

图1是本发明的整体流程图；

图2是病变提取的结构图；

图3是GAN网络的结构图。

具体实施方式：

下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、 完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部 的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳 动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明实施的整体流程示意图，如图1所示，该方法包括：

1.糖尿病视网膜病变的提取过程：

该算法对于病变的提取表现出了很好的性能，网络分为DR Detection Net 和Activation Net,同时为了优化网络，我们在各个相似的块上面加入残差连接， 以此保留出更好的病变细节，尤其是非常微小的病变，通过该网络结构可以将 病变进行分割出来，得到的结果称为激活图，后面的工作是采用了高斯函数的 特性，将激活图进行高斯模糊，把病变可现的更加清楚，再进行二值化，把病 变和背景彻底分开方便后面的圈出，具体流程如下：

1)将原始带有病变的图片输入到该网络中，确定病变的位置，将不同的 病变分离开；

2)把每个不同的病变，采用opencv的内置函数，用最小的边界框包围住 病变；

3)确定边界框的上下左右距离；

4)定义病理描述符来保存病变的信息；

5)重复2-4，将所有的病变信息进行保存。

2.引入CodeBook序列化和Transformer生成高分辨率图像：

为了利用Transformer架构进行图像合成，需要以序列的形式表达图像的组 成部分，而不是建立在单个像素的基础上，这种方法需要使用学习表示的离散 码本，这样任何原始的图像都可以表示为rel∈R(h×w×3)，可以由CodeBook 条目的空间集合Z表示Z∈R(h×w×n

再根据公式(3)重建合成图像，用syn≈rel来表示合成的图像和真实图像的相似程度：

syn＝G(Z

通过公式(4)实现损失函数的端到端训练：

L＝(E,G,Z)＝L||rel-syn||

其中:L||rel-syn||

3.使用三个损失函数来约束生成的含有病变的血管图：

1)Adversarial Loss:

对抗损失是最大最小损失函数，从最原始的GAN网络中继承过来，公式如 下：

其中的max指寻找最优的判别器D，min则是在此基础上优化生成器G， 使得G产生的数据分布更接近Pdata，以致于欺骗过D。

在具体的训练过程中，通常是优化判别器K次，才会优化生成器D一次， 这样可以保证判别器D始终处于或接近最优，在训练初期，由于Pg与Pdata相 差太大，D可以很轻松地分辨出数据来自哪个数据集，导致不能够提供足够的 梯度来训练G，将最小化log(1-D(G(Z)))改为最大化log(D(G(Z))，便可以获得 足够的梯度来训练G网络。

2)Perceptual Loss:

感知损失是在感知网络的特征空间中测量的真实图像和合成图像的差别程 度，为了帮助重建病理和生理细节，我们选择预先训练好的VGG-19作为感知 网络的实现，对于特定层λ和VGG特征提取函数

3)Severity Loss:

引入严重度损失是为了使合成图像在医学上等同真实图像，具体而言，我 们将合成图像syn限制为与真实图像rel具有相同的病变等级，通过训练的DR 检测器测量出，其中严重程度损失定义为：

L

4.基于Pix2PixHD模型进行风格迁移训练，生成最终视网膜病变图。

该发明将步骤3所得到的含有病变信息的视网膜血管图作为该部分的输入， 传送到Pix2PixHD,其中Pix2PixHD是在pix2pix的基础上，增加了一个“从糙到 精生成器(coarse-to-fine generator)”，生成器包含G1和G2两个子网络，G1是全 局生成网络，G2是局部增强网络。在训练时，先训练全局生成器G1，然后训 练局部增强器G2，然后整体微调所有网络的参数，判别器使用多尺度判别器， 在三个不同的尺度上进行判别并对结果取平均，判别的三个尺度为：原图的1/2 降采样，原图的1/4降采样，三个鉴别器D1、D2和D3有着相同的网络结构， 但是在不同尺寸的图像上进行训练，通过对高分辨率图像进行两次降低采样， 生成3种大小的图像，然后训练鉴别器D1、D2和D3分别来辨别这3种尺寸图 像的真假。

以上所述仅为本发明的优选实施方式而已，并不用于限制本发明，对于本 领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原 则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围 之内。