一种基于深度学习的圆锥角膜和亚临床圆锥角膜检测系统

摘要

本发明公开了一种基于深度学习的圆锥角膜和亚临床圆锥角膜检测系统，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，所述计算机存储器中存有训练好的检测模型，所述的检测模型为一个多分支结构、多层次融合的端到端的深度学习模型KerNet；所述计算机处理器执行所述计算机程序时实现以下步骤：获取待检测的角膜原始三维数据，输入到检测模型后进行特征提取和分类，最终输出个体所属类别为圆锥角膜、亚临床圆锥角膜或者正常。利用本发明，能够直接对个体角膜原始三维数据进行特征提取，从而能够实现高精度的圆锥角膜、亚临床圆锥角膜检出。

说明书

技术领域

本发明属于医学人工智能领域，尤其是涉及一种基于深度学习的圆锥角膜和亚临床圆锥角膜检测系统。

背景技术

圆锥角膜是一种常见的严重眼科疾病，可能导致不规则散光、角膜水肿甚至视力丧失。对圆锥角膜的早期发现和治疗能够有效降低治疗成本，甚至可以避免患者丧失视力。临床上，圆锥角膜可以根据角膜扩张、中央变薄、呈现锥形等特征来辨别。Pentacam HR是临床上经常使用的有力工具，能够帮助眼科医生检测和发现圆锥角膜。

随着人工智能和深度学习的发展，一些研究者尝试使用智能算法来分析PentacamHR系统中的数据，从而辅助实现圆锥角膜、亚临床圆锥角膜的早期检测。这些方法根据所使用的数据不同主要分为两类：一类方法主要基于Pentacam HR系统中获取的计算过的指标，一类方法主要基于Pentacam HR系统中可视化得到的地形图。

如公开号为CN109036556A的中国专利文献公开了一种基于机器学习诊断圆锥角膜病例的方法，公开号为CN111160431A的中国专利文献公开了一种基于多维特征融合的圆锥角膜识别方法及装置。

然而，只有极少量研究尝试分析Pentacam HR系统中导出的角膜原始三维数据，到目前为止，仍然没有一种能够直接利用Pentacam HR系统中导出的角膜原始三维数据来对圆锥角膜和亚临床圆锥角膜进行检测的方法。

发明内容

本发明提供了一种基于深度学习的圆锥角膜和亚临床圆锥角膜检测系统，能够直接对Pentacam HR系统中获取到的个体角膜原始三维数据进行特征提取，从而能够实现高精度的圆锥角膜、亚临床圆锥角膜检出。

一种基于深度学习的圆锥角膜和亚临床圆锥角膜检测系统，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，所述计算机存储器中存有训练好的检测模型，所述的检测模型为一个多分支结构、多层次融合的端到端的深度学习模型KerNet；

所述计算机处理器执行所述计算机程序时实现以下步骤：获取待检测的角膜原始三维数据，输入到训练好的检测模型后进行特征提取和分类，最终输出个体所属类别为圆锥角膜、亚临床圆锥角膜或者正常。

进一步地，所述深度学习模型KerNet的结构具体为：

以五分支的卷积神经网络作为主干网络，用于接收五通道的原始数据进行特征提取；

采用底层融合和顶层融合两种融合方式，对五通道的原始数据进行特征融合；其中，底层融合过程中使用空间注意力模块对特征图实现特征关注，顶层融合使用通道拼接操作来实现特征融合；

最后，经过全连接层和一个softmax层得到最后的输出。

进一步地，五分支的卷积神经网络中，每个分支网络的基本机构相同，都包含4个基本的卷积操作模块；其中，每个卷积操作模块由两个基本的级联模块构成，每个级联模块中包含两个最基本的二维卷积层操作、一个ReLU和一个BatchNormalization操作。

进一步地，底层融合的具体过程为：

首先通过两个并列的全局平均池化和一个全局最大池化得到压缩后的特征图，经过拼接后通过一个二维卷积层获得注意力权重，这一权重叠加到输入的特征图，实现空间注意力机制（特征关注）；

底层融合过程主要是通过相邻两个分支之间特征图进行叠加，然后作为各个分支的新的输入继续进行后续的特征提取。

进一步地，所述深度学习模型KerNet的训练过程如下：

（1）获取个体的角膜原始三维数据作为样本数据，经过预处理之后，标注标签，标注后的样本数据按比例分成训练集和验证集；

（2）搭建深度学习模型KerNet，对角膜原始三维数据进行特征提取和分类，输入一组训练集，分别经过五分支网络的特征提取、底层融合和顶层融合进行特征融合，输出预测结果：圆锥角膜、亚临床圆锥角膜或者正常；

（3）将输出的预测结果与数据所对应的标签进行对比，运用ACC函数作为当前模型的损失，并回传到模型中，对模型中的参数进行更新，直至模型收敛；

（4）当达到设定的ACC阈值或者达到指定迭代次数时，模型停止更新，训练完毕，输出结果。

训练的步骤（1）中，所述的预处理包括：对于个体的性别、年龄、视力等进行相关性分析等统计学分析，对每种类别个体（圆锥角膜、亚临床圆锥角膜和正常）的每个通道数据进行统计学分析，统计不同半径下各个通道各类样本的均值和方差分布情况，进而利用每个类别个体的每个通道数据的均值和方差对数据进行归一化。

本发明中，个体的角膜原始三维数据通过Pentacam HR系统获取。

Pentacam HR系统包含一个旋转Scheimpflug相机和一个角膜数据分析软件，对患者角膜进行拍摄并进行简单处理，从而获取个体角膜原始三维数据。

个体角膜原始三维数据获取流程为：使用Pentacam HR系统中的旋转Scheimpflug相机对患者进行角膜拍照。拍照后，从Pentacam HR系统批量导出该个体的角膜原始三维数据，共3个CSV文件，包含5个数字矩阵，分别是角膜前表面高度、角膜后表面高度、角膜前表面曲率、角膜后表面曲率和角膜厚度五通道数据，分别记作ELE-F、ELE-B、CUR-F、CUR-B和PAC。

进一步地，模型训练完毕后，还包括：将验证集输入训练好的模型KerNet，得到对应的分类结果；进一步得到预测准确性ACC作为模型的性能评估。

与现有技术相比，本发明具有以下有益效果：

不同于现有方法的对Pentacam HR系统处理后的指标、图片等信息进行分析，本发明的深度学习模型KerNet具有多分支主干网络，引入多层融合（底层融合和顶层融合）和空间注意力机制，能够对Pentacam HR系统中获取到的个体角膜原始三维数据进行特征提取，从而能够实现高精度的圆锥角膜、亚临床圆锥角膜检出。

附图说明

图1为本发明实施例的流程示意图。

图2为本发明实施例中深度学习模型KerNet的网络结构图。

图3a为本发明实施例中使用的数据例子CUR-F的统计学分析结果。

图3b为本发明实施例中使用的数据例子CUR-B的统计学分析结果。

图3c为本发明实施例中使用的数据例子ELE-F的统计学分析结果。

图3d为本发明实施例中使用的数据例子ELE-B的统计学分析结果。

图3e为本发明实施例中使用的数据例子PAC的统计学分析结果。

图4为本发明实施例中对模型KerNet的关注区域进行可视化的示意图。

具体实施方式

下面结合附图和实施例对本发明做进一步详细描述，需要指出的是，以下所述实施例旨在便于对本发明的理解，而对其不起任何限定作用。

一种基于深度学习的圆锥角膜和亚临床圆锥角膜检测系统，包括计算机存储器、计算机处理器以及存储在计算机存储器中并可在计算机处理器上执行的计算机程序，计算机存储器中存有训练好的深度学习模型KerNet。计算机处理器执行计算机程序时实现以下步骤：获取待检测的角膜原始三维数据，输入到深度学习模型KerNet后进行特征提取和分类，从而判断个体所属类别：圆锥角膜、亚临床圆锥角膜或者正常。

下面从角膜原始三维数据的采集、数据预处理、模型的构建、训练及验证过程进行详细介绍，流程如图1所示。

S01，角膜原始三维数据的采集

从合作医院获取854例个体的角膜数据，其中包括335例正常人（85女性和250男性）、172例亚临床圆锥角膜患者（45例女性和124例男性）和347例圆锥角膜患者（90例女性和237例男性）。每个个体仅有一个眼睛作为研究样本，为了避免同一个个体两只眼睛之间的相关性对模型效果的影响。

本发明使用Pentacam HR系统用于获取个体的角膜原始三维数据，Pentacam HR系统包含一个旋转Scheimpflug相机和一个角膜数据分析软件，对患者角膜进行拍摄并进行简单处理，从而获取个体角膜原始三维数据。所述的个体角膜原始三维数据获取流程为：使用Pentacam HR系统中的旋转Scheimpflug相机对患者进行角膜拍照。具体而言，首先要求被试者将下巴放置在平台上，额头抵在检查仪器的前额带上。操作人员握住操纵杆，调整杠杆。在受试者拍照之前，要充分眨眼，以免角膜上覆盖光滑的泪膜。为了获得高质量的数据，受试者要求眼睛保持睁开，直到Pentacam HR系统显示“OK”。拍照后，从Pentacam HR系统批量导出该个体的角膜原始三维数据，共3个CSV文件，包含5个数字矩阵，分别是角膜前表面高度、角膜后表面高度、角膜前表面曲率、角膜后表面曲率和角膜厚度五通道数据，分别记作ELE-F、ELE-B、CUR-F、CUR-B和PAC。每个数字矩阵为141×141，对应角膜7mm范围内的三维数据。

S02，数据集预处理

对所获得的个体角膜原始三维数据进行预处理，具体而言包括对于个体的性别、年龄、视力等进行相关性分析等统计学分析，正常眼的视力范围为（-4.96 ± 2.23 D），亚临床圆锥角膜患者的视力范围为（-4.80 ± 2.70 D），圆锥角膜患者的视力范围为（-7.37± 4.54 D）；考虑到每个样本包含5个尺寸为141×141的数字矩阵，对应角膜7mm范围内的三维数据，分别对应CUR-F，CUR-B，ELE-F，ELE-B和PAC，有先验知识表明5mm范围内的三维信息较为准确和重要，因此对数据进行了切割选取，选取5mm范围内的角膜三维数据，对应101×101个元素；对每种类别个体（圆锥角膜、亚临床圆锥角膜和正常）的每个通道数据进行统计学分析，统计不同半径下各个通道各类样本的均值和方差分布情况，如图3a~图3e所示，CUR-F，CUR-B，ELE-F，ELE-B和PAC的均值为：[7.9; 6.46; 1068.87; 1105.1; 622]，方差为[0.66; 0.76; 654.9; 672; 80.21]，进而利用每个类别个体的每个通道数据的均值和方差对数据进行归一化。

S03，深度学习模型KerNet的搭建

深度学习模型KerNet的结构如图2所示，包含五分支主干网络和多层融合（底层融合和顶层融合）。具体而言，首先，考虑到从Pentacam HR系统中导出的原始数据是每个个体五个相互独立又有一定联系的矩阵（五通道数据），设计5个分支的卷积层对原始数据进行特征提取，每个分支包含4个基本的卷积操作模块。每个卷积操作模块由两个基本的级联模块构成，每个级联模块中包含两个最基本的二维卷积层操作和一个ReLU、一个BatchNormalization操作，具体结构如图2中右上方图片所示。其次，设计底层融合和顶层融合两种融合方式对五通道数据进行特征融合，底层融合部分引入特定的空间注意力机制，顶层融合部分主要使用通道拼接操作来实现。其中，底层融合部分所引入的空间注意力机制，结构如图2右下方图片所示。具体而言，对某一特征图实现空间注意力机制时，首先通过两个并列的全局平均池化和一个全局最大池化得到压缩后的特征图，经过拼接后通过一个二维卷积层获得注意力权重，这一权重叠加到输入的特征图，实现空间注意力机制。底层融合过程主要是通过相邻两个分支之间特征图进行叠加，然后作为各个分支的新的输入继续进行后续的特征提取。最后，经过全连接层和一个softmax层得到最后的输出。

S04，深度学习模型KerNet的训练

从Pentacam HR系统获取个体的角膜原始三维数据作为样本数据，经过预处理之后，标注标签，标注后的样本数据按照8：2的比例分成训练集和验证集。在本实例中，共获取854例样本，其中335例正常样本、172例亚临床圆锥角膜样本和347例圆锥角膜样本。按照分层抽样，选取到的训练样本量为268正常样本、138例亚临床圆锥角膜样本和279例圆锥角膜样本，验证集样本量为67正常样本、34例亚临床圆锥角膜样本和68例圆锥角膜样本。搭建深度学习模型KerNet，对角膜原始三维数据进行特征提取和分类，输入一组训练集，分别经过五分支网络的特征提取、底层融合和顶层融合进行特征融合，输出预测结果：圆锥角膜、亚临床圆锥角膜或者正常。使用训练集对所述深度学习模型KerNet进行训练，根据模型的预测结果与标签的重合度对模型的参数进行调整，直至模型收敛。

S05，模型验证

将验证集输入训练好的模型KerNet，得到对应的分类结果；将验证集得到预测准确性ACC作为模型的性能评估；训练好的深度学习模型KerNet接收从Pentacam HR系统中批量导出的个体角膜原始三维数据，检测该个体是否是圆锥角膜或者亚临床圆锥角膜（即分类为：圆锥角膜、亚临床圆锥角膜或正常）。

如下表1所示，本发明中的深度学习模型KerNet在训练后，在验证集上针对圆锥角膜的检出准确率能达到98.25%，针对亚临床圆锥角膜的检出准确率能达到95.91%，均超过现常用的深度学习模型，达到目前最佳的效果。

表1

此外，利用Grad-CAM技术对深度学习模型KerNet的关注点进行可视化，Grad-CAM技术是一种深度学习常用的可视化工具，能够找出模型KerNet在检测圆锥角膜和亚临床圆锥角膜个体时所关注的区域，具体如图4所示。

这一验证结果表明，本发明提出的深度学习模型KerNet在检测圆锥角膜和亚临床圆锥角膜的过程中，会更多的关注输入矩阵的左下方，对应于个体角膜的颞下方，这与临床医生的检查经验一致，进一步证明了本发明提出的模型的有效性。

以上所述的实施例对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的具体实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换，均应包含在本发明的保护范围之内。