一种真彩色眼象图白睛区域的完整提取方法

摘要

本发明涉及一种真彩色眼象图白睛区域的完整提取方法，其步骤：对自然光的不同视角24位真彩色眼象图用训练好地边缘提取模型进行白睛和黑睛完整区域的边缘提取；经过膨胀、腐蚀的形态学变换后得到完全封闭的边缘二值图，计算最大连通区域，把二值图映射到原始24位真彩色眼象图像上，获得白睛和黑睛的完整区域；采用训练好的黑睛位置预测模型计算黑睛外接矩形的位置坐标信息，快速定位黑睛位置；在黑睛和白睛的整体完整区域上利用黑睛的位置坐标信息粗分割出黑睛区域，利用Hough检测圆计算得到黑睛的中心和半径，精确分割出黑睛区域；根据眼象的视角方位信息和得到的黑睛区域在黑睛和白睛的整体完整区域上去除黑睛区域图像，得到白睛区域。本发明准确有效完整的提取白睛区域。

说明书

技术领域

本发明涉及一种眼象图提取方法，特别是关于一种真彩色眼象图白睛区域的完整提取方法。

背景技术

近一年深度卷积神经网络在图像和语音识别技术上有了划时代意义的应用，特别是在医疗影像的预测诊断方向不断有各种成果发表，医疗影像图主要是灰度图像，现有的巩膜识别和虹膜识别及眼底图像识别主要针对的也是灰度图像和伪彩色图像。对于处理自然光的眼象图，主要对于老年人眼象图和病症严重的被扒开的眼象图内的特征进行提取分析，特征提取的前提是首先把各个视角的白睛区域分割完整。而采用各种边缘检测算法检测都会出现边缘断开或者阈值不合适的问题，以及利用传统卷积训练提取白睛的边缘受到模糊或遮挡影响而不完整。

眼科医学中翼状胬肉、睑裂斑、角膜老年环等眼科疾病都有相关的文献描述，更有很多研究者提出了根据眼底图像预测判断糖尿病等疾病，无论是虹膜图像还是眼底图像都只关注眼睛的部分区域和部分特征。但根据传统医学和现代医学的理论，眼睛白睛区域内的脉管形状和颜色、斑块的形状和颜色或其他特征及白睛底色都和医学病症具有相关性。为了系统对病症的预测更精准，所以需要分析白睛区域更多特征。

发明内容

针对上述问题，本发明的目的是提供一种真彩色眼象图白睛区域的完整提取方法，该方法能有效完整的提取白睛区域，准确率较高。

为实现上述目的，本发明采取以下技术方案：一种真彩色眼象图白睛区域的完整提取方法，其特征在于包括以下步骤：1)对自然光的不同视角24位真彩色眼象图训练好地边缘提取模型进行白睛和黑睛完整区域的边缘提取；2)利用提取出的白睛和黑睛完整区域的边缘二值图，经过膨胀、腐蚀的形态学变换后，得到完全封闭的边缘二值图，经过填充空洞计算最大连通区域，然后把二值图映射到原始24位真彩色眼象图像上，获得原始彩色RGB眼象图的白睛和黑睛的完整区域；3)采用训练好的具有自动快速预测黑睛位置的深度卷积神经网络模型即黑睛位置预测模型，计算每张眼象图的黑睛外接矩形的位置坐标信息，快速定位黑睛位置；4)在步骤2)的黑睛和白睛的整体完整区域上利用步骤3)获取的黑睛的位置坐标信息，粗分割出黑睛区域，然后对粗分割的黑睛区域的R通道数据迭代地利用Hough检测圆计算得到黑睛的准确的中心和半径，精确分割出黑睛区域；5)将原始彩色RGB眼象图像分类出眼象的视角方位信息，根据眼象的视角方位信息和步骤4)得到的黑睛区域在黑睛和白睛的整体完整区域上去除黑睛区域图像，得到白睛区域。

进一步，所述步骤1)中，利用训练过的模拟人脑识别边缘的深度神经网络模型，自动预测各种24位真彩色眼象图像白睛和黑睛的外边缘，得到24位真彩色眼象图白睛和黑睛整体的近乎完整外边缘的二值图。

进一步，所述深度神经网络模型为边缘提取模型，它包含多个卷积层、激励层、池化层、全连接层和DropOut层。

进一步，所述边缘提取模型是将预先采集到的上万级的24位真彩色眼象图数据制作成标签数据，然后把训练集的原始24位真彩色眼象图像和标签数据同时输入到一深度卷积神经网络中，采用GPU服务器集群训练获得边缘提取模型，主要是训练图像的边缘信息，训练过程中根据标签数据最终获取得到想要的边缘信息。

进一步，所述边缘提取模型的训练需要两种输入数据：原始RGB图和对应的标签图；训练集的每张图像都对应一张标签图像，每张标签图像为原始RGB图的想要保留的边缘灰度图像，在原图上描绘出白睛和黑睛的封闭的外边缘，然后提取出描绘的轮廓图像并灰度化该轮廓图像为对应的标签图像。

进一步，所述步骤1)中，采用直接利用深度卷积神经网络模型提取白睛轮廓边缘作为一个完整外轮廓边缘。

进一步，所述步骤3)中，所述黑睛位置预测模型是快速目标检测的深度卷积神经网络模型，也是将预先采集到的上万级的24位真彩色眼象图数据制作成标签数据，然后把待处理的原始彩色RGB眼象图像和标签数据同时输入到另一深度卷积神经网络中，采用GPU服务器集群训练得到。

进一步，所述黑睛位置预测模型网络训练时的输入数据为：原始RGB图和对应的标签文件，每个标签文件中记录黑睛外接矩形坐标；利用画笔在原始RGB图上画出外接矩形，再得到黑睛外接矩形的坐标位置。

进一步，所述步骤5)中，眼象的视角方位信息为：左右眼的正视、上视、下视、左视、右视以及黑睛和白睛的相对位置。

进一步，所述步骤5)中，从眼象图像中分割提取出完整的白睛部分，包括白睛轮廓和轮廓内的图像信息。

本发明由于采取以上技术方案，其具有以下优点：1、本发明引入深度卷积神经网络，采用GPU服务器集群训练获得边缘提取模型，边缘提取模型是一个递进的开放系统，随着采集有效数据量越大，网络训练得到模型适用性越好，提取得到白睛区域越准确完整，后续特征提取及特征分析越完备。2、本发明采用黑睛位置预测模型，该模型在CPU上使用时速度快而且准确，并且不受光照、遮挡、视角的影响能快速定位出黑睛的外接矩形位置坐标。3、本发明采用的两个不同的深度卷积神经网络模型都是利用上万级大数据的眼象图片训练得到，边缘提取模型和黑睛位置预测模型的引入为助力传统图像处理算法提高准确率，并且两个网络模型随着训练数据量的增大将更准确。

附图说明

图1是本发明的整体流程示意图；

图2是本发明白睛提取过程示意图；

图3a是本发明眼象图的正视方位示意图；

图3b是本发明眼象图的左视方位示意图；

图3c是本发明眼象图的右视方位示意图；

图3d是本发明眼象图的上视方位示意图；

图3e是本发明眼象图的下视方位示意图；

图4是本发明应用时的原始眼象图和提取的白睛区域图；

图5是本发明应用时提取的白睛结果图。

具体实施方式

下面结合附图和实施例对本发明进行详细的描述。

如图1、图2所示，本发明提供一种真彩色眼象图白睛区域的完整提取方法，其包括以下步骤：

1)对自然光的不同视角24位真彩色眼象图采用训练好地边缘提取模型进行白睛和黑睛完整区域的边缘提取：利用训练过的模拟人脑识别边缘的深度神经网络模型，来自动预测各种24位真彩色眼象图像白睛和黑睛的外边缘，得到24位真彩色眼象图白睛和黑睛整体的近乎完整外边缘的二值图。

该深度神经网络模型为边缘提取模型，它包含多个卷积层、激励层、池化层、全连接层和DropOut层。使用该边缘提取模型可以确保白睛和黑睛整体的外边缘近乎完整的预测出来，实现黑睛和白睛完整区域的预测。

其中，边缘提取模型是将预先采集到的上万级的24位真彩色眼象图数据制作成标签数据，然后把训练集的原始24位真彩色眼象图像和标签数据同时输入到一深度卷积神经网络中，采用GPU服务器集群训练获得边缘提取模型，主要是训练图像的边缘信息，训练过程中根据标签数据最终获取得到想要的边缘信息；在CPU上借助边缘提取模型获取更完整和光滑的边缘二值图像。

边缘提取模型的训练需要两种输入数据：原始RGB图和对应的标签图。训练集的每张图像都对应一张标签图像，每张标签图像为原始RGB图的想要保留的边缘灰度图像，利用画笔在原图上描绘出白睛和黑睛的封闭的外边缘，然后提取出描绘的轮廓图像并灰度化该轮廓图像为对应的标签图像。

2)利用提取出的白睛和黑睛整体的完整外边缘二值图，经过膨胀、腐蚀的形态学变换后，得到完全封闭的边缘二值图，经过填充空洞计算最大连通区域，然后把二值图映射到原始24位真彩色眼象图像上，获得原始彩色RGB眼象图的白睛和黑睛的完整区域。

3)采用训练好的具有自动快速预测黑睛位置的深度卷积神经网络模型即黑睛位置预测模型，计算每张眼象图的黑睛外接矩形的位置坐标信息，快速定位黑睛位置；

黑睛位置预测模型是快速目标检测的深度卷积神经网络模型，也是将预先采集到的上万级的24位真彩色眼象图数据制作成标签数据，然后把待处理的原始彩色RGB眼象图像和标签数据同时输入到另一深度卷积神经网络中，采用GPU服务器集群训练得到，它的优势是在CPU上使用时速度快而且准确，并且不受光照、遮挡、视角的影响能快速定位出黑睛的外接矩形位置坐标：黑睛的起点(X，Y)以及黑睛的长、宽。

黑睛位置预测模型网络训练时的输入数据为：原始RGB图和对应的标签文件，每个标签文件中记录黑睛外接矩形坐标。为了得到黑睛外接矩形的坐标数据，利用画笔在原始RGB图上画出外接矩形，再得到矩形的坐标位置。

4)在步骤2)的黑睛和白睛的整体完整区域上利用步骤3)获取的黑睛的位置坐标信息，粗分割出黑睛区域，然后对粗分割的黑睛区域的R通道数据迭代地利用Hough检测圆计算得到黑睛的准确的中心和半径，精确分割出黑睛区域；

5)将原始彩色RGB眼象图像分类出眼象的视角方位信息(如图3a～图3e所示)：左右眼的正视、上视、下视、左视、右视以及黑睛和白睛的相对位置；根据眼象的视角方位信息和步骤4)得到的黑睛区域在黑睛和白睛的整体完整区域上去除黑睛区域图像，得到白睛区域。

上述步骤1)中，可以直接利用深度卷积神经网络模型提取白睛轮廓边缘，替代白睛和黑睛整体作为一个完整外轮廓边缘提取。

上述步骤5)中，从眼象图像中分割提取出完整的白睛部分，包括白睛轮廓和轮廓内的图像信息。本发明提取的是24位真彩色眼象图的白睛区域，这样完整保留了颜色、形态等特征，并适用于所有人群拍摄的眼象图。在图像获取设备中模拟自然光照射，主要保留每只眼睛的正视、左视、右视、上视、下视5个视角的图像，要求拍摄时每个视角尽量把白睛扒开以暴露更多的白睛区域。

综上所述，本发明应用时，根据提取出的眼象图白睛区域的白睛底色、白睛上的脉管形状和颜色、睑裂斑块或其他特征的形状和颜色等生物特征分析和预测相关的疾病是一种全新的应用，而要分析这些特征首先准确的分割出完整的白睛区域来，如图4所示。

本发明的优势是引入深度卷积神经网络，并训练边缘提取模型和黑睛定位模型，增加了白睛区域识别和提取的准确率，而且白睛区域分割的非常完整，保证不会因为眼睛被扒开引起外边缘不规则或因病症严重而使得外边缘模糊，使得白睛提取不完整。特别是对于病症比较严重眼象图，如在白睛区域有黄色系或其他色系的斑块、脉管分布密集的眼象图，另外一些眼象有一些特殊的症状如翼状胬肉、角膜老年环、睑裂斑等特征，这些特征已经把白睛区域或者黑睛区域本身的特征遮挡，还有一些老年人的眼象图白睛区域的颜色与肤色接近，还存在很多干扰，如每个人的眼睛大小、睁开的形态差异很大，眼睫毛以及眼象内部复杂特征,有些特征使得黑睛与白睛区域模糊，有些特征使得眼睑和白睛连接处模糊分辨不清，这些都会影响白睛边缘的准确提取。对于上述图像，比较了采用传统图像算法和本发明方法提取白睛区域的效果，采用传统图像算法提取白睛区域。使用了YCrCb颜色空间和Canny、LOG算子提取白睛边缘。把眼象图RGB值转换到YCrCb颜色空间，计算Cr通道的阈值分割白睛，同时利用Canny和LOG算子提取白睛的边缘，但有些图像分割效果不好。而采用活动轮廓法分割白睛区域，针对一些图像分割效果也不好。为了获取更多病症信息，要求对每个视角中的图都要准确的提取出完整的白睛区域，本发明为了解决各种图像引起的提取白睛区域不完整的问题，在提取白睛的关键步骤中引入深度卷积神经网络模型，深度卷积神经网络是模拟人脑学习的人工智能的一种网络结构，通过大数据训练获取预测模型，训练得到的预测模型大大提高了白睛完整提取准确率(如图5所示)。

上述各实施例仅用于说明本发明，各部件的结构、尺寸、设置位置及形状都是可以有所变化的，在本发明技术方案的基础上，凡根据本发明原理对个别部件进行的改进和等同变换，均不应排除在本发明的保护范围之外。