基于机器学习的面部色斑未来变化的图像处理系统

摘要

一种基于机器学习的面部色斑未来变化的图像处理系统，包括：图像采集模块、图像标记模块、图像预处理模块、训练模块、预测模块和显示模块，图像采集模块采集用户不同时期拍摄的面部图像，图像标记模块标记不同面部图像的色斑区域，图像预处理模块对色斑区域进行预处理并生成训练集，训练模块基于训练集对基于残差网络的预测模块进行训练，训练后的预测模块生成未来各个时刻的色斑区域的大小和颜色深浅，显示模块基于预测得到的色斑区域绘制人像图案。本发明能够自动生成在特定的条件下(例如：使用特定的产品或特定的环境下)未来时刻自己的色斑变化情况。

说明书

技术领域

本发明涉及的是一种图像处理领域的技术，具体是一种基于机器学习的面部色斑未来变化的图像处理系统。

背景技术

现有的关于面部色斑的未来变化(例如在使用某种祛色斑效果的产品之后各个时期的色斑情况)预测没有直接的技术实现，现有的技术就是面部色斑的检测(主要是色斑的区域的识别)有两种形式，一种是借助硬件条件去实现面部色斑检测，还有一种就是不借助硬件仅仅从图像处理技术去实现。前者借助硬件实现光学测量，测量范围太小，操作较复杂，并且需要高昂的摄像机，导致成本高。后者从图像处理技术去实现，其中的深度学习方式可以处理更复杂色斑分割任务，例如完全卷积残差网络，端对端对抗神经网络SegAN，U-Net多尺度残差连接深度学习架构，它们共同的特点就是仅仅实现色斑的检测，并且对数据集有一定要求，必须要有清晰度高并且拍摄角度固定的图像才能实现检测。

发明内容

本发明针对现有技术针对于面部的色斑的检测的不足，提出一种基于机器学习的面部色斑未来变化的图像处理系统，能够自动生成在特定的条件下(例如：使用特定的产品或特定的环境下)未来时刻自己的色斑变化情况。

本发明是通过以下技术方案实现的：

本发明涉及一种基于机器学习的面部色斑未来变化的图像处理系统，包括：图像采集模块、图像标记模块、图像预处理模块、训练模块、预测模块和显示模块，其中：图像采集模块采集用户不同时期拍摄的面部图像，图像标记模块标记不同面部图像的色斑区域，图像预处理模块对色斑区域进行预处理并生成训练集，训练模块基于训练集对基于残差网络的预测模块进行训练，训练后的预测模块生成未来各个时刻的色斑区域的大小和颜色深浅，显示模块基于预测得到的色斑区域绘制人像图案。

所述的预处理是指：将原图像进行人像区域识别、人像轮廓识别、人像皮肤目标提取，将不同时期图像进行角度统一、大小统一、色调统一。

所述的残差网络是指：ResNet利用残差学习来解决退化问题，包括卷积层，池化层，全连接层。

所述的绘制，通过opencv在原始图像上绘制回归模型预测的色斑的大小和颜色深浅。

本发明涉及上述系统的面部色斑未来变化图像生成方法，通过将样本图像进行预处理后，采用残差网络作为骨干网络进行色斑的检测和分割，再通过色斑区域计算色斑的大小和颜色深浅，然后将时间和色斑的大小和颜色深浅作为数据集，通过线性回归模型进行预测，得到色斑的大小和颜色深浅，最后经过绘制后得到未来时刻脸部色斑的图像从而实现色斑变化情况的预测。

所述的检测和分割，通过特征金字塔网络构建自下而上特征提取结构，获得输入图像特征图，提取多个尺度要素；然后使用区域候选网络方法选取候选区域，通过ROIAlign方法将特征图、输入图像像素对齐，然后网络分类分支、像素分割分支训练完成面部图像色斑区域分割。

技术效果

与现有技术相比，由于本发明对图像预处理有极强的包容性，所以对于原始采集的图像数据要求不高，具有极强的易用性，使用者在使用本发明时采集图像数据简便(例如：普通的手机就可以实现)，其次，本发明的系统不仅仅对于色斑区域可以进行检测和评估还可以使用本系统去预测未来任何时刻自己色斑的变化情况从而可以评估某种产品的使用效果以及需要使用的时间或者是所处环境对于自己色斑变化的影响。最后，本发明其中的分割检测功能相比以往的分割检测算法准确度高，抗干扰能力强。

附图说明

图1为本发明流程图；

图2为实施例图像分割示意图；

图中：(a)为基本特征、(b)为中心特征、(c)为眼睛与眉毛的特征、(d)为眼睛与鼻子的特征；

图3为实施例CNN检测分割神经网络示意图；

图4为实施例效果示意图。

具体实施方式

如图1所示，为本实施例涉及一种基于机器学习的面部色斑未来变化的图像处理系统，包括以下步骤：

步骤1)数据采集：每位色斑患者通过手机或相机获取不同时期的全脸面部图像数据P

步骤2)图像预处理：由于不同的色斑患者以及不同时期的拍摄都会导致图像的大小、亮度都会存在变化，故对其先人像区域识别、人像轮廓识别、人像皮肤目标提取、颜色空间归一化、图像标注。

如图1所示，所述的人像区域识别采用AdaBoost算法，然后在其中利用Haar特征进行区域识别，其中：通过放大和平移计算其Haar特征值，从而实现从图像向特征值转化。

由于Haar特征值数量多，为了快速计算，使用积分图，避免重复计算。本实施例将不同的Haar特征表示成不同的弱分类器。强分类器是通过AdaBoost算法带有权重的投票机制选择分类能力最强的弱分类器以二叉树的结构级联，通过训练得到图像中的人脸区域。

所述的Haar特征包括五个基本特征，本实施例在此基础上引入45度方向上的倾斜特征以及三个中心特征，并进一步为提高准确率引入眼睛与眉毛和一个眼睛与鼻子组成的特征。

所述的人像轮廓识别采用阈值分割算法，首先将之前得到的剪裁过的人脸区域图像二值化，在图像中阈值分割算法的otsu算法提取出最大的轮廓就是人脸的轮廓。

所述的人脸皮肤目标提取是通过将人脸的五官提取出来，以免它们影响色斑的预测结果。眼睛的特征提取通过sobel边缘检测算法提取出来。眉毛通过hsv色彩空间提取出来，嘴巴通过YCbCr色彩空间提取出来。鼻孔通过高斯差分将其提取出来。从之前提取出的人脸轮廓中的内脸区域将这些五官特征移除。

所述的颜色空间归一化采用灰度线性变换和中值滤波实现，灰度线性变化的实现是将原图像灰度范围变换到统一的范围，假设原图像f(x，y)的灰度范围为[a，b]，运算后得到的图像g(x，y)灰度范围统一到[c，d]。中值滤波是先确定一个以某个像素为中心点的领域；然后将这个领域中的各个像素的灰度值进行排序，取其中间值作为中心点像素灰度的新值；当窗口在图像中上下左右进行移动后，利用中值滤波算法取一个数代替原先的像素值。这样就可以减少光斑的影响消除噪声点防止其对后续图像处理的影响。最后实现图像大小的归一化，将它们统一为750×1000像素。

所述的图像标注采用VGGImageAnnotator标注工具实现，通过其点线工具标记出色斑区域以及之前识别的五官特征最后生成json文件，用于后续数据集训练。

步骤3)基于CNN模型识别色斑：如图3所示，为CNN检测分割框架图，网络采用残差网络作为骨干网络，通过特征金字塔网络构建自下而上特征提取结构，获得输入图像特征图，提取多个尺度要素，使用区域候选网络RPN方法选取候选区域，通过ROIAlign方法将特征图、输入图像像素对齐，再经网络分类分支、像素分割分支训练完成人脸图像色斑区域分割。

本实施例使用ResNet作为检测分割模型骨干网络，将人脸正脸图像通过双线性插值映射至512×512的图像尺度，设置单次训练读取输入图片一次训练所选取的样本数为16，本发明将选择框大小分别设置为16、32、64、128、256五种尺度，从而可以在多个尺度上有良好的检测表现。最后再通过非极大值抑制方法，挑选出最有可能存在色斑的区域并进行分割。

所述的色斑分割的具体实现是将标记过的数据集用CNN模型训练和测试调整出最优的参数，然后将剩下未标记的数据集分割人像的色斑区域，用opencv计算出每位色斑患者的每块色斑区域的大小以及其灰度值。

步骤4)预测未来色斑的大小和颜色深浅通过线性回归模型实现，其中：线性回归模型试图学得一个线性模型以尽可能准确地预测实值。本实施例将每位色斑患者的每块色斑区域不同时期的大小和颜色深浅作为线性回归的数据集。如图4所示，本实施例将每位色斑患者的第一次获取的人像作为时间原点，时间单位为月，a轴表示为时间，b轴表示为色斑大小和深浅。将所有的数据集通过这个线性回归模型就可以得到未来不同时期色斑的大小和深浅。

步骤5)通过opencv将之前预测到特定时期的色斑大小和颜色深浅绘制回人像中，具体为：将之前色斑识别的图像取色斑附近的不是色斑的肤色绘制到色斑区域，然后以识别的色斑的重心作为圆心c，最后通过预测的面积大小换算成面积得到圆的半径大小r，在原色斑区域上绘制以c为圆心r为圆心的未来色斑。

经过具体实验，在ubuntu的操作系统，显卡为2080ti，以pytorch作为机器学习的主要框架，图像数据归一化为512*512像素，实验中得到的检测的准确率为82.71％，召回率72.31％，精准率84.01％，线性回归的预测的准确率为78.28％。

与现有技术相比，本实施例在图像前期预处理过程严格的归一化处理，以及排除了各种干扰因素，例如眼耳口鼻带来的阴影影响的预测结果，所以在检测分割的准确率上有一定的提升，并且执行的效率更快，其次除了检测分割功能以外，增加了关于未来任何时刻的色斑变化大小的预测功能。

上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。