一种基于深度学习的笔记本外观瑕疵检测方法

摘要

本发明公开了一种基于深度学习的笔记本外观瑕疵检测方法，包括以下步骤：步骤一：对通过工业相机获取的图像进行预处理；步骤二：选取训练样本集，根据训练样本训练得到瑕疵检测器；步骤三：图像预处理：采集待测图像，该待测图像为RGB图像；步骤四：图像特征提取：将待测图像导入卷积网络中，通过卷积层对待测图像进行卷积运算生成特征映射图，采样层用于对卷积运算后生成的特征映射图进行采样；步骤五：上位机载入瑕疵检测模型：特征通过上位机载入的模型对瑕疵类别及位置进行预测；步骤六：判断是否存在瑕疵，若存在则输出类别和位置信息，否则推理结束。

说明书

技术领域

本发明涉及计算机视觉中的视频图像处理和模式识别领域，特别涉及一种基于深度学习的笔记本外观瑕疵检测方法。

背景技术

随着电子产品不断更新换代，笔记本电脑生产过程中的自动化程度也越来越高，在前期装配生产中，随着生产效率提高的同时，成品的质量问题仍然不可避免。目前，大部分生产线还都是人工检测，然而该方法检测速度慢，劳动强度大，检测结果受检验人员的经验、熟练程度以及一些主观因素的影响，缺乏一致性和可靠性。同时，这种工作方式还会极大的损伤工人的视觉系统。由于人工检测效率低且不是一种客观一致的评判方法，检测结果容易使行业上下游之间产生贸易纠纷和矛盾。因此，对笔记本电脑外观瑕疵进行准确的识别、定位有着重要的现实意义。

基于机器视觉检测技术的基本构成和系统需求，目标表面瑕疵检测系统主要包含传送、图像采集、图像处理和控制执行等模块,重点包括图像采集模块、图像处理模块和检测算法的设计。随着算力逐步提升，基于深度学习的检测算法在工业上广泛应用。

现有笔记本外观瑕疵检测的技术主要有统计法、频谱法、模型法、手工特征以及学习方法。但是，这些方法或多或少都存在计算量大、准确率差和可靠性低的缺陷，很难满足工业要求。不同厂商和不同产品，针对相同瑕疵也会存在不同良品率要求；代工生产方的生产环境均是影响瑕疵检测准确率低的重要因素，为此，我们提出一种基于深度学习的笔记本外观瑕疵检测方法，深度学习技术采用端到端的方法对采集到的各样本缺陷进行训练，并通过量化压缩的方式部署到工控机实现瑕疵检测。

发明内容

本发明的主要目的在于提供一种基于深度学习的笔记本外观瑕疵检测方法，可以有效解决背景技术中的问题。

为实现上述目的，本发明采取的技术方案为：

一种基于深度学习的笔记本外观瑕疵检测方法，包括以下步骤：

步骤一：对通过工业相机获取的图像进行预处理；

步骤二：选取训练样本集，根据训练样本训练得到瑕疵检测器；

步骤三：图像预处理：采集待测图像，该待测图像为 RGB 图像；

步骤四：图像特征提取：将待测图像导入卷积网络中，通过卷积层对待测图像进行卷积运算生成特征映射图，采样层用于对卷积运算后生成的特征映射图进行采样；

步骤五：上位机载入瑕疵检测模型：特征通过上位机载入的模型对瑕疵类别及位置进行预测；

步骤六：判断是否存在瑕疵，若存在则输出类别和位置信息，否则推理结束。

进一步的，所述步骤二中的训练样本集包括若干个样本图像和每个样本图像中对应的目标框的监督信息，目标框用于对目标的标注，监督信息包括样本图像中的目标框的位置信息和属性信息，目标框的位置信息包括目标框的横坐标和纵坐标，目标框的属性信息包括目标框的长度和宽度，监督信息可以表示为(x , y, w, h) ，其中，x是目标框的横坐标，y是目标框的纵坐标，w是目标框的宽度，h是目标框的长度。

进一步的，所述步骤四中的卷积网络是基于ResNet-101特征金字塔结构模型，卷积操作采用可形变卷积，可形变卷积的输入为经过标准卷积后的特征层，然后在该featuremap上进行卷积操作，生成N个2维的偏置量(△x,△y)，再分别对输入feature map上各个点的值进行修正，设feature map为P，即P(x,y)=P(x+△x,y+△y)，当x+△x为分数时，使用双线性插值计算P(x+△x,y+△y)，形成N个feature map，然后使用N个卷积核一一对应进行卷积得到输出。

进一步的，在用样本图像训练瑕疵检测模型之前，增加RPN网络的候选区域搜索目标框为322、642、1282、2562、5122中至少一种，候选区域的长宽比例设置为[0.05, 0.1,0.2, 0.5, 1.0, 2.0, 5.0, 10, 20]，训练时采用多尺度训练包括[2000, 1600, 1200]。

进一步的，所述步骤一中对通过工业相机获取的图像进行预处理，所述预处理包括随机翻转、镜像等数据增强操作以及使用3*3作为邻域模板对拍摄得到的图像进行均值滤波、去均值、归一化等操作。

进一步的，所述步骤二中，在生成训练样本时，将样本中有瑕疵、无瑕疵比例控制在2：1，其中有瑕疵样本按照VOC格式进行标注，生成json文件，其中包含瑕疵类别及位置信息，将有瑕疵和无瑕疵样本分为训练集和测试集并将训练集按照5:1的比例随机划分为训练集Train和验证集Val。

与现有技术相比，本发明具有如下有益效果：

1、采用的是特征金字塔结构作为基础特征提取网络，减少了深度特征丢失，降低漏检率；

2、将普通的卷积模块替换成形变卷积，提高不规则瑕疵的提取效率，突出不同瑕疵的语义信息，在一定程度上减少了漏报和误报；

3、增加RPN网络中的候选区域数量，使其更适合多尺度目标的检测，可以进一步减少漏报，提高检测精度；

4、采用级联网络架构，多级分类器叠加，提高模型性能。

附图说明

为了更清楚地说明本发明的技术方案，下面将对本发明技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种基于深度学习的笔记本外观瑕疵检测方法的流程图；

图2为本发明一种基于深度学习的笔记本外观瑕疵检测方法的级联网络结构图；

图3为本发明一种基于深度学习的笔记本外观瑕疵检测方法的瑕疵检测模型训练阶段的流程图；

图4为本发明一种基于深度学习的笔记本外观瑕疵检测方法的可形变卷积的结构图。

具体实施方式

下面结合具体实施方式对本发明作进一步的说明，其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本专利的限制，为了更好地说明本发明的具体实施方式，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸，对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的，基于本发明中的具体实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他具体实施方式，都属于本发明保护的范围。

实施例1

如图1-4所示，一种基于深度学习的笔记本外观瑕疵检测方法，包括以下步骤：

步骤一：对通过工业相机获取的图像进行预处理；

步骤二：选取训练样本集，根据训练样本训练得到瑕疵检测器；

步骤三：图像预处理：采集待测图像，该待测图像为 RGB 图像；

步骤四：图像特征提取：将待测图像导入卷积网络中，通过卷积层对待测图像进行卷积运算生成特征映射图，采样层用于对卷积运算后生成的特征映射图进行采样；

步骤五：上位机载入瑕疵检测模型：特征通过上位机载入的模型对瑕疵类别及位置进行预测；

步骤六：判断是否存在瑕疵，若存在则输出类别和位置信息，否则推理结束。

步骤四中的卷积网络是基于ResNet-101特征金字塔结构模型，卷积操作采用可形变卷积，可形变卷积的输入为经过标准卷积后的特征层，然后在该feature map上进行卷积操作，生成N个2维的偏置量(△x,△y)，再分别对输入feature map上各个点的值进行修正，设feature map为P，即P(x,y)=P(x+△x,y+△y)，当x+△x为分数时，使用双线性插值计算P(x+△x,y+△y)，形成N个feature map，然后使用N个卷积核一一对应进行卷积得到输出；

针对笔记本外观不同瑕疵，采用可形变卷积，目的是为了提取不同大小的瑕疵，从而来提高模型提取特征的性能。

在用样本图像训练瑕疵检测模型之前，增加RPN网络的候选区域搜索目标框为322、642、1282、2562、5122中至少一种，候选区域的长宽比例设置为[0.05, 0.1, 0.2,0.5, 1.0, 2.0, 5.0, 10, 20]，训练时采用多尺度训练包括[2000, 1600, 1200]。

实施例2

如图1-4所示，一种基于深度学习的笔记本外观瑕疵检测方法，包括以下步骤：

步骤一：对通过工业相机获取的图像进行预处理；

步骤二：选取训练样本集，根据训练样本训练得到瑕疵检测器；

步骤三：图像预处理：采集待测图像，该待测图像为 RGB 图像；

步骤四：图像特征提取：将待测图像导入卷积网络中，通过卷积层对待测图像进行卷积运算生成特征映射图，采样层用于对卷积运算后生成的特征映射图进行采样；

步骤五：上位机载入瑕疵检测模型：特征通过上位机载入的模型对瑕疵类别及位置进行预测；

步骤六：判断是否存在瑕疵，若存在则输出类别和位置信息，否则推理结束。

步骤二中的训练样本集包括若干个样本图像和每个样本图像中对应的目标框的监督信息，目标框用于对目标的标注，监督信息包括样本图像中的目标框的位置信息和属性信息，目标框的位置信息包括目标框的横坐标和纵坐标，目标框的属性信息包括目标框的长度和宽度，监督信息可以表示为(x , y, w, h) ，其中，x是目标框的横坐标，y是目标框的纵坐标，w是目标框的宽度，h是目标框的长度。

步骤四中的卷积网络是基于ResNet-101特征金字塔结构模型，卷积操作采用可形变卷积，可形变卷积的输入为经过标准卷积后的特征层，然后在该feature map上进行卷积操作，生成N个2维的偏置量(△x,△y)，再分别对输入feature map上各个点的值进行修正，设feature map为P，即P(x,y)=P(x+△x,y+△y)，当x+△x为分数时，使用双线性插值计算P(x+△x,y+△y)，形成N个feature map，然后使用N个卷积核一一对应进行卷积得到输出。

在用样本图像训练瑕疵检测模型之前，增加RPN网络的候选区域搜索目标框为322、642、1282、2562、5122中至少一种，候选区域的长宽比例设置为[0.05, 0.1, 0.2,0.5, 1.0, 2.0, 5.0, 10, 20]，训练时采用多尺度训练包括[2000, 1600, 1200]。

在特征提取完后的池化操作采用ROI Align，该操作采用双线性插值的方法避免池化过程中特征丢失，从而提高瑕疵检测准确率。

实施例3

如图1-4所示，一种基于深度学习的笔记本外观瑕疵检测方法，包括以下步骤：

步骤一：对通过工业相机获取的图像进行预处理；

步骤二：选取训练样本集，根据训练样本训练得到瑕疵检测器；

步骤三：图像预处理：采集待测图像，该待测图像为 RGB 图像；

步骤四：图像特征提取：将待测图像导入卷积网络中，通过卷积层对待测图像进行卷积运算生成特征映射图，采样层用于对卷积运算后生成的特征映射图进行采样；

步骤五：上位机载入瑕疵检测模型：特征通过上位机载入的模型对瑕疵类别及位置进行预测；

步骤六：判断是否存在瑕疵，若存在则输出类别和位置信息，否则推理结束。

步骤二中的训练样本集包括若干个样本图像和每个样本图像中对应的目标框的监督信息，目标框用于对目标的标注，监督信息包括样本图像中的目标框的位置信息和属性信息，目标框的位置信息包括目标框的横坐标和纵坐标，目标框的属性信息包括目标框的长度和宽度，监督信息可以表示为(x , y, w, h) ，其中，x是目标框的横坐标，y是目标框的纵坐标，w是目标框的宽度，h是目标框的长度。

本发明中使用的卷积神经网络是基于ResNet-101特征金字塔结构模型，分类器是softmax分类器。

步骤四中的卷积网络是基于ResNet-101特征金字塔结构模型，卷积操作采用可形变卷积，可形变卷积的输入为经过标准卷积后的特征层，然后在该feature map上进行卷积操作，生成N个2维的偏置量(△x,△y)，再分别对输入feature map上各个点的值进行修正，设feature map为P，即P(x,y)=P(x+△x,y+△y)，当x+△x为分数时，使用双线性插值计算P(x+△x,y+△y)，形成N个feature map，然后使用N个卷积核一一对应进行卷积得到输出。

在用样本图像训练瑕疵检测模型之前，增加RPN网络的候选区域搜索目标框为322、642、1282、2562、5122中至少一种，候选区域的长宽比例设置为[0.05, 0.1, 0.2,0.5, 1.0, 2.0, 5.0, 10, 20]，训练时采用多尺度训练包括[2000, 1600, 1200]。

步骤一中对通过工业相机获取的图像进行预处理，预处理包括随机翻转、镜像等数据增强操作以及使用3*3作为邻域模板对拍摄得到的图像进行均值滤波、去均值、归一化等操作。

步骤二中，在生成训练样本时，将样本中有瑕疵、无瑕疵比例控制在2：1，其中有瑕疵样本按照VOC格式进行标注，生成json文件，其中包含瑕疵类别及位置信息，将有瑕疵和无瑕疵样本分为训练集和测试集并将训练集按照5:1的比例随机划分为训练集Train和验证集Val。

普通的两阶段目标检测模型经过区域候选网络(RPN)和池化操作后直接进入全卷积网络，本发明采用级联网络结构（Cascade RCNN），如图2所示。其中，C和B分别表示分类（Classification）和检测框（BBox）。Cascade RCNN通过多级调整，可以获得更为精确的检测框，在阈值选择方面，根据笔记本瑕疵检测的评价指标，最后根据需求使用0.3，0.4，0.5的阈值分别处理三个级联的Head。三个级联的Head用以逐步提高检测效果，最后将三个分类器进行平均得到最后的分类结果。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。