基于深度学习的产品包装检测方法及系统和产品包装分拣系统

摘要

本发明属于工业化产品包装检测技术领域，特别涉及一种基于深度学习的产品包装检测方法及系统和产品包装分拣系统，该方法包含：实时采集流水线上产品图像数据，该图像数据包含产品包装上的日期图像数据和封口图像数据；通过对日期图像数据进行裁剪处理，获取用于日期检测的第一图像数据集，并利用优化训练后的日期检测模型识别位置日期合格产品，利用分割算法确定日期合格产品；将日期合格产品对应的封口图像数据进行裁剪处理，获取用于封口检测的第二图像数据集，并利用优化训练后的封口检测模型确定封口检测区域，进而识别封口合格产品。本发明可满足工业生产检测中的实际需求，利用深度学习网络技术实现更精确快速的剔除包装缺陷产品。

说明书

技术领域

本发明属于工业化产品包装检测技术领域，特别涉及一种基于深度学习的产品包装检测方法及系统和产品包装分拣系统。

背景技术

为避免不合格产品流入市场，对产品包装进行检验是质量控制的重要环节。其中日期和封口是包装是否合格的两个重要指标，直接影响产品质量。目前，包装袋的外观检测主要依靠人工进行，人工检测耗费巨大，不但增大了生产成本，且效率低下。随着工业的快速发展，对如何更加快速精确的剔除工业生产过程中的缺陷产品也提出了更高的要求。

发明内容

为此，本发明提供一种基于深度学习的产品包装检测方法及系统和产品包装分拣系统，满足工业生产检测中的实际需求，利用深度学习网络技术实现更精确快速的剔除包装缺陷产品。

按照本发明所提供的设计方案，一种基于深度学习的产品包装检测方法，用于产品流水线包装缺陷产品自动化分拣，包含如下内容：

实时采集流水线上产品图像数据，该图像数据包含产品包装上的日期图像数据和封口图像数据；

通过对日期图像数据进行裁剪处理，获取用于日期检测的第一图像数据集，并利用优化训练后的日期检测模型识别日期位置合格产品，利用分割算法确定日期是否合格；

将日期合格产品对应的封口图像数据进行裁剪处理，获取用于封口检测的第二图像数据集，并利用优化训练后的封口检测模型确定封口检测区域并识别封口合格产品；

针对日期不合格产品及封口不合格产品，通过流水线上分拣系统进行分拣，自动剔除包装不合格产品。

作为本发明基于深度学习的产品包装检测方法，进一步的，在产品包装流水线的打日期工位和封口工位上分别设置用于获取产品包装图像数据的视觉采集设备。

作为本发明基于深度学习的产品包装检测方法，进一步地，图像数据的裁剪处理中，首先对图像数据进行灰度化和分割处理。

作为本发明基于深度学习的产品包装检测方法，进一步地，所述检测模型包含用于待检测区域识别的目标定位网络和用于产品包装检验的目标识别网络，其中，目标定位网络包含：用于对输入数据进行卷积操作的若干卷积层、及用于从样本数据中获取多个固定参考框的分阶下采样层及上采样层；目标识别网络包含多个卷积层、全连接层和损失层。

作为本发明基于深度学习的产品包装检测方法，进一步地，目标定位网络的损失函数loss表示为：loss＝lbox+lobj+lcls，其中，lbox表示针对固定参考框大小的预测框位置偏移损失，lobj表示置信度损失，lcls表示类别损失。

作为本发明基于深度学习的产品包装检测方法，进一步地，目标识别网络的损失函数采用softmax函数。

作为本发明基于深度学习的产品包装检测方法，进一步地，检测模型训练过程中，首先获取图像样本数据，并对图像样本数据进行区域类别标注，生成用于日期检测模型训练的第一样本数据集和用于封口检测模型训练的第二样本数据集；在每个样本数据集中分别划分用于模型训练的训练集、用于模型测试的测试集及用于模型验证的验证集。

作为本发明基于深度学习的产品包装检测方法，进一步地，针对日期检测的图像样本数据，采用多类别日期检测区域位置进行标注；针对封口检测的图像样本数据，采用单类别封口检测区域进行标注，其中，标注数据包含：区域位置标注和检测类别标注。

进一步地，本发明还提供一种基于深度学习的产品包装检测系统，用于产品流水线包装缺陷产品自动化分拣，包含：图像采集模块、日期检测模块和封口检测模块，其中，

图像采集模块，用于实时采集流水线上产品图像数据，该图像数据包含产品包装上的日期图像数据和封口图像数据；

日期检测模块，用于通过对日期图像数据进行裁剪处理，获取用于日期检测的第一图像数据集，并利用优化训练后的日期检测模型识别日期位置合格产品，并利用分割算法识别日期是否合格；

封口检测模块，用于将日期合格产品对应的封口图像数据进行裁剪处理，获取用于封口检测的第二图像数据集，并利用优化训练后的封口检测模型确定封口检测区域并识别封口合格产品；

进一步地，本发明还提供一种产品包装分拣系统，用于产品流水线包装缺陷产品自动化分拣，包含控制装置及连接有若干分拣道口的输送装置，所述输送装置还连接有用于过滤包装缺陷产品的剔除装置；所述剔除装置包含与控制装置连接的气缸及设置在输送装置上且与气缸连接的导流板；该分拣系统的控制装置与产品包装流水线权利要求9所述的产品包装检测系统连接，通过控制装置控制气缸动作进而带动导流板升起，剔除包装日期不合格及封口不合格的产品。

本发明的有益效果：

本发明将传统图像处理与深度卷积神经网络相结合，利用传统图像处理获取目标所在区域，利用深度卷积网络强大的学习能力获取缺陷位置，深度学习网络模型具有泛化能力强、准确率高、速度快的特点，有效地规避因位置偏移、光照强度变化导致的目标位置定位引起的误差，大大提高检测的准确率，与产品包装流水线及分拣系统结合，实现包装袋缺陷自动定位和分流，节省人工成本、提高检测效果，具有较好的应用前景。

附图说明：

图1为实施例中产品包装检测方法流程示意；

图2为实施例中产品包装检测算法原理示意；

图3为实施例中日期检测模块流程示意；

图4为实施例中封口检测模块流程示意。

具体实施方式：

为使本发明的目的、技术方案和优点更加清楚、明白，下面结合附图和技术方案对本发明作进一步详细的说明。

本发明实施例，参见图1所示，提供一种基于深度学习的产品包装检测方法，包含如下内容：

S101、实时采集流水线上产品图像数据，该图像数据包含产品包装上的日期图像数据和封口图像数据；

S102、通过对日期图像数据进行裁剪处理，获取用于日期检测的第一图像数据集，并利用优化训练后的日期检测模型识别日期位置合格产品，利用分割算法识别日期是否合格；

S103、将日期合格产品对应的封口图像数据进行裁剪处理，获取用于封口检测的第二图像数据集，并利用优化训练后的封口检测模型确定封口检测区域并识别封口合格产品；

S104、针对日期位置不合格产品及封口不合格产品，通过流水线上分拣系统进行分拣，自动剔除包装不合格产品。

将传统图像处理与深度卷积神经网络相结合，利用传统图像处理获取目标所在区域，利用深度卷积网络强大的学习能力获取缺陷位置，深度学习网络模型具有泛化能力强、准确率高、速度快的特点，有效地规避因位置偏移、光照强度变化导致的目标位置定位引起的误差，大大提高检测的准确率，与产品包装流水线及分拣系统结合，实现包装袋缺陷自动定位和分流，节省人工成本、提高检测效果。

作为本发明实施例中基于深度学习的产品包装检测方法，进一步的，在产品包装流水线的打日期工位和封口工位上分别设置用于获取产品包装图像数据的视觉采集设备。进一步地，图像数据的裁剪处理中，首先对图像数据进行灰度化和分割处理。

对日期和封口分别构建视觉设备，并通过工业相机获取生产线产品图片原始数据样本，对原始数据样本中的图像进行灰度化、分割、裁剪等处理，分别获取日期检测和封口检测第一图像数据集。

作为本发明实施例中基于深度学习的产品包装检测方法，进一步地，所述检测模型包含用于待检测区域识别的目标定位网络和用于产品包装检验的目标分类网络，其中，目标定位网络包含：用于对输入数据进行卷积操作的若干卷积层、及用于从样本数据中获取多个固定参考框的分阶下采样层及上采样层；目标分类网络包含多个卷积层、全连接层和损失层。进一步地，目标定位网络的损失函数loss表示为：loss＝lbox+lobj+lcls，其中，lbox表示针对固定参考框大小的预测框位置偏移损失，lobj表示置信度损失，lcls表示类别损失。进一步地，目标分类网络的损失函数采用softmax函数。

目标定位网络可包含多层卷积网络、分阶下采样层和上采样层。目标定位网络采用残差结构更好的学习待检测目标特征，采用下采样层替代池化层来减少特征损失，采用从样本数据中计算获取多个anchor大小来提升检测性能，避免目标大小不均引起的漏检和误检。其损失函数loss三部分中，lbox：针对每个anchor大小的预测框位置偏移损失；lobj：置信度损失；均采用L2-loss，其公式如下：

L

其中，对所述lbox中，f(x)代表预测框的顶点坐标及宽高值，Y代表预测框所在的cell坐标值，lbox即为位置偏移量最小的预测框；对所述lobj中，f(x)代表预测的boundingbox，Y代表ground truth，lobj即为两者IOU最大的预测框。

lcls：针对每个class的类别损失，采用交叉熵函数，公式如下：

其中，x

作为本发明实施例中基于深度学习的产品包装检测方法，进一步地，检测模型训练过程中，首先获取图像样本数据，并对图像样本数据进行区域类别标注，生成用于日期检测模型训练的第一样本数据集和用于封口检测模型训练的第二样本数据集；在每个样本数据集中分别划分用于模型训练的训练集、用于模型测试的测试集及用于模型验证的验证集。进一步地，针对日期检测的图像样本数据，采用多类别日期检测区域位置进行标注；针对封口检测的图像样本数据，采用单类别封口检测区域进行标注，其中，标注数据包含：区域位置标注和检测类别标注。

参见图2～4所示，对日期和封口工位分别构建视觉设备，可通过工业相机获取生产线产品图片原始数据样本，对原始数据样本中的图像进行灰度化、分割、裁剪等处理，分别获取日期检测和封口检测第一图像数据集；对数据样本集进行目标标注，画出检测目标位置，选定目标类别，可保存为xml标注文件，分为训练集和测试集。初始化目标定位模型，包括初始化权重，检测目标类别数，输入图像大小，以及训练周期数，anchors个数和根据样本集计算anchors大小；训练目标检测模型，利用测试集检测训练所得模型的召回率和准确率，直至模型收敛，得到目标定位模型。用目标检测模型对输入图像进行检测，获取检测目标区域，根据检测结果初步判断目标有无，如果未检测到目标，则返回NG；进行日期检测模块，如图3所示，利用目标定位模型获取日期目标区域，返回原图，获取图像上日期目标位置以及参照目标位置，根据相对位置判断日期位置是否不良，如果超出目标位置范围，则返回NG；进一步，对日期字符串区域进行分割处理，采用形态学处理和轮廓提取方法，或者上述目标定位网络方法，获取单字符目标位置，进一步判断日期打印是否不良，包括打印不全，字符残缺等，如果不良，则返回NG；如日期检测结果为OK，进入封口检测模块，如图4所示，根据训练所得目标检测模型，获取封口区域，如果未检测封口，则返回NG；通过对封口区域进行分割，形态学处理和轮廓提取等传统图像处理方法，结合深度学习模型进行缺陷检测，若有缺陷，则返回NG，否则返回OK。检测结果可通过进行非极大值抑制过滤，以获取最佳检测结果。其中，目标定位网络可采用残差结构，更好的学习待检测目标特征，将残差结构在多个数据层分级联合，更好的融合浅层特征和深层特征，采用下采样层替代池化层以及用连接层连接各个anchor大小的featuremap来替换全连接层，均能减少特征损失，采用从样本数据中计算获取多个anchor大小来提升检测性能，避免目标大小不均引起的漏检和误检。目标分类网络可采用多层卷积层学习缺陷特征，可采用caffe框架下训练。将日期和封口检测模块中的检测结果合并，返回剔除装置，完成自动化分拣。

进一步地，基于上述的方法，本发明实施例还提供一种基于深度学习的产品包装检测系统，用于产品流水线包装缺陷产品自动化分拣，包含：图像采集模块、日期检测模块和封口检测模块，其中，

图像采集模块，用于实时采集流水线上产品图像数据，该图像数据包含产品包装上的日期图像数据和封口图像数据；

日期检测模块，用于通过对日期图像数据进行裁剪处理，获取用于日期检测的第一图像数据集，并利用优化训练后的日期检测模型识别日期位置合格产品，利用分割算法识别日期是否合格；

封口检测模块，用于将日期合格产品对应的封口图像数据进行裁剪处理，获取用于封口检测的第二图像数据集，并利用优化训练后的封口检测模型确定封口检测区域并识别封口合格产品；针对日期位置不合格产品及封口不合格产品，通过流水线上分拣系统进行分拣，自动剔除包装不合格产品。

进一步地，基于上述的系统和方法，本发明还提供一种产品包装分拣系统，用于产品流水线包装缺陷产品自动化分拣，包含控制装置及连接有若干分拣道口的输送装置，所述输送装置还连接有用于过滤包装缺陷产品的剔除装置；所述剔除装置包含与控制装置连接的气缸及设置在输送装置上且与气缸连接的导流板；该分拣系统的控制装置与产品包装流水线上述的产品包装检测系统连接，通过控制装置控制气缸动作进而带动导流板升起，剔除包装日期不合格及封口不合格的产品。

利用深度卷积神经网络强大的学习能力，提取图像深层特征，大幅度改善了漏检误检的问题，另外检测过程中，可以不断添加新的样本进行学习，更新特征提高准确率，适应性强，稳定性高，实时性好，更好地实现工业场景下的包装袋实时检测需求。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本发明的范围。

基于上述的方法或系统，本发明实施例还提供一种网络设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述的系统或执行上述的方法。

基于上述的系统，本发明实施例还提供一种计算机可读介质，其上存储有计算机程序，其中，该程序被处理器执行时实现上述的系统。

本发明实施例所提供的装置，其实现原理及产生的技术效果和前述系统实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述系统实施例中相应内容。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述系统实施例中的对应过程，在此不再赘述。

在这里示出和描述的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制，因此，示例性实施例的其他示例可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、系统和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述系统的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。