一种智能分拣控制方法和智能分拣控制系统

摘要

本发明涉及工业机器人技术领域，具体涉及一种智能分拣控制方法和智能分拣控制系统，所述智能分拣控制系统应用所述智能分拣控制方法，所述智能分拣控制方法，包括：获取待分拣工件的若干个图像信息；其中，所述图像信息携带格雷码正码光栅图像和格雷码反码光栅图像的信息；根据所述图像信息和SLIC算法构建所述待分拣工件的稠密视差图，利用所述稠密视差图生成所述待分拣工件的3D模型；将所述3D模型输入至基于Solo框架构建的识别模型中，以完成对待分拣工件的识别及分拣。可见，该智能分拣控制方法和智能分拣控制系统，能够有效降低算法复杂度和系统运行负担，大幅度提高识别精度以及识别速度，并提升工件识别种类。

说明书

技术领域

本发明涉及工业机器人技术领域，具体涉及一种智能分拣控制方法和智能分拣控制系统。

背景技术

随着科技的不断发展，工业机器人在工业制造生产中得到了广泛的应用，在工厂自动化、智能化进程中扮演着重要的角色。比如，利用工业机器人对工件进行分拣，就可以大大节省人力，提高工业的自动化程度。现有的工业机器人分拣系统多采用模板匹配的方式对系统生成的待分拣工件3D模型进行识别，并以此获取待分拣工件3D模型的立体信息，结合该信息计算待分拣工件或待分拣物料在真实空间中的位置信息，并利用机械臂完成待分拣工件的抓取及分拣。不过，这种方式的识别速度慢、识别精度低以及受限于模板库模板的数量，识别的工件种类也受到极大限制，进而影响物体的识别及空间定位，对物体的抓取及分拣会出现偏差，无法实现快速准确的物料分拣，无法满足工业化生产需求。

发明内容

为克服现有技术存在的上述不足，本发明提供一种智能分拣控制方法和智能分拣控制系统，能够有效降低算法复杂度和系统运行负担，大幅度提高识别精度以及识别速度，并提升工件识别种类。

为达此目的，本发明采用以下技术方案：

第一方面，提供一种智能分拣控制方法，包括：

获取待分拣工件的若干个图像信息；其中，所述图像信息携带格雷码正码光栅图像和格雷码反码光栅图像的信息；

根据所述图像信息和SLIC算法构建所述待分拣工件的稠密视差图，利用所述稠密视差图生成所述待分拣工件的3D模型；

将所述3D模型输入至基于Solo框架构建的识别模型中，以完成对待分拣工件的识别及分拣。

优选的，所述获取待分拣工件的若干个图像信息，包括：

通过用于向待分拣工件投射光栅图像的图像投射模块向待分拣工件投射格雷码正码光栅图像以及格雷码反码光栅图像；其中，所述图像投射模块为光栅投影仪；

通过用于获取图像信息的图像获取模块从不同空间角度位置拍摄被投射格雷码正码光栅图像和格雷码反码光栅图像的待分拣工件的图像，以完成待分拣工件图像信息的获取；其中，所述图像获取模块为双目相机。

优选的，所述获取待分拣工件的若干个图像信息之前，还包括：对所述图像获取模块进行标定；其中，用于标定的标定板为黑白格棋盘；

所述对所述图像获取模块进行标定，具体包括：

通过所述图像获取模块获得不同空间角度位置拍摄的若干幅所述标定板的图像；

获得每幅标定板的图像对应的参数，并根据所述参数进行图像角点检测；其中，所述参数包括被拍摄的所述黑白格棋盘上对应的棋盘格的行数、列数、物理高度和物理宽度；

通过坐标变换方式实现所述参数与所述图像获取模块内参数之间的转换，再利用所述标定板的图像以及对应的所述图像获取模块的内参数，计算所述图像获取模块的外参数；

通过LM算法对标定过程中计算得到的各参数进行优化，以完成所述图像获取模块的最终标定。

优选的，所述获取待分拣工件的若干个图像信息之后，所述根据所述图像信息和SLIC算法构建所述待分拣工件的稠密视差图之前，还包括：

将携带格雷码正码光栅图像和格雷码反码光栅图像的待分拣工件图像进行逐幅展开以及畸变校正，并通过图像预处理算法的如下公式(1)对经过畸变校正的待分拣工件图像进行图像增强及去噪；

F(u,v)＝Round[T(u,v)-med_T(u,v)*δ]+T(u,v) (1)

其中，F(u,v)为经过图像预处理后的图像灰度，T(u,v)为原始图像灰度函数，med_T(u,v)为经过中值滤波后得到的图像灰度，δ为调节原始图像和经过中值滤波图像的像素灰度差值的调节因子，δ值越大，代表图像轮廓越明显，Round[·]为取证函数；

分别计算携带格雷码正码光栅图像和格雷码反码光栅图像的待分拣工件图像的各像素点的灰度值，将携带有格雷码正码光栅图像的图片像素点灰度值与携带有格雷码反码光栅图像的图片像素点灰度值作差；若差值小于零，则将该像素点对应灰度值设置为黑色，若差值大于或等于零，则将该像素点对应灰度值设置为白色；

通过上述方法完成待分拣工件图像上所有像素点灰度值的调整，以得到修正后的一幅待分拣工件图片；重复上述过程，以完成所有待分拣工件图片的修正；

利用如下公式(2)对完成修正后的待分拣工件图片进行解码，并重复上述过程直至完成所有已修正的待分拣工件图片的解码；

其中，B

优选的，所述完成所有已修正的待分拣工件图片的解码之后，所述根据所述图像信息和SLIC算法构建所述待分拣工件的稠密视差图之前，还包括：

利用Bought算法构建双目立体校正模型，以便对经过解码后的待分拣工件图片进行立体校正；

基于DP优化的全局匹配算法对经过立体校正的待分拣工件图片进行立体匹配；其中，所述待分拣工件图片包括左右两幅图片；

所述立体匹配，具体包括：

通过如下公式(3)计算经过立体校正后的待分拣工件的左右两幅图片的原始匹配代价；

其中，|Fi

通过如下公式(4)构建待分拣工件的左右两幅图片的全局匹配算法能量函数方程；

其中，C(d

通过如下公式(5)构建及优化对应数据项C(d

其中，(u，v)表示图像中像素，Fi

利用DP算法优化平滑项V(d

优选的，所述根据所述图像信息和SLIC算法构建所述待分拣工件的稠密视差图，包括：

利用如下公式(6)对待分拣工件图片的视差图进行图像分割以形成超像素块，并对分割后的每个像素赋予一个标签，针对同一超像素块内具有视差值的像素点的视差值进行滤波，将滤波结果补充至视差空洞的超像素块内，以此得到初步的稠密视差图；

其中，SLI表示每个超像素块的边长，K表示图像中像素的数量，D表示分割的超像素块数；

选择所述初步的稠密视差图中的一个不平整超像素块作为目标块，利用K邻近算法搜索所述目标块相邻的超像素块，并依据距离的远近赋予这些相邻超像素块不同的权重，分别计算所述相邻超像素块与所述目标块相邻的每个超像素块的直方图，并进行两两比较直方图的相似度，筛选出相似度大于预设相似度阈值的超像素块，依据筛选出的超像素块对应的视差值的高低，对筛选出的超像素块进行重排后提取中间值，将所述中间值赋值给所述目标块，以完成所述目标块的平滑；其中，所述不平整超像素块为所述初步的稠密视差图的图像边界位置出现的需要进行平滑处理的超像素块；

重复上述过程，直至完成所述初步的稠密视差图的全部平滑，以得到待分拣工件的最终稠密视差图。

优选的，所述利用所述稠密视差图生成所述待分拣工件的3D模型，包括：

将所述最终稠密视差图通过如下公式(7)计算，生成待分拣工件对应的稠密3D点云，重复上述过程直至获得所有待分拣工件图片对应的稠密3D点云；

其中，T

利用ICP算法对在不同空间角度位置拍摄的待分拣工件图片相应的稠密3D点云进行配准拼接，再利用泊松表面重建算法生成所述待分拣工件的3D模型。

优选的，所述基于Solo框架构建的识别模型为神经网络模型，所述神经网络模型是通过若干组训练数据训练获得，所述若干组训练数据中的每一组训练数据均包括已预先设定注释的各类工件3D模型，以便实现工件类型的自动识别。

优选的，所述完成对待分拣工件的识别及分拣，包括：

完成对待分拣工件的识别后，提取所述待分拣工件的3D模型中图像的形状特征和几何特征，依据所述形状特征和所述几何特征，并结合用于抓取待分拣工件的机械手模块的类型计算工件抓取位置；其中，所述几何特征包括轮廓数、周长和面积；

若所述机械手模块为吸盘且所述待分拣工件为平面类工件，则利用如下公式(8)计算待分拣工件形心对应的像素点的坐标，再分别利用坐标变换算法和图像获取模块标定算法将所述待分拣工件的形心对应像素点的坐标转换到所述机械手模块对应坐标系下的坐标，以便所述机械手模块获得自动规划的运动路径，对所述待分拣工件进行抓取及分拣；

其中，(X

若所述机械手模块为抓夹且所述待分拣工件为非平面类工件，则依据待分拣工件3D模型中图像的形状特征和几何特征，构建所述待分拣工件3D模型对应的最小外接矩形，并获得所述最小外接矩形对应的四个顶点坐标，利用坐标变换将所述四个顶点坐标转换为世界坐标系下对应位置点的坐标，再通过计算得到所述待分拣工件在世界坐标下最小外接矩形对应参数信息，利用图像获取模块标定算法将所述待分拣工件在世界坐标下最小外接矩形对应参数信息转换到机械手模块对应坐标系下的坐标，以便所述机械手模块获得自动规划的运动路径，对所述待分拣工件进行抓取及分拣；其中，所述参数信息包括外接矩形的宽、高以及外接矩形的宽相对于世界坐标系的X轴的夹角。

第二方面，提供一种智能分拣控制系统，包括图像模块、控制模块、上位机和机械手模块，所述智能分拣控制系统应用如第一方面所述智能分拣控制方法；其中，

所述图像模块，包括图像投射模块以及图像获取模块；所述图像投射模块用于向待分拣工件投射光栅图像，所述图像获取模块用于对携带有投射图像的待分拣工件完成预设次数的不同空间角度位置的拍照；所述图像模块设置于所述机械手模块；

所述控制模块，包括第一控制模块、第二控制模块块以及取反模块；所述第一控制模块用于通过所述图像获取模块接收上位机发送的指令，所述第二控制模块用于接收所述第一控制模块发送的指令及驱动所述图像投射模块投射光栅图像，所述取反模块用于根据格雷码正码光栅图像获得格雷码反码光栅图像；

所述上位机，用于向各个模块发送指令、以及执行图像处理程序和空间定位程序；

所述机械手模块，用于接收所述上位机发送的指令，进行空间运动、姿态变换以及对待分拣工件进行抓取并分拣。

本发明的有益效果是：一种智能分拣控制方法和智能分拣控制系统，所述智能分拣控制系统应用所述智能分拣控制方法，所述智能分拣控制方法，包括：获取待分拣工件的若干个图像信息；其中，所述图像信息携带格雷码正码光栅图像和格雷码反码光栅图像的信息；根据所述图像信息和SLIC算法构建所述待分拣工件的稠密视差图，利用所述稠密视差图生成所述待分拣工件的3D模型；将所述3D模型输入至基于Solo框架构建的识别模型中，以完成对待分拣工件的识别及分拣。可见，该智能分拣控制方法和智能分拣控制系统，基于SLIC算法实现待分拣工件稠密视差图的构建，有效地解决了待分拣工件在进行立体匹配过程中，图像部分区域因投影缩减、遮挡、弱纹理等因素导致像素的视差无法计算，从而形成视差空洞，影响后续三维重建结果的问题，通过本智能分拣控制方法提供的视差图构建算法，可生成稠密的视差图，能够进一步提高后续重建后的三维模型的精度。此外，本智能分拣控制方法基于solo架构构建3D工件识别模型，相较于传统的利用模板匹配方法进行3D工件识别，可有效降低算法复杂度、降低系统运行负担、大幅提升工件识别种类、提高识别精度以及识别速度。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制，在附图中：

图1是本发明的第一实施例的智能分拣控制方法的流程图；

图2是本发明的第二实施例的智能分拣控制方法的流程图；

图3是本发明的第三实施例的智能分拣控制系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1，其是本发明的第一实施例的智能分拣控制方法的流程图。

该智能分拣控制方法，包括：

步骤S101：获取待分拣工件的若干个图像信息；其中，所述图像信息携带格雷码正码光栅图像和格雷码反码光栅图像的信息。

具体地，若干个图像信息对应从不同空间角度位置拍摄的多张待分拣工件的图片信息。不同的空间角度位置是根据待分拣工件的结构复杂度进行设置的，结构越复杂，设置进行拍摄的空间角度位置越多，结构越简单，设置进行拍摄的空间角度位置越少。一般情况下，设置三个不同的空间角度位置进行拍摄，以完成对待分拣工件的全面拍摄。

具体地，格雷码是一种具有反射特性和循环特性的单步自补码，其循环和单步特性消除了随机取数时出现重大错误的可能，其反射和自补特性使得对其进行求反操作也非常方便，所以，格雷码属于一种可靠性编码，是一种错误最小化的编码方式。

步骤S102：根据所述图像信息和SLIC算法构建所述待分拣工件的稠密视差图，利用所述稠密视差图生成所述待分拣工件的3D模型。

具体地，SLIC算法为Simple Linear Iterative Clustering，超像素分割算法。超像素分割算法是一种图像预处理技术，它将图像快速分割为一定数量的具有语义意义的子区域，相比于传统处理方法中的基本单元——像素，被分割出的超像素更有利于局部特征的提取与结构信息的表达，并且能够大幅度降低后续处理的计算复杂度。

步骤S103：将所述3D模型输入至基于Solo框架构建的识别模型中，以完成对待分拣工件的识别及分拣。

具体地，Solo是一个专业、简约、稳定、极速的开源Java程序，可以自己搭建使用，也可以直接使用搭建好的服务，功能齐全，部署难度低。

与现有技术相比，本发明实施例的智能分拣控制方法，基于SLIC算法实现待分拣工件稠密视差图的构建，有效地解决了待分拣工件在进行立体匹配过程中，图像部分区域因投影缩减、遮挡、弱纹理等因素导致像素的视差无法计算，从而形成视差空洞，影响后续三维重建结果的问题，通过本智能分拣控制方法提供的视差图构建算法，可生成稠密的视差图，能够进一步提高后续重建后的三维模型的精度。此外，本智能分拣控制方法基于solo架构构建3D工件识别模型，相较于传统的利用模板匹配方法进行3D工件识别，可有效降低算法复杂度、降低系统运行负担、大幅提升工件识别种类、提高识别精度以及识别速度。

以下是本发明的智能分拣控制方法的第二实施例。在本实施例中，包含步骤S201至步骤S205，其中，步骤S204与步骤S205分别与第一实施例中的步骤S102与步骤S103大致相同，此处不再赘述。下面主要针对本智能分拣控制方法的图像处理程序和空间定位程序进行具体说明：

请参考图2，其是本发明的第二实施例的智能分拣控制方法的流程图。

该智能分拣控制方法，包括：

步骤S201：对所述图像获取模块进行标定。

其中，用于标定的标定板为黑白格棋盘。所述图像获取模块用于获取待分拣工件的图像信息。

具体地，所述对所述图像获取模块进行标定，具体包括：

通过所述图像获取模块获得不同空间角度位置拍摄的若干幅所述标定板的图像；

获得每幅标定板的图像对应的参数，并根据所述参数进行图像角点检测；其中，所述参数包括被拍摄的所述黑白格棋盘上对应的棋盘格的行数、列数、物理高度和物理宽度；

通过坐标变换方式实现所述参数与所述图像获取模块内参数之间的转换，再利用所述标定板的图像以及对应的所述图像获取模块的内参数，计算所述图像获取模块的外参数；

通过LM(Levenberg-Marquard，列文伯格-马夸尔特算法)算法对标定过程中计算得到的各参数进行优化，以完成所述图像获取模块的最终标定。

步骤S202：通过用于向待分拣工件投射光栅图像的图像投射模块向待分拣工件投射格雷码正码光栅图像以及格雷码反码光栅图像；其中，所述图像投射模块为光栅投影仪。

步骤S203：通过用于获取图像信息的图像获取模块从不同空间角度位置拍摄被投射格雷码正码光栅图像和格雷码反码光栅图像的待分拣工件的图像，以完成待分拣工件图像信息的获取；其中，所述图像获取模块为双目相机。

步骤S204：根据所述图像信息和SLIC算法构建所述待分拣工件的稠密视差图，利用所述稠密视差图生成所述待分拣工件的3D模型。

步骤S205：将所述3D模型输入至基于Solo框架构建的识别模型中，以完成对待分拣工件的识别及分拣。

具体地，所述获取待分拣工件的若干个图像信息之后，所述根据所述图像信息和SLIC算法构建所述待分拣工件的稠密视差图之前，还包括：

将携带格雷码正码光栅图像和格雷码反码光栅图像的待分拣工件图像进行逐幅展开以及畸变校正，并通过图像预处理算法的如下公式(1)对经过畸变校正的待分拣工件图像进行图像增强及去噪；

F(u,v)＝Round[T(u,v)-med_T(u,v)*δ]+T(u,v) (1)

其中，F(u,v)为经过图像预处理后的图像灰度，T(u,v)为原始图像灰度函数，med_T(u,v)为经过中值滤波后得到的图像灰度，δ为调节原始图像和经过中值滤波图像的像素灰度差值的调节因子，δ值越大，代表图像轮廓越明显，Round[·]为取证函数；

分别计算携带格雷码正码光栅图像和格雷码反码光栅图像的待分拣工件图像的各像素点的灰度值，将携带有格雷码正码光栅图像的图片像素点灰度值与携带有格雷码反码光栅图像的图片像素点灰度值作差；若差值小于零，则将该像素点对应灰度值设置为黑色，若差值大于或等于零，则将该像素点对应灰度值设置为白色；

通过上述方法完成待分拣工件图像上所有像素点灰度值的调整，以得到修正后的一幅待分拣工件图片；重复上述过程，以完成所有待分拣工件图片的修正；

利用如下公式(2)对完成修正后的待分拣工件图片进行解码，并重复上述过程直至完成所有已修正的待分拣工件图片的解码；

其中，B

具体地，所述完成所有已修正的待分拣工件图片的解码之后，所述根据所述图像信息和SLIC算法构建所述待分拣工件的稠密视差图之前，还包括：

利用Bought算法构建双目立体校正模型，以便对经过解码后的待分拣工件图片进行立体校正；

基于DP(Dynamic Programming，即动态规划)优化的全局匹配算法对经过立体校正的待分拣工件图片进行立体匹配；其中，所述待分拣工件图片包括左右两幅图片；

所述立体匹配，具体包括：

通过如下公式(3)计算经过立体校正后的待分拣工件的左右两幅图片的原始匹配代价；

其中，|Fi

通过如下公式(4)构建待分拣工件的左右两幅图片的全局匹配算法能量函数方程；

其中，C(d

通过如下公式(5)构建及优化对应数据项C(d

其中，(u，v)表示图像中像素，Fi

利用DP算法优化平滑项V(d

具体地，所述根据所述图像信息和SLIC算法构建所述待分拣工件的稠密视差图，包括：

利用如下公式(6)对待分拣工件图片的视差图进行图像分割以形成超像素块，并对分割后的每个像素赋予一个标签，针对同一超像素块内具有视差值的像素点的视差值进行滤波，将滤波结果补充至视差空洞的超像素块内，以此得到初步的稠密视差图；

其中，SLI表示每个超像素块的边长，K表示图像中像素的数量，D表示分割的超像素块数；

选择所述初步的稠密视差图中的一个不平整超像素块作为目标块，利用K邻近算法搜索所述目标块相邻的超像素块，并依据距离的远近赋予这些相邻超像素块不同的权重，分别计算所述相邻超像素块与所述目标块相邻的每个超像素块的直方图，并进行两两比较直方图的相似度，筛选出相似度大于预设相似度阈值的超像素块，依据筛选出的超像素块对应的视差值的高低，对筛选出的超像素块进行重排后提取中间值，将所述中间值赋值给所述目标块，以完成所述目标块的平滑；其中，所述不平整超像素块为所述初步的稠密视差图的图像边界位置出现的需要进行平滑处理的超像素块；是否需要进行平滑处理的判断条件依据待分拣工件的结构复杂度而定。

重复上述过程，直至完成所述初步的稠密视差图的全部平滑，以得到待分拣工件的最终稠密视差图。

具体地，所述利用所述稠密视差图生成所述待分拣工件的3D模型，包括：

将所述最终稠密视差图通过如下公式(7)计算，生成待分拣工件对应的稠密3D点云，重复上述过程直至获得所有待分拣工件图片对应的稠密3D点云；

其中，T

利用ICP(Iterative Closest Point，迭代最近点算法)算法对在不同空间角度位置拍摄的待分拣工件图片相应的稠密3D点云进行配准拼接，再利用泊松表面重建算法生成所述待分拣工件的3D模型。

具体地，所述基于Solo框架构建的识别模型为神经网络模型，所述神经网络模型是通过若干组训练数据训练获得，所述若干组训练数据中的每一组训练数据均包括已预先设定注释的各类工件3D模型，以便实现工件类型的自动识别。

具体地，所述完成对待分拣工件的识别及分拣，包括：

完成对待分拣工件的识别后，提取所述待分拣工件的3D模型中图像的形状特征和几何特征，依据所述形状特征和所述几何特征，并结合用于抓取待分拣工件的机械手模块的类型计算工件抓取位置；其中，所述几何特征包括轮廓数、周长和面积；

若所述机械手模块为吸盘且所述待分拣工件为平面类工件，则利用如下公式(8)计算待分拣工件形心对应的像素点的坐标，再分别利用坐标变换算法和图像获取模块标定算法将所述待分拣工件的形心对应像素点的坐标转换到所述机械手模块对应坐标系下的坐标，以便所述机械手模块获得自动规划的运动路径，对所述待分拣工件进行抓取及分拣；

其中，(X

若所述机械手模块为抓夹且所述待分拣工件为非平面类工件，则依据待分拣工件3D模型中图像的形状特征和几何特征，构建所述待分拣工件3D模型对应的最小外接矩形，并获得所述最小外接矩形对应的四个顶点坐标，利用坐标变换将所述四个顶点坐标转换为世界坐标系下对应位置点的坐标，再通过计算得到所述待分拣工件在世界坐标下最小外接矩形对应参数信息，利用图像获取模块标定算法将所述待分拣工件在世界坐标下最小外接矩形对应参数信息转换到机械手模块对应坐标系下的坐标，以便所述机械手模块获得自动规划的运动路径，对所述待分拣工件进行抓取及分拣；其中，所述参数信息包括外接矩形的宽、高以及外接矩形的宽相对于世界坐标系的X轴的夹角。

与现有技术相比，本发明实施例的智能分拣控制方法，能够有效降低算法复杂度和系统运行负担，大幅度提高识别精度以及识别速度，并提升工件识别种类。

以下具体说明本发明实施例的智能分拣控制方法的详细实施步骤，需要说明的是，以下所述待分拣工件简称为工件；实施本发明实施例的一种智能分拣控制方法时涉及一种智能分拣控制系统，该智能分拣控制系统包括图像模块、控制模块、上位机和机械手模块，图像模块包括图像获取模块和图像投射模块，图像模块设置于机械手模块；

本发明实施例的一种智能分拣控制方法，具体控制流程如下：

STEP11：对图像获取模块进行初始化(标定)

上位机向机械手模块发送控制指令，机械手模块带动图像获取模块从不同角度拍摄放置在工作台上的标定板图片，利用系统内设的视觉图像标定算法完成对图像获取模块的标定，即针对每幅标定板的图像，向系统中输入各标定板图像中对应的参数(包括对应棋盘格的行数、列数、棋盘格的物理高度和物理宽度)，进行图像角点检测，再通过坐标变换方式实现对相机内参数的转换，利用采集的对应标定板图像结合计算得到的图像获取模块(双目相机)内参数，计算图像获取模块的外参数，最后通过LM算法(Levenberg-Marquard，列文伯格-马夸尔特算法)对标定过程中计算得到的各参数进行优化，以完成图像获取模块最终标定。

需要说明的是，为提高图像获取模块的标定精度，至少需要拍摄8张标定板图片，其中标定板优选为黑白棋盘格,黑白方格交替排列设置可有效避免相机在拍摄过程中引入偏移。格线式角点便于亚像素级角点的定位，进而提高标定的精度。

STEP22：获取及处理工件的二维图像信息

STEP221：通过STEP11完成对图像获取模块的标定后，上位机向图像获取模块发送控制指令，图像获取模块将该指令传送给控制模块，控制模块中设有的第二控制模块驱动图像投射模块(光栅投影仪)向放置在工作台上的工件投射图像(格雷码正码光栅图像)，同时触发图像获取模块拍摄多组带有投射图像的工件图片(一组图片包括左右两个相机拍摄的左右两幅图片)，再对投射的图像进行取反(格雷码反码光栅图像)，第二控制模块驱动图像投射模块向放置在工作台上的工件投射取反后的图像，同时再次触发图像获取模块拍摄多组带有投射图像的工件图片。

STEP222：上位机控制机械手模块旋转一定角度后，重复STEP221的过程，(重复至少3次，以通过在不同空间角度位置进行拍摄来避免存在拍摄死角的问题，针对结构较为复杂的工件，还可以通过人工设定程序，设定拍摄次数)，图像获取模块将拍摄的图片通过USB数据线回传至上位机中。

STEP223：将拍摄得到的带有投射图像(带正反格雷码光栅图像)的工件图片首先进行逐幅展开以及畸变校正，通过图像预处理算法[公式(1)]对经过畸变校正的工件图像进行图像增强及去噪。

F(u,v)＝Round[T(u,v)-med_T(u,v)*δ]+T(u,v) (1)

其中，F(u,v)为经过图像预处理后的图像灰度，T(u,v)为原始图像灰度函数，med_T(u,v)为经过中值滤波后得到的图像灰度，δ为调节原始图像和经过中值滤波图像的像素灰度差值的调节因子，δ值越大，代表图像轮廓越明显，Round[·]为取证函数。

STEP224：首先分别计算经过步骤STEP223图像预处理后的某一方向的带有投射图像(格雷码正码光栅图像)工件图片以及带有取反投射图像(格雷码反码光栅图像)工件图片的各像素点的灰度值，将得到带有正码投射图像的图片像素点灰度值与带有反码投射图像的图片像素点灰度值作差，若差值小于零(即正码投射图像的图片像素点灰度值小于反码投射图像的图片像素点灰度值)，则将该像素点对应灰度值设置为黑色，反之为白色，通过上述方法完成图片上所有像素点灰度值的调整，最终得到修正后的某一空间角度位置拍摄的带有投射图像的工件图片。重复上述过程，直至完成所有空间角度位置拍摄的对应带有投射图像的工件图片的修正。

需要说明的是，为避免投射图像，即格雷码黑白光栅图像在投射时，因存在同一种颜色的条纹亮度和颜色不一致，进而导致后续编码不准确的问题，本发明实施例的一种智能分拣控制方法采用正反格雷码光栅图像作为投射图像，首先向放置在工作台上的工件投射格雷码正码光栅图像，利用图像获取模块拍摄带有该格雷码光栅图像的工件图像，再通过取反模块对图像进行取反，将格雷码反码光栅图像投射到放置在工作台上的工件上，利用图像获取模块拍摄带有该格雷码反码光栅图像的工件图像。

STEP225：利用公式(2)完成对经步骤STEP224修正后的某一空间角度位置拍摄的带有投射图像的工件图片的解码(将格雷码转换成二进制码的过程称为解码过程，即从左边第二位起，将每一位与左边一位解码后的值做异或，作为该位解码后的值)，重复上述过程直至完成所有空间角度位置拍摄方向的已修正后对应带有投射图像的工件图片的解码。

其中，B

STEP33：生成工件的3D模型信息

STEP331：利用Bought算法构建双目立体校正模型，针对图像获取模块在某一空间角度位置拍摄的经过解码后的工件图片进行立体校正。

需要说明的是，传统的立体校正多采用基于对极约束方式，但该种方式存在计算量大以及校正时间长的缺点，因此本发明实施例的一种智能分拣控制方法采用Bought算法对多组图像逐一进行立体校正。

STEP332：基于DP(Dynamic Programming，即动态规划)优化的全局匹配算法对经过步骤STEP331立体校正后的工件图片(左右两幅图片)进行立体匹配。

通过公式(3)首先计算经过立体校正后的工件左右两幅图片的原始匹配代价，

其中，|Fi

通过公式(4)构建工件左右两幅图片全局匹配算法能量函数方程，

其中，C(d

利用公式(5)构建及优化对应数据项C(d

其中，(u，v)表示图像中像素，Fi

利用DP算法优化平滑项V(d

STEP333：构建工件稠密视差图

在立体匹配过程中，图像中部分区域会因投影缩减、遮挡、弱纹理等因素导致像素的视差无法计算。即在图像中表现为视差空洞。本发明实施例的智能分拣控制方法利用SLIC算法对图像中每个区域内的视差空洞进行填补，以此构建稠密视差图。具体为：

(1)首先利用公式(6)对STEP332中得到的某一空间角度位置的工件图片视差图进行图像分割，形成超像素块，并对分割后的每个像素赋予一个标签，针对同一超像素块内具有视差值的像素点的视差值进行滤波，将滤波结果补充至视差空洞的超像素块内，以此初步得到稠密的视差图。

其中，SLI表示每个超像素块的边长，K表示图像中像素的数量，D表示分割的超像素块数。

(2)由于初步得到的稠密视差图在图像边界的位置会出现“不平整”的问题，需要对初步得到的稠密视差图进行平滑，即选择图像的其中一个“不平整”超像素块作为目标块，利用K邻近算法搜索该目标块相邻的超像素块，并依据距离的远近赋予这些这些相邻的超像素块不同的权重，分别计算其与目标块相邻的每个超像素块的直方图，并进行两两比较直方图的相似度，筛选相似度大于系统设定的相似度阈值的超像素块，再依据筛选出的这些超像素块对应的视差值的高低，对这些超像素块进行重排后，提取中间值，将该中间值赋值给目标块。重复上述过程，直至完成全部稠密视差图的平滑，得到工件的最终稠密视差图。

STEP334：构建工件3D模型

将经过步骤STEP333后得到的工件的最终稠密视差图，依据公式(7)生成工件对应稠密3D点云(即计算每个像素点的深度)，重复上述过程直至完成全部不同空间角度位置拍摄的工件对应稠密3D点云。

其中，T

为了获得较为完整的工件3D模型，首先利用ICP算法(Iterative Closest Point，迭代最近点算法)对生成的不同空间角度位置拍摄的对应工件稠密3D点云进行配准拼接，再利用泊松表面重建算法生成工件3D模型。

STEP44：识别工件3D模型

将经过STEP33后得到的工件3D模型输入至基于Solo框架构建的识别模型中，其中，该基于Solo框架构建的识别模型为神经网络模型。该神经网络模型是通过多组训练数据训练获得，多组训练数据中的每一组训练数据包括：已预先设定注释(标签)的各类工件3D模型(即可直接提取系统模板库中存储的工件3D模型，并对工件3D模型做标签，以此作为训练样本)],以实现工件类型的自动识别。

需要说明的是，本发明实施例的智能分拣控制方法提供的基于深度学习的3D物体识别模型为基于Solo框架构建的识别模型，首先利用ImageNet网络对模型训练参数进行初始化，Solo网络模型包含两个分支，分别为类别分支和掩码分支，其中类别分支用于预测语义类别，而掩码分支用于分割对象实例。其中利用FCN网络(Full Connected Network，全卷积神经网络)构建掩码分支(预测实例掩码分支)，利用FPN网络(Feature PyramidNetworks，特征金子塔网络)构建Solo框架主干网络。最后利用Matrix NMS矩阵计算最终的识别结果(实例分割结果)。随着网络层数的增加，会出现梯度消失或者梯度爆炸等现象，导致网络无法收敛。本发明实施例的智能分拣控制方法利用SGD(stochastic gradientdescent，随机梯度下降)算法训练Solo网络模型。并通过公式(9)计算神经网络模型的损失函数，优化网络模型的权证，实现最大程度地减少网络损失。

L

其中，L

其中，in和jn代表搜索网格单元(搜索顺序：从左到右，从上到下)，N

由于在识别模型网络训练初始阶段，起始点距代价函数的极小点距离较大，此时需要一个较大的学习率，在训练后期，该代价函数值逐渐减小，因此需要一个较小的学习率，但在传统的神经网络训练中学习率多采用人工设定方式，无法满足实际训练的需求，故本发明实施例的智能分拣控制方法利用AdaDelta算法【如公式(10)】实现对神经网络训练过程中，学习率的自适应调节。

其中，ρ表示为动量系数，g

STEP55：完成工件抓取及分拣

通过步骤STEP44完成工件识别后，提取工件3D模型图像的形状特征和几何特征，其中几何特征包括轮廓数、周长和面积，依据零件的形状特征和几何特征结合机械手模块的类型计算工件抓取位置。

若采用的用于抓取的机械手模块为吸盘且为平面类工件，则首先利用公式(8)计算工件形心对应的像素点的坐标，再分别利用坐标变换算法和图像获取模块标定算法(机器视觉图像标定算法)将该工件形心对应像素点的坐标转换到机械手模块对应坐标系下的坐标，并将该位置信息反馈给上位机，上位机向机械手模块发送控制指令以及自动规划机械手运动路径，以实现对工件进行精准抓取及分拣。

其中，(X

若采用的用于抓取的机械手模块为抓夹且为非平面类工件，则依据工件3D模型图像的形状特征和几何特征，构建该工件3D模型对应的最小外接矩形(该外接矩形包括的参数信息为：宽、高以及矩形的宽相对于X轴的夹角)，系统通过计算得到该最小外接矩形对应的四个顶点坐标，利用坐标变换将该四个顶点坐标转换为世界坐标系下对应位置点的坐标，再通过计算得到该工件在世界坐标下最小外接矩形对应参数信息(即宽、高以及转角)，利用图像获取模块标定算法(机器视觉图像标定算法)将该工件在世界坐标下最小外接矩形对应参数信息转换到机械手模块对应坐标系下的坐标，并将该信息反馈给上位机，上位机向机械手模块发送控制指令以及自动规划机械手运动路径，以实现对工件进行精准抓取及分拣。

上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。

以下为本发明提供的智能分拣控制系统的实施例。智能分拣控制系统的实施例与上述智能分拣控制方法的实施例属于同一构思，智能分拣控制系统的实施例中未详尽描述的细节内容，可以参考上述智能分拣控制方法的实施例。

请参考图3，其是本发明的第三实施例的智能分拣控制系统的结构示意图。

该智能分拣控制系统，包括图像模块、控制模块、上位机和机械手模块，所述智能分拣控制系统应用上述智能分拣控制方法；其中，

所述图像模块，包括图像投射模块以及图像获取模块；所述图像投射模块用于向待分拣工件投射光栅图像，所述图像获取模块用于对携带有投射图像的待分拣工件完成预设次数的不同空间角度位置的拍照；所述图像模块设置于所述机械手模块；

所述控制模块，包括第一控制模块、第二控制模块块以及取反模块；所述第一控制模块用于通过所述图像获取模块接收上位机发送的指令，所述第二控制模块用于接收所述第一控制模块发送的指令及驱动所述图像投射模块投射光栅图像，所述取反模块用于根据格雷码正码光栅图像获得格雷码反码光栅图像；

所述上位机，用于向各个模块发送指令、以及执行图像处理程序和空间定位程序；

所述机械手模块，用于接收所述上位机发送的指令，进行空间运动、姿态变换以及对待分拣工件进行抓取并分拣。

与现有技术相比，本发明实施例的智能分拣控制系统，基于SLIC算法实现待分拣工件稠密视差图的构建，有效地解决了待分拣工件在进行立体匹配过程中，图像部分区域因投影缩减、遮挡、弱纹理等因素导致像素的视差无法计算，从而形成视差空洞，影响后续三维重建结果的问题，通过本智能分拣控制方法提供的视差图构建算法，可生成稠密的视差图，能够进一步提高后续重建后的三维模型的精度。此外，本智能分拣控制方法基于solo架构构建3D工件识别模型，相较于传统的利用模板匹配方法进行3D工件识别，可有效降低算法复杂度、降低系统运行负担、大幅提升工件识别种类、提高识别精度以及识别速度。

以下具体说明本发明实施例的智能分拣控制系统的工作原理，需要说明的是，以下所述待分拣工件简称为工件；

本发明实施例的智能分拣控制系统,包括：图像模块、控制模块、机械手模块以及上位机；

所述图像模块设置在所述机械手模块上，所述图像模块包括图像获取模块及图像投射模块；所述图像投射模块用于向放置在工作台上的工件投射图像；所述图像获取模块用于对带有投射图像的工件进行不同空间角度位置的拍照；

所述控制模块包括第一控制模块、第二控制模块和取反模块；所述第一控制模块用于通过所述图像获取模块接收上位机发送的指令；所述第二控制模块用于接收第一控制模块发送的指令及驱动所述图像投射模块投射图像；所述取反模块用于针对投影图像进行取反；

所述机械手模块用于接收上位机发送的指令，进行空间运动、姿态变换以及抓取分拣工件；

所述上位机用于向各个模块发送指令、以及执行图像处理程序和空间定位程序。

本发明实施例的智能分拣控制系统的工作原理如下：

STEP1：分别使能图像获取模块以及机械手模块，上位机向机械手模块发送控制指令，机械手模块带动图像获取模块从不同角度拍摄放置在工作台上的标定板(黑白棋盘格)(同一空间角度位置点至少要拍摄8张棋盘格图片，以此提高标定精度)图像，完成拍摄后，将多组标定板图像上传至上位机，利用上位机内置的视觉图像标定算法结合拍摄的多组标定板图像完成对图像获取模块的标定。

STEP2：上位机向图像获取模块发送控制指令，图像获取模块将指令通过第一控制模块(微控制器模块)传输至第二控制模块【DLP(Digital Light Procession、数字光处理)控制器】，第二控制模块预先从模块内置的存储器中调取需要投射的图像(格雷码正码光栅图像)，并将投射图像传输至图像投射模块(光栅投影仪)中，第二控制模块驱动图像投射模块向放置在工作台上的工件表面投射图像(即光栅图片)，第二控制模块同步触发图像获取模块拍摄带有光栅图像的工件图片。

STEP3：利用取反模块对刚投射的图像进行取反(得到格雷码反码光栅图像)，并将投射图像传输至图像投射模块(光栅投影仪)中，第二控制模块驱动图像投射模块向放置在工作台上的工件表面投射图像(即光栅图片)，第二控制模块同步触发图像获取模块拍摄带有光栅图像的工件图片。

STEP4：上位机启动机械手模块旋转一定角度，重复STEP2和STTEP3(重复至少3次，针对结构较为复杂的工件，还可以通过人工修改程序，设定拍摄次数)，图像获取模块将拍摄的图片通过USB数据线回传至上位机。

STEP5：利用上位机中内置的图像处理程序(图像预处理、图像建模算法、图像识别算法)分别生成工件3D模型以及对工件3D模型进行识别，再利用定位算法实现计算工件在真实空间中的位置信息并将其统一至机械手模块坐标系下，上位机通过工业以太网向机械手模块发出控制指令，机械手模块最终完成工件的抓取及分拣。

需要说明的是，图像获取模块优选为双目相机；图像投射模块优选为光栅投影仪；第一控制模块为微控制器；第二控制模块为DLP控制器；上位机与图像模块通过USB数据线进行通信连接，上位机通过工业总线与机械手模块进行通信连接。

需要说明的是，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域的普通技术人员可以理解，上述各实施例在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。