基于深度学习的钢筋混凝土构件表面裂缝的快速识别方法

摘要

本发明公开了一种基于深度学习的钢筋混凝土构件表面裂缝的快速识别方法，涉及钢筋混凝土技术领域，本发明将基于深度学习理论的图像处理法与钢筋混凝土构件表面裂缝识别相融合，基于语义分割模型DeeplabV3+，在Deeplab算法的基础上引入Encoder‑Decoder结构，并且对像素进行分割预测，可在预测结果图上更加精确地显示识别结果，同时引入准确率Accuracy、交并比IoU和F1‑score指标评价体系。

说明书

技术领域：

本发明涉及钢筋混凝土技术领域，具体涉及一种基于深度学习的钢筋混凝土构件表面裂缝的快速识别方法。

背景技术：

混凝土构件的裂缝是结构损伤评估中的一个重要特征，在利用裂缝图像数据评估裂缝对结构的损伤程度之前需要对裂缝进行识别，由于混凝土结构所处环境复杂多变，采集图像过程中也会掺入许多干扰项，如污点、光照等，因此使用传统的图像处理法识别裂缝时有诸多限制。而对于深度学习来说，利用足够多的数据集可以尽可能的减少干扰项，因此本发明基于深度学习算法对混凝土构件表面的裂缝进行识别。

目前，利用深度学习技术识别混凝土构件表面损伤的研究越来越多。有学者利用语义分割网络DeepLabV3+、ConvNet神经网络、经改进的GoogLeNet的卷积神经网络等方法对钢筋混凝土桥梁或道路的裂缝识别进行研究，有的研究准确度高达97.95％。有关钢筋混凝土既有构件中的裂缝识别技术已经较多，但是所识别的裂缝通常具有非连续性，且识别范围较小，有待进一步完善。

为了解决这一问题，本发明提出了一种将DeepLab V3+网络应用于钢筋混凝土构件表面裂缝的快速识别方法。在目前的工作中，首先采用智能手机获取图像，对图像进行数据标记和划分；然后对预处理后的图像数据集进行训练和验证，得到裂缝分割图。在此基础上，对比选取的两组深度学习模型SegNet和U-Net。结果表明，该方法的识别更准确高效。

发明内容：

为了能够更加高效、准确地识别钢筋混凝土构件表面的裂缝，并将其应用于钢筋混凝土既有构件表面损伤的研究，本发明提供了一种基于DeepLab V3+网络的钢筋混凝土构件表面裂缝的图像分割和快速识别方法。

本发明所要解决的技术问题采用以下的技术方案来实现：

基于深度学习的钢筋混凝土构件表面裂缝的快速识别方法，包括以下步骤：

步骤一、裂缝图像数据集获取及其预处理：

(1)采集裂缝原始图像；

(2)采用PS软件对原始图像中裂缝进行标记，并添加标签；

(3)将原始图像裁剪为像素大小一致的小图像，增加样本数量，并去除不含目标裂缝的图像，确定训练集、验证集和测试集的数量；

步骤二、深度学习网络模型的构建：

(1)选择DeeplabV3+语义分割模型建立框架；

(2)原始图像输入到Deeplab V3+模型的Encoder结构中，期间其主干网络Xception会从图像中抓取一个高尺度的特征图引入Decoder结构中，以提供边缘特性；另外经过一个1×1卷积核降维后，将降维后的特征图引入Decoder结构中，特征图在Decoder结构中与边缘特征进行融合，最后上采样到原始图像大小；

(3)将得到的计算结果与标签图像进行比较，分析计算误差后采用反向传播算法对网络中的权重进行优化，最终经过多次训练迭代得到最优化权重；

步骤三、模型结果验证与分析：

(1)模型采用DeeplabV3+语义分割算法，基于最佳初始学习率，对验证集进行结果预测，并采用准确率ACC、交并比IoU和F1-score三个指标来评价模型的预测效果；

(2)将所得的预测结果与传统分析方法进行比较，进一步验证本模型的高效性和准确性。

相比于现有的技术，本发明的有益效果是：

(1)本发明将基于深度学习理论的图像处理法与钢筋混凝土构件表面裂缝识别相融合，基于语义分割模型DeeplabV3+，在Deeplab算法的基础上引入Encoder-Decoder结构，并且对像素进行分割预测，可在预测结果图上更加精确地显示识别结果；

(2)本发明引入准确率Accuracy、交并比IoU和F1-score指标评价体系；

(3)过去的传统人工标记和图像处理的方法，效率和准确率较低，而深度学习在大型的数据集上预先训练好模型参数，再进行人工调参，选取最佳的初始学习率，可以快速有效地提高准确率。

附图说明：

图1为基于深度学习识别裂缝的具体过程图；

图2为DeeplabV3+结构图；

图3为主干网络Xception结构示意图；

图4为不同初始学习率下的指标数值；

图5为DeepLabV3+在验证集中不同指标变化曲线；

图6为不同模型的裂缝识别图；

图7为裂缝数据集分割结果。

具体实施方式：

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施例和图示，进一步阐述本发明。

本发明提供了一种基于DeepLab V3+网络的钢筋混凝土构件表面裂缝的图像分割和快速识别方法，具体过程如图1所示，将基于深度学习理论的图像处理法与钢筋混凝土构件表面裂缝的识别相融合，利用语义分割模型DeeplabV3+挑选出最佳的最初学习率，并且和其他网络经典模型进行对比，从而得到高准确率、高精度的裂缝识别图。具体的优选实例如下：

Python语言中的Keras作为一种开源的神经网络库，DeeplabV3+是在windows操作系统上使用Keras搭建的，所有的训练和验证都是在GPU(Graphic Processing Unit)上完成的，具体的软件版本和硬件型号如表1：

表1环境配置表

步骤一、裂缝图像数据集获取及其预处理：

(1)根据所采集的数据集选择含有裂缝的原始图像，共收集到193张像素为4032×3024的原始裂缝照片。

(2)将PS软件和Labelme软件标注时间对比，前者平均用时缩短21％，采用PS软件对原始图像中待识别部分进行标记。

(3)采用图像数据增强的方法对原始图像数据进行处理。将193张像素大小为4032×3024的原始图像裁剪为17040张像素大小为384×384的小图像，同时去除不包含目标裂缝的图像，剩余4990张包含裂缝的图像，其中2994张为训练集，998张为验证集，998张为测试集。

步骤二、深度学习网络模型的构建：

(1)选择DeeplabV3+语义分割模型建立框架，DeepLabV3+网络是一种多层卷积神经网络(CNN)，利用卷积核提取特征，然后将图像恢复到原始大小。图2为该算法的网络结构图。

(2)原始图像输入到Deeplab V3+模型的Encoder结构中，期间其主干网络Xception会从图像中抓取一个高尺度的特征图，引入Decoder结构中，如图3，以提供边缘特性；另外，通过Atrous空间金字塔池化(ASPP)对得到的特征映射进行降维，该算法由一个1×1卷积、三个3×3卷积(速率分别为6、12和18)和图像池化组成，将降维后的特征图引入Decoder结构中。特征图在Decoder结构中与边缘特征进行融合，最后采样到原始图像大小。

(3)将得到的计算结果与标签图像进行比较，分析计算误差后，采用反向传播算法对网络中的权重进行优化，最终经过多次训练迭代得到最优化权重。

步骤三、模型结果验证与分析：

(1)模型采用DeeplabV3+语义分割算法，基于最佳初始学习率，对验证集进行结果预测，并采用准确率ACC、交并比IoU、和F1-score三个指标来评价模型的预测效果。

数据集中的训练集共2994张图像，每次传入模型2张图片，因此每个epoch需要1497次迭代才能遍历整个数据训练集。在每次迭代过程后都会计算网络的训练损失，样本每循环训练三次就保存一次权重文件。设定当验证集loss三次不下降时，下调学习率。激活函数为ReLU函数，损失函数为交叉熵，优化器选择Adam。参数设定完成后即可开始训练，以验证集的loss为基准，当loss连续十次不再下降时，停止训练。

为了得到更好的网络参数，设置了3组不同的初始学习率进行训练，通过对比试验找到一组损失下降快，训练精度上升快的初始学习率。

图4显示了训练损失函数loss、ACC和IoU在不同初始学习率下的变化情况。

不同的评价指标可以从不同角度评价训练效果，图5分别显示了在最佳初始学习率下多种指标Loss、IoU、F1-score和ACC在训练集和验证集中的变化情况。

(2)将所得的预测结果与传统分析方法进行比较，进一步验证本模型的高效性和准确性。

从原图和分割结果图的对比分析，DeeplabV3+模型对数据集的分割效果较好，因为DeeplabV3+模型拥有金字塔ASPP模块，可以从不同尺度方向上对裂缝的特征进行采集，所以在预测过程中较高的还原了裂缝的边界特征，使其保持高分割精度。

图6列出了比较SegNet、UNet和DeeplabV3+三种模型对本数据集中裂缝的分割识别效果。从附图6b可以看出，SegNet模型丢失了一些关于裂缝的信息，因为在分割时，它没有从池化层应用足够详细的信息。此外，U-Net结合了纹理信息的高频特征和结构信息的低频特征，在附图6c的第2和第5张图像中也未能分割出裂缝。这可能是由于浅层细节特征，这包括了U-Net模型中过多的背景干扰。可见，本发明提出的基于DeepLab V3+网络的模型在GFRC图像中对裂缝的识别效果更好，图像更加完整、且形状与原标签图高度吻合，如附图6d所示。

另外，表2列出了三种模型预测效果的评价指标ACC、IoU和F1-score。从表中可以看出，DeeplabV3+模型的预测效果明显优于SegNet及UNet模型。具体表现在，相比于SegNet和UNet，DeeplabV3+模型的准确率ACC分别提高了0.8％和0.3％，交并比IoU分别提高了5.9％、2.8％，F1-score分别提高了5.3％和1.2％。

表2测试集中不同模型的定量分析

此外，整段梁的识别需要分段进行。在采集原始图像过程中，发现压弯试验中的梁体裂缝相对于梁体过于细小，而且，如果将梁体采集到一张图像中，视角过远、裂缝会显示不清楚，造成识别失败。针对上述问题，实验将整个梁体分成15段，在每个需要采集的受力阶段中，从梁的一端开始分段采集，即一次完整的采集需要采集15次才可完成整段梁的采集。尽可能的清晰地采集裂缝，采集结束后通过图像拼接技术将15段梁体照片拼接成一个完整的梁，这样即可以保留裂缝信息，又可以获取一段完整的梁。

试验中梁体极限荷载为480KN，选取极限荷载的20％、40％和60％三个阶段进行图像采集。图像采集后，考虑识别效率，决定采用极限荷载的60％进行裂缝识别，这时的裂缝宽度适中，且图像采集效果较好。将整段梁体从左到右平均切分成四段，采用深色标记裂缝的位置与大致形状，并放大一部分裂缝图像，放大区域用红框标出。

将采集的图像代入网络，得到裂缝分割图像，如图7所示，(a)为整段梁体，同上图一样将识别结果切分成四部分，(b)为分割图的区域放大图，放大区域为(a)中红框部分。

经过计算整段梁识别的ACC和IoU分别为98.1％和68.7％，识别效果较好，证明了该方法在工程实践中的可行性。

本发明基于深度学习的图像识别方法可以广泛运用到具体的工程项目中，如本发明所示方法，利用训练集和验证集对DeeplabV3+网络模型进行训练，便可以对钢筋混凝土构件表面的裂缝进行快速识别。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。