基于深度学习的受弯钢筋混凝土简支梁破坏模式识别方法

摘要

一种基于深度学习的受弯钢筋混凝土简支梁破坏模式识别方法，属于钢筋混凝土构件的破坏模式识别领域。步骤：建立钢筋混凝土结构表面裂缝与剥落损伤语义分割数据集；构建用于钢筋混凝土结构表面裂缝与剥落损伤像素识别的深度学习语义分割全卷积网络；训练和验证构建的深度学习语义分割全卷积网络；采用训练和验证的深度学习语义分割全卷积网络模型进行受弯钢筋混凝土简支梁表面图像中的裂缝与剥落损伤像素识别；提取识别出的图像中的受弯钢筋混凝土简支梁正截面或斜截面破坏的特征；根据识别出的正截面或斜截面的特征进行受弯钢筋混凝土简支梁的破坏模式识别。无需昂贵的检测设备，提高了受弯钢筋混凝土简支梁破坏模式识别的自动化程度。

说明书

技术领域

本发明涉及钢筋混凝土构件的破坏模式识别领域，特别是一种基于深度学习的受弯钢筋混凝土简支梁破坏模式识别方法。

背景技术

钢筋混凝土结构广泛应用于各类大型工程结构中。对于土木工程专业的本科生而言，《混凝土结构设计原理》是非常重要的一门专业课程。在该课程的教学过程中，进行受弯钢筋混凝土简支梁破坏实验，并根据梁破坏后的表面损伤特征进行破坏模式识别，是该课程的关键教学环节。通过受弯钢筋混凝土简支梁破坏实验，能够让土木工程专业的学生认识到受弯钢筋混凝土简支梁的配筋率、混凝土强度等级、截面形式等因素与破坏模式之间的关系。

目前，在进行受弯钢筋混凝土简支梁破坏实验时，主要采用人工法进行破坏模式的识别。在受弯钢筋混凝土简支梁产生初始裂纹时，需要用目测的方式进行初始裂纹的观测。在受弯钢筋混凝土简支梁发生正截面破坏后，需要人工观察梁的跨中受拉区是否存在主裂缝且受压区的混凝土是否被压碎形成剥落，根据这两种现象的不同组合，进行受弯钢筋混凝土简支梁的正截面适筋、少筋和超筋破坏模式的识别。在受弯钢筋混凝土简支梁发生正截面破坏后，需要对梁斜裂缝的形态进行分析，根据分析结果进行受弯钢筋混凝土简支梁的斜截面剪压、斜压和斜拉破坏模式的识别。虽然人工法能够对受弯钢筋混凝土简支梁的破坏模式进行有效的识别，但是这种方法需要具有专业知识的人员与昂贵的设备，且费时费力。

发明内容

本发明的目的是要提供一种基于深度学习的受弯钢筋混凝土简支梁破坏模式识别方法，实现受弯钢筋混凝土简支梁破坏模式的高精度、自动化识别。

本发明的目的是这样实现的：基于深度学习的受弯钢筋混凝土简支梁破坏模式识别方法，包括以下步骤：

S1、建立钢筋混凝土结构表面裂缝与剥落损伤语义分割数据集；

S2、构建用于钢筋混凝土结构表面裂缝与剥落损伤像素识别的深度学习语义分割全卷积网络；

S3、采用S1建立的数据集训练和验证S2构建的深度学习语义分割全卷积网络；

S4、采用S3训练和验证的深度学习语义分割全卷积网络模型进行受弯钢筋混凝土简支梁表面图像中的裂缝与剥落损伤像素识别；

S5、提取S4识别出的图像中的受弯钢筋混凝土简支梁正截面或斜截面破坏的特征；

S6、根据S5提取出的正截面或斜截面的破坏特征进行受弯钢筋混凝土简支梁的破坏模式识别。

进一步地，所述S1中建立混凝土结构表面微裂纹数据集的具体步骤为：

S1.1、收集混凝土结构表面裂缝与剥落损伤的jpg格式的原始图像数据；

S1.2、在Photoshop软件中，对S1.1收集的原始图像中的裂缝与剥落损伤像素进行人工标记，制作S1.1中收集的裂缝与剥落损伤原始图像的png格式的标签图像；标签图像中，背景像素、裂缝像素与剥落像素分别用0、1和2表示；

S1.3、将S1.1收集的裂缝与剥落原始图像及与其对应的标签图像的尺寸调整为504×376像素大小；

S1.4、从S1.3调整尺寸后的裂缝与剥落原始图像及与其对应的标签图像中，随机选择80％的原始图像及与其对应的标签图像作为深度学习语义分割网络模型的训练集，剩余的80％的原始图像及与其对应的标签图像作为验证集。

进一步地，所述S2中构建用于混凝土结构表面裂缝与剥落损伤像素识别的深度学习语义分割全卷积网络的具体步骤为：

S2.1、基于DenseNet-121卷积神经网络，建立用于混凝土结构表面裂缝与剥落损伤像素识别的深度学习语义分割全卷积网络；

S2.2、对建立的深度学习语义分割全卷积网络中各个层的权重和偏置参数进行初始化；

S2.3、对建立的深度学习语义分割全卷积网络的训练和验证时的学习率、动量、权重衰减等超参数进行设置。

进一步地，所述S3中采用S1建立的数据集训练和验证S2构建的深度学习语义分割网络的具体步骤为：

S3.1、采用S1.4建立的训练集，训练S2构建的深度学习语义分割全卷积网络；

S3.2、在S3.1深度学习语义分割全卷积网络的训练过程中，穿插验证过程，采用S1.4建立的验证集对训练过程中获得的深度学习语义分割全卷积网络模型进行验证。

进一步地，所述S4中采用S3训练和验证的深度学习语义分割网络进行受弯钢筋混凝土简支梁表面图像中的裂缝与剥落损伤像素识别的具体步骤为：

S4.1、以左右支座为端点、两个集中对称荷载作用点为中间点，将受弯钢筋混凝土简支梁分为中跨和边跨，并在受弯钢筋混凝土简支梁表面标记出中跨和边跨的区域范围；

S4.2、在受弯钢筋混凝土简支梁破坏以后，采用智能手机对破坏后的受弯钢筋混凝土简支梁表面存在损伤的跨度区域进行图像采集，并对图像中包含的受弯钢筋混凝土简支梁的表面区域(中跨或边跨)进行记录；

S4.3、根据S4.1中所做的标记，将S4.2采集的破坏后的受弯钢筋混凝土简支梁表面图像中的中跨或边跨区域部分裁剪出来，并将裁剪出的中跨或边跨区域图像的长和宽像素尺寸调整为504×376像素的整数倍；

S4.4、对于S4.3中进行尺寸调整后的破坏后的受弯钢筋混凝土简支梁表面的中跨或边跨区域图像，采用504×376像素大小的矩形滑动窗口按照从左到右、从上到下的顺序依次扫描一遍；在进行扫描的过程中，当窗口滑动到某一位置时，应用S3中训练好的深度学习语义分割网络模型对该位置处小图像中的裂缝与剥落像素进行识别；识别结果中图像中，背景、裂缝与剥落像素分别用黑色、白色与绿色表示；

S4.5、将S4.4识别结果图像的尺寸，调整为S4.3中裁剪出的中跨或边跨区域部分图像的原始尺寸。

进一步地，所述S5中提取S4识别出的图像中的受弯钢筋混凝土简支梁正截面或斜截面破坏的特征的具体步骤为：

S5.1、根据S4.2中记录的采集的图像中包含的受弯钢筋混凝土简支梁表面区域的范围，所述的范围为中跨或边跨，若S4.2采集的图像为受弯钢筋混凝土简支梁的中跨区域图像，则对S4.5调整尺寸后的识别结果图像进行分析，判断在梁的受拉区是否存在主裂缝以及在梁的受压区是否存在剥落损伤；

S5.2、根据S4.2中记录的采集的图像中包含的受弯钢筋混凝土简支梁表面区域的范围，所述的范围为中跨或边跨，若S4.2采集的图像为受弯钢筋混凝土简支梁的边跨区域图像，则对S4.5调整尺寸后的识别结果图像进行分析，对识别结果图像中的裂缝的像素坐标进行直线拟合，计算拟合直线斜率的绝对值，该绝对值为根据裂缝计算的受弯钢筋混凝土简支梁的剪跨比。

进一步地，所述S6中根据S5提取出的正截面或斜截面的破坏特征进行受弯钢筋混凝土简支梁的破坏模式识别的具体步骤为：

S6.1、若S4.2采集的图像为受弯钢筋混凝土简支梁的中跨区域图像，则根据S5.1的梁的受拉区是否存在主裂缝以及在梁的受压区是否存在剥落损伤的判断结果，进行受弯钢筋混凝土简支梁正截面破坏模式的识别；

S6.2、若S4.2采集的图像为受弯钢筋混凝土简支梁的边跨区域图像，则按照S5.2中根据裂缝计算的受弯钢筋混凝土简支梁的剪跨比的范围，进行受弯钢筋混凝土简支梁斜截面破坏模式的识别。

有益效果和优点，由于采用了上述方案，采用深度学习技术，进行图像中受弯钢筋混凝土梁表面裂缝与剥落损伤像素的识别，然后进行受弯钢筋混凝土梁正截面和斜截面特征提取，最终根据提取的正截面和斜截面特征进行受弯钢筋混凝土梁破坏模式的识别。实现受弯钢筋混凝土简支梁破坏模式的自动化识别，省时省力。

本发明适用的情形为钢筋混凝土简支梁受对称集中荷载作用，中跨区域为钢筋混凝土简支梁所受的两个对称集中荷载之间的区域，边跨区域为钢筋混凝土简支梁所受的集中荷载到与之距离较近的一个支座之间的区域。

实现了受弯钢筋混凝土简支梁破坏模式的高精度、自动化识别，达到了本发明的目的。

附图说明

图1基于深度学习的受弯钢筋混凝土简支梁破坏模式识别方法流程图。

图2构建的用于混凝土结构表面裂缝与剥落损伤像素识别的深度学习语义分割全卷积网络的架构。

图3受弯钢筋混凝土简支梁中跨与边跨标记示意图。

图4受弯钢筋混凝土简支梁正截面破坏特征提取举例。

图5受弯钢筋混凝土简支梁斜截面破坏特征提取举例。

具体实施方式

以下结合附图和技术方案，进一步说明本发明的具体实施方式。

实施例1：如图1所示，基于卷积神经网络的混凝土结构表面微裂纹特征提取方法包括以下六个步骤：

步骤一、建立钢筋混凝土结构表面裂缝与剥落损伤语义分割数据集；

步骤二、构建用于钢筋混凝土结构表面裂缝与剥落损伤像素识别的深度学习语义分割全卷积网络；

步骤三、采用步骤一建立的数据集训练和验证步骤二构建的深度学习语义分割全卷积网络；

步骤四、采用步骤三训练和验证的深度学习语义分割全卷积网络模型进行受弯钢筋混凝土简支梁表面图像中的裂缝与剥落损伤像素识别；

步骤五、提取步骤四识别出的图像中的受弯钢筋混凝土简支梁正截面或斜截面破坏的特征；

步骤六、根据步骤五识别出的正截面或斜截面破坏的特征进行受弯钢筋混凝土简支梁的破坏模式识别。

本发明适用的情形为钢筋混凝土简支梁受对称集中荷载作用，中跨区域为钢筋混凝土简支梁所受的两个对称集中荷载之间的区域，边跨区域为钢筋混凝土简支梁所受的集中荷载到与之距离较近的一个支座之间的区域。

本发明基于深度学习进行受弯钢筋混凝土简支梁的破坏模式识别，具体实施方法如下：

对于步骤一中混凝土结构表面裂缝与剥落损伤语义分割数据集的建立，首先，采用智能手机从真实的钢筋混凝土结构表面拍摄裂缝原始图像400至600张、剥落原始图像400至600张，这些图像中应该尽可能多的包含光照变化、混凝土表面锈渍、坑洞等环境噪声。然后，将拍摄到的图片用Photoshop软件进行了像素级的人工标注，即用人眼观察的方法将图片中的裂缝与剥落像素从背景像素中分离出来。然后，将分离完成的jpg格式的图片用MATLAB代码转换为单通道的png格式的标签图。在转换后的png图片中，背景、裂缝与剥落像素分别被标记为0、1和2。再后，将所有原始图像与对应的标签图像都调整为504×376像素分辨率。最后，从调整尺寸后的原始图像中，随机选取80％的裂缝图像与80％的剥落图像，选取的图像和与其对应的标签图像作为深度学习语义分割全卷积网络的训练集，剩余的20％的裂缝图像与20％的剥落图像和与其对应的标签图像作为验证集。

对于步骤二中用于钢筋混凝土结构表面裂缝与剥落损伤像素识别的深度学习语义分割全卷积网络的构建，首先，基于DenseNet-121卷积神经网络，建立用于混凝土结构表面裂缝与剥落损伤像素识别的深度学习语义分割全卷积网络架构，为了获得精度较高的语义分割结果图像，设计的全卷积网络架构在生成语义分割图像时融合了第一个卷积层和前四个池化层的特征，图2为建立的用于混凝土结构表面裂缝与剥落损伤像素识别的深度学习语义分割全卷积网络架构，表1为建立的全卷积网络架构各个层的详细参数。然后，采用基于模型的迁移学习策略，全卷积网络架构中DenseNet-121部分的权重和偏置由预训练的DenseNet-121模型的参数进行初始化。在DenseNet-121之外的部分，所有反卷积层的权重均采用双线性初始化方法。最后，将全卷积网络训练时的基准学习率设置为1×10

表1全卷积网络架构的各个层的详细参数

对于步骤三中训练和验证步骤二构建的深度学习语义分割全卷积网络，首先，采用步骤一建立的训练集，迭代训练优化步骤二构建的卷积神经网络中各个层的权重和偏置参数，设置的总迭代优化次数为100000次。然后，在卷积神经网络的训练过程中，每隔200次迭代穿插一次验证过程，采用步骤一建立的验证集对训练过程中获得的语义分割全卷积网络模型进行验证，并计算每个验证过程的像素精度PA、平均像素精度MPA、平均交并比MIoU和频权交并比FWIoU。PA、MPA、MIoU、FWIoU的计算公式分别为：

上述公式中，k取2(表示裂缝与剥落两个像素类别)，p

对于步骤四中采用步骤三训练和验证的深度学习语义分割网络进行受弯钢筋混凝土简支梁表面图像中的裂缝与剥落损伤像素识别。

第一步是要标记出受弯钢筋混凝土简支梁的中跨和边跨区域，具体操作时，以左右支座为端点、两个集中对称荷载作用点为中间点，将受弯钢筋混凝土简支梁分为一个中跨和两个边跨，并在受弯钢筋混凝土简支梁表面标记出中跨和两个边跨的区域范围。受弯钢筋混凝土简支梁中跨与边跨标记示意图如图3所示。

第二步是在受弯钢筋混凝土简支梁破坏以后，采用智能手机对破坏后的受弯钢筋混凝土简支梁表面存在损伤的跨度区域进行图像采集，图4(a)为中跨区域原始图像，图5(a)为边跨区域原始图像；同时记录图像中包含的区域是受弯钢筋混凝土简支梁的中跨还是边跨。

第三步是根据采集到的图像中的中跨与边跨区域标记线，将图像中的受弯钢筋混凝土简支梁中跨或边跨区域部分裁剪出来，图4(d)为裁剪出的中跨区域图像，图5(d)所示为裁剪出的边跨区域图像。

并将裁剪出的中跨或边跨区域图像的长和宽像素尺寸调整为504×376像素的整数倍。

第四步是对尺寸调整后的破坏后的受弯钢筋混凝土简支梁表面的中跨或边跨图像，采用504×376像素大小的矩形滑动窗口按照从左到右、从上到下的顺序依次进行扫描一遍。在进行扫描的过程中，当窗口滑动到某一位置时，应用步骤三中训练好的深度学习语义分割网络模型对该位置处小图像中的裂缝与剥落像素进行识别。图4(c)为对中跨区域裂缝与剥落像素扫描识别结果图像，图5(c)为对边跨区域裂缝像素扫描识别结果图像。

第五步是将第四步获得的识别结果图像的尺寸调整为第三步裁剪出的图像的原始尺寸。

对于步骤五中提取步骤四识别出的图像中的受弯钢筋混凝土简支梁正截面或斜截面破坏的特征，首先要判断步骤四中记录的采集的图像中包含的受弯钢筋混凝土简支梁表面区域的范围(中跨或边跨)。

若步骤四中采集的图像为受弯钢筋混凝土简支梁的中跨区域图像，则先对步骤四最终获得的调整为裁剪出的中跨或边跨区域部分图像尺寸后的识别结果图像中的裂缝和剥落像素区域进行形态学闭运算，再判断在梁的受拉区是否存在主裂缝以及在梁的受压区是否存在剥落损伤。在判断在梁的受拉区是否存在主裂缝时，对闭运算之后的图像中所有的受拉区裂缝连通区域逐一进行处理，计算出与每个裂缝连通区域具有相同标准二阶中心矩的椭圆的离心率。将计算出的每条裂缝的离心率按照降序排列，提取出前两个离心率对应的裂缝作为可能的主裂缝，然后分别测量两条提取出的裂缝的长度和最大宽度。如果其中一条裂缝的长度和最大宽度的数值都比另一条的大，则认为该裂缝为梁受拉区的主裂缝，否则就认为梁受拉区不存在主裂缝。在判断在梁的受压区是否存在剥落时，先从闭运算之后的图像中将剥落损伤提取出来，再对提取的剥落损伤进行闭运算并提取最大的剥落损伤的质心坐标。当质心坐标位于梁上部时则认为梁受压区存在剥落损伤，否则就认为梁受压区不存在剥落损伤。根据上述判断方法，图4(d)为中跨区域正截面破坏特征提取图像。

若步骤四中采集的图像为受弯钢筋混凝土简支梁的边跨区域图像，则先将步骤四最终获得的调整为裁剪出的中跨或边跨区域部分图像尺寸后的识别结果图像中除背景以外的像素都重置为裂缝像素，并对重置后的图像中的裂缝像素区域进行形态学闭运算，再对图像中的面积小于3600像素和离心率小于0.97的区域进行去除，获得受弯钢筋混凝土简支梁边跨区域的斜截面破坏特征提取图像，图5(d)所示为边跨区域斜截面破坏特征提取图像。采用最小二乘法，选取主斜裂缝图像的左上角为坐标原点、向右为水平轴、向下为竖直轴，对获得的主斜裂缝图像的水平和竖直方向的像素坐标进行直线拟合，计算拟合直线的斜率绝对值，作为根据裂缝计算的受弯钢筋混凝土简支梁的剪跨比。

对于步骤六中根据步骤五中识别出的正截面或斜截面的特征进行受弯钢筋混凝土简支梁的破坏模式识别，若步骤四中采集的图像为受弯钢筋混凝土简支梁的中跨区域图像，则根据步骤五的梁的受拉区是否存在主裂缝以及在梁的受压区是否存在剥落损伤的判断结果，进行受弯钢筋混凝土简支梁正截面破坏模式的识别。其中，若受拉区存在主裂缝且受压区存在剥落损伤，则识别出的受弯钢筋混凝土简支梁的破坏模式为适筋破坏；若受拉区存在主裂缝但受压区不存在剥落损伤，则识别出的受弯钢筋混凝土简支梁的破坏模式为少筋破坏；若受拉区不存在主裂缝但受压区存在剥落损伤，则识别出的受弯钢筋混凝土简支梁的破坏模式为超筋破坏。若步骤四中采集的图像为受弯钢筋混凝土简支梁的边跨区域图像，则按照步骤五中根据裂缝计算的受弯钢筋混凝土简支梁的剪跨比的范围，进行受弯钢筋混凝土简支梁斜截面破坏模式的识别。其中，若根据裂缝计算的剪跨比的范围为大于1且小于3，则识别出的受弯钢筋混凝土简支梁的破坏模式为剪压破坏；若根据裂缝计算的剪跨比的范围为大于3，则识别出的受弯钢筋混凝土简支梁的破坏模式为斜拉破坏；若根据裂缝计算的剪跨比的范围为小于1，则识别出的受弯钢筋混凝土简支梁的破坏模式为斜压破坏。