一种基于多路卷积特征融合网络与差温知识蒸馏的路面裂缝图像轻量化分割方法

摘要

本发明设计了一种基于多路卷积特征融合网络与差温知识蒸馏的路面裂缝图像轻量化分割方法，其包含了一种基于多路卷积特征融合的轻量化分割网络设计方法与一种基于差温知识蒸馏的模型训练方法，解决了现有基于深度学习的道路路面图像分割网络难以应用的问题。本发明设计了一种多路卷积特征融合网络结构，其包含标准卷积路径、长方卷积路径、膨胀卷积路径与融合路径，能在浅网络层与窄特征通道的条件下保持良好的分割性能。本发明拓展了知识蒸馏，通过制造差异温度参数进一步缩小轻量化网络的收敛空间，从而提升网络性能。最终基于本发明所训练出来的轻量化网络能够部署到嵌入式设备中执行高效准确的路面裂缝分割检测任务。

说明书

技术领域

本发明涉及道路路面病害识别技术领域，可用于路面路面裂缝的快速检测，具体涉及一种基于多路卷积特征融合的轻量化分割网络设计方法与一种基于差温知识蒸馏的模型训练方法。

技术背景

道路裂缝是指道路固体材料组织在机械力冲击，化学侵蚀，温差效应等作用下产生的一种不连续现象，一般表现为肉眼可见的，宽度等于或大于0.05mm的宏观裂隙。道路路面裂缝扩展会使雨水与杂物侵入面层结构与路基，造成道路的结构性破坏，导致路面承载能力与耐久性下降，加速路面老化与损坏，增加交通安全风险。为了降低路面裂缝扩展带来的安全风险，我国每年要投入大量资金改善结构状况以维持道路寿命。目前，路面裂缝调查一般依靠检测员目测评估完成，但这种工作方式危险、辛苦而低效。所以，设计一种自动化快速巡检路面裂缝方法具有现实意义。

近年来得益于计算机视觉在道路结构健康监测领域的发展，基于图像的裂缝检测与分割方法取得了巨大进步。相关研究者构建深层神经网络执行路面裂缝检测任务，利用卷积神经网络强大的特征提取能力，开发了一系列自动化、高性能的检测方法，这些方法为道路运营与维护工作提供了便利。但是，由于深度神经网络对计算机内存空间与运算能力存在较高要求，因此神经网络的应用部署工作难以推进。而浅层神经网络又无法满足道路检测任务的性能要求。因此，寻找一种能同时满足轻量化与性能要求的路面裂缝图像分割网络具有现实意义。同时，寻找一种适用于嵌入式设备的神经网络部署方案可以进一步拓展神经网络的工程应用场景。

发明内容

为了克服现有技术的缺点，本发明的目的是提供一种基于多路卷积特征融合网络与差温知识蒸馏的路面裂缝图像轻量化分割方法，解决现有神经网络无法部署到嵌入式设备并维持良好性能的问题，实现了路面裂缝分割网络在嵌入式设备中能以极小的运行成本进行接近实时、高效和准确的裂缝图像分割任务。

本系统涉及基于多路卷积特征融合的轻量化网络结构设计方法、基于差温知识蒸馏的轻量化模型训练方案以及适用于嵌入式设备的轻量化网络部署方案。

为了实现上述目的，本发明的技术方案是：

步骤一：收集路面裂缝图像，对图像进行数据分析、数据清理与数据增广等操作，对裂缝图像进行分割标注并创建训练实例；

步骤二：根据数据分析所获得的先验知识，设计构建复杂多路卷积特征融合深度神经网络与不平衡损失函数，针对裂缝的不同特征进行差异性提取，再融合提取到的差异性特征用于预测分割标签；

步骤三：训练构建好的复杂神经网络，经过反复实验后得到性能优越的复杂深度神经网络；

步骤四：修改复杂神经网络分类层参数，使复杂神经网络推理软目标分割标签，并将软目标分割标签视作轻量化神经网络训练数据集的一部分；

步骤五：设计构造与复杂网络具有相似结构的轻量化多路卷积特征融合神经网络，使用差温知识蒸馏的模型训练方案让轻量化网络学习复杂神经网络的知识，从而使轻量化分割神经网络保持优良性能；

步骤六：对轻量化分割神经网络进行修剪与量化，进一步压缩网络。

步骤七：将训练得到的基于多路卷积特征融合的轻量化神经网络部署至嵌入式设备，连接摄像头并安置在智能移动小车上，执行自动化巡检路面裂缝任务。

进一步地，所述步骤一：

从图像采集设备中采集的图像经过数据清理与数据标准化处理后可以得到三维张量，其平面彩色图像数学表达式可表示为I＝f(x,y,λ)，其中x表示空间x轴上的值，y表示空间y轴上的值,这两者表示像素空间位置，λ表示波长，彩色图像中一般指RGB三通道。标注图像的数学表达式可表示为L＝f′(x,y),其中标注图像不包含色彩信息，只包含语义信息，0表示路面背景，1表示裂缝。我们需要构建神经网络D使其满足L＝D(I)的映射。

进一步地，所述步骤二中：

根据图像分析，裂缝一般会贯穿图像并呈现细长条形，对此本发明有针对性地设计了多路卷积，分别包括了标准卷积路径、膨胀卷积路径、长方卷积路径三种卷积路径，最后通过融合路径融合所有特征信息。所建立的神经网络包含四个部分，第一部分是编码器，利用堆叠的卷积块(包含卷积层、标准化层、激活层)执行下采样过程，进行特征提取；第二部分是特征增强部分，利用残差块对特征进行强化与抽象；第三部分是利用堆叠的反卷积块(包含反卷积层、归一化层、激活层)执行上采样过程，解码还原抽象特征信息；第四部分是结果推理层，包含归一化指数函数层，将特征信息归一化成概率图以反映最终的推理结果，其中深颜色表示被视作裂缝的概率高，浅颜色表示被视作背景的概率高。本发明构造了一种特殊的不平衡损失函数以解决裂缝图像分割中的类不平衡问题。不平衡损失函数将对标注图像不同的通道附加不同的权重值，从而突破单通道图像的限制，实现对不平衡类(背景与裂缝)进行控制。

其中Y

进一步地，所述步骤三中：

使用复杂多路卷积特征融合深度神经网络进行训练，使用验证集与测试集对训练结果进行验证与测试，以保证神经网络良好的鲁棒性。

进一步地，所述步骤四中：

归一化指数函数层中的SoftMax函数可表示为：

其中z

进一步地，所述步骤五中：

设计构造具有相似网络结构的轻量化多路卷积特征融合网络，缩减通道宽度与网络宽度，从而减小网络复杂度，并将特征增强层残差块中的卷积层修改为深度可分离卷积层，进一步减小网络的内存占用空间。然后使用拓展的差温知识蒸馏以获得相较于标准知识蒸馏更优良的训练效果。

进一步地，所述步骤六中：

对轻量化多路卷积特征融合神经网络的分类层进行修剪优化，使用量化技术将网络模型中的浮点型数据量化成整型数据，进一步降低轻量化网络的大小并提升轻量化网络的推理速度。

进一步地，所述步骤七中：

将轻量化网络部署到嵌入式设备中，并设计计算机程序，将摄像头获取的图像流传入到程序中交由轻量化神经网络处理并在便携显示屏中实时反馈推理结果。

本发明的创新点为设计了基于多路卷积特征融合的轻量化神经网络架构，设计了性能比标准知识蒸馏方案更加优良的差温知识蒸馏方案，首次将轻量化神经网络部署到嵌入式设备中以近于实时的反馈速度显示准确的检测结果图像。

本发明的优点及有益效果有：本发明所设计训练的轻量化神经网络能在嵌入式设备中运行，并保持准确、清晰、近乎实时的处理效果，大大地拓展了神经网络在实际工程中的应用。本发明所提出的多路卷积特征融合可以有效地提升网络性能，在极致压缩的条件依然保持良好的性能，可以准确地处理复杂的分割任务。本发明所提出的差温知识蒸馏训练方案在不增加计算成本的情况下可以提升轻量化网络的学习能力，并保持良好的鲁棒性。本发明的训练方案可以推广到众多神经网络的轻量化，促进深度神经网络的应用进程。

附图说明

图1为本发明轻量化网络设计-训练-部署全流程示意图。

图2为本发明步骤二的基于多路卷积特征融合的网络结构示意图。

图3为本发明步骤二的基于多路卷积特征融合的网络的标准卷积路径示意图。

图4为本发明步骤五的基于差温蒸馏的轻量化网络训练流程图。

图5为本发明的轻量化模型优化部署全过程示意图。

图6为本发明的一个分割实例结果展示示意图。

具体实施方式

下面根据说明书附图对本发明做进一步说明：

如图1所示，一种基于多路卷积特征融合与知识蒸馏的轻量化神经网络的设计方法与训练方案，包含以下步骤：

步骤一、收集道路路面裂缝与标签信息，经过清理错误图像与重复图像等数据清洗操作后，得到2500份道路路面裂缝数据标签对，通过随机函数将2500份数据对分为训练集(2000份)、验证集(250份)与测试集(250份)，创建基础的训练数据集。

步骤二、根据裂缝图像分析设计基于多路卷积特征融合的神经网络结构，其结构如图2所示，输入数据进入神经网络输入层后同时流入三条卷积路径，三条卷积路径分别为标准卷积路径(其中的卷积块以标准卷积层为主，卷积核为正方形，膨胀系数为1)、长方卷积(其中的卷积块以长方卷积层为主，卷积核为长方形，膨胀系数为1)、膨胀卷积层(其中的卷积块以膨胀卷积层为主，其卷积核为正方形，膨胀系数＞1)。三条路径分别会生成相应的预测标签，其分别为标准卷积标签、长方卷积标签与膨胀卷积标签，除此之外，还有一条融合路径融合三条路径的特征信息，生成融合标签。因此基于多路卷积特征融合的神经网络存在四个输出，在网络训练过程中，四个输出的对应真实标签保持一致。三条路径的组成是相似的，是以编码器-解码器为主要的神经网络结构。如图3所示，标准卷积路径的全程包含图像调整层(由填充层、卷积层、批标准化层与激活层组成，目的是调整输入数据的尺寸)、下采样层(由卷积层、批标准化层与激活层组成的卷积块堆叠而成，目的是对数据进行下采样与特征提取)、特征增强层(由填充层、卷积层、批标准化层与激活层通过残差连接组合的残差块堆叠而成，目的是对特征信息进行增强)、上采样层(由反卷积层、批标准化层与激活层组成的反卷积块堆叠而成，目的是对数据进行上采样与特征解码)、图像调整层(由填充层与卷积层组成，目的是调整输入数据的尺寸)、分类层(由注意力模块与归一化指数函数组成，目的是执行预测)。损失函数为带有权值的均值平方差损失函数，其权值为10。最终设计方案中，复杂多路卷积特征融合的神经网络的初始通道宽度设置为64，下采样层与上采样层均设置为2层，特征增强层设置为8层。

步骤三、根据设计好的神经网络与损失函数调整训练超参数并执行训练，复杂模型需在训练集、验证集与测试集上均表现性能优异才能执行下一步，否则需调整训练超参数再次执行训练，直到性能满足要求。

步骤四、由步骤三得到满足性能条件的复杂网络后、载入复杂网络并修改分类层中归一化指数函数中的温度值T值为10，重新对训练集与验证集执行推理。经过推理后，一张原始图像可以得到四种软化标签，分别是软化标准卷积标签、软化长方卷积标签、软化膨胀卷积标签、软化融合标签。此时四个标签各不相同，组合各个标签与原始图像，构建软标签数据集，为后续知识蒸馏训练提供数据集。

步骤五、设计轻量化多路卷积特征融合网络结构。轻量化网络与复杂网络结构相似，但轻量化多路卷积特征融合神经网络的初始通道宽度设置为16，下采样层与上采样层均设置为2层，特征增强层设置为4层，并且特征增强层中的卷积层被替换为深度可分离卷积层。

步骤六、调整训练参数，执行知识蒸馏训练方法。知识蒸馏是通过构建一个轻量化模型，利用性能更好的复杂模型的监督信息训练轻量化模型，以期达到更好的性能和精度。这种方式有效地缩小了轻量化网络的收敛空间，从而使轻量化网络也能表现出良好的性能。知识蒸馏的具体过程如图4所示，图中共提到三种知识蒸馏策略，其中高温知识蒸馏与差温知识蒸馏是本发明所提出，并且这两种方式的性能都要好于标准知识蒸馏。在这三种知识蒸馏方案中差温知识蒸馏表现最好。差温知识蒸馏对获取的预处理真实标签不做处理，将推理得到软标签的温度值T

步骤七、训练完成的轻量化网络仍存在冗余设计，轻量化网多余的输出标签需被删除，只保留融合标签。网络内部的参数需量化为整型以提升运算速度。在轻量化网络同时满足运算速度与分割性能的要求后，执行下一步部署任务。

步骤八、如图5最后两部分所示，经过模型量化后，本发明将模型转换成Onnx文件形式，并用Tensor RT技术将其转换为可部署的Engine文件，进而将神经网络部署在本地嵌入式设备。

步骤九、最终，我们将转换好的网络模型部署到嵌入式设备中，并将嵌入式设备放置在移动小车上，连接摄像头执行分割程序。实际的分割效果如图6所示，图中灰白色标签表示预测结果。在本发明中，轻量化神经网络能有效识别裂缝，并且图像显示帧数可达到10FPS，此效果基本满足工程检测要求。

本发明的训练方法有效、简便且具有普适性，可以推动众多检测任务的神经网络轻量化。