一种基于机器视觉和循环卷积网络的古城墙损伤实时检测方法

摘要

本发明公开了一种基于机器视觉和循环卷积网络的古城墙损伤实时检测方法，包括布置视觉监测设备及附属设施；实时采集古城墙结构变化视频；选择视频图像中感兴趣区域，计算结构关键位置变形位移数据；识别视频中表面病害，判断表面病害的位置和类型；计算形变位移数据和病害分项分数，评价古城墙结构整体安全性；采取相应的管理养护及预防措施。本发明能够实现对古城墙损伤状况的实时监测，弥补现有城墙损伤检测手段的不足，为古城墙的管理养护提供新的解决思路。

说明书

技术领域

本发明属于建筑损伤检测技术领域，具体涉及一种基于机器视觉和循环卷积网络的古城墙损伤实时检测方法。

背景技术

中国是人类史上筑城最早的国家之一，古城墙的数量庞大、形制复杂多样、文化内涵丰富，最早的城墙距今至少有6000年的历史。古城墙代表了我国从古至今城市形态与规模的发展历程，从侧面体现城墙建造朝代的经济实力与政治生活，具有很高的历史、文化、社会价值。古城墙建筑文物一旦遭遇破坏便不可复原，这会带来不可估量的价值损失，保护古城墙就是保护中国城市发展史。由于风雨侵蚀、植物生长等自然因素与城市拓展、基础设施建设等人为因素的负面影响，许多古城墙正在遭受墙面鼓胀，城墙裂缝，墙面砖石风化酥碱，生物破坏等多种病害侵扰。

近年来已发生多起古城墙坍塌损毁事件。2012年，张家口大境门长城城墙西段出现30余米坍塌；2014年浙江兰溪明古城楼城墙坍塌；2015年，襄阳古城墙出现坍塌长达19余米；2016年，南京明城墙突然出现约12米长、5～6米宽的局部坍塌；2018年日本世界遗产今归仁城遗址部分城墙发生坍塌，城墙的坍塌威胁着人民生命安全也加大了文物维护与文化传承的难度。随着文化强国战略的提出，逐步加大了对建筑遗产保护的资金投入与技术支持，人民群众的文物保护意识不断加强，古城墙的保护工作日益受到重视，也逐渐成为建筑遗产研究领域的热点内容。

然而，现有的古城墙保护手段仍然以定期的人工检测为主，需要耗费大量的人力物力。同时，定期检测难以实现对于城墙损伤状况出现的快速反应和处理，无法实时掌握城墙的结构运营状态。对于造成城墙损伤的原因，定期检测也无法实现较好地回溯分析。此外，现有的对于城墙的实时监测手段，主要是针对裂缝等变化较为明显的病害，一般会采用安装裂缝计的方式，而接触式的测量往往也会在安装过程中对古城墙结构造成一定的损伤，无法大面积推广引用。针对风化剥落、渗水泛白和植物覆盖此类变化缓慢的病害，目前仍然没有较好的实时监测手段。

发明内容

本发明所要解决的技术问题是针对上述现有技术的不足，提供一种基于机器视觉和循环卷积网络的古城墙损伤实时检测方法，针对古城墙的结构变形、病害监测进行自动化、非接触、准确可靠的测量，能够较好地满足古城墙养护需求的损伤实时监测要求。

为实现上述技术目的，本发明采取的技术方案为：

一种基于机器视觉和循环卷积网络的古城墙损伤实时检测方法，包括：

步骤1，根据古城墙参数布置视觉监测设备及附属设施；

步骤2，视觉监测设备及附属设施实时采集古城墙结构变化视频；

步骤3，基于机器视觉方法和特征点算法，选择视频图像中感兴趣区域，计算结构关键位置变形位移数据；

步骤4，基于循环卷积网络识别视频中表面病害，判断表面病害的位置和类型；

步骤5，综合位移数据和病害信息，计算形变位移数据和病害分项分数，评价古城墙结构整体安全性；

步骤6，根据形变位移数据和病害分项分数，以及古城墙结构整体安全性情况采取相应的管理养护及预防措施。

为优化上述技术方案，采取的具体措施还包括：

上述的步骤1中，根据古城墙尺寸参数安装监测设备及附属设施，包括摄像机及附属设施、网络传输设备、照明设备，分别实现结构视频数据采集、视频数据传输以及夜间或光照条件差环境下的监测。

上述的步骤1中，所述附属设施包括摄像机的支架、立杆、基础；

相邻摄像机视域范围可重叠以保证完全覆盖待监测区域；

所述网络传输设备利用5G移动网络或光纤的方式进行视频数据传输。

上述的步骤3包括：

步骤301，在视频图像中划分感兴趣区域作为结构关键位置，利用特征点算法识别感兴趣区域内表面特征，包括城墙表面纹理、砖石风化特征；

步骤302，获取连续图像中感兴趣区域内的特征点坐标，通过坐标计算获取感兴趣内特征点的位移变化，进而计算结构关键位置的变形。

上述的特征点算法分为4个步骤：特征检测、特征描述、特征匹配和误匹配滤除；

特征点检测采用SURF描述符，特征描述采用ORB描述符，特征匹配采用FLANN方法，误匹配滤除采用RANSAC方法。

上述的感兴趣区域尺寸大于50*50像素。

上述的步骤4包括：

步骤401，将视频采集的图像进行均匀化网格划分；

所述网格的图像尺寸根据相机与城墙距离和标定系数确定，标定系数通过拍摄已知尺寸的目标进行计算获取；

步骤402，将每个网格的图像输入训练好的循环卷积网络，判断网格内是否存在病害并识别出对应的病害类型，具体的：

假如输入图片size为AxAx3的彩色图，首先经过一个5x5的卷积层，卷积层的输出通道数为16，得到一个(A-4)x(A-4)x16的一组特征图；

然后经过2x2的池化层，得到((A-4)/2)x((A-4)/2)x16的特征图；

接着Flatten后进入两个50个神经元的全连接层，最后输出分类结果：

判断网格内是否存在病害并识别出对应的病害类型。

上述的病害类型分为表面裂缝、风化剥落、渗水泛白和植物覆盖。

所述循环卷积网络通过如下方式训练：

将网格化图像按照8:1:1的比例分为训练集，测试集和验证集，通过训练集学习训练，判断网格内是否存在病害并识别出对应的病害类型，通过测试集和验证集实现测试和验证。

上述的步骤5包括：

步骤501，计算形变位移数据和病害分项分数：

采用公式(1)和公式(2)计算结构关键位置变形位移分数；

采用公式(3)、(4)、(5)计算表面裂缝分数；

采用公式(6)计算风化剥落、渗水泛白和植物覆盖三种病害的分数；

其中，W

Δx和Δy为结构关键位置在水平和垂直方向的位移；

Lx和Ly为每个相机视域范围内的水平和垂直方向的城墙尺寸；

其中，B

B

α为表面裂缝与水平方向的夹角；

k为表面裂缝宽度，Lx和Ly为每个相机视域范围内的水平和垂直方向的城墙尺寸；

其中，B

S

步骤502，根据步骤501计算出的不同分项分数，同时考虑不同分项的权重系数，计算城墙结构整体安全评价分数：

设置结构水平位移W

Sc＝W

其中，Sc为城墙结构整体安全评价分数。

上述的步骤6包括：

步骤601，根据形变位移数据和病害分项分数判断是的需要进行单项检测，如果单项分数小于60分，则立即开展单项检测；

步骤602，根据古城墙结构整体安全性评价分数判断城墙安全等级，采取相应的管理养护及预防措施。

本发明具有以下有益效果：

本发明利用机器视觉方法对古城墙结构关键位置的位移和表面病害发展进行实时的监测，利用循环卷积网络方法实现病害的定位和类型识别，采用非接触的测量方式，安装方便、对城墙结构影响小，损伤监测范围广，未来能够很好地实现大面积推广应用。具体的：

1、本发明是非接触式测量的一种，无需在古城墙上放置测量传感器，安装方便，不会对结构造成损伤。

2、本发明利用机器视觉方法对结构关键位置的位移进行测量，弥补了现有定期检测手段无法掌握城墙长期变形数据的不足，为后期人工检测计划的制定提供有益的参考和指导。

3、本发明利用循环卷积网络实现了对表面病害的定位及类型判断，实现了表面病害的发展的长期观测，能够帮助管养部门及时发现古城墙表面病害并基于视频数据更好地回溯病害成因。

4、本发明利用感兴趣区域选择和图像网格划分的方法能够有效提升图像数据的计算精度和计算速度。

5、本发明使用视觉采集设备为消费级相机设备，价格低、采购易、能够实现大面积推广应用。

附图说明

图1为本发明一种基于机器视觉和循环卷积网络的古城墙损伤实时检测方法的流程图；

图2为本发明基于机器视觉的监测设备布置示意图；

图3为本发明感兴趣区域选择示意图；

图4为本发明图像网格划分示意图；

图5为本发明循环卷积网络计算过程示意图；

图6为本发明结构安全性评价过程示意图。

具体实施方式

以下结合附图对本发明的实施例作进一步详细描述。

如图1所示，本发明公开一种基于机器视觉和循环卷积网络的古城墙损伤实时检测方法，包括以下步骤：

步骤1，根据古城墙参数布置视觉监测设备及附属设施；

根据古城墙尺寸参数安装监测设备及附属设施形成监测系统，包括用于采集结构视频摄像机及附属设施(支架、立杆、基础)、用于传输视频数据网络传输设备(利用5G移动网络或光纤的方式)、用于夜间等光照条件较差情况下的照明设备，如图2所示。

其中，相邻摄像机视域范围可重叠以保证完全覆盖待监测区域，摄像机设备应安装稳固以避免意外抖动对视频采集的影响。

步骤2，视觉监测设备及附属设施实时采集古城墙结构变化视频；

利用所构建的监测系统实时采集古城墙的长期监测视频，通过传输设备上传至监测系统服务器。

步骤3，基于机器视觉方法和特征点算法，选择视频图像中感兴趣区域，计算结构关键位置变形位移数据；

步骤301，在视频图像中划分感兴趣区域作为结构关键位置，如图3所示，利用特征点算法识别感兴趣区域内表面特征(城墙表面纹理、砖石风化等特征)；

步骤302，获取连续图像中感兴趣区域内的特征点坐标，通过坐标计算获取感兴趣内特征点的位移变化，进而计算结构关键位置的变形。

其中，特征点算法分为4个步骤，特征检测、特征描述、特征匹配和误匹配滤除。

特征点检测采用SURF描述符、特征描述采用ORB描述符、特征匹配采用FLANN方法，误匹配滤除采用RANSAC方法，为了进一步提高算法精度。此外，为了保证算法精度，感兴趣区域尺寸应当大于50*50像素。

步骤4，基于循环卷积网络识别视频中表面病害，判断表面病害的位置和类型；

开展古城墙结构表面损伤监测。

相较于传统的人工检测，病害的长期性实时监测困难较大，其难点在于病害类型众多，形态丰富和难以提前确定新病害出现的位置，因此无法采取与城墙变形测量相类似的感兴趣区域划分的方式。而如果对全图进行计算，则会面临计算量大和难以捕获准确的特征导致的计算效率低等问题。

因此，引入循环卷积网络方法对大量数据进行处理。

步骤401，首先，将视频采集的图像进行均匀化网格划分，如图4所示网格划分时需保证图像每个网格的图像尺寸保持一致，其对应的真实尺寸为1*1米，网格的图像尺寸可以根据相机与城墙距离和标定系数确定，标定系数可通过拍摄已知尺寸的目标进行计算获取。

步骤402，网格划分后，将每个网格的图像输入循环卷积网络；

假如输入图片size为AxAx3的彩色图，如图5所示，首先经过一个5x5的卷积层，卷积层的输出通道数为16，得到一个(A-4)x(A-4)x16的一组特征图；

然后经过2x2的池化层，得到((A-4)/2)x((A-4)/2)x16的特征图；

接着Flatten后进入两个50个神经元的全连接层，最后输出分类结果。根据长期检测结果，可以将古城墙表面病害分为表面裂缝、风化剥落、渗水泛白和植物覆盖。将网格化图像按照8:1:1的比例分为训练集，测试集和验证集，通过学习训练，判断网格内是否存在病害并识别出对应的病害类型。

步骤5，综合位移数据和病害信息，计算形变位移数据和病害分项分数，评价古城墙结构整体安全性；

步骤501，计算形变位移数据和病害分项分数；

为了更好地评价城墙结构安全性，根据结构关键位置位移和病害严重程度利用以下公式进行定量化分析，采用扣分制计算不同分项的分数；

公式(1)和公式(2)为结构关键位置变形位移分数计算公式；

公式(3)、(4)、(5)为表面裂缝分数计算公式；

公式(6)为风化剥落、渗水泛白和植物覆盖三种病害的分数计算公式。

其中，W

Δx和Δy为结构关键位置在水平和垂直方向的位移；

Lx和Ly为每个相机视域范围内的水平和垂直方向的城墙尺寸。

其中，B

其中，B

步骤5.2，根据步骤501计算出的不同分项分数，同时考虑不同分项的权重系数，计算城墙结构整体安全评价分数。

结构水平位移W

Sc＝W

其中，Sc城墙结构整体安全评价分数。

步骤6，根据形变位移数据和病害分项分数，以及古城墙结构整体安全性情况采取相应的管理养护及预防措施。

步骤601，先根据形变位移数据和病害分项分数判断是的需要进行单项检测；

对单项分数进行判定，分数判定方法如图6所示，如果单项分数小于60分，则立即开展单项检测；

步骤602，再根据古城墙结构整体安全性评价分数判断城墙安全等级，采取相应的管理养护及预防措施；

城墙安全等级如表1所示。

表1城墙安全等级评价表

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。