一种大型水电站百米级引水竖井健康检测装备及方法

摘要

本发明公开了一种大型水电站百米级引水竖井健康检测装备及方法，该装备包括无人飞艇、数据采集装置和卷扬机；数据采集装置通过多根尼龙绳吊装在无人飞艇下方，数据采集装置的底部与卷扬机相连；数据采集装置为4层结构，包括：设置在顶层的减震弹簧；设置在第二层的激光扫描仪、气压高度传感器和惯性测量装置；设置在第三层的照明装置和相机；以及设置在底层的控制装置；根据采集到的各种数据，处理得到引水竖井内壁的缺陷位置和缺陷形态。本发明突破了大型水电站引水竖井人工检测不可达、检测难度大的难题，填补百米级竖井段信息化检测的国际空白；解决了引水竖井段内壁缺陷位置确定、缺陷形态方面度量的技术难题。

说明书

技术领域

本发明涉及竖井健康检测技术领域，尤其涉及一种大型水电站百米级引水竖井健康检测装备及方法。

背景技术

在水力发电站建设过程中，河流中上游或坡度较陡的山区河流，常常将水库中的水引入引水道，在引水道底端安装水轮机，利用水的高速流动推动发电机组工作。在水流不断冲刷的过程中，引水道内壁表面存在混凝土剖蚀的风险，轻则造成非正常停机检修，重则机组水轮机及流道损毁进而危及整个引水发电系统运行，造成不可估量的后果，对电站安全稳定运行极为不利。因此对引水道检查，掌握缺陷情况，研究判断缺陷发展趋势是十分必要的。

引水道由进口渐变段、上平段、上弯段、竖井段、下弯段、下平段和下平渐变段七部分组成。其中上平段、下平段、下弯段为引水道中检修人员可到达的位置，可采用人工缺陷检查的方式，此外，一些企业通过潜航器或水下机器人等运输工具搭载相机和声纳开展无需排水的水下机器检测。目前，国内外已有的解决实施方案，其应用场景均是在人员可达隧洞或者洞室中进行，或者只是针对引水管道水平段或者下弯段进行的混凝土竖井内壁表面数据采集及缺陷提取。面对大型水电站人员不可达的引水竖井段，目前在国内外尚无行之有效的混凝土表面缺陷检测成功案例。

发明内容

本发明要解决的技术问题在于针对现有技术中难以进行引水竖井表面缺陷检测的缺陷，提供一种大型水电站百米级引水竖井健康检测装备及方法。

本发明解决其技术问题所采用的技术方案是：

本发明提供一种大型水电站百米级引水竖井健康检测装备，包括无人飞艇、数据采集装置和卷扬机；数据采集装置通过多根尼龙绳吊装在无人飞艇下方，数据采集装置的底部与卷扬机相连；其中：

数据采集装置为4层结构，包括：设置在顶层的减震弹簧，用于在无人飞艇晃动和倾斜时使数据采集装置保持铅直向下的状态；设置在第二层的激光扫描仪、气压高度传感器和惯性测量装置，激光扫描仪用于扫描与目标物的点云数据，气压高度传感器用于实时获取气压数据，惯性测量装置用于实时获取数据采集装置的姿态数据；设置在第三层的照明装置和相机，用于照明和采集影像，并合成360度全景影像；以及设置在底层的控制装置，用于供电和数据传输，并根据采集到的各种数据，处理得到引水竖井内壁的缺陷位置和缺陷形态。

进一步地，本发明的数据采集装置中的照明装置和相机呈米字形安装，包括4个照明装置和4个相机，4个照明装置之间夹角为90度，4个相机之间的夹角也为90度。

进一步地，本发明的无人飞艇底部设置有8个方向的8根高强度的尼龙绳，8根尼龙绳分别系在数据采集装置顶层上；无人飞艇的侧面连接有8根高强度的尼龙系留绳，打结后的8根尼龙系留绳与卷扬机的钢丝绳相连。

进一步地，本发明的控制装置包括：数据通信模块和数据处理与保存模块；其中：

数据处理与保存模块为工控机；数据通信模块用于实现工控机与激光扫描仪、气压高度传感器、惯性测量装置、相机之间的数据通信；数据处理与保存模块进而对激光扫描仪、气压高度传感器、惯性测量装置和相机采集到的四类数据进行处理与保存。

进一步地，本发明的控制装置还包括：交换机、22V转12V变压器、电源和12V转9V变压器。

进一步地，本发明的数据处理与保存模块包括6个子功能模块：数据导入模块、数据库模块、影像数据处理模块、点云数据处理模块、数据可视化模块以及人机交互模块；其中：

数据导入模块用于将采集到的各种数据导入数据库模块；数据库模块用于存储采集到的各种数据；影像数据处理模块用于根据获取影像进行影像拼接、影像增强和影像中的裂缝提取；点云数据处理模块用于根据扫描得到的点云数据进行点云拼接、点云模型构建以及缺陷信息的提取；数据可视化模块用于对原始数据、工程数据和成果数据进行可视化；人机交互模块用于实时显示数据采集的工作状态，选择不同的工作模式，并控制数据采集的进度

进一步地，本发明的卷扬机上设置有控制手柄，通过控制手柄实现0-16m/min的连续调速，对控制手柄的速度调节范围进行标定，分别将1m/min、2m/min和4m/min的放绳速度在手柄旋钮上表示为1档、2档和3档，分别对应2小时、1小时和0.5小时完成竖井采集的工作任务。

本发明提供一种大型水电站百米级引水竖井健康检测方法，包括以下步骤：

S1、通过卷扬机控制无人飞艇在引水竖井内按照指定的采集速度进行升降，升降过程中数据采集装置获取引水竖井的四类数据，包括：激光扫描仪扫描引水竖井内壁的点云数据，气压高度传感器实时获取气压数据，惯性测量装置实时采集姿态数据，相机拍摄引水竖井内壁的影像数据；

S2、对获取到的点云数据、气压数据、姿态数据和影像数据进行预处理，实现姿态数据的解析，对影像数据进行拼接，对点云数据进行拼接并构建点云模型，根据姿态数据和点云数据解算得到各个时刻的位姿信息，并计算每张影像拍摄时的旋转矩阵和拍摄高度；

S3、将预处理后的数据保存到数据库中；

S4、根据预处理得到的每张影像的位姿信息、旋转矩阵和拍摄高度，结合对相机进行标定得到的相机内方位要素，得到了每张影像和垂直引水竖井的相互位置关系；根据投影转化关系，将平面的像素投影到圆柱状的引水竖井上，得到全景拼接影像；对全景拼接影像进行裁剪得到矩形影像；

S5、对矩形影像进行图像增强，并对增强后的影像提取裂缝；

S6、对采集到的各种数据进行数据可视化，并实时监控引水竖井的裂缝状态。

进一步地，本发明的进行全景影像拼接的方法为：

采用反投影的方法，从竖井内壁的全景图出发反投影到原始影像上，此时通过双线性差值得到全景影像上每一个像素的像素值，对于处于拼接图像重叠区域的位置，按照像素位置距离原始影像中心的位置递减确定权值，得到重叠区域的全景图像素值，进而得到全景拼接影像。

进一步地，本发明的提取裂缝的方法为：

对矩形影像采用中值滤波进行降噪并进行图像降采样，再采用阈值进行图像二元化，对二元化图像求取裂缝连通区域、凸包、长度、球状性参数，其次根据候选裂缝的形状参数，去除长度较小、线状特征不明显的候选裂缝，接着计算筛选后的裂缝的长度、方向信息，然后进行裂缝连接，连接线取直线，最后是将图像恢复至原始尺寸完成裂缝的提取。

本发明产生的有益效果是：大型水电站百米级引水竖井健康检测装备及方法，提出了一种以无人飞艇为低空飞行平台为载体，集成高分辨率CCD相机、激光扫描仪、高精度惯性导航测量单元IMU、气压高度计、长时照明等多传感器设备的竖井混凝土表面缺陷缺陷检测软硬件系统平台；攻关了引水竖井段内壁表面高精度数据的自动化获取技术，突破大型水电站引水竖井人工检测不可达、检测难度大的难题，解决困扰国内外水电专家们数百年的难题，填补百米级竖井段信息化检测的国际空白；解决了引水竖井段内壁缺陷位置确定、缺陷形态(如大小、走向、深度)等方面度量的技术难题。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1大型水电站百米级引水竖井健康检测装备；

图2大型水电站百米级引水竖井健康检测装备-米字格层；

图3大型水电站百米级引水竖井健康检测装备-底层；

图4卷扬机控制器；

图5数据采集软件交互界面；

图6数据处理软件交互界面；

图7数据处理软件查看原始影像数据交互界面；

图8数据处理软件查看原始激光数据交互界面；

图9数据处理软件查看完整竖井激光数据交互界面；

图10数据处理软件全景影像拼接交互界面；

图11数据处理软件查看全景影像数据界面；

图12数据处理软件缺陷编辑交互界面；

图中：1-无人飞艇，2-数据采集装置，3-卷扬机，4-减震弹簧，5-激光扫描仪，6-气压高度传感器，7-惯性测量装置，8-照明灯，9-相机，10-工控机，11-尼龙绳，12-交换机，13-22V转12V变压器，14-电源，15-12V转9V变压器，16-尼龙系留绳。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明实施例的大型水电站百米级引水竖井健康检测装备，包括无人飞艇1、数据采集装置2和卷扬机3；数据采集装置2通过多根尼龙绳11吊装在无人飞艇1下方，数据采集装置2的底部与卷扬机3相连；其中：

数据采集装置2为4层结构，包括：设置在顶层的减震弹簧4，用于在无人飞艇1晃动和倾斜时使数据采集装置2保持铅直向下的状态；设置在第二层的激光扫描仪5、气压高度传感器6和惯性测量装置7，激光扫描仪5用于扫描与目标物的点云数据，气压高度传感器6用于实时获取气压数据，惯性测量装置7用于实时获取数据采集装置2的姿态数据；设置在第三层的照明装置8和相机9，用于照明和采集影像，并合成360度全景影像；以及设置在底层的控制装置，用于供电和数据传输，并根据采集到的各种数据，处理得到引水竖井内壁的缺陷位置和缺陷形态。

数据采集装置2中的照明装置8和相机9呈米字形安装，包括4个照明装置8和4个相机9，4个照明装置8之间夹角为90度，4个相机9之间的夹角也为90度。

无人飞艇1底部设置有8个方向的8根高强度的尼龙绳11，8根尼龙绳11分别系在数据采集装置2顶层上；无人飞艇1的侧面连接有8根高强度的尼龙系留绳16，打结后的8根尼龙系留绳16与卷扬机3的钢丝绳相连。

控制装置包括：数据通信模块和数据处理与保存模块；其中：

数据处理与保存模块为工控机10；数据通信模块用于实现工控机10与激光扫描仪5、气压高度传感器6、惯性测量装置7、相机9之间的数据通信；数据处理与保存模块进而对激光扫描仪5、气压高度传感器6、惯性测量装置7和相机9采集到的四类数据进行处理与保存。

控制装置还包括：交换机12、22V转12V变压器13、电源14和12V转9V变压器15。

数据处理与保存模块包括6个子功能模块：数据导入模块、数据库模块、影像数据处理模块、点云数据处理模块、数据可视化模块以及人机交互模块；其中：

数据导入模块用于将采集到的各种数据导入数据库模块；数据库模块用于存储采集到的各种数据；影像数据处理模块用于根据获取影像进行影像拼接、影像增强和影像中的裂缝提取；点云数据处理模块用于根据扫描得到的点云数据进行点云拼接、点云模型构建以及缺陷信息的提取；数据可视化模块用于对原始数据、工程数据和成果数据进行可视化；人机交互模块用于实时显示数据采集的工作状态，选择不同的工作模式，并控制数据采集的进度

本发明实施例的大型水电站百米级引水竖井健康检测方法，包括以下步骤：

S1、通过卷扬机控制无人飞艇在引水竖井内按照指定的采集速度进行升降，升降过程中数据采集装置获取引水竖井的四类数据，包括：激光扫描仪扫描引水竖井内壁的点云数据，气压高度传感器实时获取气压数据，惯性测量装置实时采集姿态数据，相机拍摄引水竖井内壁的影像数据；

S2、对获取到的点云数据、气压数据、姿态数据和影像数据进行预处理，实现姿态数据的解析，对影像数据进行拼接，对点云数据进行拼接并构建点云模型，根据姿态数据和点云数据解算得到各个时刻的位姿信息，并计算每张影像拍摄时的旋转矩阵和拍摄高度；

S3、将预处理后的数据保存到数据库中；

S4、根据预处理得到的每张影像的位姿信息、旋转矩阵和拍摄高度，结合对相机进行标定得到的相机内方位要素，得到了每张影像和垂直引水竖井的相互位置关系；根据投影转化关系，将平面的像素投影到圆柱状的引水竖井上，得到全景拼接影像；对全景拼接影像进行裁剪得到矩形影像；

S5、对矩形影像进行图像增强，并对增强后的影像提取裂缝；

S6、对采集到的各种数据进行数据可视化，并实时监控引水竖井的裂缝状态。

在本发明的另一个具体实施例中：

提供了一种实现了大型水电站引水道竖井内壁缺陷变化检测的装备，提出了一种以无人飞艇为低空飞行平台为载体，集成高分辨率CCD相机、激光扫描仪、高精度惯性导航测量单元IMU、气压高度计、长时照明等多传感器设备的竖井混凝土表面缺陷缺陷检测软硬件系统平台。

本发明第二层目的是攻关引水竖井段内壁表面高精度数据的自动化获取技术，突破大型水电站引水竖井人工检测不可达、检测难度大的难题，解决困扰国内外水电专家们数百年的难题，填补百米级竖井段信息化检测的国际空白。

本发明第三层目的是解决引水竖井段内壁缺陷位置确定、缺陷形态(如大小、走向、深度)等方面度量的技术。

本发明的上述技术问题主要是通过下述技术方案得以解决的：

1大型水电站百米级引水竖井健康检测装备。以无人飞艇作为飞行平台，“米”字格采集装置作为作业平台，将两者相结合的方式进行垂直竖井数据采集的工作。整个装备由数据采集装置与无人飞艇飞行控制模块两大部分构成，该装备的改造集成工作包括数据采集装置的集成、多传感器同步、多传感器标定以及采集装置与无人飞艇之间的集成。

1.1在上述的大型水电站百米级引水竖井健康检测装备，所述的数据采集装置的集成采用“米”字格设计，装置包括照明模块、数据采集模块、定位模块、控制系统以及通信模块。供电模块负责整个平台的供电，实际上，每个模块都使用各自的电源。除控制系统和供电设备外，其它模块都是独立工作的，控制系统为整个数据采集装置核心。控制系统负责整个数据采集装置的采集进程；定位模块通过高精度大气压高度传感器、惯性导航装置测定数据采集装置位置及姿态信息；照明模块为CCD相机拍摄垂直竖井表面提供光照。

1.2在上述的大型水电站百米级引水竖井健康检测装备，所述的多传感器同步是使动态条件下工作的无人飞艇系统，达到较高的数据融合配准的时间精度要求，统一传感器控制信号的时间系统，通过工控机进行数据采集的触发与控制，实现“即时”的工作。

1.3在上述的大型水电站百米级引水竖井健康检测装备，所述的多传感器标定是针对CCD相机与气压高度计，由于气压高度计与CCD相机数据采集质量受采集环境影响较大，为提升系统数据采集精度，减小系统误差，需要针对气压高度计与CCD相机分别进行空间标定。

1.4在上述的大型水电站百米级引水竖井健康检测装备，所述的采集装置与无人飞艇之间的集成，采用16股高强度抗压尼龙绳连接飞艇与数据采集装置。飞艇侧边连接有8股高强度尼龙系留绳，打结后与卷扬机缠绕的系留绳连接，通过控制卷扬机防绳速度，配合采集软件中不同时长的工作模式，实现2小时、1小时、0.5小时三种竖井采集工作任务模式。

2大型水电站百米级引水竖井健康检测采集软件，其重要功能是实现竖井内数据自动化采集、处理和存储。主要有以下3个子功能模块：数据通信模块、数据处理与保存模块以及人机界面交互模块。

2.1在上述的大型水电站百米级引水竖井健康检测采集软件，所述的数据通信模块的设计主要包括工控机与相机、激光扫描仪、气压高度计以及IMU之间的数据通信实现，在数据采集的过程中，数据采集设备所采集的数据通过以太网或者串口的通信方式传输至工控机，数据通信模块所要解决的即是数据传输的问题。

相机与工控机之间通过以太网实现通信。通过调用相机厂商提供的相关相机操作函数库，来完成相机的影像获取和视频获取。

激光扫描仪与工控机之间通过以太网通信实现，采用UDP通信，只进行数据监听。工控机通过指定端口获取由激光扫描仪传输的数据，当获取有效数据包头时，开始根据数据包结构读取数据内容，当读取数据至有效的数据包尾时，结束数据包的读取，由此完成一个数据包的有效解析，实现激光扫描仪与工控机之间的通信。

气压高度计与工控机之间通过串口实现通信，气压高度计与工控机之间主要的通信内容为气压高度计当前所处环境下的气压与温度。在气压高度计与工控机通讯过程中，按照字节接收先后顺序依次从起始位接受指定长度的字节(由通信协议给出)，然后按照气压在前温度在后的顺序依次解析一个数据包中的温度和气压值，至此完成气压高度计与工控机之间的通信。

IMU与工控机之间通信实现。根据IMU厂商提供的通讯协议，针对IMU的数据通讯格式，采用以下IMU的数据通讯过程：首先调用串口监听线程，保持串口监听处于持续接收数据的状态。当从串口读通讯数据包的数据包头时，截取从上一次出现数据包头到本次出现数据包头之间的数据位作为一个数据包。如果这中间的数据位与通信协议中给出的有效数据位相同，则说明没有出现数据丢包，该数据包是有效完整的数据包，则可以进入到下一数据预处理的步骤。

2.2在上述的大型水电站百米级引水竖井健康检测采集软件，所述的数据处理与保存模块的设计涉及数据解析、数据预处理以及数据保存格式等方面，主要解决从采集设备收到数据后如何有条理地保存本地以方便后续的数据使用问题。数据采集软件在工作过程中，确定四个数据采集设备与工控机之间的连接与通讯正常后，根据CCD相机、激光扫描仪、IMU与气压高度计四类数据进行数据的处理与保存。

激光扫描仪数据处理与保存。激光扫描仪在工作时，在每一转的扫描过程中，可以测算出周围目标物与激光扫描仪之间的距离形成点云数据，所扫描的每一帧点云数据通过网口传输至工控机，开始数据采集后，逐帧扫描结果按照扫描时间先后进行保存为.pcap格式文件，扫描结果.pcap格式文件名以数据采集起始时间“年月日时分秒毫秒”的方式命名，结果文件中以扫描的先后依次保存每一个扫描点的扫描时间与扫描距离数据。由于激光扫描仪每一帧的数据都是由扫面线阵旋转360°所测得的点云数据，利用这一数据采集特点和采集设备的工作场景，激光扫描仪扫描一周，根据圆柱体竖井环境的几何特征，可以解算出当前时刻激光扫描仪在竖井圆柱体截面上的水平位置XY，解算得出的水平位置XY最终作为采集装置姿态与位置信息的一部分。

气压高度计数据处理与保存。气压高度计所采集的气压与温度数据通过串口通讯传输至工控机，一组气压与温度数据为一个完整数据包，根据气压、温度与相对海拔高度计算公式可计算得到接收该数据包的时刻所在的相对海拔高度，计算得到的相对海拔高度可解算得到采集装置在飞艇飞行方向上的位置信息，飞艇飞行方向上高度信息最终作为采集装置姿态与位置信息的一部分，同时利用飞艇飞行方向上的高度信息可以控制相机在飞艇飞行至指定高度时触发拍摄。

IMU数据处理与保存。IMU所采集的姿态数据以200Hz的频率通过串口通讯传输至工控机，一个完整的IMU通讯数据包中，包含XYZ三个方向的陀螺数据以及XYZ三个方向的加表数据。以开始采集数据的时刻作为初始时刻，计算XYZ三个方向的陀螺数据在时间上的积分，则可得到在当前数据包接收时刻相对于初始时刻XYZ三个方向上姿态角度的变化值，计算XYZ三个方向的加表数据在时间上的积分，则可得到在当前数据包接收时刻采集装置的在XYZ三个方向上的加速度值，依据从开始采集到当前时刻这一过程中每0.005秒的加速度值可以解算出从开始采集到当前数据包接收时刻采集装置在XYZ三个方向上的位移。由IMU解算得到的XYZ三个方向的姿态角数据最终作为数据采集装置姿态与位置信息的一部分，XYZ三个方向的位移作为数据采集装置位置参考数据，针对激光扫描仪与气压高度计联合解算的位置数据进行纠正。最终的姿态与位置数据解算结果保存在姿态位置数据txt文件中，txt文件以数据采集起始时间“月日时分秒毫秒”格式命名，txt文件由XYZ方向姿态变化角、XYZ方向在竖井中的相对位置以及测算姿态位置的当前时刻七列数据组成。

相机拍摄数据处理与保存。整个竖井的竖直段为101.3m，课题所选型的相机单幅影像的水平视场角为104.25°，垂直视场角为81.202°，在直径为9.2m、竖直段长101.3m的竖井内单幅影像拍摄范围为10.29*6.86m，为了保证拍摄的影像能覆盖整个竖井的表面，则两次相机拍摄中心在竖直方向上的高度差不能超过6.86m，考虑到边缘畸变，相邻两次相机拍摄中心应控制在5m左右。因此，相机的拍摄触发应发生在飞艇飞行到一定的高度进行，为了达到触发的效果，相机的触发就由气压高度计计算所得的高度数值变化量控制。当计算所得的高度数值变化量达到5的倍数时，则触发四个相机进行拍摄，相机拍摄的影像数据保存为.bmp格式，以未压缩的格式尽可能多的保留图片原始信息，图片以“拍摄时间(年月日时分秒毫秒)拍摄编号相机编号”的格式命名，拍摄编号从开始采集数据首次拍摄顺序计数，相机编号与相机安装位置顺时针一一对应。

2.3在上述的大型水电站百米级引水竖井健康检测采集软件，所述的人机界面交互模块包含数据采集工作状态监控、不同作业模式的选择、控制数据采集进度等方面的设计。

启动数据采集软件后，自动进行软件初始化，软件内部检查激光扫描仪、CCD相机、IMU及气压高度计分别与工控机之间的通讯是否正常，并将检查结果反馈至工作状态显示栏。当出现某一个模块初始化失败时，用户可以通过相应的状态显示排查连接过程中可能出现的问题，找到通讯失败的原因所在。当点击开始采集按钮之后，在工作状态显示栏显示“开始数据采集...”，表明数据采集工作开始。在数据采集过程中，各个设备的工作状态和连接状态可以通过状态栏显示，当采集过程中出现连接错误或者其他问题时，也会在状态栏中出现相应的信息反馈，从而达到采集工作状态监控的目的，用户根据状态栏显示的故障详情，可以快速的定位问题解决问题。

在实际竖井检测作业过程中，根据实际作业时间的限制和变化，可能需要相应的采取不同的作业方案，适应的作业模式。当作业时间充足时，可以适当增长数据采集作业时间，减小飞艇上升飞行的速度，这样可以减小激光扫描仪、IMU与高度气压计三个设备数据采集的最小单元格，提高激光点云与姿态位置数据的精度。然而当作业时间有限，或者需要进行快速检测定位缺陷时，就需要缩短整个数据采集的作业时间，这样可能会降低激光点云与姿态位置数据的精度，但在实际作业中的确存在这样的采集需求。为满足不同的作业需求，在软件交互界面添加不同作业模式的选择，在不同的作业模式下，系统的采集时间不同，无人系留飞艇上升速度不同，在软件中相应的影像拍摄频率也不同，软件预设三种作业模式可供选择，用户还可根据实际的作业环境自定义不同的预设作业模式。

控制数据采集模块主要包含数据采集开始停止控制、视频数据采集设置以及高度测算数值校准三个部分。软件界面设置数据开始采集与停止采集控制按钮，用户根据状态显示栏中的显示内容，在软件初始化各个模块正常的情况下，可以直接点击开始采集按钮，状态栏显示“开始数据采集...”，则开始数据采集，采集的点云、姿态位置及影像数据按照上一小节中提出的格式和命名规则保存至预定的路径下，需要结束采集时，用户可以直接点击结束采集按钮。针对竖井中存在的渗水情况，凭借相机拍摄的影像数据只能进行初步的目视判读定位其大概位置，而对于渗水的严重程度、具体影响区域及水流速度等方面的情况，很难通过影像数据获取，此时就需要利用视频数据来进行判别。而在软件交互界面，可以根据由影像数据判别得到的渗水情况初步定位，设置视频拍摄的相机编号、拍摄帧率以及相机拍摄的高度范围。由于渗水可能存在竖井中的多处位置，因此软件界面也支持对多组视频拍摄参数的设置，满足了实际的视频拍摄作业需求。另外，根据气压高度计所获取气压与温度数据所解算出的海拔高度信息为相对海拔高度，而该测算数值受同时受气压与温度的影像。在实际作业过程中，可能存在从开始运行软件到开始数据采集期间采集装置所处环境温度发生一定的变化，而如果以开始运行软件时刻的测算值作为高度初始化的话，开始数据采集时刻的测算值已经存在一定的误差。而考虑到竖井内部环境相对稳定，不存在较大的气流和温度变化，可以判断在飞艇飞行过程中，采集设备所处环境的温度不会发生变化。因此，为提高高度值的测算精度，需要在开始采集前需要针对高度值进行校准，即将由当前气压与高度测算得到的高度值设置为起始0值，开始数据采集后，测算的高度值都为相对于开始数据采集时刻的高度变化值，这样才可以保证高度变化相对值是在温度稳定的条件下测算得出的，从而达到提高高度测算精度的目的。在软件界面设计“更新初始值”按钮，用户可以在数据采集开始前，点击“更新初始值”按钮，一键校准高度测算数值。

3大型水电站百米级引水竖井健康检测处理软件，其重要功能是实现竖井内缺陷定位、缺陷形态度量以及缺陷信息存储。主要有以下6个子功能模块：数据导入模块、数据库模块、影像数据处理模块、点云数据处理模块、数据可视化模块以及人机交互模块。

3.1在上述的大型水电站百米级引水竖井健康检测处理软件，所述的数据导入模块的设计主要包括影像数据、点云数据、IMU、气压高度计的采集结果数据导入，以及数据预处理。

数据导入。在数据导入的过程中，由工控机存储的数据采集装置采集的原始数据通过处理软件的数据导入功能模块按一定格式导入至本机，将影像数据文件、点云数据文件、IMU和气压高度计数据文件拷贝到指定的工程目录，并将这些文件的路径信息、工程名、竖井编号、各自的属性信息等写入到数据库中。

预处理。在预处理过程中，实现IMU数据的解析、影像的初步拼接和点云数据拼接，利用IMU和点云数据融合解算得到每个时刻的位姿信息，并计算每张图像拍摄时刻的旋转矩阵和拍摄高度，将这些信息写入到对应的数据表中。

3.2在上述的大型水电站百米级引水竖井健康检测处理软件，所述的数据库模块的设计主要包括原始数据保存格式和使用规范，工程数据的保存格式和使用规范，成果数据的保存格式和使用规范，以及缺陷信息的保存。主要解决的是将多传感器数据按照一定的标准归并与集成，按照一定的格式保存记录。缺陷信息按照竖井编号和检修时间进行分类，并将详细属性信息按照一定格式保存。

原始数据库保存着采集到的影像、点云和IMU数据信息。影像表中包含了每张影像的名称、拍摄时间、存储路径、旋转矩阵等属性信息。点云数据表中包含了文件时间、文件名称和文件路径。IMU信息表中包含了IMU参数数据，姿态数据和气压高度数据。

工程数据库保存着处理软件在处理过程中产生的数据。包含了影像拼接数据、点云拼接数据、拼接影像信息数据、点云模型信息数据、裂缝信息数据和缺陷信息数据。

成果数据库保存着处理软件最后生成的结果数据信息。包含了全景影像数据、三维模型数据和缺陷属性数据。

3.3在上述的大型水电站百米级引水竖井健康检测处理软件，所述的影像数据处理模块的设计主要包括影像拼接、影像增强和影像中裂缝提取。主要解决的是竖井内壁二维影像全景图的生成，竖井内壁详细信息的表达以及竖井内壁裂缝信息的识别与定位。

影像拼接。通过IMU装置得到设备当前姿态、激光和气压高度计装置解算出当前设备位置，结合装置和图像的关系可以解算出每一张相片拍摄时的姿态和位置信息。在姿态和位置信息解算完成之后，还需要对相机进行标定得到相机的内方位要素，有了这两个信息，则完成了每张相片和垂直竖井相互位置关系的确定。根据投影转化关系，将处于平面的像素投影到圆柱状竖井上。由于最终需要得到竖井内壁的全景图，投影后的像素不一定能落到整数格点上，这样的出来的拼接效果较差，因此采用反投影的方法，从竖井内壁的全景图出发反投影到原始影像上，此时可以通过双线性差值得到全景图上每一个像素的像素值。对于处于拼接图像重叠区域的位置，按照像素位置距离原始影像中心的位置递减确定权值，得到重叠区域的全景图像素值。此时得到的全景图并不能保证是矩形的，为了便于管理，将全景图进行裁剪得到矩形图像。

影像增强。影像增强是利用图像处理的手段将影像中的特定信息凸显出来或者抑制不关系的信息，从而更加便于人工查看以及后续的程序处理。影像增强主要包括影像去噪和影像匀光。影像去噪采用的方法是中值滤波、高斯滤波、直方图均衡化等方式进行图像噪声的去除以及成像质量的提升。影像匀光采用的方法是，首先通过傅里叶变换将图像由空间域转到频率域，利用低通滤波器得到图像中的低频信息，在原始图像上减去这个低频信息，再加上一个灰度偏移量即可得到光照均匀的影像。

裂缝提取。裂缝提取是通过程序进行竖井内壁的裂缝信息自动化提取工作。裂缝提取采用中值滤波进行降噪并进行图像降采样，再采用阈值进行图像二元化，对二元化图像求取裂缝连通区域、凸包、长度、球状性等参数。其次根据候选裂缝的形状参数，去除长度较小、线状特征不明显的候选裂缝，接着计算筛选后的裂缝的长度、方向信息，然后进行裂缝连接，连接线取直线，最后是将图像恢复至原始尺寸完成裂缝的提取。

3.4在上述的大型水电站百米级引水竖井健康检测处理软件，所述的点云数据处理模块的设计主要包括点云拼接、点云模型构建以及缺陷信息的提取。主要解决的是竖井内壁三维精细模型的生成，竖井内壁三维信息的表达以及竖井内壁缺陷信息的识别与定位。

点云拼接。点云拼接的实质是将多个不同位置和姿态下三维激光扫描仪获取的点云，通过坐标系变换统一到同一个坐标系统中。由于竖井环境比较单一，无法利用不同帧点云之间明显的点线面特征进行匹配。通过选取起始帧的点云作为基准，基于圆柱形竖井环境约束和气压高度计解算激光扫描仪在扫描每一帧点云时对应的位置，并利用欧拉微分方程解算航向角Ψ、俯仰角Θ、翻滚角Φ，将所求结果作为每一帧点云坐标系与基准坐标系之间的平移与旋转参数，得到完整的竖井井壁点云。

点云模型构建。在对脱落处点云构建三维模型时，使用体素栅格滤波对识别的脱落块点云进行下采样，在保持点云形状特征的前提下减少点的数量。最后对采样后的点云数据使用泊松曲面重建算法构建三维模型，采取隐性拟合的方式，通过求解泊松方程来取得点云模型所描述的表面信息代表的隐性方程，通过对该方程进行等值面提取，重建后的脱落块模型具有良好的几何表面特性和细节特性。

缺陷信息提取。由于拼接后的点云数据中存在大量的噪声数据，欲对竖井井壁的缺陷进行提取，需要对点云数据进行相应的滤波和采样处理，以得到相对平滑的点云数据。考虑到实验采集的点云数据有较大的冗余，首先对点云进行下采样，并使用双边滤波去除竖井点云表面噪声数据。然后对去噪后的点云数据采用RANSAC算法拟合柱面方程，设置点到柱面的距离阈值，对超过距离阈值的点云进行欧式聚类，剔除点云数量过少的类簇，得到缺陷处的点云类簇。最后将缺陷点云投影到柱面，对柱面投影点云进行网格剖分，计算缺陷深度和体积等信息。

3.5在上述的大型水电站百米级引水竖井健康检测处理软件，所述的数据可视化模块的设计主要包括原始数据可视化、工程数据可视化以及成果数据可视化。主要解决的是竖井内壁原始数据的浏览查看，竖井内壁全景与增强效果图查看、竖井内壁二维全景影像和三维精细模型的浏览与查看以及裂缝和缺陷信息的浏览与查看。

原始数据可视化是指在工程树中点击原始数据分支，显示原始影像、原始点云和原始IMU三类。点击原始影像，会列出所有原始影像名称，双击某张影像即可弹出图像浏览对话框对原始单张影像进行查看，兼具缩放和拖动操作。点击原始点云数据，列出所有点云文件名称，每个点云文件时长2分钟，双击文件可弹出三维浏览窗口自动播放所有帧。

工程数据可视化是指在工程树中点击工程数据分支，显示影像数据和激光数据。点击影像数据，会列出所有高度的横向拼接全景影像名称，双击某张影像即可弹出图像浏览对话框对单张拼接影像进行查看，兼具缩放功能。双击激光数据，弹出三维点云浏览对话框，将整个竖井段的三维点云模型进行显示，兼具平移，缩放和旋转功能。

成果数据可视化是指在工程树中点击成果数据分支，显示影像数据和三维数据。点击影像数据，会弹出图像浏览窗口显示整个竖井段的全景影像，下方列表中同时显示井内所有缺陷信息，兼具图属联动功能。点击三维数据，列出所有高度，双击某一高度可定位到该高度的竖井模型位置，即对该高度模型进行浏览，兼具三维漫游功能。

3.6在上述的大型水电站百米级引水竖井健康检测处理软件，所述的人机交互模块的设计主要包括数据处理工作状态监控、不同处理模式和待处理数据的选择、控制数据处理进度和成果展示方式以及人工编辑竖井缺陷信息等方面的设计。

状态监控。在人机交互界面可以查看每张影像的病害信息以及病害在图像中的位置。查看每条病害信息的生成时间、长度、位置、危险等级以及是否经过人工确定等信息。

病害编辑。病害编辑是对程序自动提取的病害信息进行编辑修改，主要是删除程序提取出现错误的病害信息以及人为增加程序没有提取出来的病害信息这两块。主要的功能包括撤销编辑、重做、保存病害编辑成果、添加直线病害、添加曲线形状的病害、框选选择病害、点选选择病害、删除选择的病害、添加多边形病害区域。通过框选、点选等方式选择病害，通过删除功能将程序自动化识别出来的病害经过人工判读为非病害的信息删除，通过添加直线、曲线病害来增加例如裂缝等线条状的病害，通过添加多边形病害来增加脱落等块状的病害，此外通过撤销、重做进行病害编辑过程中的错误回退，最终进行病害编辑成果的保存。

本发明实施例的大型水电站百米级引水竖井健康检测装备，以无人飞艇作

为飞行平台，“米”字格采集装置作为作业平台，将两者相结合的方式进行垂直竖井数据的工作。

数据采集装置的集成。数据采集平台总共由4层组成。顶层是4个减震弹簧，其作用是使整个采集平台在飞艇晃动和倾斜的状态下仍保持铅锤向下的状态，以使得整个采集平台的相对稳定，提高数据采集的精度和减少数据采集误差；由上往下第二层安装线阵激光扫描仪、IMU与气压高度计，激光扫描仪、IMU与气压高度计在数据采集过程中处于持续采集数据的状态；再下一层安装“米”字格设计的4个相机与4个照明装置，4个相机之间、4个照明装置之间的夹角均为90°，在数据采集过程中，相机以固定的高度触发拍摄获取4张影像，而这4个方向的4张影像可以拼成所拍摄高度360°范围的全景影像；最底层安装电源、开关、变压装置、交换机以及工控机，整个采集装置由2个22.2V电压的电源独立供电，其中一个电池通过开关与工控机和IMU直连，这两个设备在22.2V电压下可直接正常工作，另外一个电池通过22.2转12V的变压器与线阵激光扫描仪、相机以及12转9V变压器连接，最后网络交换机通过12转9V变压器输出端供电。

数据采集装置与飞艇的集成。飞艇底部8个方向延伸的8股高强度抗压尼龙绳分别系在数据采集平台最上层的支架上；飞艇侧边连接有8股高强度尼龙系留绳，这8根系留绳打结后与卷扬机缠绕的系留绳连接。缠绕在卷扬机的旋转轴上的系留绳采用2.5mm直径的高强度轻质钢丝绳，系留绳总长220m，其最大可承受2000kg拉力，远超过作业中系留绳所需承受的拉力。卷扬机通过控制手柄中的调速旋转扭可实现0-16m/min连续调速，为配合数据采集软件中不同时长的采集模式，对控制手柄的速度调节范围进行标定，分别将1m/min、2m/min和4m/min的放绳速度在手柄旋钮上进行表示为“1、2、3档”，分别对应2小时、1小时和0.5小时完成竖井采集的工作任务。

在竖井表面数据采集作业流程，主要分为设备准备及组装、设备检查及调试、无人飞艇飞行及数据采集以及设备回收和整理四个部分。

设备准备与组装主要包括检查设备是否有缺失、设备组装是否完整、各个设备是否正常运行等。由于大型水电站引水道的入口为直径有限，则需要设计为可拆卸的方式拆成最小组件后进入引水道重新组装，同时要求每个最小组件的最大外径必须小于入口尺寸。因此在数据采集之前，需要检查设备是否有缺失。尤其对于拆卸后进入引水道的数据采集模块装置，要在引水道内完成装置的重新组装，需检查装置组装是否完成。最后针对每个数据采集单元设备，需进行依次的通电测试，确保每个单元模块设备正常运行。至此完成作业前的设备检查及组装。

设备检查与调试主要包括无人飞艇的气密性检查、设备牢固性测试以及工控机的性能测试等工作。飞艇的气密性检测分为两个部分，飞艇主体的气密性检测和飞艇气囊的气密性检测。气密性检测主要通过目视观测是否在较大破损与充气后静置观察飞艇形态是否变化两种形式进行。针对现场组装和连接的设备模块，需要测试设备组装的牢固性，确保在数据采集过程中整个硬件设备稳定连接。最后针对工控机需要进行相应的性能测试，主要包括工控机是否正常运行、各个采集设备装置与工控机之间通信是否正常、工控机的系统环境是否能够稳定运行完成数据采集的工作等。

无人飞艇飞行及数据采集，在完成上述两个步骤后进行。将放线绳(放线绳缠绕在电机上，点击固定在竖井底部中心处连接在飞艇上，打开照明设备、工控机与气压计的电源。运行数据采集软件，点击更新初始值按钮，界面更新气压初始值与温度初始值显示，实时高度值也校准为0值。工作模式设置可以满足多种工作时间下的模式设置，控制采集按钮包括开始数据采集与结束数据采集按钮。当点击“Start”按钮则开始数据采集，状态栏提示开始采集，这时同步启动4个CCD相机、激光探测仪LiRAD、IMU进行数据采集，开启点击缓慢放线，飞艇上升过程中通过气压计实时测得的高程值控制相机拍摄指定高度处的井壁影像数据，期间LiDAR与IMU连续采集数据，工控机实时获取并存储上述测量数据。飞艇到达指定高度后，调整电机转速，快速收绳下降。在完成数据采集作业后，进行数据质量及完整性检查，以确保在数据采集过程中各个设备正常工作且采集数据成功保存至工控机。在数据质量及完整性检查过程中，通过数据大小、抽样查看、数据整理等途径完成。如果在数据检查过程中出现数据不完整，或者采集效果不理想等情况，需要将设备检查调试过后再一次进行数据的采集，以获取预设的数据。

设备回收与整理主要包括氦气回收、设备拆解与整理以及数据采集安全作业总结三个方面的工作。在完成无人系留飞艇飞行采集竖井数据之后，需要回收无人飞艇的氦气，以便用于下一个竖井的数据获取作业中。同时需要将进入引水道后组装的设备模块进行拆解成为最小单元模块，以便将设备运送至引水道外。最后根据数据采集操作过程中出现的状况进行记录，总结在采集过程中可能出现和已经出现的作业问题，为数据采集安全作业总结经验，使之后的数据采集作业更加顺利地进行。

在竖井表面数据处理作业流程主要包括以下步骤：

(1)数据导入准备。新建image文件夹，拷入所有影像数据。新建IMU文件夹，拷入IMU数据testdata*****.txt文件。新建PCAP文件夹，拷入所有激光数据*.pcap文件。将image、IMU、PCAP三个文件夹拷入任一空文件夹内，数据导入准备完毕。

(2)数据导入。打开数据处理软件，如图6所示，选择作业竖井，并新建工程导，在工程树空白处右键弹出工程设置选项，点击新建工程，弹出提示窗口，点击确定，新建工程。点击新建的工程左侧展开按钮，右键“原始数据”，点击“数据导入”，弹出“浏览文件夹对话框”，选择准备好的数据，点击“确定”。弹出数据处理进度条，等待数据处理完成。该过程中包含数据导入、IMU数据解析和激光数据的拼接等。

(3)查看原始影像数据。如图7所示，点击影像数据节点展开按钮，双击选择需要查看的影像，查看原始影像。

(4)查看原始激光数据。如图8所示，点击激光数据节点展开按钮，双击选择需要查看的影像，自动播放原始激光数据(鼠标单击左键旋转视图，中键平移视图，右键缩放视图)。

(5)查看完整的竖井激光数据。如图9所示，点击节点展开按钮，双击选择需要查看的影像，显示完整竖井激光数据(鼠标单击左键旋转视图，中键平移视图，右键缩放视图)。

(6)激光数据处理提取缺陷。右键选择一个工程树弹出工程设置选项，点击设置当前工程，点击激光数据处理按钮，等待缺陷处理结果，处理完成弹出提示对话框。

(7)全景影像拼接流程。点击图像处理区块的全景拼接按钮，得到如图10所示的界面：

勾选需要进行图像拼接的工程(注意需要全选一个工程的所有文件)，经过一段时间之后程序提示拼接完成。

拼接完成之后，可以在工程树区块内，展开工程-->工程数据库-->拼接影像数据下双击节点查看已经拼接好的全景数据(如图11所示)。

(8)病害提取。病害提取的操作逻辑和影像拼接是一样的，点击病害提取按钮之后在弹出的对话框选择要提取的工程进行病害的自动化提取工作，在病害自动化提取完成之后可以在工程树区块下选择工程-->工程数据-->缺陷提取数据查看已经提取的病害影像数据。如图12所示，其操作如下：

双击病害之后显示的缺陷编辑对话框，是为了弥补程序识别不准的问题，利用人工去编辑病害。其中这一块是病害编辑工具按钮。当鼠标浮动在上方可以有相应按钮功能的提示。这些按钮从左到右的功能依次是：撤销编辑、重做、保存病害编辑成果、添加直线病害、添加曲线形状的病害、框选选择病害、点选选择病害、删除选择的病害、添加多边形病害区域。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。