一种基于深度训练模型和影像解译样本库的影像解译方法

摘要

本发明提供了一种基于深度训练模型和影像解译样本库的影像解译方法。获取历史影像和矢量数据，构建影像解译样本库；构建深度残差全卷积网络，通过影像解译样本库对所述深度残差全卷积网络进行训练，确定第一解析影像；基于时空大数据分析挖掘结果对所述第一解析影像进行优化，确定目标解析影像。有益效果在于：本发明通过历史影像和矢量数据构建影像解译样本库，为深度神经网络模型提供了大量的高精度训练样本，提高了影像解译的精度。本发明还通过构建深度残差全卷积网络，实现自动标注，减少了人力消耗。最后通过时空大数据分析挖掘结果对所述解析影像进行优化，通过精确的要素分类，得到更高精度的解析影像。

说明书

技术领域

本发明涉及于遥感影像解译技术领域，特别涉及一种基于深度训练模型和影像解译样本库的影像解译方法。

背景技术

目前绝大多数遥感数据处理软件内置分类方法仅仅利用了遥感影像数据本身，从影像的结构出发构建解译方法进行解译，精度难以进一步提高，难以满足大范围高精度像素分类需求，而且解译只能得到地表视觉信息，缺乏深层的社会信息，因此应用范围相对狭窄。

为了进一步提高解译结果的准确性，拓宽解译成果的应用场景，可采用多源时空大数据，对解译结果进行修正和补充，从而得到一个更可靠且更丰富的数据成果。

发明内容

本发明的目的在于融合人工智能的深度学习方法和时空大数据中包含的几何位置、自然属性、社会属性等信息，与遥感解译结果进行匹配，从而进一步提高遥感影像的精度。

一种基于深度训练模型和影像解译样本库的影像解译方法，其特征在于，包括：

获取历史影像和矢量数据，构建影像解译样本库；

构建深度残差全卷积网络，通过影像解译样本库对所述深度残差全卷积网络进行训练，确定第一解析影像；

基于时空大数据分析挖掘结果对所述第一解析影像进行优化，确定目标解析影像。

作为本发明的一种实施例，所述获取历史影像和矢量数据，构建影像解译样本库，包括：

获取测绘数据，确定DOM数据和DLG数据；

根据所述DOM数据，获取历史影像；

根据所述DLG数据，获取矢量数据；

确定所述历史影像和矢量数据的掩膜，并在地理坐标上将所述掩膜与预设的地理要素进行对齐；其中，

所述地理要素与掩膜的类别相对应；

根据所述地理坐标，标注所述地理要素；其中，

当所述地理要素存在重叠现象时，对所述地理要素进行多类标注；

当所述地理要素存在重叠现象，并进行拓扑检查时，根据所述地理要素的类别优先级，进行唯一标注；

当所述地理坐标被标注后，将所述历史影像和掩膜裁剪为影像块；

其中，

所述影像块与掩膜一一对应；

将所述影像块输入深度学习模型，确定影像解译样本库。

作为本发明的一种实施例，所述构建深度残差全卷积网络，通过影像解译样本库对所述深度残差全卷积网络进行训练，确定第一解析影像，包括：

获取测绘数据，确定不同分辨率遥感影像；

构建深度残差卷积神经网络模型和特征编码器，并配置多层的非线性残差运算单元，根据多层的非线性残差运算单元，抽取不同分辨率遥感影像的本质空间特征；

构建双线性插值解码器，在不断恢复图像原本空间大小的过程中使用跳跃连接结构叠加高分辨率的空间信息；

根据所述空间信息，对具有不同分辨率遥感影像的本质空间特征进行特征级可微分融合，确定融合特征；

根据所述融合特征，使用影像解译样本库训练深度残差全卷积网络模型，并利用梯度下降算法收敛损失值；

利用训练完成的残差全卷积网络网络模型进行影像解译，生成第一解析影像。

作为本发明的一种实施例，所述利用梯度下降算法收敛损失值，包括：

根据所述融合特征，确定每个融合特征的数量场S

根据所述数量场，确定所述融合特征的梯度向量

获取所述影像解译样本库的影像特征集合A(a

确定所述梯度向量在收敛过程中的贡献度：

根据所述贡献度，确定贡献百分值，并基于所述贡献百分值，确定损失值。

作为本发明的一种实施例，所述构建深度残差全卷积网络，通过影像解译样本库对所述深度残差全卷积网络进行训练，确定第一解析影像，还包括：

基于预设的深度学习框架，构建层次化结构的高性能自动化影像解译系统；其中，

所述高性能自动化影像解译系统包括：界面层、业务层、数据处理层、数据库层和底层运行层；

所述数据库层采用并行存储服务器存储历史影像和矢量数据；

根据所述高性能自动化影像解译系统，将所述历史影像和矢量数据处理为二进制数据；

基于预设的多项式误差衰减学习策略微调学习率，确定所述二进制数据的水平翻转和垂直翻转的增强数据；

将所述增强数据通过正则化方法处理，确定第一解析影像。

作为本发明的一种实施例，所述基于时空大数据分析挖掘结果对所述第一解析影像进行优化，确定目标解析影像，包括：

获取时空大数据，进行分析挖掘，确定时空大数据分析挖掘结果，并作为第二解析影像；其中，

所述第二解析影像包括位置信息和分类要素信息；

将所述第一解析影像做为基底，融合所述位置信息和分类要素信息，判断分类结果是否正确，并进行调整，生成融合时空大数据后的目标解析影像。

作为本发明的一种实施例，所述获取时空大数据，进行分析挖掘，确定时空大数据分析挖掘结果，包括：

根据所述历史影像和矢量数据，确定时空大数据；其中，

所述时空大数据包括物联网传感器、互联网数据、电信信令数据；

基于所述影像解译样本库，对所述时空大数据的数据进行挖掘，确定第一目标数据；

基于数据分类和解译目标，对所述第一目标数据进行分析筛选，确定时空大数据。

作为本发明的一种实施例，所述基于时空大数据分析挖掘结果对所述第一解析影像进行优化，确定目标解析影像，还包括：

根据所述时空大数据，确定几何位置、自然属性、社会属性；

将所述几何位置、自然属性、社会属性与第一解析影像匹配；其中，

若匹配吻合，验证无误，确定目标解析影像；

如果匹配不吻合，分析误差原因，进行相应地修正，并确定目标解析影像，其中

所述误差原因包括：地表变化误差或解译误差。

作为本发明的一种实施例，所述将所述几何位置、自然属性、社会属性与第一解析影像匹配，包括：

确定以第一解析影像的帧向量：

所述W

获取几何位置坐标集合J

获取自然属性的特征值R，确定自然属性与所述第一解析影像的第二关联值：

所述R

获取社会属性的特征值H，确定自然属性与所述第一解析影像的第三关联值：

其中，所述h

根据所述第一关联值、第二关联值和第三关联值，确定匹配值P：

其中，

当所述P＝1，表示若匹配吻合，验证无误，确定目标解析影像；

当P≠1，表示匹配不吻合，分析误差原因，进行相应地修正，并确定目标解析影像。

作为本发明的一种实施例，所述分析误差原因，进行相应地修正，包括：

基于所述深度残差全卷积网络，确定所述目标解析影像的本质空间特征；

基于所述影像解译样本库，预测所述目标解析影像的本质空间特征；

将所述标解析影像的本质空间特征和预测的目标解析影像的本质空间特征进行对比，确定第一损失比；

根据所述第一损失比，设置第一阈值；

在训练完成的残差全卷积网络网络模型引入第一阈值，将所述目标解析影像的本质空间特征代入训练完成的残差全卷积网络模型进行解译修正。

本发明的有益效果在于：本发明通过历史影像和矢量数据构建影像解译样本库，为深度神经网络模型提供了大量的高精度训练样本，提高了影像解译的精度。本发明还通过构建深度残差全卷积网络，在编码部分采用残差网络获取影像特征，在解码部分使用跳跃连接结构保持高分辨率的空间信息，实现自动标注，减少了人力消耗。最后通过时空大数据分析挖掘结果对所述解析影像进行优化，通过精确的要素分类，得到更高精度的解析影像，

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例中一种基于深度训练模型和影像解译样本库的影像解译方法的方法流程图；

图2为本发明实施例中一种基于深度训练模型和影像解译样本库的影像解译方法的实施流程图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

如附图1和附图2所示，本发明为一种基于深度训练模型和影像解译样本库的影像解译方法，其特征在于，包括：

步骤100：获取历史影像和矢量数据，构建影像解译样本库；深度学习遥感影像解译(即，本发明的多源影像自动解译)的基础是训练样本库，需要利用大量训练样本对深度神经网络模型进行训练，从而使得深度神经网络模型学习到泛化能力强的语义特征，为影像语义分割奠定基础。因此在训练之前需要构建大量的高精度训练样本数据。而样本数据包括覆盖城市主城区的航拍数据和卫星遥感影像等测绘数据。

步骤101：构建深度残差全卷积网络，通过影像解译样本库对所述深度残差全卷积网络进行训练，确定第一解析影像；传统遥感影像训练库大多数为人工标注，耗时费力。深度残差全卷积影像解译技术，利用深度残差全卷积神经网络进行影像解译。构建深度残差全卷积网络模型，模型以全卷积神经网络为骨干网络，在编码部分采用残差网络获取影像特征，在解码部分使用跳跃连接结构保持高分辨率的空间信息，采用双线性插值恢复为原始影像大小，获取分类结果。

步骤102：基于时空大数据分析挖掘结果对所述第一解析影像进行优化，确定目标解析影像。仅仅依靠深度学习对影像数据的解译生成的解译结果还不够精确，本发明融合了时空大数据与深度学习影像解译结果达到更高的分类精度。以经过深度学习影像解译的分类结果作为基底，将物联网传感器、互联网数据、电信信令数据等时空大数据进行分析挖掘，提取出相应的分类要素，并融合至深度学习影像解译基底之上，获取深度学习影像解译精确程度，并判断分类是否准确，若有分类错误或影像中尚未体现的道路、水系、植被、居民地等要素，则进行分类结果调整，以达到更高的分类精度。

上述技术方案的有益效果在于：本发明通过历史影像和矢量数据构建影像解译样本库，为深度神经网络模型提供了大量的高精度训练样本，提高了影像解译的精度。本发明还通过构建深度残差全卷积网络，在编码部分采用残差网络获取影像特征，在解码部分使用跳跃连接结构保持高分辨率的空间信息，实现自动标注，减少了人力消耗。最后通过时空大数据分析挖掘结果对所述解析影像进行优化，通过精确的要素分类，得到更高精度的解析影像，

作为本发明的一种实施例，所述获取历史影像和矢量数据，构建影像解译样本库，包括：

获取测绘数据，确定DOM数据和DLG数据；

根据所述DOM数据(数字正射影像)，获取历史影像；

根据所述DLG数据(数字线划地图)，获取矢量数据；训练样本库构建需要矢量与相应的影像数据，矢量数据来源主要来自于测绘成果的DLG数据中抽取的矢量数据，影像数据的来源主要是来自于测绘成果的DOM数据中抽取的影像，

确定所述历史影像和矢量数据的掩膜，并在地理坐标上将所述掩膜与预设的地理要素进行对齐；其中，历史影像和矢量数据的掩膜的尺寸相等。

所述地理要素与掩膜的类别相对应；

根据所述地理坐标，标注所述地理要素；其中，

当所述地理要素存在重叠现象时，对所述地理要素进行多类标注；

当所述地理要素存在重叠现象，并进行拓扑检查时，根据所述地理要素的类别优先级，进行唯一标注；

当所述地理坐标被标注后，将所述历史影像和掩膜裁剪为影像块；

其中，

所述影像块与掩膜一一对应；影像块具有规格，例如：1024x1024；

将所述影像块输入深度学习模型，确定影像解译样本库。

上述技术方案的有益效果在于：训练样本库构建需要矢量与相应的影像数据，矢量数据来源主要来自于测绘成果的中抽取的矢量数据，影像数据的来源主要是来自于测绘成果的DOM数据中抽取的影像，如覆盖城市主城区的航拍数据和卫星遥感影像等，矢量和影像要在相同的时点上获取。实现了矢量数据和影像数据的双重获取，同时能够获取大量的高精度数据。

作为本发明的一种实施例，所述构建深度残差全卷积网络，通过影像解译样本库对所述深度残差全卷积网络进行训练，确定第一解析影像，包括：

获取测绘数据，确定不同分辨率遥感影像；

构建深度残差卷积神经网络模型和特征编码器，并配置多层的非线性残差运算单元，根据多层的非线性残差运算单元，抽取不同分辨率遥感影像的本质空间特征；特征编码器是对数据进行编码的单元，能够对不同分辨率的遥感影像进行编码，提取本质空间特征。

构建双线性插值解码器，在不断恢复图像原本空间大小的过程中使用跳跃连接结构叠加高分辨率的空间信息；

根据所述空间信息，对具有不同分辨率遥感影像的本质空间特征进行特征级可微分融合，确定融合特征；空间信息包含解码后的本质空间特征，而且，编码，解码后的本质空间特征更容易融合。

根据所述融合特征，使用影像解译样本库训练深度残差全卷积网络模型，并利用梯度下降算法收敛损失值；分辨率对损失函数的影响是不同的，因此如果我们想提高我们的训练效果可以在训练的前期设置一个较大的分辨率，然后在某一个时期降低分辨率。比如我们在第n次迭代时，降低我们的分辨率，然后继续训练。

利用训练完成的残差全卷积网络网络模型进行影像解译，生成第一解析影像。

上述技术方案的有益效果在于：本名基于度残差卷积神经网络模型和特征编码器，能够对不同分辨率的遥感影像进行编码，提取本质空间特征，并通过双线性插值解码器，确定融合特征。最后通过在不断迭代的情况下，降低分辨率得到解析影像。

作为本发明的一种实施例，所述利用梯度下降算法收敛损失值，包括：

根据所述融合特征，确定每个融合特征的数量场S

根据所述数量场，确定所述融合特征的梯度向量

获取所述影像解译样本库的影像特征集合A(a

确定所述梯度向量在收敛过程中的贡献度：

根据所述贡献度，确定贡献百分值，并基于所述贡献百分值，确定损失值。

上述技术方案和有益效果在于：本发明基于梯度下降算法收敛损失值，因此，基于融合特征的数量场和影像特征，通过贡献度的计算，进而通过1减去贡献度，得到损失值，使得训练更加精确。

作为本发明的一种实施例，所述构建深度残差全卷积网络，通过影像解译样本库对所述深度残差全卷积网络进行训练，确定第一解析影像，还包括：

基于预设的深度学习框架，构建层次化结构的高性能自动化影像解译系统；其中，

所述高性能自动化影像解译系统包括：界面层、业务层、数据处理层、数据库层和底层运行层；

所述数据库层采用并行存储服务器存储历史影像和矢量数据；

根据所述高性能自动化影像解译系统，将所述历史影像和矢量数据处理为二进制数据；

基于预设的多项式误差衰减学习策略微调学习率，确定所述二进制数据的水平翻转和垂直翻转的增强数据；

将所述增强数据通过正则化方法处理，确定第一解析影像。

上述技术方案的原理和有益效果在于：本发明基于Linux环境、GPU高性能计算节点环境，利用Pytorch深度学习框架，构建高性能自动化影像解译系统，采用层次化结构设计，分为：前端Linux UI界面、业务层、数据处理层、数据库层以及底层运行层。

数据层采用并行存储服务器存储海量历史数据样本和新型数据，利用Pytorch将读入的数据制作成二进制Dataset，借助Pytorch中Data loader借助Pytorch中Dataloader将数据提供给模型使用。使用Pytorch构建出残差全卷积神经网络进行训练，利用随机梯度下降算法对其进行优化，动量设置为0.9，权重衰减为1e-4，利用多项式误差衰减学习策略微调学习率，初始学习率为0.03，学习策略衰减指数为0.9。对于影像进行随机裁剪使得网络输入影像大小为512×512，设置水平与垂直翻转做数据增强，训练批次大小设置为16，训练时采用批次正则化方法(Batch Nornmalization)，预测时关闭。

作为本发明的一种实施例，所述基于时空大数据分析挖掘结果对所述第一解析影像进行优化，确定目标解析影像，包括：

获取时空大数据，进行分析挖掘，确定时空大数据分析挖掘结果，并作为第二解析影像；其中，

所述第二解析影像包括位置信息和分类要素信息；

将所述第一解析影像做为基底，融合所述位置信息和分类要素信息，判断分类结果是否正确，并进行调整，生成融合时空大数据后的目标解析影像。

上述技术方案的原理和有益效果在于：将深度学习影像解译结果作为基底即第一解析影像，获取该解译地区的时空大数据，进行分析挖掘，提取出相应的地表覆盖要素及分类结果；融合时空大数据分析挖掘结果，判断分类结果是否正确，并进行调整，生成融合时空大数据后的解译结果。

在一个实施例中：以道路为例，深度学习遥感影像解译某地区结果表明道路的中心线且道路中间有间断，获取该地区的时空大数据，如GPS，北斗导航，车辆实时位置等信息，可以发现真正的道路中心线以及道路是否有间断，如中心线与影像解译结果不同，表明影像解译结果有偏差，即进行微调；若交通没有中断表明道路没有间断，进行微调。以居民地解译为例，如解译结果无法表明某地块是在建建筑还是裸地，可以根据时空大数据中的土地规划信息以及房产信息等进行套合，明确该地块的类型。除了对结果进行修正之外，还可以在解译结果的基础上，增加更多非视觉信息。对于解译为人工建筑的地块，可以结合房产登记、社交媒体、商业推广等数据，进一步明确该处建筑的类型、年代、层高、用途等综合情况。对于解译为植被的地块，可以结合农田系统、生态系统、园林绿化等行业的数据，进一步了解该地块具体是耕地、山地还是城市绿地，计算作物产量、生态资源或城市绿化率等指标。对于解译为道路的地块，可以结合出租、公交、导航、路况等信息，了解该路段的路宽、等级、限速情况，甚至拥堵、维修、限行等实时状态。对于解译为水体的地块，可以结合历史水文、通航信息、污染新闻等数据，了解水体的类型、水深、用途、水质情况。

作为本发明的一种实施例，所述获取时空大数据，进行分析挖掘，确定时空大数据分析挖掘结果，包括：

根据所述历史影像和矢量数据，确定时空大数据；其中，

所述时空大数据包括物联网传感器、互联网数据、电信信令数据；

基于所述影像解译样本库，对所述时空大数据的数据进行挖掘，确定第一目标数据；影像解译样本库具有解译的样本，进而可以得到样本模型，确定挖掘需求，进而实施挖掘。

基于数据分类和解译目标，对所述第一目标数据进行分析筛选，确定时空大数据。分析筛选是在数据分类后，通过解译目标进行专向筛选得到最终的时空大数据。

作为本发明的一种实施例，所述基于时空大数据分析挖掘结果对所述第一解析影像进行优化，确定目标解析影像，还包括：

根据所述时空大数据，确定几何位置、自然属性、社会属性；

将所述几何位置、自然属性、社会属性与第一解析影像匹配；其中，

若匹配吻合，验证无误，确定目标解析影像；

如果匹配不吻合，分析误差原因，进行相应地修正，并确定目标解析影像，其中

所述误差原因包括：地表变化误差或解译误差。

上述技术方案的原理和有益效果在于：本发明在对第一解析影像进行优化解析的过程中，通过时空大数据验证第一解析影像，基于匹配状况，判断第一解析影像是无误的解析影响还是，能修正的影像，进而修正调整。

作为本发明的一种实施例，所述将所述几何位置、自然属性、社会属性与第一解析影像匹配，包括：

确定以第一解析影像的帧向量：

所述W

获取几何位置坐标集合J

获取自然属性的特征值R，确定自然属性与所述第一解析影像的第二关联值：

所述R

获取社会属性的特征值H，确定自然属性与所述第一解析影像的第三关联值：

其中，所述h

根据所述第一关联值、第二关联值和第三关联值，确定匹配值P：

其中，

当P≠1，表示匹配不吻合，分析误差原因，进行相应地修正，并确定目标解析影像。

上述技术方案的有益效果在于：本发明首先确定以第一解析影像的帧向量，即第一解析影像的特征值向量。在帧向量确定后，本发明通过分别确定几何位置、自然属性、社会属性与第一解析影像的关联值，将几何位置、自然属性、社会属性等影响因素代入第一解析影像，然后通过第一关联值、第二关联值和第三关联值的匹配值，确定最终的匹配值，从而判断得到第一解析影像的状态。

作为本发明的一种实施例，所述分析误差原因，进行相应地修正，包括：

基于所述深度残差全卷积网络，确定所述目标解析影像的本质空间特征；目标解析影响的本质空间特征是带有损失值(也表示误差值)的空间特征。

基于所述影像解译样本库，预测所述目标解析影像的本质空间特征；影像解译样本库中有大量的数据，因此可以训练预测最终得到的无误差的目标解析影像的本质空间特征。

将所述标解析影像的本质空间特征和预测的目标解析影像的本质空间特征进行对比，确定第一损失比；

根据所述第一损失比，设置第一阈值；

在训练完成的残差全卷积网络网络模型引入第一阈值，将所述目标解析影像的本质空间特征代入训练完成的残差全卷积网络模型进行解译修正。基于两种误差之间的损失值，设置损失阈值，损失阈值是一个具有上限或下限的范围阈值，然后将范围法制引入训练完成的残差全卷积网络网络模型，得到没有损失值的网络模型，通过没有损失值的网络模型进行训练修正，确定最终的解析图像。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。