基于历史卫星影像指导的低分辨率卫星影像车辆计数方法

摘要

本发明提供一种基于历史卫星影像指导的低分辨率卫星影像车辆计数方法，包括模型训练和模型预测部分，训练时使用卫星影像分割模型编码器分别提取高分影像的特征，相应同时刻低分影像和两张历史低分影像的特征；使用卫星影像分割模型解码器获取低分影像车辆覆盖图并训练模型；根据所有高分影像中的标注车辆区域计算车辆密度图，计算场景累积密度图；根据低分影像的车辆覆盖图计算车辆密度图，训练车辆计数回归模型；预测中使用卫星影像分割模型划分得到车辆覆盖图，使用场景的车辆累积密度图和车辆覆盖图得到车辆密度图，使用车辆计数回归模型预测得到低分影像中车辆数目。本发明支持使用低拍摄成本但高采样频率的低分辨率卫星进行地面长时间观测。

说明书

技术领域

本发明属于图像分析领域，尤其涉及一种面向固定场景的基于历史卫星影像指导的低分辨率卫星影像车辆计数方法。

背景技术

卫星影像车辆计数是指使用卫星拍摄地面某一区域的影像，并统计所拍摄卫星影像中的车辆数目，因为它能够从高空视角无遮挡的提供较大空间范围的地面统计信息而具备极高的社会和经济价值，也就具有重要的市场价值。典型的应用如：利用某一停车场的卫星图像清点该停车场的车辆数目来预测附近零售商的客流量，从而预测其利润；统计医院停车场车辆数目的变化来评估是否有突发性的公众卫生事件；预测旅游景点的车辆数目估计游客量从而预测该景点的受欢迎程度。并且能够支持后续技术应用，例如对特殊情况提供自动告警。

在过去的几十年中，带人工标注的航空数据集的相继提出推动了车辆计数技术的发展。这些航空数据集通常采用的是地面采样距离小于1米的高分辨率卫星图像(即图像中1个像素表达地面不到1米的距离)，图像中的车辆区域清晰，可由人工判别进行标注。但高分辨率卫星运行成本高，且具有较低的全球重访频率，即需要经过很长一段时间(通常是几个月)才会重访同一区域拍摄卫星影像，因此这些经过长时间才能再次获得的高分辨率卫星影像，因其采集效率低下，并不适用于对同一场景车辆数据的长时间观测。

相比高分辨率卫星，低分辨率卫星因具有低运行成本，高全球重访频率，已广泛应用于卫星影像分析、地表变化检测等任务。如Planet公司已发射超过100颗低分辨率卫星，能够以接近1天的频率重访地球的任一区域进行影像拍摄，满足对同一场景车辆计数的采样需求。但将低分辨率卫星影像应用于车辆计数任务仍存在影像分辨率过低(通常为3米地面采样距离，即影像中1个像素表达地面3米距离)，导致地面车辆难以识别，甚至无法通过人工手段进行标注的问题。

本专利提出了一种基于历史卫星影像指导的低分辨率卫星影像车辆计数方法解决上述的低分辨率影像车辆计数中车辆难以识别和标注的问题。首先，历史高分辨率卫星影像虽然采样频率低，但影像中车辆容易识别和标注，可作为同一时刻拍摄的低分辨率卫星影像的指导信息。其次，历史低分辨率卫星影像虽然采样分辨率低，但高采样频率导致相邻时间拍摄的卫星影像中的车辆数目具有相似性。最后，由于本方法主要面向同一场景的车辆数目的长时间观测，因此该场景的一些先验知识如停车场位置等能够有助于车辆计数问题。

发明内容

本发明针对现有低分辨率卫星影像车辆计数因分辨率过低导致影像中车辆难以识别和标注的问题，提供一种基于历史卫星影像指导的低分辨率卫星影像车辆计数方法。

本发明提供一种基于历史卫星影像指导的低分辨率卫星影像车辆计数方法，包括模型训练和模型预测部分，

所述模型训练部分中，使用卫星影像分割模型编码器分别提取高分辨率卫星影像的特征，与高分辨率卫星影像同时刻拍摄的低分辨率卫星影像的特征和两张历史低分辨率卫星影像的特征；使用卫星影像分割模型解码器获取低分辨率卫星图像的车辆覆盖图；利用高分辨率卫星影像、低分辨率卫星影像和历史低分辨率卫星影像的特征、低分辨率卫星影像的覆盖图和标签训练卫星影像分割模型，当误差收敛后，保存卫星影像分割模型；根据所有高分辨率卫星影像中的标注车辆区域计算车辆密度图；根据高分辨率卫星影像的车辆密度图计算场景的累积密度图；根据低分辨率卫星影像解码得到的车辆覆盖图计算车辆密度图；训练车辆计数回归模型，当误差收敛后，保存车辆计数回归模型；

所述模型预测部分中，输入待预测的低分辨率卫星影像；使用卫星影像分割模型划分得到车辆覆盖图；使用场景的车辆累积密度图和车辆覆盖图得到车辆密度图；使用车辆计数回归模型预测得到最终的该低分辨率卫星影像中的车辆数目。

而且，模型训练部分的实现包括以下过程，

步骤1.1，高分辨率卫星影像车辆区域标注，并将标注的车辆区域和车辆数目同时作为同时刻拍摄的低分辨率卫星影像的标注信息；

步骤1.2，训练数据预处理，包括将高分辨率卫星影像和同时刻拍摄的低分辨率卫星影像进行裁切和旋转预处理操作，扩大训练数据量；

步骤1.3，训练数据输入到卫星影像分割模型，包括取出训练数据集中的高分辨率卫星影像，对应的低分辨率卫星影像，相邻日期拍摄的低分辨率卫星影像和其它日期拍摄的低分辨率卫星影像，并输入到卫星影像分割模型；

步骤1.4，使用卫星影像分割模型的编码器提取高分辨率卫星影像的特征、与高分辨率卫星影像同时刻拍摄的低分辨率卫星影像的特征和两张历史低分辨率卫星影像的特征；

步骤1.5，当满足预设的相应迭代停止条件时，保存卫星影像分割模型，进入步骤1.6，否则返回步骤1.4继续下一次迭代训练；

步骤1.6，计算高分辨率卫星影像的车辆密度图，利用标注的高分辨率卫星影像中的车辆位置及区域，分别计算每张高分辨率卫星影像的车辆密度图；

步骤1.7，计算并保存场景的车辆累积密度图，包括利用步骤1.6得到同一场景的每张高分辨率卫星影像车辆密度图计算该场景的累积密度图；

步骤1.8，计算低分辨率卫星影像的车辆密度图，包括利用步骤1.7得到的同一场景的车辆累积密度图和步骤1.4得到的低分辨率卫星影像的车辆覆盖图得到低分辨率图像车辆密度图；

步骤1.9，构建和训练车辆计数回归模型，包括构建用于映射车辆累积密度图到车辆数目的回归模型及优化；

步骤1.10，保存车辆计数回归模型，包括当满足预设的相应迭代停止条件时，结束车辆计数回归模型的优化工作，保存优化好的车辆计数回归模型，用于低分辨率卫星影像的车辆数目的预测。

而且，步骤1.4的实现包括以下过程，

步骤1.4.1，高分辨率卫星影像的特征提取，包括使用卫星影像分割模型的编码器部分提取高分辨率卫星影像的特征；

步骤1.4.2，低分辨率卫星影像的特征提取以及解码，包括使用卫星影像分割模型的编码器部分提取目标低分辨率卫星影像，相邻日期的低分辨率卫星影像和其它日期拍摄的低分辨率卫星影像的特征，再利用解码器部分得到目标低分辨率卫星影像的车辆覆盖图；

步骤1.4.3，卫星影像分割模型的训练，包括将相同日期的高分辨率卫星影像特征，低分辨率卫星影像特征，相邻日期的低分辨率卫星影像特征和其它日期拍摄的低分辨率卫星影像特征输入卫星影像分割模型进行训练。

而且，步骤1.4.3中，训练卫星影像分割模型时，按极小化输出层误差的方式优化分割模型编码网络和解码网络中的参数，输出层误差定义方式如下，

假设从相同日期的高分辨率和低分辨率卫星影像中提取得到的特征分别是F

1)分割损失函数定义为

2)跨分辨率的空间一致性损失函数定义为

3)跨日期的时间连续性损失函数定义为

而且，步骤1.6计算高分辨率卫星影像的车辆密度图方式如下，

首先不失一般性地，考虑高分辨率的卫星影像图中识别出的所有车辆中的一个车辆o

然后，对每一个车辆o

最后，累加这些值M

而且，步骤1.7计算场景的车辆累加密度图方式如下，

如果同一场景有多张高分辨率卫星图像，则计算每一个图像的车辆密度图，然后使用公式

而且，模型预测部分的实现包括以下过程，

步骤2.1，输入待预测低分辨率卫星影像，包括将目标场景的低分辨率卫星影像输入卫星影像分割模型；

步骤2.2，使用卫星影像分割模型预测得到车辆覆盖图，包括使用低分辨率卫星影像分割模型的编码器计算得到低分辨率卫星影像的特征，利用卫星影像分割模型的解码器计算得到低分辨率卫星影像的车辆覆盖图；

步骤2.3，使用场景的车辆累积密度图和上一步骤得到的车辆覆盖图得到低分辨率卫星影像车辆密度图；

步骤2.4，使用车辆计数回归模型计算车辆数目，包括利用步骤2.3计算得到的密度图和保存的车辆计数回归模型计算得到低分辨率卫星影像的车辆数目；

步骤2.5，输出低分辨率卫星影像的车辆数目，得到所需识别结果。

而且，步骤2.3计算测试低分辨率卫星影像的车辆密度图方式如下，

使用保存的场景车辆累加密度图M

本发明基于以下三点考虑：

1)同一场景中，高分辨率卫星影像获取成本高周期长，低分辨率卫星影像获取成本低周期短，结合两种不同分辨率卫星影像对于卫星影像车辆计数任务有着重要价值。

2)同一场景的历史高分辨率卫星影像可以获得清晰的车辆位置，而同一场景的历史低分辨率卫星影像可以获得车辆数目变化的时域相似性，均可用于指导该场景的低分辨率卫星影像的车辆计数。

3)同一场景中，通常车辆的只会分布于固定的一些区域，且具有比较规律的车辆密度分布，因而该特定场景通常具有固有的车辆密度图。

本发明提出一种结合卫星影像分割模型和车辆密度图方法的低分辨率卫星图像车辆计数框架，有效地解决了低分辨率卫星影像的车辆难以计数问题，避免了来自其它物体的干扰，提高了模型的鲁棒性，可以取得较好的低分辨率卫星影像的车辆计数效果，具有重要的市场价值。实验证明，本发明可以比现有其它技术取得更好的低分辨率卫星影像的车辆计数效果。

附图说明

图1为本发明实施例方法模型训练流程图；

图2为本发明实施例方法模型测试流程图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

为了解决低分辨率卫星影像车辆计数问题，本发明提出了一种基于历史卫星影像指导的低分辨率卫星影像车辆计数方法。从提取车辆覆盖图入手，提出了一种基于空间一致性和时间连续性的低分辨率卫星图像分割模型来检测车辆区域。然后为了改进预测的车辆覆盖图，设计了一种从高分辨率的卫星影像图中得到的场景的车辆累加密度图，将其作为先验知识，提供目标场景的固有知识。最后，在预测的车辆覆盖图上应用车辆累加密度图得到车辆密度图，再使用拟合的线性回归模型从车辆密度图中预测车辆数目。

本发明具体提出了一种结合车辆区域分割模块和车辆密度图方法的低分辨率卫星影像车辆计数框架。该方法结合历史高分辨率卫星影像的高清晰度和历史低分辨率卫星影像的高采集率的优点，使用相应的高分辨率卫星影像和低分辨率卫星影像，为低分辨率卫星影像的语义分割模型的训练提供了跨分辨率空间一致性和跨日期时间连续性的约束，提高了卫星影像语义分割模型的精度。然后将分割得到的车辆覆盖图和从历史高分辨率卫星影像得到的场景车辆累积密度图结合计算该低分辨率图像的车辆密度图，最终使用车辆计数回归模型得到车辆数目。该方法引入历史影像先验知识，有效地解决了低分辨率卫星影像的车辆难以识别和计数问题，提高了模型的鲁棒性，可以取得较好的低分辨率卫星影像的车辆计数效果，对如何使用低拍摄成本但高采样频率的低分辨率卫星进行地面长时间观测有着较好的参考意义。

如图1所示，本发明实施例提出的基于历史卫星影像指导的低分辨率卫星影像车辆计数方法流程包含两个部分，

模型训练部分：高分辨率卫星影像车辆区域标注；训练数据集预处理；训练数据对准备；使用卫星影像分割模型编码器提取高分辨率卫星影像的特征；使用卫星影像分割模型编码器提取与高分辨率卫星影像同时刻拍摄的低分辨率卫星影像的特征和两张历史低分辨率卫星影像的特征；使用卫星影像分割模型解码器获取低分辨率卫星图像的车辆覆盖图；利用高分辨率卫星影像、低分辨率卫星影像和历史低分辨率卫星影像的特征、低分辨率卫星影像的覆盖图和标签训练卫星影像分割模型，当误差收敛后，保存卫星影像分割模型；根据所有高分辨率卫星影像中的标注车辆区域计算车辆密度图；根据高分辨率卫星影像的车辆密度图计算场景的累积密度图；根据低分辨率卫星影像解码得到的车辆覆盖图计算车辆密度图；训练车辆计数回归模型，当误差收敛后，保存车辆计数回归模型。

模型的预测部分：输入待预测的低分辨率卫星影像；使用卫星影像分割模型划分得到车辆覆盖图；使用场景的车辆累积密度图和车辆覆盖图得到车辆密度图；使用车辆计数回归模型预测得到最终的该低分辨率卫星影像中的车辆数目。

模型训练的具体步骤如下：

步骤1.1，高分辨率卫星影像车辆区域标注，标注信息为车辆外接矩形框和车辆数目。

即将标注的车辆区域和车辆数目同时作为同时刻拍摄的低分辨率卫星影像的标注信息。

步骤1.2，训练数据预处理，包括将高分辨率卫星影像和同时刻拍摄的低分辨率卫星影像进行裁切和旋转等预处理操作，扩大训练数据量。特别地，实施例中，首先可用现有的任何图像降采样算法将高分辨率卫星影像降低分辨率到同时刻拍摄的低分辨率卫星影像相同分辨率，之后随机选取32x32的图像块，并通过旋转(90、180和270度)或翻转(上、下、左、右)对图像块进行增强。

步骤1.3，将训练数据输入到卫星影像分割模型，包括取出训练数据集中的高分辨率卫星影像，对应的低分辨率卫星影像，相邻日期拍摄的历史低分辨率卫星影像和其它日期拍摄的历史低分辨率卫星影像，并输入到卫星影像分割模型。特别地，实施例中，批处理的大小为16；训练迭代次数为50万次；学习率从0.01开始，并在20万和40万次迭代时分别减少10倍；

所述卫星影像分割模型是一种编码器-解码器形式的卷积神经网络，其中可采用编码器网络的结构单元包括但不限于卷积操作，批归一化操作，非线性映射。解码器网络采用与编码部分相对应的解码部分，结构单元包括但不限于卷积操作，批归一化操作，非线性映射。

作为优选，卫星影像分割模型可以采用经典的U-Net或SegNet网络模型。

U-Net参考文献:Ronneberger,O.,Fischer,P.,Brox,T.(2015).U-Net:Convolutional Networks for Biomedical Image Segmentation.In:MICCAI 2015.vol9351.

SegNet参考文献：V.Badrinarayanan,A.Kendall and R.Cipolla,"SegNet:ADeep Convolutional Encoder-Decoder Architecture for Image Segmentation,"inIEEE Transactions on Pattern Analysis and Machine Intelligence,vol.39,no.12,pp.2481-2495,2017.

相应网络模型可参见相关文献，本发明不予赘述。

所述相邻日期拍摄的历史低分辨率卫星影像和其它日期拍摄的历史低分辨率卫星影像，是与当前低分辨率卫星影像拍摄的同一场景。基于低分辨率卫星具有高时域采样以及同一场景相邻时间车辆数目具有相似性的特点，当前低分辨率影像与相邻日期拍摄的历史低分辨率影像中的车辆数目差异应比当前低分辨率影像与其他日期拍摄的历史分辨率卫星影像中的车辆数目差异更小，而这可以作为卫星影像分割模型训练的重要约束条件，提高了模型训练的鲁棒性。需要注意的是，这里的历史低分辨率卫星影像不需要有对应的高分辨率卫星影像，降低了模型训练对标注数据的要求。步骤1,4，使用卫星影像分割模型的编码器提取高分辨率卫星影像的特征、与高分辨率卫星影像同时刻拍摄的低分辨率卫星影像的特征和两张历史低分辨率卫星影像的特征。

步骤1.4.1：高分辨率卫星影像的特征提取，使用卫星影像分割模型的编码器部分提取高分辨率卫星影像的特征：

步骤1.4.2：低分辨率的卫星影像的特征提取以及解码，使用卫星影像分割模型的编码器部分提取低分辨率卫星影像，相邻日期的历史低分辨率卫星影像和其它日期拍摄的历史低分辨率卫星影像的特征，再利用解码器部分对低分辨率卫星影像的特征解码得到低分辨率卫星影像的车辆覆盖图：

实施例中，除了提取与高分辨率卫星影像日期相同的低分辨率卫星影像的特征外，还选用了一个与该影像日期相差不超过2天的低分辨率卫星影像和一个与该影像日期相差超过3天但低于30天的低分辨率卫星影像，提取它们的特征。

得到低分辨率卫星影像中的特征后，可使用与低分辨率卫星影像特征提取模型相对应的解码模型，解码提取到的与高分辨率卫星影像相对应的低分辨率卫星影像的特征，得到该低分辨率卫星影像的车辆覆盖图。

步骤1.4.3：卫星影像分割模型的训练，将高分辨率卫星影像特征，与高分辨率卫星影像同时刻拍摄的低分辨率卫星影像特征，相邻日期的低分辨率卫星影像特征和其它日期拍摄的低分辨率卫星影像特征输入卫星影像分割模型进行训练：

本发明中提出，卫星影像分割模型的训练采用三种损失函数进行约束：1.图像分割损失，通过计算步骤1.4.2中得到的车辆覆盖图和从相同日期的高分辨率卫星影像中得到的真实车辆覆盖图的误差，用于约束生成的覆盖图与真实值的一致性；2.跨分辨率的空间一致性损失，通过比较步骤1.4.1和1.4.2生成的相同日期的高分辨率和低分辨率的卫星影像的特征，约束相同日期不同分辨率的特征的相似性；3.跨日期的时间连续性损失，通过比较步骤1.4.2中不同日期的低分辨率卫星影像中提取到的特征，约束相同分辨率不同日期的特征的连续性。

实施例中的损失函数设置如下，

假设从相同日期的高分辨率和低分辨率卫星影像中提取得到的特征分别是F

图像分割损失函数定义为

跨分辨率的空间一致性损失函数定义为

跨日期的时间连续性损失函数定义为

最终的误差损失函数定义为

步骤1.5：保存卫星影像分割模型：

当满足预设的相应迭代停止条件时，结束卫星影像分割模型的训练工作，并保存训练好的卫星影像分割模型，否则返回步骤1.4继续下一次迭代训练。准确地说，是当满足预设的相应迭代停止条件时，保存卫星影像分割模型，进入步骤1.6，否则返回步骤1.4.1继续下一次迭代训练。

利用步骤1.4.1和1.4.2提取的特征和车辆覆盖图对卫星影像分割模型进行训练，具体实施时训练过程停止的条件可为两种，一种是输出误差的值小于设定的阈值，另一种是迭代训练达到一定次数。保存训练好的卫星影像分割模型，用于低分辨率卫星影像的车辆覆盖图的预测。

步骤1.6：计算高分辨率卫星影像的车辆密度图，利用标注的高分辨率卫星影像中的车辆位置及区域，分别计算每张高分辨率卫星影像的车辆密度图：

使用步骤1.1中的高分辨率卫星影像及其标注的车辆外接矩形框，计算高分辨率卫星影像的车辆密度图。本发明进一步提出以如下方式计算卫星影像的车辆密度图，

首先不失一般性地，考虑高分辨率的卫星影像图中识别出的所有车辆中的一个车辆o

然后，对每一个车辆o

最后，累加这些值M

步骤1.7：计算并保存场景的车辆累积密度图，利用步骤1.6得到同一场景的每张高分辨率卫星影像车辆密度图计算该场景的累积密度图：

如果同一场景有多张高分辨率卫星图像，则计算每一个图像的车辆密度图，然后使用公式

步骤1.8：计算低分辨率卫星影像的车辆密度图：

在步骤1.7得到的车辆累积密度图与步骤1.4.2得到的低分辨率卫星影像的车辆覆盖图M

步骤1.9：构建和优化车辆计数回归模型，包括构建用于映射车辆累积密度图到车辆数目的回归模型及其优化：

本专利提出使用回归模型基于步骤1.8计算得到的低分辨率卫星影像的车辆密度图和与低分辨率卫星影像有相同日期的高分辨率卫星影像的车辆数目标签进行回归，使用的回归模型包括但不限于线性回归模型和非线性回归模型。

在实施例中，车辆计数回归模型使用经典的线性回归模型y＝k

然后使用最小二乘算法优化回归模型，利用训练数据步骤1.8计算得到的低分辨率卫星影像的车辆密度图与标签车辆数目迭代训练回归模型，得到最终的用于计算低分辨率卫星影像的车辆计数回归模型。

步骤1.10：保存车辆计数回归模型：

当满足预设的相应迭代停止条件时，保存车辆计数回归模型，结束车辆计数回归模型的优化工作。保存优化好的车辆计数回归模型，用于低分辨率卫星影像的车辆数目的预测。

所述的模型预测部分，其具体实现包括以下子步骤：

步骤2.1：输入待预测低分辨率卫星影像：将目标场景的低分辨率卫星影像输入预测模型。

步骤2.2：使用卫星影像分割模型划分得到车辆覆盖图：包括使用卫星影像分割模型编码器计算得到低分辨率卫星影像的特征，利用卫星影像分割模型解码器计算得到低分辨率卫星影像的车辆覆盖图。

步骤2.3：使用场景的车辆累积密度图和上一步骤得到的车辆覆盖图得到车辆密度图，使用步骤1.7计算并保存的该场景的车辆累积密度图和步骤2.2计算得到的车辆覆盖图计算得到该低分辨率卫星影像车辆密度图：

实施例使用保存的场景车辆累加密度图M

步骤2.4：使用车辆计数回归模型计算车辆数目：利用步骤2.3计算得到的密度图M

步骤2.5：输出低分辨率卫星影像的车辆数目，即为所需的低分辨率卫星影像的车辆数目。

具体实施时，本领域技术人员可采用软件技术实现以上流程的自动运行。比如，可以通过自动化执行以上流程，从商城的停车场的历史卫星影像中周期性地输出停车场的车辆，统计分析该商城的客流量，从而监控特殊事件；或是从景区的历史卫星影像中周期性地输出其停车场车辆数目，预测该景区的受欢迎程度，以及周期性规律，从而在特殊情况下自动预警。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。