一种基于关键影响因子的全局时空气象农灾预测方法

摘要

本发明公开了一种基于关键影响因子的全局时空气象农灾预测方法，包括以下步骤：对异构数据按照时间与空间进行融合，融合成时空数据立方体；收集特定农业灾害指标的历史数据；选出对农业灾害影响最大的指标组合作为影响因子；将时空数据立方体转化为无纲量平面；从云平台时空数据立方体中按时间与空间提取气象与农业关联数据分组；在二维特征平面集合基础上构建带有全局时空特性的农业灾害预测的第二神经网络，计算农灾发生概率。本发明针对全局时空气象农灾预测方法的改进，基于关键影响因子的全局时空气象农灾预测方法，能够从时间与空间两方面对特定区域与时间段气象与农业观测值进行全局分析，更准确预测未来可能发生的农业灾害。

说明书

技术领域

本发明涉及农业气象灾害分析领域，特别涉及一种基于关键影响因子的全局时空气象农灾预测方法。

背景技术

随着我国农业生产模式转型和各类技术手段的提升，我国气象行业累计数据体量达到了大数据的海量性特征，农业气象灾害的各种预测方法和系统不断涌现。目前利用大数据技术在地球科学领域积极探索，证明了机器学习、深度学习等方法在地球科学大数据上应用的可行性，为地球科学研究提供了更多的思路与方法。使用数据密集型方法来驱动农业技术，为量化和理解农业作业环境中的过程创造新机会。

农业气象数据集领域各异、形式多样，需要有机地融合各个数据集中的知识。为了能够处理多个来源的异构灾害数据，需要解决数据集成方案和摄入问题，这些解决方案分为相互交互的组件，难以确保以高度协调的方式最佳地提供与灾害有关的信息。基于不同数据的个体预测的神经网络方法相比于初始输入，相关的误差要低得多，不同数据的神经网络融合为一个稳定的状态提供了更佳的解决方案。

现阶段农灾预测研究中已经出现大数据高精准辅助预报业务：如使用对数线性模型在一年时间尺度上预测干旱等级，拟合气象站数据；或采用判别分析方法处理多尺度干旱灾害风险，预测中国东北朝阳市的玉米产量损失；或建立基于气候指数的支持向量回归模型，预测江水蒸散指数。上述预报所考虑的分析技术属于相对直观的、启发式的方法，预测性能指标表明预测值和观测值之间有弱到中等的关系，但海量的历史气象数据并没有发挥它们全部的价值。

现有的气象农灾预测方法存在以下问题：影响因素的选择范围过窄，仅使用少量特征进行预测，致使预测结果难以保证；对多模态数据的处理方法粗糙，无法有效利用异构数据；对时空数据的挖掘不足。

发明内容

发明目的：针对以上问题，本发明目的是提供一种基于关键影响因子的全局时空气象农灾预测方法，实现同时从时间与空间两方面对特定区域与时间段气象与农业观测值的全局分析。

技术方案：本发明的一种基于关键影响因子的全局时空气象农灾预测方法，包括如下步骤：

步骤1，将农业气象异构数据上传至云平台，利用第一神经网络对异构数据按照时间与空间进行融合，融合成时空数据立方体，对时空数据立方体进行聚合；

步骤2，对聚合后的时空数据立方体进行分析并获取关键特征数据，从关键特征数据中收集特定农业灾害指标的历史数据；

步骤3，对特定农业灾害指标的历史数据采用极端随机树方法，实施集成化回归分析，预测出农业灾害指标，筛选出对农业灾害影响最大的指标组合作为影响因子；

步骤4，根据影响因子从云平台抽取与极端天气、农业灾害相关的文本、图像对应的时空数据立方体，利用LSTM神经网络处理文本特征，利用卷积神经网络处理图像特征，将处理后的文本特征和图像特征输入到激活函数Softmax中形成一个向量，作为联合特征表示；以该联合特征表示为输入，以历史农业灾害指标预测为辅助学习任务，构建辅助学习网络，通过最小化预测误差，进一步训练特征提取器以加大对数据的解析力度；

步骤5，从云平台中抽取代表极端天气和农业灾害数据的时空数据立方体，将时空数据立方体转化为由若干无纲量序列组成的无纲量平面；

步骤6，在无量纲平面之间按序列相关度将具有关联关系的极端天气数据与农业灾害数据进行映射，在无量纲平面内部按序列相关性寻找同类型数据之间的关联关系；

步骤7，根据极端天气与农业灾害的关联关系，从云平台时空数据立方体中按时间与空间提取若干气象与农业关联数据分组，并根据联合特征表示将关联数据分组表征为带有全局时空特性的二维特征平面集合；

步骤8，在二维特征平面集合基础上构建带有全局时空特性的农业灾害预测的神经网络，计算农灾发生概率。

进一步，利用第一神经网络对异构数据按照时间与空间进行融合过程包括：

将不同农业气象异构数据、上下文描述符及当前时空步长的时空观测量共同建模作为输入，利用反向传播算法训练的前馈神经网络，得到融合后的时空数据立方体。

进一步，利用层次聚类从关键特征数据中收集特定农业灾害指标的历史数据，包括：输入融合后的异构数据作为样本集合，类簇数设置条件以试错计算方法选取能够使得每一类信息所占系统的比例不确定度低的数值，将样本集合中的所有样本点当做一个独立类簇，取两个类中距离最近的两个样本的距离作为这两个集合的距离，重复计算两两类簇之间的距离且距离最小的两个类簇，直到达到预先设定的样本距离阈值，将结束时得到的数据集合作为特定农业灾害指标的历史数据。

进一步，所述步骤3包括：

对特定农业灾害指标的历史数据构造极端随机树，使用特定农灾指标历史数据集合里的所有数据作为样本数据，对所有样本随机分裂并选取特征，随机选择特征值划分决策树，对决策树预测出的指标值按照占比或概率进行排序，结合各自对应的特征数据筛选出对农业灾害影响最大的指标集合作为影响因子。

进一步，利用LSTM神经网络处理文本特征包括：将文本特征分为正向情感样本、中性情感样本和负向情感样本，分别对三种样本进行分词和词向量化，将转化成的向量表示分别输入LSTM神经网络中，根据正、中、负三种情感样本分别训练出覆盖正向情感样本的LSTM模型、覆盖中性情感样本的LSTM模型、覆盖负向情感样本的LSTM模型，分别简称为正向情感模型、中性情感模型、负向情感模型。

进一步，所述步骤5包括：

利用灰色关联度，从时空数据立方体中按空间逐层抽取数据，每一层数据按照时间维度组成序列，并将所有数据取值压缩至[0,1]范围内，将数据立方体转化为由若干无纲量序列组成的二维平面。

进一步，所述步骤8包括：所述第二神经网络包括多层卷积层和池化层，融入时间跳跃机制，通过指定跳跃单元个数，一次性预测未来某段时间范围内的农业灾害发生概率：

将时间窗口t-N～t内的高层特征序列作为输入，在中间层手动指定需要跳跃的时间单元个数，从而预测出若干时间单元之后某一时间窗口内的农业灾害发生概率，迭代执行上述过程，将预测结果作为下一轮跳跃预测的资料输入。

有益效果：本发明与现有技术相比，其显著优点是：

本发明针对全局时空气象农灾预测方法的改进，基于关键影响因子的全局时空气象农灾预测方法，能够从时间与空间两方面对特定区域与时间段气象与农业观测值进行全局分析，更准确预测未来可能发生的农业灾害；本发明根据不同的数据类型对数据对象进行特征提取，影响因素选择范围更广，使用更多特征进行预测；同时使用了联合特征表示学习，有效利用异构数据，提高精度；本方法对时空数据挖掘充分，呈现了较好的气象农灾精准预测。

附图说明

图1是基于关键影响因子的全局时空气象农灾预测方法的流程图；

图2是数据融合过程中时空关联性与时空数据立方体示意图；

图3是针对数据立方体的聚合操作示意图；

图4是得到基于图像、文本多类型数据的联合特征表示流程图；

图5是数据立方体至无纲量二维平面的转化过程示意图；

图6是层次型灰色关联模型示意图；

图7是带有全局时空特性的农业灾害预测网络示意图；

图8是用于修正农业灾害预测时间尺度的第二神经网络示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。

本实施例所述的一种基于关键影响因子的全局时空气象农灾预测方法，流程图如图1所示，该预测方法包括以下步骤：

步骤1，将农业气象异构数据上传至云平台，利用第一神经网络对异构数据按照时间与空间进行融合，融合成时空数据立方图。

利用第一神经网络对异构数据按照时间与空间进行融合过程包括：

将不同农业气象异构数据、上下文描述符及当前时空步长的时空观测量共同建模作为输入，利用反向传播算法训练的前馈神经网络，得到融合后的时空数据立方体。

如图2所示，横轴表示空间，纵轴表示时间，时空数据立方体在纵向上表现时间依赖性，如不同时间点t处单个位置s的变化；在横向上表示位置之间具有空间相关性，如位置l处异构数据受其他位置s1～s4的综合影响。通过时空数据立方体从时间依赖性与空间相关性两类角度观察气象与农业数据，构成了时空数据集的可视化。按空间特征判定不同地点气象或农业数据之间的空间相关性，按时间特征判定单个地点气象或农业数据的时间依赖性，将零散的异构数据分别按时间与空间两类观察角度填充至右侧数据立方体中，以形成时空数据立方体。

可使用现有的主流异构大数据平台对现有农业气象开源数据库中的异构数据装载至云平台，并且以现有云计算技术为支持，通过集群应用与分布式文件系统，对上述农业气象异构数据实现噪声清理、一致性检查、存储检索等，并将数据序列化后采用纠删码技术实现数据的冗余保护，以实现迅速便捷的数据操作。

对时空数据立方体进行聚合，包括钻取、上卷、切块、或切片中任一操作，根据具体任务要求，从时空或空间维度对数据进行不同形式的聚合，达到对异构行业大数据的时空融合效果，如图3所示为分别对时空数据立方体进行不同操作之后所呈现的数据形式，其中空间上以江苏、上海、浙江，时间上按照一季度、二季度、三季度为例进行灾害情况展示。

步骤2，对聚合后的时空数据立方体进行分析并获取关键特征数据，从关键特征数据中收集特定农业灾害指标的历史数据。

面向不同特定的数据分析任务时，从经过时空数据融合后的时空数据立方体中抽取与其相关联的特征，如地表温度、归一化差分植被指数、归一化多波段干旱指数、蒸发量等，按照占比或概率进行排序，选取排序位于前面的几个特征作为关键特征。

利用层次聚类从关键特征数据中收集特定农业灾害指标的历史数据，具体包括：输入融合后的异构数据作为样本集合，类簇数设置条件以试错计算方法选取能够使得每一类信息所占系统的比例不确定度低的数值，将样本集合中的所有样本点当做一个独立类簇，取两个类中距离最近的两个样本的距离作为这两个集合的距离，重复计算两两类簇之间的距离且距离最小的两个类簇，直到达到预先设定的样本距离阈值，将结束时得到的数据集合作为特定农业灾害指标的历史数据。

步骤3，将特定农业灾害指标的历史数据采用极端随机树方法，实施集成化回归分析，预测出农业灾害指标，筛选出对农业灾害影响最大的指标组合作为影响因子。

对特定农业灾害指标的历史数据构造极端随机树，使用特定农灾指标历史数据集合里的所有数据作为样本数据，对所有样本随机分裂并选取特征，随机选择特征值划分决策树，对决策树预测出的指标值按照占比或概率进行排序，结合其各自对应的特征数据筛选出对农业灾害影响最大的指标集合作为影响因子。

步骤4，根据影响因子从云平台抽取与极端天气、农业灾害相关的文本、图像对应的时空数据立方体，利用长短期神经网络LSTM处理文本特征，利用卷积神经网络处理图像特征，将处理后的文本特征和图像特征输入到激活函数Softmax中形成一个向量，作为联合特征表示。

如图4所示，根据确定的影响因子，在词嵌入的基础上引入知识图谱构建实体表示，由LSTM神经网络处理文本特征，捕捉除统计特征之外的情感特征，从而丰富文本特征，过程包括：

将文本特征分为正向情感样本、中性情感样本和负向情感样本，分别对三种样本进行分词和词向量化，将转化后的向量表示分别输入LSTM神经网络中，根据正、中、负三种情感样本分别训练出覆盖正向情感样本的LSTM模型、覆盖中性情感样本的LSTM模型、覆盖负向情感样本的LSTM模型，分别简称为正向情感模型、中性情感模型、负向情感模型。如此训练并测试，进而丰富文本表示，使其带有情感。

针对图像特征，通过卷积神经网络提取其深层特征。

将丰富情感之后的文本特征和图像的深层特征输入激活函数softmax形成联合特征表示，构建深度神经网络，以该联合特征表示为输入，以历史农业灾害指标预测为辅助学习任务，构建辅助学习网络，通过最小化预测误差，进一步训练特征提取器以加大对数据的解析力度；

步骤5，从云平台中抽取代表极端天气和农业灾害数据的时空数据立方体，将时空数据立方体转化为由无纲量序列组成的无纲量平面。

利用灰色关联度，从时空数据立方体中按空间逐层抽取数据，每一层数据按照时间维度组成序列，并将所有数据取值压缩至[0,1]范围内，由此通过消除空间维度、保留时间维度和0-1值域标准化，将数据立方体转化为由若干无纲量序列组成的二维平面。将时空数据立方体的子集极端天气数据立方体、农业灾害数据立方体分别转化为由若干无量纲序列组成的极端天气无量纲平面和农业灾害无量纲平面，如图5所示。

步骤6，在无量纲平面之间按序列相关度将具有关联关系的极端天气数据与农业灾害数据进行映射，在无量纲平面内部按序列相关性寻找同类型数据之间的关联关系。

为使不同属性特征的数据转化为利于比较分析和评价决策的数值，通常涉及数据无量纲化处理。灰色系统关联分析法实质上是关联系数的分析。先是求各个方案与由最佳指标组成的理想方案的关联系数，由关联系数得到关联度，再按关联度的大小进行排序、分析，得出结论。这种方法优于经典的精确数学方法，经过把意图、观点和要求概念化、模型化，从而使所研究的灰色系统从结构、模型、关系上逐渐由黑变白，使不明确的因素逐渐明确。

由无纲量序列转换和层次型序列映射，构建层次型灰色关联模型，从而挖掘出极端天气与农业灾害之间关联关系。层次型灰色关联模型如图6所示，一方面如左侧所示，在无量纲平面之间按序列相关度，将具有关联关系的极端天气数据与农业灾害数据进行映射；另一方面如右侧所示，在无量纲平面内部，按序列相关性寻找同类型数据间之间的关联关系，从而加大数据关联挖掘力度。根据评价目的确定评价指标体系，逐个计算每个被评价对象指标序列与参考序列对应元素的绝对差值；计算关联系数，分别计算每个比较序列与参考序列对应元素的关联系数，由关联系数得到关联度，再按关联度的大小进行排序、分析，得出结论。

步骤7，根据极端天气与农业灾害的关联关系，从云平台时空数据立方体中按时间与空间提取气象与农业关联数据分组，使用多核学习并根据联合特征表示将关联数据分组表征为带有全局时空特性的二维特征平面集合。

如图7所示，按时间与空间提取若干气象与农业关联使用多核学习进行数据分组，根据影响农业灾害发生的影响因子，获取若干特征的联合特征表示，从而将关联数据分组表征为带有全局时空特性的若干二维特征平面集合。在此基础上，采用含有多层卷积与池化操作深度神经网络，逐个解析各关联数据分组，加大对全局时空二维特征平面解析力度，最终形成涵盖各分组的高层特征序列，逐步计算农灾发生概率。

步骤8，在二维特征平面集合基础上构建带有全局时空特性的农业灾害预测的神经网络，计算农灾发生概率。

如图8所示，神经网络包括多层卷积层和池化层，融入时间跳跃机制，通过指定跳跃单元个数，一次性预测未来某段时间范围内的农业灾害发生概率。将时间窗口t-N～t内的高层特征序列作为输入，即为标记Pt系列的神经元，N为任意个单位时间；在中间层手动指定需要跳跃的时间单元个数，即为标记bh系列的神经元；从而预测出若干时间单元之后某一时间窗口内的农业灾害发生概率，即为标记b0系列的神经元；迭代执行上述过程，将预测结果作为下一轮跳跃预测的资料输入。