基于EMD-ARIMA-LSTM模型的天然气负荷预测方法及系统

摘要

本发明公开了基于EMD‑ARIMA‑LSTM模型的天然气负荷预测方法及系统，预测方法包括如下过程：对获取的天然气数据集中的缺省值和异常值进行预处理，得到天然气负荷数据；针对天然气负荷数据的非平稳性特征，采用EMD方法对天然气负荷数据进行分解处理，获取多个IMF分量和一个残差分量；将所述多个IMF分量和一个残差分量采用LSTM模型以及ARIMA模型进行预测；将LSTM模型的预测结果以及ARIMA模型的预测结果进行等权值求和，然后进行反归一化，得到最终的天然气负荷预测数据。本发明使用混合模型进行预测，能提高天然气负荷的预测准确率。

说明书

技术领域

本发明属于基于机器学习模型预测的技术领域，具体涉及基于EMD-ARIMA-LSTM模型的天然气负荷预测方法及系统。

背景技术

天然气作为一种清洁、高效能源，不仅具有比煤炭、石油更低的温室气体、二氧化硫和颗粒物排放量，而且能够有效弥补风能和太阳能不易存储、供应不稳定的缺陷。世界各国纷纷发展低碳经济、能源利用清洁化、减少大气排放。在全球能源消费结构转型的大背景下，天然气备受世界各国的青睐和重视，天然气替代高碳高污染煤炭的大趋势不可逆转，天然气将在全球经济发展和能源消费结构中扮演更加重要的角色。

传统的天然气负荷预测方法主要有时间序列法、回归分析法、灰色预测法等，该类方法主要以微积分和数理统计等数学理论为基础，经过数学推导，建立起已有数据间的数学关系，再据此对未来数据进行相关计算和分析预测。该类方法虽然具有建模简便、经济适用等优点，但是通常适用于样本规模不大、影响因子不多、关联关系相对简单的场合。

发明内容

本发明的目的在于解决上述现有技术中的问题，提供基于EMD-ARIMA-LSTM模型的天然气负荷预测方法及系统，本发明使用混合模型进行预测，能提高天然气负荷的预测准确率。

本发明采用的技术方案如下：

基于EMD-ARIMA-LSTM模型的天然气负荷预测方法，包括如下过程：

对获取的天然气数据集中的缺省值和异常值进行预处理，得到天然气负荷数据；

针对天然气负荷数据的非平稳性特征，采用EMD方法对天然气负荷数据进行分解处理，获取多个IMF分量和一个残差分量；

将所述多个IMF分量和一个残差分量采用LSTM模型以及ARIMA模型进行预测；

将LSTM模型的预测结果以及ARIMA模型的预测结果进行等权值求和，然后进行反归一化，得到最终的天然气负荷预测数据。

优选的，对获取的天然气数据集中的缺省值和异常值进行预处理时：

将天然气数据集中值小于0的数据作为异常值剔除；

对缺省值处理处理的方式包括：直接删除的方式、对缺省值进行补齐的方式和不处理的方式；其中，对缺省值进行补齐时，需符合数据特性，不改变数据之间的联系；若对天然气数据集补齐数据时，会影响后续的数据分析，则不处理。

优选的，采用EMD方法对天然气负荷数据进行分解处理前，先对天然气负荷数据使用Min-Max归一化方法进行归一化，然后将Min-Max归一化处理后的数据应用到EMD方法中进行分解。

优选的，将所述多个IMF分量和一个残差分量采用LSTM模型以及ARIMA模型进行预测时，先对多个IMF分量和一个残差分量进行分类，将适合用使用LSTM模型进行预测的这一类分量，采用LSTM模型进行预测；将适合用使用ARIMA模型进行预测的这一类分量，采用ARIMA模型进行预测。

优选的，对多个IMF分量和一个残差分量进行分类时：

对于所有的分量，将频率变化较快、线性成分较低的分量分为一类分量，这一类分量使用LSTM模型进行预测；

对于所有的分量，将频率变化较慢、线性成分较高的分量分为一类分量，这一类分量使用ARIMA模型进行预测；

所述所有的分量为所述多个IMF分量和一个残差分量。

本发明还提供了基于EMD-ARIMA-LSTM模型的天然气负荷预测系统，包括：

数据预处理模块：用于对获取的天然气数据集中的缺省值和异常值进行预处理，得到天然气负荷数据；

EMD分解处理模块：用于针对天然气负荷数据的非平稳性特征，采用EMD方法对天然气负荷数据进行分解处理，获取多个IMF分量和一个残差分量；

预测模块：用于将所述多个IMF分量和一个残差分量采用LSTM模型以及ARIMA模型进行预测；

天然气负荷预测数据计算模块：用于将LSTM模型的预测结果以及ARIMA模型的预测结果进行等权值求和，然后进行反归一化，得到最终的天然气负荷预测数据。

优选的，所述数据预处理模块包括：

缺省值处理模块，用于对天然气数据集中的缺省值进行处理，处理的方式包括：直接删除的方式、对缺省值进行补齐的方式和不处理的方式；其中，对缺省值进行补齐时，需符合数据特性，不改变数据之间的联系；若对天然气数据集补齐数据时，会影响后续的数据分析，则不处理；

异常值处理模块，用于剔除天然气数据集中的异常值，所述异常值为天然气数据集中值小于0的数据。

优选的，所述的基于EMD-ARIMA-LSTM模型的天然气负荷预测系统还包括归一化模块：用于对天然气负荷数据使用Min-Max归一化方法进行归一化；

归一化模块的输出作为EMD分解处理模块的输入。

优选的，所述基于EMD-ARIMA-LSTM模型的天然气负荷预测系统还包括分类模块：用于对多个IMF分量和一个残差分量进行分类，将适合用使用LSTM模型进行预测的分量分为一类，将适合用使用ARIMA模型进行预测的分量分为一类；

所述预测模块包括：

LSTM预测模块，用于对分类模块划分出的适合用使用LSTM模型进行预测的这一类分量进行处理，得到预测结果；

ARIMA预测模块：用于对分类模块划分出的适合用使用ARIMA模型进行预测的这一类分量进行处理，得到预测结果。

优选的，所述分类模块对多个IMF分量和一个残差分量进行分类时，将所有的分量中，频率变化较快、线性成分较低的分量分为一类分量，这一类分量作为LSTM预测模块的输入；将所有的分量中频率变化较慢、线性成分较高的分量分为一类分量，并将这一类分量作为ARIMA预测模块的输入。

本发明具有以下有益效果：

1)本发明引入EMD算法，因为本发明的天然气负荷数据为非平稳度数据，而EMD在非线性非平稳信号分析中具有显著优势，适合分析非线性非平稳的信号序列，具有较高的信噪比。2)EMD算法主要描述数据本身不需要安插其他基函数，只需要按照数据本身的时间尺度特征进行信号方面的分解。这也正是它与其他方法的差异所在。正是由于EMD拥有这样独特的性质，所以在理论层面上各类信号都可以用EMD处理，尤其是在处理非线性数据上，EMD拥有很明显的优势，优胜于其他方法，并且具备很高的信噪比。3)EMD本质是经过特征的时间尺度识别信号中所含有的所有振动模态。在EMD分解中，每个IMF的状态都具有一定的相同性，每个IMF都具有信号的某一时间尺度特征。相比于其他的信号分析方法，EMD分解具有很大可行优势，它的基函数是由自身得到的，所以能在各类的信号处理方面游刃有余，没有特别严格的限定，且具有普遍性。4)相对于传统的时间序列模型，使用LSTM进行预测时，LSTM神经网络可以通过输入门、遗忘门和输出门来控制输入数据的传输，并保持记忆储存单元输出和结果输出的独立性，使得序列在传输时可以保留重要信息，并对其保持较长期的记忆。因此，LSTM神经网络在负荷时间序列的预测中得应用就愈发广泛，并且能提高负荷预测准确率。5)相比较于单个模型，使用混合模型进行预测，能提高预测准确率。

附图说明

图1为本发明的总体框架图；

图2为本发明的技术路线图；

图3为本发明中天然气负荷预测EMD-ARIMA-LSTM流程图；

图4为本发明EMD分解结果图；

图5为本发明LSTM神经网络训练图；

图6为本发明LSTM神经网络预测结果图；

图7为本发明的ARIMA模型拟合图；

图8为本发明ARIMA模型预测结果图；

图9为本发明的系统需求分析图；

图10为本发明场站智能化分析及控制系统总体架构。

具体实施方式

下面结合附图对本发明做进一步详细描述：

参照图1-图3，本发明该方法首先对预处理后的天然气负荷数据进行EMD分解，将其分解为多个IMF分量和残差分量，针对不同的分量特点选择LSTM模型或ARIMA模型分别对分量序列进行预测，最后将各分量的预测结果等权值求和，得到天然气负荷预测值，增加天然气负荷预测的准确性。本发明不仅使预测准确率得到提升，而且有利于天然气公司对天然气进行更好的调度和分配。本发明通过EMD算法、ARIMA算法和LSTM算法构建天然气负荷的预测模型，该模型由3部分组成：EMD算法、ARIMA模型和LSTM模型。首先是EMD算法，目的是将天然气负荷数据分解成IMF分量和残差分量，接着根据IMF分量和残差分量的特性，分别对ARIMA模型和LSTM模型进行选择并构建，最后将预测结果进行等权值求和，并使用该模型对未来某地区天然气负荷进行实际预测，进而对相关算法机理、框架和效果进行实证。

本发明技术方案的整体过程包括以下步骤：

1)对得到的天然气数据集进行预处理：将缺省值和异常值进行剔除；

2)针对天然气负荷数据的非平稳性特征，采用EMD方法进行分解处理，获取多个IMF分量和一个残差分量；

3)对经过EMD算法分解后的分量(即包括上述的多个IMF分量和一个残差分量，统称为分量)进行分析，再使用ARIMA模型和LSTM模型对不同特性的分量进行训练和预测，其中对线性成分高的分量使用ARIMA模型进行预测，线性成分低的分量使用LSTM模型进行预测；

4)经步骤3)，得到各分量的预测结果，对其进行等权值求和，然后进行反归一化，得到最终的天然气负荷预测数据。

利用上述研究成果，可以构建天然气短期负荷预测原型系统，并与天然气储运企业合作，结合实地验证结果，从准确性、泛化性和高效性等角度，进一步优化用气负荷预测原型系统的相关技术和参数。

实施例

本实施例基于EMD-ARIMA-LSTM模型的天然气负荷预测方法包括如下步骤：

1)对得到的天然气数据集进行预处理：将缺省值和异常值进行剔除，便于后续预测；

本实施例天然气负荷数据来自于某省天然气有限公司，数据集的记录时间从2010年01月31日至2020年12月31日，各项数据间隔均为一天，即每天1个数据点，在数据存在缺失的情况，数据集共有3987个样本量。

由于某省天然气有限公司给到的天然气用气负荷数据，存在值异常以及值为空的情况，所以在实验之前，需要对数据进行处理，分析数据出现异常的原因。对负荷数据进行预处理：将数据集中存在异常或缺省值的数据进行处理，处理完成后，对其进行检验。并且查看数据集中是否存在重复数据，若存在，则对其进行删除。

①异常值处理

在对天然气用气负荷数据进行处理之前，首先对数据进行观察，观察中发现某些时刻存在天然气用气负荷数据值为负的情况，这不符合常理，因此称数据值为负的数据为异常值。异常值的出现可能是由于在数据采集过程中采集错误或数据本身存在问题。在此情况下，将异常值进行剔除。异常值的剔除使用Pycharm软件实现，将所有天然气用气负荷数据中值小于0的数据剔除。将异常值剔除后，剩余数据量为3901，此数据将用于后续建模与训练。

②缺省值处理

在机器学习中，缺省值的存在会影响模型训练的效果，导致预测准确率降低。因此，在进行实验前，需要对数据进行缺省值处理，缺省值的处理十分重要，在后续实验中直接影响预测结果。

对缺省值的处理，主要分为三种情况：

a)直接删除。通常，在数据量足够大且缺省值较少的情况下，可以直接将缺省值删除。要求对其删除后，不会对整体数据集造成影响，具体情况可由本领域技术人员根据实际情况来确定，本发明不再进行赘述。

b)对缺省值进行补齐。通常对数据进行补齐时，需符合数据特性，不改变数据之间的联系。

c)不处理。由于数据集本身存在的问题，对其进行填充时，会影响后续的数据分析，如若影响后续的数据分析，则对其不处理。

此外，在对缺省值进行补齐的过程中，很容易出现补齐值不符合实际情况。有些补齐值改变了原有数据之间的联系，使数据发生改变。因此，对数据进行补齐时，应该遵循不改变其原始情况的原则。

本实施例通过Python软件对天然气用气负荷数据进行查看，检查是否存在缺省值情况。经查看，本实施例所用数据集完整，不存在缺省值的情况，用于后续实验。

在将天然气负荷数据进行缺省值及异常值处理后，按时间特性进行处理划分，以待后续预测使用。

2)通过步骤1)得到处理后的天然气负荷数据，针对天然气负荷数据的非平稳性特征，采用EMD方法进行分解处理，得到各IMF分量和残差分量：

本实施例采用Python进行编码，经步骤1)得到处理后的天然气负荷数据，对其进行归一化处理。使用Min-Max归一化方法，实现对数据的处理。其目的是将特征数据和天然气用气负荷数据的值进行缩放，使其取值范围在0到1之间。然后将归一化处理后的数据应用到EMD算法中进行分解，按其波动的数据类型划分为不同多个IMF序列和一个残差序列，其分解结果如图4所示。

通过图4可以看出，时间序列总共分解为4个分量，其中3个IMF分量以及1个残差分量。对其进行分类，将其分为两类：高频非线性(即频率变化较快、线性成分较低的分量)和低频线性(即频率变化较慢、线性成分较高的分量)。通过观察图4可得：相比于分量IMF3和残差，分量IMF1和IMF2的变化频率较快，且变化趋势呈曲线，因此，可以认为分量IMF1和IMF2具有高频非线性特性。而分量IMF3和残差的变化频率较慢，且变化趋势具有单调性，因此，可以认为分量IMF3和残差具有低频线性特性。接下按照各分量的特性，分别进行建模和预测。

3)经步骤2)得到EMD分解后的分量，按照其特性进行预测。

通过上述步骤，得到分量IMF1和IMF2属于高频非线性数据序列，ARIMA模型在预测线性低频时间序列效果好，但是预测高频非线性时间序列时准确率很差，使用ARIMA模型很难达到理想的预测效果，因此进行预测时选用适合处理非线性数据序列的LSTM模型进行预测。而分量IMF3和残差分量属于低频线性数据序列，对它们使用ARIMA模型进行预测。对每一个分量单独构建一个模型进行预测，最后把所有预测结果进行叠加。

对分量IMF1和分量IMF2使用LSTM模型进行预测时：①首先对输入数据进行拆分。根据以往的经验，本实施例对训练集和测试集的拆分比例为8:2。其目的是为了使模型可以更好地学习，进而提高预测准确率。②将输入数据拆分后，分为训练集和测试集。再对训练集和测试集分别构造特征数据集和标签数据集。为了减少模型运行的时间，本实施例通过构造批数据进行处理。其中批数据的batch_size为256，即每256个数据点组成一个批数据进行训练。③经过多次分析和测试，实验过程中设置隐藏层的神经元为8个，Dense的值为1。然后在模型进行编译的过程中，采用Adam算法作为该模型的优化器，并且将MAE作为模型损失函数好坏的评价指标，设置迭代次数为20，其中图5是本实施例LSTM的训练图。由图5可得，随着迭代次数的不断增加，训练数据的损失值和模型的损失值不断接近，并趋于收敛。由此，可以表明该模型比较理想，可用于后续预测。④在上述步骤完后成，该模型搭建完成，可进行后续预测。该模型的预测结果如图6所示。通过图6可以看出，该模型的分量预测值贴近实际分量数据值。因此，使用该模型进行预测时，预测结果会得到有效提高。

对IMF3分量和残差分量使用ARIMA模型进行预测时：①判断IMF3分量和残差分量是否为平稳序列。若不平稳，对其进行平稳性处理。②对预测模型的阶数进行确定：ARIMA模型包含3个参数，分别为p、d和q。d代表对负荷数据进行差分的次数。通过上述步骤可以得到，在经过一次差分，IMF3分量和残差分量具有平稳性，则可以得出d的值为1。对于参数p、q值的确定，本实施例通过使用AIC和BIC对其进行确定。本实施例通过Python，分别对IMF3分量和残差分量的阶数进行确认，可用其进行下一步残差检验。③对模型进行检验：当预测模型的阶数确定后，使用Python对残差进行拟合，其拟合结果如图7所示。从图7中可以看出，模型拟合效果不错。因此，预测模型满足要求，是最优的预测模型，可用于后续预测。④基于上述步骤，完成ARIMA模型的构建。接下来使用该模型进行预测，其预测结果如图8所示。通过观察图8可以看出，ARIMA模型对于分量数据进行预测时，预测结果与实际数据之间拟合效果比较好，较为接近。

4)经步骤3)，得到各分量的预测结果，对其进行等权值求和后，需要进行反归一化，得到最终的天然气负荷预测数据。

本发明通过对比试验，可以得出一种更好的天然气负荷预测方法，提高预测准确率，并有利于天然气资源的存储和调度。

5)构建天然气负荷预原型系统

通过以上步骤，得到最优的天然气用气负荷预测模型。利用此模型对某省天然气有限公司提供的天然气历史用气负荷数据进行训练，并对未来一定时间内的用气负荷进行预测，然后将其应用到天然气用气负荷预测原型系统。步骤5)重点介绍天然气用气负荷预测原型系统的实现过程。分析系统的具体需求，并在此基础上对系统进行设计和实现。

①需求分析

为了提高天然气场站的储存安全，实现对天然气的有效调度和分配，结合某省分公司的实际生产现状，构建天然气用气负荷预测原型系统，以便于用户对天然气进行管理。

天然气用气负荷预测原型系统将精准刻画下游客户用气负荷，合理预测下游客户的超短期、短期、中期用气负荷。通过该系统，可以实现对某省分公司历史用气负荷数据的管理，并对今后的用气负荷进行预测。该系统为某省分公司有效确保可持续天然气供给、缓解供需矛盾、优化天然气储运管理，实现天然气储运系统精细化管理控制和管网规划提供决策依据。

针对天然气储运场站安全、高效生产的现实要求，结合某公司的实际生产现状，场站智能化分析及控制系统将解决某公司日常生产中急需的天然气储运过程大数据分析和优化控制等技术问题。系统需求分析如图9所示。

本系统是给天然气公司工作人员所使用，所以用户需要登录后进行操作。天然气负荷预测系统主要包括各个场站的负荷预测。各个场站的负荷预测由三部分组成：超短期(按小时)预测、短期(按天)预测、中期(按月)预测。

超短期负荷预测：以小时为单位，给出下游门站用气负荷变化结果，并在终端展示层以曲线图形式展示。

短期负荷预测：以天为单位，给出下游门站用气负荷变化结果，并在终端展示层以曲线图的形式展示。

中期负荷预测：以月为单位，给出下游门站用气负荷变化结果，并在终端展示层以曲线图的形式展示。

超短期和短期负荷采用基于LSTM神经网络的在线预测方式，中期预测采用离线预测方式进行。

②系统架构设计

场站智能化分析及控制系统总体架构如图10所示。

a)设备层负责各类检测数据的采集，数据类型具有多源异构特点，包含来自阀室和流量控制设备的信号数据，并预留其他类型数据的采集接口。

b)数据网关层完成数据的缓存与转发。

c)数据接口层和存储层完成数据治理和清洗功能，同时为数据智能分析服务提供便捷高效的数据访问接口。

d)数据智能分析服务层是场站智能分析及控制的业务核心，由数据融合、深度学习、统计学习、过程检测等功能构成，针对不同数据类型、用户需求，调用相关的分析模型对场站运行数据进行分析。

e)可视化交互层基于Web GIS和BIM模型轻量化引擎，实现管网场站状态和检测结果的实时展示，为企业各级管理人员提供辅助决策支持。