一种基于管网水动力模型与数据驱动模型的管网运行态势分析方法

摘要

本发明公开了一种基于管网水动力模型与数据驱动模型的管网运行态势分析方法包括以下步骤：步骤S1：构建管网水动力模型和数据驱动模型；步骤S2：多次评估模型精确度，调整模型参数以调整模型精度；步骤S3：进行管网运行态势模拟和预测分析；步骤S4：以管网水动力模型的模拟结果作为数据驱动模型输入，用来预测全部态势指标的结果，以此实现对管网态势运行态势的全面感知和预测；针对现有技术方案的不足，本发明提出的基于管网水动力模型和数据驱动模型的管网运行态势分析方法，将管网水动力模型能全面模拟分析管网运行态势的优点及数据驱动模型能实时预测的优点相结合，优势互补，实现了对管网运行态势的实时全面感知以及预测分析。

说明书

技术领域

本发明涉及城市排水管理领域，尤其是涉及一种基于管网水动力模型与数据驱动模型的管网运行态势分析方法。

背景技术

城市排水管网在实际运行中存在多种问题亟需解决，最直接有效的办法是需要摸清地下管网的运行态势，看清问题的本质。现有的技术方案要么是单一的管网水动力模型(包括离线和在线的)，只能模拟整个管网系统某一时刻的运行态势(包括液位、流量、流速、充满度)，最多只能得到当前的运行状态，而无法实现对未来运行态势的预测分析，且由于管网水动力模型属于机理模型，建模需要大量的参数，模型的精度很难得到提升；要么是单一的数据驱动模型，可实现对管网未来一段时间内态势的预测分析，但此方法仅能预测安装了监测设备处单一监测指标的发展趋势，无法实现对整个管网系统各个节点和管道的运行态势的预测分析，且无法对未监测的其他态势指标进行预测。

例如，一种在中国专利文献上公开的“道路排水管线数据管理方法”，其公开号为CN112905085A，通过平面二维坐标系对排水管线的位置坐标数据进行管理，包括仅能管理当前排水管线的单一监测指标的发展趋势，无法实现对整个管网系统各个节点和管道的运行态势的预测分析，无法对未监测的其他态势指标进行预测。

发明内容

本发明是为了解决现有技术中，无法实现对整个管网系统各个节点和管道的运行态势的预测分析，无法对未监测的其他态势指标进行预测的问题，提供一种基于管网水动力模型与数据驱动模型的管网运行态势分析方法，通过分别构建管网水动力模型和数据驱动模型，并对模型精度进行多次评估，调整模型参数使模型精度合格，再分别进行管网运行态势的模拟和预测分析。

为了实现上述技术目的，本发明采用以下技术方案：

一种基于管网水动力模型与数据驱动模型的管网运行态势分析方法，包括以下步骤：

步骤S1：构建管网水动力模型和数据驱动模型；

步骤S2：多次评估模型精确度，调整模型参数以调整模型精度；

步骤S3：进行管网运行态势模拟和预测分析；

步骤S4：以管网水动力模型的模拟结果作为数据驱动模型输入，用来预测全部态势指标的结果，以此实现对管网态势运行态势的全面感知和预测。

将管网水动力模型与数据驱动模型相结合，实现优势互补，既弥补了管网水动力模型无法实现态势预测的不足，又解决了数据驱动模型只能对有监测数据的管网指标进行预测的问题，最终实现对整个管网运行态势的模拟预测分析。

作为优选，所述步骤S1中构建管网水动力模型包括以下步骤：

步骤S1-1A：进行管网拓扑关系梳理和属性数据修正，对管网的上下游拓扑关系进行梳理，理清所有管网的输入源头和输出方向，并在此基础上完成管网基础设施的属性数据修正；

步骤S1-2A：划分汇水分区，以管网的服务范围为基础，对具体的排水管网进行汇水分区划分；

步骤S1-3A：输入边界条件；

步骤S1-4A：模型构建及参数设置，完成步骤S1-1A，S1-2A和S1-3A，将所有数据输入至排水管网水动力模型，设定模型系统参数，完成试运行并调整模拟参数，确保模型正常工作；步骤S1-5A：模型评估及参数优化，通过精确评估，将模型参数调整至最优值，一方面通过将离线模型模拟结果与管网历史监测数据对比，多次调整模型参数降低模型结果数据与历史监测数据的差距实现静态调整；另一方面通过在线监测数据和在线模型输出的残差校准实现动态调整；

步骤S1-6A：管网运行态势模拟，进行管网运行态势模拟分析，包括管网液位、流量、流速、充满度等态势指标。

在数据驱动建模的数据预处理过程中，采用移动中值滤波的方法对空白数据进行补齐，通过分别构建管网水动力模型和数据驱动模型，并对模型精度进行多次评估，调整模型参数使模型精度合格，再分别进行管网运行态势的模拟和预测分析，同时，管网水动力模型的模拟结果还需作为数据驱动模型的输入，用来预测全部态势指标的结果，以此来实现对管网运行态势的全面感知和预测。

在模型评估及参数优化过程中，一方面可通过将离线模型模拟结果与管网历史监测数据进行对比，并不断调整模型参数使两者的差距降到最低来实现，这种实现方式是静态的，如将监测液位、流量数据与对应节点的模拟液位、流量数据进行对比，计算误差率，不断对模型参数进行调整，逐步缩小模拟值与监测值的差距；另一方面可由在线监测数据和在线模型输出的残差校准来保证，这种实现方式是动态的、是实时进行的，是对模型已经在线运行之后的不断优化，以确保模型精度合格。

作为优选，所述步骤S1中数据驱动模型构建包括以下步骤：

步骤S1-1B：历史监测数据预处理，需要预处理的监测数据包括液位数据、管道流量数据以及区域雨量数据，通过缺失值和异常值检测方法、缺失值和异常值补齐方法进行数据预处理；步骤S1-2B：提取相关性分析及特征因子，对于液位预测，特征因子为自身液位、上下游液位、管道坡度以及雨量，对于流量预测，其相关性分析及特征因子提取方法类似；

步骤S1-3B：数据驱动模型建立，通过深度学习方法，分析自身液位的历史变化趋势，结合雨量因素，预测未来一段时间内的液位走势，完成预测模型建立；

步骤S1-4B：模型评估及参数优化，采用多个预测时长进行模型训练，最终确定使用历史2小时的态势指数预测未来1小时的态势指标数值；

步骤S1-5B：管网运行态势预测，完成模型训练和完成参数优化后，进行液位、流量等管网运行态势的预测，并在预测前对相应的历史态势数据做同样的数据预处理。

本发明中用到的监测数据包括管道液位数据、管道流量数据及区域雨量数据，传感器、网络、服务器等在长期运行过程中不可避免地会出现不稳定的情况，从而导致监测数据缺失和错误等问题。在本发明中，用到的数据预处理方法有缺失值和异常值检测方法、缺失值和异常值补齐方法。

在相关性分析过程中，通过合理地选取特征因子，将传感器采集到的数据转化为机器语言，通过归一化、标准化等技术手段将原始数据转化成特征因子，能够更好地表示预测模型处理的实际问题，提升预测的准确性，通过选取合理的特征因子，提高预测的准确性和精确性，实现预测模型的高完整性；弥补了管网水动力模型无法实现态势预测的不足，又解决了数据驱动模型只能对有监测数据的管网指标进行预测的问题，最终实现对整个管网运行态势的模拟预测分析。

作为优选，步骤S1-2A中划分汇水分区，需要以管网的服务范围为基础来对具体的排水管网进行汇水分区的划分，其中污水管网系统和雨水管网系统的汇水分区划分依据不同，污水管网的划分依据为纳污范围，雨水管网的划分依据为降雨产汇流范围；这个过程需要使得每一条管网的收水范围与实际情况接近，最终确保每一条管网输送的流量及水量与实际情况接近，模型的精度才能得到保证。

作为优选，步骤S1-1B中缺失值和异常值监测利用箱型图技术或3σ原则，所述箱型图技术将上下Q

监测数据经过处理后仅含有缺失值和正常值，本发明采用移动中值滤波的方法对这些标记的缺失值进行补齐，该方法在处理时仅在缺失值处根据前后数据的关联，确定滑动窗口的大小进行中位数的计算填补。

作为优选，所述步骤S1-3B数据驱动模型建立过程包括：

步骤SA1：利用历史态势数据制作样本，用来模型训练，分析历史态势的变化趋势；

步骤SA2：结合雨量等因素来训练模型，最终实现对未来态势的预测分析。

因此，本发明具有如下有益效果：

在数据驱动建模的数据预处理过程中，采用移动中值滤波的方法对空白数据进行补齐；

在数据驱动建模的模型评估及参数优化过程中，综合考虑多种因素的影响，最终选择采用60min的预测时长，即使用历史2小时的态势指标数值预测未来1小时的态势指标数值；基于当前针对排水管网运行态势分析的解决方案的不足，巧妙地将管网水动力模型与数据驱动模型相结合，实现优势互补，既弥补了管网水动力模型无法实现态势预测的不足，又解决了数据驱动模型只能对有监测数据的管网指标进行预测的问题，最终实现对整个管网运行态势的模拟预测分析。

附图说明

图1是本发明运行态势分析方法的流程图；

图2是本发明管网液位模拟结果示意图；

图3是本发明缺失值和异常值检测方法示意图；

图4是本发明管网运行态势预测结果折线图。

具体实施方式

下面结合附图与具体实施方式，对本发明作进一步具体的描述。

如图1所示，本发明包括以下步骤：

步骤S1：构建管网水动力模型和数据驱动模型；

步骤S2：多次评估模型精确度，调整模型参数以调整模型精度；

步骤S3：进行管网运行态势模拟和预测分析；

步骤S4：以管网水动力模型的模拟结果作为数据驱动模型输入，用来预测全部态势指标的结果，以此实现对管网态势运行态势的全面感知和预测。

所述步骤S1中构建管网水动力模型包括以下步骤：

步骤S1-1A：进行管网拓扑关系梳理和属性数据修正，对管网的上下游拓扑关系进行梳理规划，理清所有管网的输入源头和输出方向，并在此基础上完成管网基础设施的属性数据修正；排水管网水动力模型构建所需的基础数据包括排水管网、排水检查井、排水泵站等，建模的第一步是要对管网的上下游拓扑关系进行梳理，理清每一条管网的来龙去脉。在此基础上完成管网等基础设施的属性数据修正，包括错误属性的修改、缺失属性的补齐，这个过程需要使得每一个检查井、每一条管网以及每一个泵站设施的必需属性均完整，才能确保构建的水动力模型正常运行，管网和检查井必须的属性如表1所示。

表1管网和检查井水动力建模必需属性

上述过程得到的基础数据的准确度直接影响管网水动力模型的精确度，同时也是水动力模型构建过程中耗时最多的环节。

步骤S1-2A：划分汇水分区，以管网的服务范围为基础，对具体的排水管网进行汇水分区划分；排水管网收水范围的确定，需要以管网的服务范围为基础来对具体的排水管网进行汇水分区的划分。对于污水管网，汇水分区划分的依据是纳污范围，对于雨水管网，汇水分区划分的依据是降雨产汇流范围。这个过程需要尽量使得每一条管网的收水范围与实际情况接近，才能最终尽量确保每一条管网输送的流量及水量与实际情况接近，模型精度才能得到保证。

步骤S1-3A：输入边界条件；对于独立的排水管网区域，不受外界区域的影响，因而需要考虑的边界条件较少。对于大多数的排水管网系统，由于存在和外界区域的关联，一般需要输入较多边界条件，比如上游区域的来水过程以及下游区域的水位限制等，这些条件的输入关乎到模型能否正确反映管网系统的实际状态。

步骤S1-4A：模型构建及参数设置，完成步骤S1-1A，S1-2A和S1-3A，将所有数据输入至排水管网水动力模型，设定模型系统参数，完成试运行并调整模拟参数，确保模型正常工作；

步骤S1-5A：模型评估及参数优化，在模型评估及参数优化过程中，一方面可通过将离线模型模拟结果与管网历史监测数据进行对比，并不断调整模型参数使两者的差距降到最低来实现，这种实现方式是静态的，如将监测液位、流量数据与对应节点的模拟液位、流量数据进行对比，计算误差率，不断对模型参数进行调整，逐步缩小模拟值与监测值的差距；另一方面可由在线监测数据和在线模型输出的残差校准来保证，这种实现方式是动态的、是实时进行的，是对模型已经在线运行之后的不断优化，以确保模型精度合格。

步骤S1-6A：管网运行态势模拟，在模型精度合格的情况，可进行管网运行态势的模拟分析，分析结果包括管网液位、流量、流速、充满度等态势指标，这种模拟结果是全面的，涵盖模型中的每一条管网和每一个检查井的指标，是全面感知管网运行态势的关键所在。

模型模拟结果示例如图2所示，描述的是某一时刻某一段管网的液位剖面图，表现了当时管网的状态。

在数据驱动建模的数据预处理过程中，采用移动中值滤波的方法对空白数据进行补齐，通过分别构建管网水动力模型和数据驱动模型，并对模型精度进行多次评估，调整模型参数使模型精度合格，再分别进行管网运行态势的模拟和预测分析，同时，管网水动力模型的模拟结果还需作为数据驱动模型的输入，用来预测全部态势指标的结果，以此来实现对管网运行态势的全面感知和预测。

所述步骤S1中数据驱动模型构建包括以下步骤：

步骤S1-1B：历史监测数据预处理，需要预处理的监测数据包括液位数据、管道流量数据以及区域雨量数据，通过缺失值和异常值检测方法、缺失值和异常值补齐方法进行数据预处理；监测数据经过处理后仅含有缺失值和正常值，本发明采用移动中值滤波的方法对这些标记的缺失值进行补齐，该方法在处理时仅在缺失值处根据前后数据的关联，确定滑动窗口的大小进行中位数的计算填补，填补结果示例如表2所示。

如图3所示，步骤S1-1B中缺失值和异常值监测利用箱型图技术或3σ原则，所述箱型图技术将上下Q

监测数据经过处理后仅含有缺失值和正常值，本发明采用移动中值滤波的方法对这些标记的缺失值进行补齐，该方法在处理时仅在缺失值处根据前后数据的关联，确定滑动窗口的大小进行中位数的计算填补。

表2采用移动中值滤波方法对缺失值和异常值进行填补的结果

步骤S1-2B：提取相关性分析及特征因子，相关性分析是通过合理地选取特征，找到分析数据之间隐藏的关联性的方法。一般而言，传感器采集到的数据不能直接输入模型，需转化成机器能够识别的语言，通过归一化、标准化等技术手段将原始数据转化成特征，能够更好地表示预测模型处理的实际问题，提升预测的准确性，特征因子选择的好坏会直接影响模型效果；

在本发明的具体实施过程中，对于液位预测，一开始选择的特征因子为自身液位、上下游液位、管道坡度以及雨量，由于数据质量层次不齐，经过相关性分析后最终确定的特征因子为自身液位、雨量；对于流量预测，其相关性分析及特征因子提取方法类似。

步骤S1-3B：数据驱动模型建立，通过深度学习方法，管道液位预测的实现就是通过分析自身液位的历史变化情况和趋势，结合雨量因素，预测未来一段时间的液位走势，具体实施过程包括数据样本制作和模型(LSTM)训练两部分，模型训练使用前2小时的液位数据(每5分钟一条)预测后面一段时间的液位数据，预测时长通过模型评估确定；

步骤S1-4B：模型评估及参数优化，采用了多个预测时长进行训练，其中，液位预测的训练结果详见表3，据表分析可知，随着预测时长的增加，均值绝对误差MAE在逐渐上升，但预测精度R2值在逐渐降低，根据统计学按80％的保留原则，以及管网液位高精度的要求，本发明最终选择了60min预测时长，即使用历史2小时的态势指标数值预测未来1小时的态势指标数值；

表3多个预测组别的预测精度比较

步骤S1-5B：管网运行态势预测，完成模型训练和完成参数优化后，进行液位、流量等管网运行态势的预测，并同时在预测时对相应的历史态势数据做同样的数据预处理，将处理好的数据输入模型，预测得到未来1小时(每5分钟一条数据)内的液位、流量等管网态势数据，其中液位和流量预测结果示例如图4所示。

如图1所示，管网水动力模型实现对整个管网运行态势的模拟分析，数据驱动模型实现对单个态势指标的预测分析，通过建立两个模型的耦合机制，将上述管网水动力模型的当前时刻模拟结果作为上述数据驱动模型的输入，即可实现对整个管网系统每一个检查井每一条管网的态势模拟和预测分析，即实现管网运行态势的全面感知和预测。

以上依据图式所示的实施例详细说明了本发明的构造、特征及作用效果，但以上仅为本发明的较佳实施例，需要言明的是，上述实施例及其优选方式所涉及的技术特征，本领域技术人员可以在不脱离、不改变本发明的设计思路以及技术效果的前提下，合理地组合搭配成多种等效方案；因此，本发明不以图面所示限定实施范围，凡是依照本发明的构想所作的改变，或修改为等同变化的等效实施例，仍未超出说明书与图示所涵盖的精神时，均应在本发明的保护范围内。