一种基于迭代的数据异常检测方法和检测系统

摘要

本发明公开了一种基于迭代的数据异常检测方法和检测系统，尤其是一种基于迭代的数据异常检测系统，包括数据采集模块、数据处理模块、数据整形模块、异常预测模块、异常检测模块和异常报警模块，所述数据采集模块、数据处理模块、数据整形模块、异常预测模块、异常检测模块和异常报警模块依次连接，所述数据处理模块包括数据清洗单元、特征抽取单元和数据分析单元，且数据清洗单元、特征抽取单元和数据分析单元依次连接，所述异常检测模块包括检测单元、确定单元、拟合单元、对比单元、判断单元和存储单元。本发明数据异常检测系统在对数据进行异常检测时，具有速度快、准确率高的优点。

说明书

技术领域

本发明涉及数据检测技术领域，尤其涉及一种基于迭代的数据异常检测方法和检测系统。

背景技术

近年来，随着城市化和工业化的快速发展，使得我国许多地区的空气污染形势日益严峻，空气质量不容乐观。常见的空气污染物有NO2，O3，CO，PM2.5等。这些空气污染物很容易引起人类呼吸道炎症，破坏人体的血液循环和神经系统，甚至会引起人类死亡。因此，如何有效的防止人类远离空气污染的危害受到了广泛关注。然而，在短期内实现对空气污染的治理是非常困难的。因此，通过对未来几十个小时的空气质量进行有效的预测，及时防治空气污染，防止严重污染的发生，提高公众生活质量已受到社会的广泛关注。

目前对复杂非线性系统的真实过程的数据挖掘和建模有两种方法：一种是传统的基于过程建模的方法；另一种是基于数据驱动的统计学方法。然而，现有的空气质量检测数据很难做到精细异常检测。

发明内容

基于背景技术存在的技术问题，本发明提出了一种基于迭代的数据异常检测方法和检测系统。

本发明提出的一种基于迭代的数据异常检测系统，包括数据采集模块、数据处理模块、数据整形模块、异常预测模块、异常检测模块和异常报警模块，所述数据采集模块、数据处理模块、数据整形模块、异常预测模块、异常检测模块和异常报警模块依次连接，所述数据处理模块包括数据清洗单元、特征抽取单元和数据分析单元，且数据清洗单元、特征抽取单元和数据分析单元依次连接，所述异常检测模块包括检测单元、确定单元、拟合单元、对比单元、判断单元和存储单元，所述检测单元、确定单元、拟合单元、对比单元、判断单元和存储单元依次连接。

优选的，所述数据采集模块用于采集实时数据信息，并将实时数据信息传输至数据处理模块。

优选的，所述数据处理模块用于对数据进行清洗、抽取和分析，并将处理后的数据传输至数据整型模块中。

优选的，所述数据整形模块用于对接收的数据信息进行整合，并将数据信息格式进行转化成所需数据格式，并将转化格式后的数据信息传输至异常预测模块中。

优选的，所述异常预测模块用于对数据进行分析，以得到预测数据，预测数据与真实数据比对以判断所述原始数据是否异常，同时，将预测后的数据信息传输至异常检测模块中。

优选的，所述异常检测模块用于根据预测数据，利用预先构建的检测模型，对当前周期的待检测数据进行异常检测，异常数据传输至异常报警模块中。

优选的，所述异常报警模块用于接收异常数据信息并对异常数据信息进行报警处理。

优选的，所述数据清洗单元用于对数据进行清洗，去除缺失值和异常值，并将清洗后的数据传输至特征抽取单元中，特征抽取单元用于对数据特征进行抽取，抽取后的特征数据传输至数据分析单元中，数据分析单元用于对特征数据进行分析。

优选的，所述检测单元用于对异常数据进行检测，检测出的异常数据传输至确定单元进行异常数据确定，确定后的异常数据传输至拟合单元对数据进行拟合整理，然后将数据传输至对比单元中对异常数据与正常数据进行对比，对比结果发送至判断单元进行异常判断，同时，将数据信息通过存储单元进行存储。

一种基于迭代的数据异常检测方法，包括如下步骤：

S1数据采集模块用于采集实时数据信息，并将实时数据信息传输至数据处理模块；

S2数据处理模块用于对数据进行清洗、抽取和分析，并将处理后的数据传输至数据整型模块中，数据处理模块包括数据清洗单元、特征抽取单元和数据分析单元；

数据清洗单元用于对数据进行清洗，去除缺失值和异常值，并将清洗后的数据传输至特征抽取单元中，特征抽取单元用于对数据特征进行抽取，抽取后的特征数据传输至数据分析单元中，数据分析单元用于对特征数据进行分析；

S3数据整形模块用于对接收的数据信息进行整合，并将数据信息格式进行转化成所需数据格式，并将转化格式后的数据信息传输至异常预测模块中；

S4异常预测模块用于对数据进行分析，以得到预测数据，预测数据与真实数据比对以判断所述原始数据是否异常，同时，将预测后的数据信息传输至异常检测模块中；

S5异常检测模块用于根据预测数据，利用预先构建的检测模型，对当前周期的待检测数据进行异常检测，异常数据传输至异常报警模块中；

S6异常报警模块用于接收异常数据信息并对异常数据信息进行报警处理，异常检测模块包括检测单元、确定单元、拟合单元、对比单元、判断单元和存储单元；

检测单元用于对异常数据进行检测，检测出的异常数据传输至确定单元进行异常数据确定，确定后的异常数据传输至拟合单元对数据进行拟合整理，然后将数据传输至对比单元中对异常数据与正常数据进行对比，对比结果发送至判断单元进行异常判断，同时，将数据信息通过存储单元进行存储。

本发明中，所述一种基于迭代的数据异常检测方法和检测系统，数据异常检测系统在对数据进行异常检测时，具有速度快、准确率高的优点。

附图说明

图1为本发明提出的一种基于迭代的数据异常检测系统的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

参照图1，一种基于迭代的数据异常检测系统，包括数据采集模块、数据处理模块、数据整形模块、异常预测模块、异常检测模块和异常报警模块，所述数据采集模块、数据处理模块、数据整形模块、异常预测模块、异常检测模块和异常报警模块依次连接，所述数据处理模块包括数据清洗单元、特征抽取单元和数据分析单元，且数据清洗单元、特征抽取单元和数据分析单元依次连接，所述异常检测模块包括检测单元、确定单元、拟合单元、对比单元、判断单元和存储单元，所述检测单元、确定单元、拟合单元、对比单元、判断单元和存储单元依次连接。

本发明中，所述数据采集模块用于采集实时数据信息，并将实时数据信息传输至数据处理模块。

本发明中，所述数据处理模块用于对数据进行清洗、抽取和分析，并将处理后的数据传输至数据整型模块中。

本发明中，所述数据整形模块用于对接收的数据信息进行整合，并将数据信息格式进行转化成所需数据格式，并将转化格式后的数据信息传输至异常预测模块中。

本发明中，所述异常预测模块用于对数据进行分析，以得到预测数据，预测数据与真实数据比对以判断所述原始数据是否异常，同时，将预测后的数据信息传输至异常检测模块中。

本发明中，所述异常检测模块用于根据预测数据，利用预先构建的检测模型，对当前周期的待检测数据进行异常检测，异常数据传输至异常报警模块中。

本发明中，所述异常报警模块用于接收异常数据信息并对异常数据信息进行报警处理。

本发明中，所述数据清洗单元用于对数据进行清洗，去除缺失值和异常值，并将清洗后的数据传输至特征抽取单元中，特征抽取单元用于对数据特征进行抽取，抽取后的特征数据传输至数据分析单元中，数据分析单元用于对特征数据进行分析。

本发明中，所述检测单元用于对异常数据进行检测，检测出的异常数据传输至确定单元进行异常数据确定，确定后的异常数据传输至拟合单元对数据进行拟合整理，然后将数据传输至对比单元中对异常数据与正常数据进行对比，对比结果发送至判断单元进行异常判断，同时，将数据信息通过存储单元进行存储。

一种基于迭代的数据异常检测方法，包括如下步骤：

S1数据采集模块用于采集实时数据信息，并将实时数据信息传输至数据处理模块；

S2数据处理模块用于对数据进行清洗、抽取和分析，并将处理后的数据传输至数据整型模块中，数据处理模块包括数据清洗单元、特征抽取单元和数据分析单元；

数据清洗单元用于对数据进行清洗，去除缺失值和异常值，并将清洗后的数据传输至特征抽取单元中，特征抽取单元用于对数据特征进行抽取，抽取后的特征数据传输至数据分析单元中，数据分析单元用于对特征数据进行分析；

S3数据整形模块用于对接收的数据信息进行整合，并将数据信息格式进行转化成所需数据格式，并将转化格式后的数据信息传输至异常预测模块中；

S4异常预测模块用于对数据进行分析，以得到预测数据，预测数据与真实数据比对以判断所述原始数据是否异常，同时，将预测后的数据信息传输至异常检测模块中；

S5异常检测模块用于根据预测数据，利用预先构建的检测模型，对当前周期的待检测数据进行异常检测，异常数据传输至异常报警模块中；

S6异常报警模块用于接收异常数据信息并对异常数据信息进行报警处理，异常检测模块包括检测单元、确定单元、拟合单元、对比单元、判断单元和存储单元；

检测单元用于对异常数据进行检测，检测出的异常数据传输至确定单元进行异常数据确定，确定后的异常数据传输至拟合单元对数据进行拟合整理，然后将数据传输至对比单元中对异常数据与正常数据进行对比，对比结果发送至判断单元进行异常判断，同时，将数据信息通过存储单元进行存储。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。