一种应用于电力系统的数据中台及其方法

摘要

本发明涉及一种应用于电力系统的数据中台，包括：后端系统，提供源数据；系统采集接口层，用于管理各接口进行数据采集和管理数据采集过程中各个事项；数据处理层，进行数据标准化处理、数据治理稽核、数据存储、数据分析与加工；数据服务接口层，将数据上报至上级数据中台和供用户调取使用数据；安全与管理系统，进行数据服务权限控制、数据安全控制、数据资源控制、统一身份管理。有益效果是：本数据中台能够提高地方供电局的省地数据对接智能化水平，使地市局可更好的向调度中心各专业、各层次的技术人员、管理者、决策者提供决策分析依据，从而提高电网运行的安全性、可靠性、经济性、优质性，提升公司电网安全运行水平和优质服务水平。

说明书

技术领域

本发明涉及数据处理技术领域，尤其涉及一种应用于电力系统的数据中台及其方法。

背景技术

数据中台是一套可持续的“让企业的数据动起来”的机制，是一种战略选择和组织形式，依据企业特有的业务模式和组织架构，建立起统一数据资产管理，打通各部门各系统的数据孤岛，建立起对业务、应用系统的数据需求的快速响应机制。数据来自于业务，并反哺业务，不断循环迭代，实现数据可见、可用、可运营。

根据电网调度运行数字化智慧化的建设目标，建设省地实时系统数据接入平台，结合多源信息融合的状态监测，制定输、变、配各专业现场数据的统一接入；结合调度运行实时数据及管理信息系统实现多源融合，融入三维建模及全息实时渲染展示技术，支撑大数据分析和智能应用。

基于上述情况，为了建设地方供电局系统对省电网数据中台的支撑能力，省地实时系统数据接入平台的数据采集接口规范，满足配电网发展的需要，设计一种数据中台。

发明内容

本发明的目的在于克服现有技术存在的以上问题，提供一种应用于电力系统的数据中台，同时提供一种方法。

为实现上述技术目的，达到上述技术效果，本发明通过以下技术方案实现：

一种应用于电力系统的数据中台，包括：

后端系统，分为内部系统、外部系统，用于提供源数据；

系统采集接口层，分为API管理中心与数据采集管理中心，API管理中心用于管理各接口进行数据采集，数据采集管理中心用于管理数据采集过程中各个事项；

数据处理层，进行数据标准化处理、数据治理稽核、数据存储、数据分析与加工；

数据服务接口层，分为将数据上报至上级数据中台的数据上报接口和供用户调取使用数据的服务接口；

安全与管理系统，进行数据服务权限控制、数据安全控制、数据资源控制、统一身份管理。

其中，所述内部系统包含主网OS2系统、主网OCS备用系统、配网OS2系统、保信系统，所述外部系统包含计量OMS系统、6+1系统、海量数据平台。

其中，所述API管理中心的接口包含数据同步接口、文件采集接口、实时流同步接口、非实流同步接口。

其中，所述数据采集的类型有数据库采集、文件采集、网页爬取、消息队列、日志采集。

其中，所述数据采集管理中心进行采集调度管理、采集策略管理、采集任务管理、采集模型管理、采集日志管理。

其中，所述数据处理层包括省地数据处理平台、数据质量治理平台、本地数据子平台，所述省地数据处理平台包含数据流管理/监控、数据处理调度工作流、实时数据流处理、离线数据处理，所述数据质量治理平台包含闭环管理、数据清洗、知识库管理、规则库管理，所述本地数据子平台包含原数据存储、数据可视化、加工数据存储、数据权限控制。

其中，所述数据治理稽核从数据流、业务流、工作流进行数据稽核。

其中，所述数据质量治理平台采用多层级构建模式，借助固化和配置的方法将标准治理分类和标准治理方法内置在数据质量治理平台中。

一种应用于电力系统的数据中台的方法，基于上述的数据中台，包括：由系统采集接口层的接口与后端系统对接进行数据采集，对采集的源数据进行数据标准化处理、数据治理稽核、数据存储、数据分析与加工，数据处理后的数据一方面通过数据上报接口上报至上级数据中台、另一方面通过数据服务接口供用户调取使用数据。

本发明的有益效果是：本数据中台能够提高地方供电局的省地数据对接智能化水平，使地市局可更好的向调度中心各专业、各层次的技术人员、管理者、决策者提供决策分析依据，从而提高电网运行的安全性、可靠性、经济性、优质性，提升公司电网安全运行水平和优质服务水平。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明实施例中数据中台的框架示意图。

具体实施方式

下面将参考附图并结合实施例，来详细说明本发明。

如图1所示，一种应用于电力系统的数据中台，包括：

后端系统，分为内部系统、外部系统，用于提供源数据；

系统采集接口层，分为API管理中心与数据采集管理中心，API管理中心用于管理各接口进行数据采集，数据采集管理中心用于管理数据采集过程中各个事项；

数据处理层，进行数据标准化处理、数据治理稽核、数据存储、数据分析与加工；

数据服务接口层，分为将数据上报至上级数据中台的数据上报接口和供用户调取使用数据的服务接口；

安全与管理系统，进行数据服务权限控制、数据安全控制、数据资源控制、统一身份管理。

内部系统包含主网OS2系统、主网OCS备用系统、配网OS2系统、保信系统，外部系统包含计量OMS系统、6+1系统、海量数据平台。

API管理中心的接口包含数据同步接口、文件采集接口、实时流同步接口、非实流同步接口。

服务接口为个人计算机、移动终端。

数据采集的类型有数据库采集、文件采集、网页爬取、消息队列、日志采集。

数据采集管理中心进行采集调度管理、采集策略管理、采集任务管理、采集模型管理、采集日志管理。

采集任务管理提供可视化管理界面，查看系统存在哪些采集任务，任务上次执行时间，执行结果，任务下次执行时间，任务目前执行状态，开始执行时间。通过界面可进行任务启动、停止、重跑等。

采集日志管理提供界面查询采集任务执行的开始时间，结束时间，数据采集速率（条/秒或M/秒），数据采集总量（条或M），数据入库成功量，失败量。

数据处理层包括省地数据处理平台、数据质量治理平台、本地数据子平台，省地数据处理平台包含数据流管理/监控、数据处理调度工作流、实时数据流处理、离线数据处理，数据质量治理平台包含闭环管理、数据清洗、知识库管理、规则库管理，本地数据子平台包含原数据存储、数据可视化、加工数据存储、数据权限控制。

数据治理稽核从数据流、业务流、工作流进行数据稽核。

数据质量治理平台采用多层级构建模式，借助固化和配置的方法将标准治理分类和标准治理方法内置在数据质量治理平台中。

数据存储对象为数据表，hbase，hdfs，hive，es，MongoDB，durid，redis，mysql，oracle，文件，kafka中的一种或几种。

数据采集工具为Flume、DataX、Sqoop中的一种或几种。

一种应用于电力系统的数据中台的方法，基于上述的数据中台，包括：由系统采集接口层的接口与后端系统对接进行数据采集，对采集的源数据进行数据标准化处理、数据治理稽核、数据存储、数据分析与加工，数据处理后的数据一方面通过数据上报接口上报至上级数据中台、另一方面通过数据服务接口供用户调取使用数据。

本技术方案的数据采集具备如HTTP、API、SDK和Agent等多样化的数据采集方式，可针对现有各监控工具的数据源进行采集。数据接收支持单机每秒4万条数据上报，数据丢失率<1%。数据采集接口具备采集调度功能、采集策略配置、采集任务管理和采集模型管理等。

大数据平台需具备可平行扩展的海量分布式的离线数据处理和实时流数据处理能力。实时数据处理模块具备可视化、配置化的数据处理操作，从而实现免编程的用户自定义数据处理。从而支持多种业务数据集中处理。

实现DAG高阶分型抽象，支持多处理机并行任务调度，利用DAG对并行任务进行建模，提高执行效率，更好的实现计算的负载均衡，满足弹性流式处理机制。

数据质量治理平台采用多层级构建模式，借助固化和配置的方法将标准治理分类和标准治理方法内置在信息系统中，依据电网治理监督规范、业务管理制度、治理经验梳理形成治理要点配置在系统中，治理事项中配置固化了治理步骤、方法、公式、属性，支持治理规则自动执行等。

建设本地数据子平台，实现地市本地数据管理，数据管理的目标是对实现数据资产化管理，为数据使用提供数据目录，数据血缘关系、关联关系等管理能力。数据管理包括数据标准化管理，数据实例管理，数据字典管理，数据类别目录，数据关系管理，数据资源目录管理等。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。