供电公司电力数据的提取、清理、整合方法及系统

摘要

本发明公开了一种供电公司电力数据的提取、清理、整合方法及系统，供电公司电力数据的提取、清理、整合方法，依次包括以下步骤：S1：数据抽取，对县级供电公司生产经营月报的电力数据进行提取；S2：数据清理，对提取的电力数据进行数据质量核查，并对所提取电力数据的异常数据进行清理；S3：数据整合，在经数据清理的数据基础上，整合各月电力数据至完整数据集中，形成完整供电公司内部数据集。供电公司电力数据的提取、清理、整合系统，包括数据抽取模块、数据清理模块、数据整合模块。本发明解决了现有技术存在的生产经营月报内数据价值利用度不够高的不足。

说明书

技术领域

本发明涉及电力系统技术领域，具体是供电公司电力数据的提取、清理、整合方法及系统。

背景技术

电力作为经济发展先行官，是地方经济发展的基础。电力数据能够直接反映出区域经济发展活力与特征状态。供电公司作为电力供应的主要单位，担负着保障地区能源安全可靠供应、服务地区经济发展的重任。

基于支撑区域电网公司均衡发展与促进地区经济稳定发展的需要，需构建生产经月报告的数据挖掘与分析体系，深度研究各县级供电公司生产经营月报中的数据价值，再结合区域特征数据，通过相关多维度挖掘及综合分析内容指导县级供电公司提升电网生产运营质效、发掘生产经营问题、评估区域经济发展现状、判断未来发展趋势，并探索各个县级供电公司生产经营月报中存在的问题与缺陷，提升月报完整性和准确性，优化生产经营报告的综合分析方式与维度，为省级供电公司和地市公司优化资源配置提供决策支持，辅助各县级供电公司进行相关改进及治理工作，促进区域均衡健康发展。

但现有技术存在着不足：目前省级供电公司对于各县级供电公司生产经营月报的整体数据掌握度准确度不够，并且各县级供电公司生产经营月报格式及统计维度等存在一定的差异，导致省级供电公司对县级供电公司的电力数据掌握不精准。

发明内容

为克服现有技术的不足，本发明提供了供电公司电力数据的提取、清理、整合方法及系统，解决现有技术存在的省级供电公司对县级供电公司的电力数据掌握不精准的不足。

本发明解决上述问题所采用的技术方案是：

供电公司电力数据的提取、清理、整合方法，依次包括以下步骤：

S1：数据抽取，对县级供电公司生产经营月报的电力数据进行提取；

S2：数据清理，对提取的电力数据进行数据质量核查，并对所提取电力数据的异常数据进行清理；

S3：数据整合，在经数据清理的数据基础上，整合各月电力数据至完整数据集中，形成完整供电公司内部数据集。

通过以上步骤，省级供电公司对县级供电公司生产经营月报的电力数据进行提取，然后清理掉异常数据，再进行整合，有效避免了各县级供电公司生产经营月报格式及统计维度等存在一定的差异，从而提高了省级供电公司对县级供电公司的电力数据掌握的精准度。

优选的，所述数据抽取包括：数据结构梳理、构建数据抽取程序。

数据结构梳理，便于明确抽取的目标，数据抽取程序则便于自动化抽取，提高了抽取效率。

优选的，所述数据结构梳理包括：数据爬取对象确认、文件格式转换。

数据爬取对象是针对各县级供电公司生产经营月报附录中表格的数据，有利于根据抽取需求确定电力数据的来源；文件格式转换将对不同文件格式(包括：doc、pdf、wps、rar等多种文件格式)的全部文件批量进行格式转换，使其转换至统一的文件格式，为文件数据提取与挖掘做准备。

优选的，所述数据爬取对象包括《行业用电分类表》、《售电量明细统计表》、《线损率统计表》、《10kv重损、负损线路及台区明细表》、《10kv重载线路及台区明细表》中的电力数据。

以上附表中存在多种关键的电力数据信息，爬取以上表中的电力数据方便全面准确地掌握电力信息。

优选的，所述文件格式转换的目标格式是.docx。

.docx便于识别，也方便标注、操作。

优选的，所述数据清理针对的情况包括：生产经营月报中表格为图片形式，导致数据无法爬取；生产经营月报中存在表格形式及数据维度与其他报告不一致的情况；生产经营月报表格中存在表头重复，导致爬取到无用字段。

以上情况将严重影响电力数据提取的准确度，故对以上情况中的电力数据进行清理，将大幅提高电力数据提取的准确度。

优选的，所述电力数据包括行业用电信息、售电量、线损率、供电线路信息、台区及线路明细。

以上指标便于客观反映电力情况，为掌控县级供电公司情况具有指导意义。

供电公司电力数据的提取、清理、整合系统，包括数据抽取模块、数据清理模块、数据整合模块；

所述数据抽取模块用以对县级供电公司生产经营月报的电力数据进行提取；

所述数据清理模块用以对提取的电力数据进行数据质量核查，并对所提取电力数据的异常数据进行清理；

所述数据整合模块用以在经数据清理的数据基础上，整合各月电力数据至完整数据集中，形成完整供电公司内部数据集。

通过以上模块，省级供电公司对县级供电公司生产经营月报的电力数据进行提取，然后清理掉异常数据，再进行整合，有效避免了各县级供电公司生产经营月报格式及统计维度等存在一定的差异，从而提高了省级供电公司对县级供电公司的电力数据掌握的精准度。

本发明相比于现有技术，具有以下有益效果：

(1)本发明有效避免了各县级供电公司生产经营月报格式及统计维度等存在一定的差异，从而提高了省级供电公司对县级供电公司的电力数据掌握的精准度；

(2)本发明便于明确抽取的目标，数据抽取程序则便于自动化抽取，提高了抽取效率；

(3)本发明有利于根据抽取需求确定电力数据的来源；

(4)本发明方便全面准确地掌握电力信息；

(5)本发明所述文件格式转换的目标格式是.docx，.docx便于识别，也方便标注、操作；

(6)本发明大幅提高电力数据提取的准确度；

(7)本发明便于客观反映电力情况，为掌控县级供电公司情况具有指导意义。

附图说明

图1为本发明的流程示意图。

具体实施方式

下面结合实施例及附图，对本发明作进一步的详细说明，但本发明的实施方式不限于此。

实施例1

供电公司电力数据的提取、清理、整合方法，依次包括以下步骤：

S1：数据抽取，对县级供电公司生产经营月报的电力数据进行提取；

S2：数据清理，对提取的电力数据进行数据质量核查，并对所提取电力数据的异常数据进行清理；

S3：数据整合，在经数据清理的数据基础上，整合各月电力数据至完整数据集中，形成完整供电公司内部数据集。

通过以上步骤，省级供电公司对县级供电公司生产经营月报的电力数据进行提取，然后清理掉异常数据，再进行整合，有效避免了各县级供电公司生产经营月报格式及统计维度等存在一定的差异，从而提高了省级供电公司对县级供电公司的电力数据掌握的精准度。

优选的，所述数据抽取包括：数据结构梳理、构建数据抽取程序。

数据结构梳理，便于明确抽取的目标，数据抽取程序则便于自动化抽取，提高了抽取效率。

实施例2

为了更好地展示本发明，作为实施例1的进一步优化，本实施例包括实施例1的全部技术特征，其区别在于，本实施例还包括以下技术特征：

优选的，所述数据结构梳理包括：数据爬取对象确认、文件格式转换。

数据爬取对象是针对各县级供电公司生产经营月报附录中表格的数据，有利于根据抽取需求确定电力数据的来源；文件格式转换将对不同文件格式(包括：doc、pdf、wps、rar等多种文件格式)的全部文件批量进行格式转换，使其转换至统一的文件格式，为文件数据提取与挖掘做准备。

优选的，所述数据爬取对象包括《行业用电分类表》、《售电量明细统计表》、《线损率统计表》、《10kv重损、负损线路及台区明细表》、《10kv重载线路及台区明细表》中的电力数据。

以上附表中存在多种关键的电力数据信息，爬取以上表中的电力数据方便全面准确地掌握电力信息。

优选的，所述文件格式转换的目标格式是.docx。

.docx便于识别，也方便标注、操作。

优选的，所述数据清理针对的情况包括：生产经营月报中表格为图片形式，导致数据无法爬取；生产经营月报中存在表格形式及数据维度与其他报告不一致的情况；生产经营月报表格中存在表头重复，导致爬取到无用字段。

以上情况将严重影响电力数据提取的准确度，故对以上情况中的电力数据进行清理，将大幅提高电力数据提取的准确度。

优选的，所述电力数据包括行业用电信息、售电量、线损率、供电线路信息、台区及线路明细。

以上指标便于客观反映电力情况，为掌控县级供电公司情况具有指导意义。

实施例3

供电公司电力数据的提取、清理、整合系统，包括数据抽取模块、数据清理模块、数据整合模块；

所述数据抽取模块用以对县级供电公司生产经营月报的电力数据进行提取；

所述数据清理模块用以对提取的电力数据进行数据质量核查，并对所提取电力数据的异常数据进行清理；

所述数据整合模块用以在经数据清理的数据基础上，整合各月电力数据至完整数据集中，形成完整供电公司内部数据集。

通过以上模块，省级供电公司对县级供电公司生产经营月报的电力数据进行提取，然后清理掉异常数据，再进行整合，有效避免了各县级供电公司生产经营月报格式及统计维度等存在一定的差异，从而提高了省级供电公司对县级供电公司的电力数据掌握的精准度。

如上所述，可较好的实现本发明。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，依据本发明的技术实质，在本发明的精神和原则之内，对以上实施例所作的任何简单的修改、等同替换与改进等，均仍属于本发明技术方案的保护范围之内。