基于Mongo集群技术的配电物联网边缘计算架构设计方法

摘要

本发明提供一种基于Mongo集群技术的配电物联网边缘计算架构设计方法，涉及物联网及其应用技术领域。通过构建区别于传统物联网三层架构的以边缘为核心的“云、管、边、端”四层架构，在此架构下得到边缘计算节点标准框架，为解决现有数据库系统在处理包含大量非结构化的通信数据表现出效率不高的问题，在边缘计算节点标准框架的核心环节应用Mongo DB数据库集群技术，同时针对边缘计算架构可能面临的安全威胁，制定一种有效的安全防护策略。本发明不仅具有狭义的边缘计算架构形式，同时针对配电网数据所独有的特征实现配电物联网中结构化和非结构化数据的快速、有效收集和处理，能够满足未来物联网网关设备发展的要求。

说明书

技术领域

本发明涉及物联网及其应用技术领域，尤其涉及一种基于Mongo集群技术的配电物联网边缘计算架构设计方法。

背景技术

配电系统通常地域分布广、设备种类多、网络连接多样、运行方式多变，随着配电自动化、生产管理系统、高级量测体系、电能质量监控系统、用户能效管理系统的推广应用，产生大量异构、多元数据，数据量呈现指数级增长，当前配电网数据呈现如下的特点：1)数据采集多，不同采集点的采样尺度不同，数据断面不同，每个采集点采集相对固定类别的数据，且分布在各个电压等级内；2)数据不健全，数据采集存在误差和漏传；3)数据分布在不同的应用系统中。因此，如何有效收集、利用大量的结构化和非结构化数据成为配电物联网建设中亟待解决的难题。

边缘计算概念的提出，可以有效解决上述问题。2019年国网公司在《配电物联网技术发展白皮书》中提出边缘层采用“统一硬件平台+边缘操作系统+APP业务应用软件”的技术架构，考虑通过边缘计算技术提高业务处理的实时性，降低云主站通讯和计算的压力。

边缘计算是在靠近物或数据源头的网络边缘侧，融合网络、计算、存储、应用核心能力的分布式开放平台，就近提供边缘智能服务，可以满足行业数字化在敏捷联接、实时业务、数据优化、应用智能、安全与隐私保护等方面的关键需求。

配电物联网领域的快速发展，使得大量的配电设备及传感器接入到配电网络中，随之而来的是各种海量异构的配用电数据急需得到快速有效的处理，以缓解其对通信信道及主站存储计算系统等带来的巨大压力。目前急需一种技术来有效应对通信数据规模大、类型多样、关联性弱和附加价值高等问题。同时为保证边缘计算架构的全流程安全，需要一种有效的安全防护策略，完成保障访问安全，防止数据泄漏，监控敏感数据，防止恶意代码注入等功能。

发明内容

本发明要解决的技术问题是针对上述现有技术的不足，提供一种基于Mongo集群技术的配电物联网边缘计算架构设计方法，通过Mongo DB数据库集群技术完成对大量非结构化通信数据的管理，解决现有数据管理构架面对海量数据在存储及管理上的低效问题。对于边缘计算架构可能存在的流程安全问题，提供一种有效的安全防护策略，用于保障通信及数据传输的安全，针对配电网数据所独有的特征实现配电物联网中结构化和非结构化数据的快速、有效收集和处理，能够满足未来物联网网关设备发展的要求。

为解决上述技术问题，本发明所采取的技术方案是：

一种基于Mongo集群技术的配电物联网边缘计算架构设计方法，构建区别于传统物联网三层架构的以边缘为核心的“云、管、边、端”四层架构，云层以云平台为核心，针对不同的物联网规模，选择部署公有云、私有云或混合云，“云”作为云化的主站平台，在云上部署有多种微服务；“管”是指网络管理，是端和云之间的数据传输通道；“边”是指边缘计算网关，是在靠近端侧设备或数据源头的网络边缘侧，就近提供边缘智能服务，在边缘计算节点部署多个微应用；“端”是配电物联网架构中的状态感知和执行控制主体，实现对配电设备运行环境、设备状态、电气量信息这些基础数据的监测、采集和感知；

数据处理是边缘计算架构的核心，包括数据计算、数据存储、数据安全三方面；边缘网关对采自各设备的数据进行过滤、解析的预处理，并对数据进行分类，将实时数据用于控制逻辑判断及预测模型对照，并根据处理结果执行预设控制策略；同时，将实时数据用于本地可视化并存储在本地时序数据库中；用于功率预测、发电预测及状态监控的统计分析数据则在加密后上传至云端，分别进行数据挖掘和数据可视化处理，并将上行数据存储于云端的时序数据库中；云端完成数据挖掘后，定期将训练所得的预测模型更新至边缘侧；

在上述架构基础上得到边缘计算节点标准框架，将边缘计算节点设计分为基础设施即服务EC-laaS、软件即服务EC-PaaS、平台即服务EC-SaaS，还包括边缘侧管理模块和安全模块；边缘侧管理模块负责支持边缘计算节点的远程和本地软件升级、用户设置、口令策略配置、日志审计配置、管理配置，同时支持系统状态监测、查询；安全模块负责控制系统用户的访问权限，当软件升级时完成对更新包数据来源的合法及完整性校验；EC-IaaS层作为边缘计算节点的基础开放平台，包括硬件平台、操作系统、容器开放平台、通信开放平台及引擎，为边缘智能配电业务提供统一的计算、存储、通信及系统服务；EC-Paas层负责给各类软件运行提供背板，实现数据的交互和管理，同时将即插即用服务作为软件层为其他应用使用提供基础；EC-Sass层是根据电力业务需求而开发、部署的微应用服务，是配电网边缘计算技术落地实现的具体方式，通过数据采集或数据的云、端协同来满足运维和用电需求，并为数据交互提供数据代理服务。

进一步地，边缘计算节点标准框架内的EC-Paas层中数据中心作为核心环节，承担数据采集、处理、存储、传输的功能，此部分采用Mongo DB数据库集群技术完成对海量数据的管理，海量数据管理平台由数据层、存储层和应用层组成，具体步骤如下：

步骤1.1：通过数据集中器将智能终端、视频监控、采集系统、现场采集终端等设备中数据集中起来，发送给平台的数据中心；

步骤1.2：Mongo DB的数据逻辑结构由文档、集合和数据库组成，Mongo DB内部用预分配的方式分配数据文件的存储空间，数据库中以BSON对象存储数据，Mongo DB将数据文件映射到内存中；

步骤1.3：为防止出现单点故障，基于Mongo DB的存储集群中的数据节点通过心跳机制实现故障判定，集群中的主数据节点检测自己和集群中的多数数据节点的通信是否正常，一旦主数据节点发生故障，集群通过选举机制选举一个新的主数据节点，实现故障自动转移；

步骤1.4：基于Mongo DB的存储集群通过分片机制增删数据存储服务器实现数据库容量的动态扩展，配置服务器存储所有分片存储集群的配置信息；存储路由器将客户端的数据保存、查询、更新等请求分配给分片存储集群，并将请求结构返回给客户端；存储路由器依据各个分片数据集群的带权值数据操作次数对各个分片存储集群中的数据进行动态均衡；

步骤1.5：Hadoop对Mongo DB存储的海量数据进行并行分析和处理，Hadoop首先检查Mongo DB集合，并将待处理数据进行分块，随后将划分后的数据块分配到Hadoop中的各个计算节点；Hadoop处理节点从Mongo DB集合中读取数据块进行计算，最后计算完的数据经过分析、合并成结果，写回到Mongo DB数据库中，并最终返给应用程序；

步骤1.6：通信层由通信链路组成，包括光纤网络、无线网络、微波链路、卫星通信链路，是数据通信的物理通道，将数据层的数据集中器和存储层的数据路由器连接起来，通过通信链路完成数据传输。

进一步地，边缘计算节点标准架构涉及的云边协同问题，将边缘计算节点与云主站之间的协同分为3个层级，通过层级接口完成协同交互与整体架构的协作处理，具体步骤如下：

步骤2.1：边缘计算节点接收和执行云主站下发资源调度管理策略，实现本地调度管理，边缘计算节点结合云主站下发的训练模型推理数据，完成数据的精准挖掘；

步骤2.2：边缘计算节点提供基本数据的采集、计算、存储功能，边缘计算节点面向用户层将数据调用、应用服务抽象为接口，对应云主站的PaaS结构，通过与EC-SaaS层直联，快速进行数据管控与计算，边缘计算节点提供类云主站的应用部署运行环境，管理和调度节点应用的生命周期，协同执行云主站的调度策略；

步骤2.3：边缘计算节点按照云主站策略实现部分EC-SaaS服务，通过协同机制实现云主站侧面向用户的按需SaaS服务，边缘计算节点主动执行应用服务分布策略，被动接受云主站下发的应用服务策略，实现边缘计算负载云主站侧SaaS服务的能力。

进一步地，根据安全模块要求，需要保证边缘计算架构的全流程安全，包括基础设施安全、网络安全、数据安全、应用安全四个方面，具体步骤如下：

步骤3.1：采用基于身份标识的密码系统来对边缘设备身份进行认证，云端统一管理边缘设备的唯一标识码，边缘网关通过数学方式离线生成私钥并存储在本地，当云端有维护升级需求或边缘网关间有访问需求时，交换唯一标识码进行访问认证，在低通信开销的前提下保证访问安全；

步骤3.2：边缘层与云层间的通信在普通传输协议的基础上，通过SSL、TLS、VPN网络安全通道进行数据广域网络传输，防止数据泄漏。在边缘网关中部署入侵检测系统，对边缘网络中的可疑流量进行监测，将监测日志定期上传至云端，云端根据对监测日志的分析，更新攻击防护规则并下放至边缘侧；

步骤3.3：采用基于密文策略的属性加密或同态加密算法完成传输加密、存储加密及数据访问控制，通过云边协同的权限管理确定边缘设备的数据访问权限，对请求敏感数据的行为进行监控；

步骤3.4：采用虚拟机及容器技术实现应用间相互隔离，对部署在边缘网关中的应用进行监控，同时分析应用日志，防止恶意代码注入，通过白名单、角色管理的方法对应用在测试及运行阶段的权限进行控制。

采用上述技术方案所产生的有益效果在于：本发明提供的基于Mongo集群技术的配电物联网边缘计算架构设计方法具有如下有益效果：

(1)针对现有数据库系统在处理包含大量非结构化的通信数据表现出效率不高的问题，通过采用一种基于Mongo DB数据库集群技术，有效解决配电物联网中通信数据具有的规模大、类型多样、关联性弱等问题，为海量通信数据的管理提供了可靠、高效的集群存储环境；

(2)通过云边协同机制实现边缘计算节点负载云主站的数据处理，减少了数据往返云端等待时间和网络带宽成本，能够满足终端侧实时需求，同时提高云主站承担复杂工作的效率，降低云边管理的难度和系统资源成本，共同完成更多更复杂工作目标的过程；对配电业务来讲，云边协同的数据处理机制可实现“区域自治”，特定区域的部分数据无需上传云主站就可以本地分析、决策，充分利用数据资源，提高实时性；

(3)针对边缘计算架构可能潜在的安全威胁问题，制定有效的安全防护策略，通过采用基于身份标识的密码系统对边缘设备身份进行认证，通过SSL、TLS、VPN等网络安全通道进行数据广域网络传输，采用基于密文策略的属性加密或同态加密算法完成传输加密、存储加密及数据访问控制，保障基础设施、网络、数据和应用等方面的安全。

附图说明

图1为本发明实施例提供的边缘计算架构；

图2是本发明实施例提供的边缘计算节点架构；

图3是本发明实施例提供的数据处理流程图；

图4是本发明实施例提供的云边协同架构。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

本实施例提出的边缘计算架构设计方法可以应用于配电物联网中，满足配电物联网数据处理的需求，同时，针对现有数据库系统在处理包含大量非结构化的通信数据表现出效率不高的问题，建立一种基于Mongo DB数据库集群技术的海量数据管理平台，来有效应对通信数据规模大、类型多样、关联性弱和附加价值高等问题。同时为保证边缘计算架构的全流程安全，使用一种有效的安全防护策略，完成保障访问安全，防止数据泄漏，监控敏感数据，防止恶意代码注入等功能。本实施例的方法具体如下所述。

一种基于Mongo集群技术的配电物联网边缘计算架构设计方法，首先构建区别于传统物联网三层架构的以边缘为核心的“云、管、边、端”四层架构，如图1所示，云层以云平台为核心，针对不同的物联网规模，选择部署公有云、私有云或混合云，“云”作为云化的主站平台，在云上部署有多种微服务；“管”是指网络管理，是端和云之间的数据传输通道；“边”是指边缘计算网关，是在靠近端侧设备或数据源头的网络边缘侧，就近提供边缘智能服务，在边缘计算节点部署多个微应用；“端”是配电物联网架构中的状态感知和执行控制主体，实现对配电设备运行环境、设备状态、电气量信息这些基础数据的监测、采集和感知。

数据处理是边缘计算架构的核心，包括数据计算、数据存储、数据安全三方面，如图3所示。边缘网关对采自各设备的数据进行过滤、解析的预处理，并对数据进行分类，将实时数据用于控制逻辑判断及预测模型对照，并根据处理结果执行预设控制策略。同时，将实时数据用于本地可视化并存储在本地时序数据库中。用于功率预测、发电预测及状态监控的统计分析数据则在加密后上传至云端，分别进行数据挖掘和数据可视化处理，并将上行数据存储于云端的时序数据库中。云端完成数据挖掘后，定期将训练所得的预测模型更新至边缘侧。

边缘计算技术作为配电物联网四层架构中的核心环节，通过在边缘计算节点部署微应用的方式来实现灵活升级、扩展终端配电业务，充分发挥本地计算的边缘计算架构优势。在上述架构基础上得到边缘计算节点标准框架，将边缘计算节点设计分为基础设施即服务(EC-laaS)、软件即服务(EC-PaaS)、平台即服务(EC-SaaS)三层架构，同时还含有边缘侧管理模块和安全模块，如图2所示。边缘侧管理模块负责支持边缘计算节点的远程和本地软件升级、用户设置、口令策略配置、日志审计配置、管理配置，同时支持系统状态监测、查询；安全模块负责控制系统用户的访问权限，当软件升级时完成对更新包数据来源的合法及完整性校验；EC-IaaS层作为边缘计算节点的基础开放平台，包括硬件平台、操作系统、容器开放平台、通信开放平台及引擎，为边缘智能配电业务提供统一的计算、存储、通信及系统服务；EC-Paas层负责给各类软件运行提供背板，实现数据的交互和管理，同时将即插即用服务作为软件层为其他应用使用提供基础；EC-Sass层是根据电力业务需求而开发、部署的微应用服务，是配电网边缘计算技术落地实现的具体方式，通过数据采集或数据的云、端协同来满足运维和用电需求，并为数据交互提供数据代理服务。

边缘计算节点标准框架内的EC-Paas层中数据中心作为核心环节，承担数据采集、处理、存储、传输的功能，此部分采用Mongo DB数据库集群技术完成对海量数据的管理，海量数据管理平台由数据层、存储层和应用层组成，具体步骤如下：

步骤1.1：通过数据集中器将智能终端、视频监控、采集系统、现场采集终端等设备中数据集中起来，发送给平台的数据中心；

步骤1.2：Mongo DB的数据逻辑结构由文档、集合和数据库组成，Mongo DB内部用预分配的方式分配数据文件的存储空间，数据库中以BSON对象存储数据，Mongo DB将数据文件映射到内存中；

步骤1.3：为防止出现单点故障，基于Mongo DB的存储集群中的数据节点通过心跳机制实现故障判定，集群中的主数据节点检测自己和集群中的多数数据节点的通信是否正常，一旦主数据节点发生故障，集群通过选举机制选举一个新的主数据节点，实现故障自动转移；

步骤1.4：基于Mongo DB的存储集群通过分片机制增删数据存储服务器实现数据库容量的动态扩展，配置服务器存储所有分片存储集群的配置信息；存储路由器将客户端的数据保存、查询、更新等请求分配给分片存储集群，并将请求结构返回给客户端；存储路由器依据各个分片数据集群的带权值数据操作次数对各个分片存储集群中的数据进行动态均衡；

数据的主要操作是增、删、改、查，I

插入操作要与数据库相连接，防止各分片集群中数据数量的不均衡，给插入操作赋予一个大于1的权重系数λ，上式修改如下：

分片集群的带权值数据操作次数Q的计算如下式：

Q反映了该分片数据集群在较近的时间段内的负载，Q越大表示数据负载越大，超过阈值的分片数据集群需要进行数据移出操作以实现数据动态均衡；

步骤1.5：Hadoop对Mongo DB存储的海量数据进行并行分析和处理，Hadoop首先检查Mongo DB集合，并将待处理数据进行分块，随后将划分后的数据块分配到Hadoop中的各个计算节点；Hadoop处理节点从Mongo DB集合中读取数据块进行计算，最后计算完的数据经过分析、合并成结果，写回到Mongo DB数据库中，并最终返给应用程序；

步骤1.6：通信层由通信链路组成，包括光纤网络、无线网络、微波链路、卫星通信链路，是数据通信的物理通道，将数据层的数据集中器和存储层的数据路由器连接起来，通过通信链路完成数据传输。

硬件资源限制的边缘计算节点无法在底层满足所有应用部署，因此引入“云边协同”机制，通过“云”侧微服务与“边”侧微应用的数据交互、协同计算来更好满足配网业务需求。边缘计算节点标准架构涉及的云边协同问题，将边缘计算节点与云主站之间的协同分为3个层级，通过层级接口完成协同交互与整体架构的协作处理，如图4所示，具体步骤如下：

步骤2.1：边缘计算节点接收和执行云主站下发资源调度管理策略，实现本地调度管理，边缘计算节点结合云主站下发的训练模型推理数据，完成数据的精准挖掘；

步骤2.2：边缘计算节点提供基本数据的采集、计算、存储功能，边缘计算节点面向用户层将数据调用、应用服务抽象为接口，对应云主站的PaaS结构，通过与EC-SaaS层直联，快速进行数据管控与计算，边缘计算节点提供类云主站的应用部署运行环境，管理和调度节点应用的生命周期，协同执行云主站的调度策略；

步骤2.3：边缘计算节点按照云主站策略实现部分EC-SaaS服务，通过协同机制实现云主站侧面向用户的按需SaaS服务，边缘计算节点主动执行应用服务分布策略，被动接受云主站下发的应用服务策略，实现边缘计算负载云主站侧SaaS服务的能力。

根据安全模块要求，需要保证边缘计算架构的全流程安全，包括基础设施安全、网络安全、数据安全、应用安全四个方面，具体步骤如下：

步骤3.1：采用基于身份标识的密码系统来对边缘设备身份进行认证，云端统一管理边缘设备的唯一标识码，边缘网关通过数学方式离线生成私钥并存储在本地，当云端有维护升级需求或边缘网关间有访问需求时，交换唯一标识码进行访问认证，在低通信开销的前提下保证访问安全；

步骤3.2：边缘层与云层间的通信在普通传输协议的基础上，通过SSL、TLS、VPN网络安全通道进行数据广域网络传输，防止数据泄漏。在边缘网关中部署入侵检测系统，对边缘网络中的可疑流量进行监测，将监测日志定期上传至云端，云端根据对监测日志的分析，更新攻击防护规则并下放至边缘侧；

步骤3.3：采用基于密文策略的属性加密或同态加密算法完成传输加密、存储加密及数据访问控制，通过云边协同的权限管理确定边缘设备的数据访问权限，对请求敏感数据的行为进行监控；

步骤3.4：采用虚拟机及容器技术实现应用间相互隔离，对部署在边缘网关中的应用进行监控，同时分析应用日志，防止恶意代码注入，通过白名单、角色管理的方法对应用在测试及运行阶段的权限进行控制。

不同于“云-端”架构下将所有设备数据上传至云端数据库的数据存储模式，本实施例的边缘计算架构将实时数据及无分析价值的备份数据保存在边缘网关的时序数据库中，仅将有分析价值的数据及必要设备状态信息上传至云端。通过数据调用接口，云端管理员可实时从边缘网关的数据库中上传临时需要查看的数据，在数据库选择方面，在边缘网关中部署轻量级的RedisEdge多模型数据库，RedisEdge支持集合(set)、列表(list)、哈希表(Hash)等常见数据结构，可用于存储设备实时数据。基于RedisEdge的可拓展性，还可针对不同的数据存储需求，在边缘设备中部署特定的Redis模块，用于存储结构化或非结构化数据。

在边缘计算架构中，通信主要包含三个部分：电力设备与边缘网关之间的通信、边缘网关之间的通信以及边缘网关与云端之间的通信。边缘网关负责一定范围内各电力设备的数据采集与监控，因此电力设备与边缘网关之间视物理距离的不同，采用RS485、Modbus等有线通信或ZigBee等无线通信协议进行数据传输。各边缘网关之间相距较远，且存在计算资源、控制策略的协同，对数据传输的稳定性、实时性要求高，因此视配电物联网规模大小不同而采用光纤或工业以太网进行通信。由于云端需对若干个边缘网关进行管理，因此边缘网关与云端之间统一采用蜂窝网络进行通信，并通过HTTPS或MQTT等网络应用层协议进行数据传输。在边缘网关对不同设备数据的格式进行转换后，边缘网关之间以及边缘网关与云端之间的所有数据均通过轻量级的JSON格式进行传输，数据传输、解析速度更快。

边缘计算架构中的云服务运行在私有云中，云平台运行在主服务器中。私有云具有可拓展的计算、存储资源，并通过制定、更新边缘层的资源管理策略实现对边缘资源的协同管理。

在应用协同及服务协同方面，在云端进行程序开发且在边缘平台进行远程调试后，于边缘软件层中部署数据采集、数据管理、预测模型推理、设备监控及设备调度等微服务，并于云SaaS层中部署预测模型训练及可视化监控等应用。数据采集微服务实时采集发电设备、电能转换设备、蓄电池组、负荷等的运行数据，在对数据进行解析以及JSON格式转换后上传至边缘平台。设备监控微服务根据存储在本地的设备状态告警逻辑及预测性维护模型对设备运行状态进行监控、判断，并将告警及维护信息在边缘主网关中进行可视化。

预测模型推理微服务根据部署在本地的负荷及发电预测模型对可再生能源的出力(电压、电流、功率等)及负荷进行实时预测，设备调度微服务结合实时运行数据、实时预测数据及预设控制策略，向柴油发电机组及蓄电池组发出控制指令，对发电机组的出力及蓄电池组的充放电进行实时调节。数据管理微服务将运行数据备份于各边缘网关的RedisEdge数据库中，将电源的出力和各负荷的实时、预测数据及设备状态信息通过边缘主网关加密上传至云平台。

云端的预测模型训练应用调TensorFlow、Caffe等机器学习框架，根据上传数据对负荷预测模型以及各电源的发电预测模型进行更新训练，并定期将更新后的模型下放至边缘主网关中，再由数据管理微服务将预测模型分配至相应的边缘网关中，从而实现数据协同。可视化监控应用将上传的设备状态信息在Web端及移动端进行可视化，管理员可随时随地掌握设备运行状况。

在基础设施安全及数据安全方面，云平台根据各边缘网关的MAC地址，为每个边缘网关分配唯一的设备身份标识ID，并通过SM9标识密码算法进行密钥封装解封及数据加密解密，从而实现边缘网关及云平台之间的访问安全及数据传输安全。同时，云平台对各边缘网关根据最小授权原则进行权限管理，边缘网关则对所有尝试访问数据的请求进行SM9密钥验证及权限验证。在网络安全方面，边缘软件层中部署了流量监控微服务，根据安全策略对边缘网关的上传、下载流量进行实时监控，并将异常日志反馈至云平台，云平台通过部署在云SaaS层中的异常分析应用对异常日志进行分析后更新并下放安全策略。在应用安全方面，基于KubeEdge的边缘平台对容器以及容器内的应用和微服务进行监控，发现异常应用或微服务行为后立即对异常应用或微服务进行沙箱隔离，并将异常信息在边缘侧及云平台进行可视化展示。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。