一种微网群边缘调度与智能体轻量化裁剪方法

摘要

本发明公开了一种微网群边缘调度与智能体轻量化裁剪方法，包括：构建包括电力终端和边缘设备的微网群，计算能力最强的边缘设备k中设有任务分配模型；设置总训练轮次、初始训练轮数，初始化每个电力终端的本地训练模型、稀疏度范围、本地训练模型的聚合权重、经验重放内存；电力终端基于深度强化学习方法对任务分配模型进行训练，并基于模型剪裁对本地训练模型进行剪裁，边缘设备k对训练后的模型进行聚合并更新任务分配模型；根据更新后的任务分配模型，并以最大化长期效益期望为目标预测资源分配策略；电力终端根据资源分配策略执行任务。本发明可以在保证决策准确高效的同时避免大量原始数据的传输、降低模型训练时传输的数据量和传输时延。

说明书

技术领域

本发明属于计算机网络技术领域，具体涉及一种微网群边缘调度与智能体轻量化裁剪方法。

背景技术

随着社会经济的快速发展和人口的增长，能源供应问题越来越突出。为实现社会可持续发展的需求，分布于用户附近的分布式能源和可再生能源逐渐成为能源技术领域关注的研究热点。分布式发电以光伏系统和风力发电为代表，由于其经济、环保、灵活等优点，近年来得到了广泛的应用。但是，分布式发电输出是间歇性的、随机的，大规模的分布式发电渗透会对电力系统的安全和稳定造成不利影响，如电力质量问题，给电力系统的稳定运行和安全控制带来前所未有的挑战。为了协调分布式发电与大电网之间的矛盾，降低分布式发电的弃电率，提高供电可靠性和电能质量，提出了微网群的概念。然而即使是微网群，要完全消纳并充分利用大规模可再生能源也依然存在障碍，在该模式下如何在边缘构建高效完善的计算资源动态迁移体系，如何进一步轻量化边缘智能体成为一个急需解决的问题。

发明内容

针对以上技术问题，本发明提出了一种微网群边缘调度与智能体轻量化裁剪方法，通过支持在微网群场景中应用边缘智能体微型智能算法轻量化剪裁技术，可以实现微网群运行计算资源的动态迁移调度，并进一步对边缘智能体进行轻量化剪裁设计。为解决以上技术问题，本发明所采用的技术方案如下：

一种微网群边缘调度与智能体轻量化裁剪方法，包括如下步骤：

S1，构建包括电力终端和边缘设备的微网群，且边缘设备k中设有任务分配模型；

S2，设置总训练轮次T、初始训练轮数t＝0，初始化每个电力终端的本地训练模型、稀疏度范围、本地训练模型的聚合权重、电力终端的经验重放内存；

S3，电力终端基于深度强化学习方法对任务分配模型进行训练，并基于模型剪裁的方法对本地训练模型进行剪裁，边缘设备k对训练后的模型进行聚合并更新任务分配模型；

S4，根据更新后的任务分配模型，并以最大化长期效益期望为目标预测资源分配策略，所述资源分配策略包括任务卸载决策和能量分配决策；

S5，电力终端根据步骤S4所预测的资源分配策略执行任务。

所述步骤S3包括如下步骤：

S3.1，执行t＝t+1，将M个电力终端的随机集合赋值到集合S

S3.2，集合S

S3.3，电力终端对经验重放内存进行感知并更新；

S3.4，电力终端对利用深度强化学习的方法对本地训练模型进行训练，并基于模型剪裁的方法对训练出的模型参数进行剪裁；

S3.5，将步骤S3.4剪裁后的本地训练模型的参数和电力终端进行本地训练的次数上传到边缘设备k；

S3.6，边缘设备k对每个电力终端的本地训练次数分别进行统计；

S3.7，边缘设备k根据统计后的本地训练次数对接收到的模型参数进行聚合；

S3.8，判断t＜T，如果是，返回步骤S3.1，否则执行步骤S4。

所述步骤S3.4包括如下步骤：

S3.4.1，将集合S

S3.4.2，对神经网络的全连接层的参数进行减裁；

S3.4.3，根据稀疏度范围设置全连接层每层的稀疏度；

S3.4.4，将每层全连接层的参数按照由小到大的顺序进行排列，然后将前

S3.4.5，根据稀疏度范围设置积层每层的稀疏度；

S3.4.6，对每层卷积层的滤波器的个数进行修剪。

在步骤S4中，所述最大化长期效益期望的表达式为：

式中，U(X，Φ)表示最大化长期效益期望，I表示时间片的总数，u(·)表示直接效用，X

所述网络状态X

式中，

直接效用的u(X

式中，w

所述任务执行延迟d

式中，

所述i时间片下的切换延迟h

式中，σ表示连接切换延迟，s

所述i时间片下本地执行任务的时间消耗

式中，f

所述占用边缘节点花销φ

式中，π表示占用边缘节点单位时间的价格，h

所述任务丢弃数η

式中，

所述任务排队延迟ρ

式中，

本发明的有益效果：

通过构建包括电力终端和边缘设备的智能体，根据各个电力终端上的观测数据进行模型训练，把更新后的模型参数上传到边缘设备上进行接下来的模型聚合，并且在本地训练过程中进行模型剪裁，可以实现减轻训练负担与达到模型优化的需求，并且尽量减少精度损失；优化后的任务分配模型可以使微网群更好更有效地节省能量和资源，轻量化后的模型将不必要的参数进行剪裁降低了其对于模型的影响，轻量化后的模型大小减少10％左右，更适合在实际应用场合中进行部署采用，很好地解决了传统算法由于在原始时期模型数据庞大，需要的资源过多，会给主干网络带来沉重的资源压力，不利于算法模型的部署的问题，更能支撑微网群在复杂环境中的高效运行；在保证决策准确高效的同时避免了大量原始数据的传输、降低了模型训练时传输的数据量、降低了数据的传输时延，充分发挥了边缘智能技术的自适应、分布式决策优势。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为微网群的场景示意图。

图2为任务执行方式对比图。

图3为本发明的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

深度强化学习(Deep Reinforcement Learning，DRL)：深度强化学习提供了一种自动训练决策模型的方法。它是一种传统的强化学习与深度神经网络概念的结合，可以将强化学习技术通常应用于规模较大的数据空间之中。深度强化学习的一个重要分支是基于行动值估计的方法，它学习动作的值，然后根据其估计值选择动作。在这个分支中，最常见的方法是Q-learning，它被广泛应用于许多研究领域。深度强化学习技术适用于许多场景，比如控制物理系统，玩游戏和用户进行交互等等。强化学习在最开始会先进行探索，也就是我们常说的试错。它会对不同的动作决策进行尝试，将动作作用于环境之后获取动作的收益，根据效果不断自我进行调整。而深度学习采用的则是一种通过多层神经网络对数据进行特征表达的方法，通过神经网络来学习数据的特征信息。深度强化学习两者结合的产物，在保留了深度学习的感知能力的情况下加入了强化学习的决策能力，从而在某些领域发挥更大的优势，表现出更好的效果。

模型剪枝(Pruning)：虽然大型神经网络模型非常强大，但它们具有计算密集型和内存密集型两大特点，会消耗相当大的存储、内存带宽和计算资源。对于嵌入式移动应用程序，这些资源需求常常令人望而却步，在系统上往往很难部署。因此为了解决这个问题，我们需要对模型进行优化压缩。模型压缩加速的常用方法包括：低秩分解、模型剪枝、量化、轻量级模型设计和知识蒸馏，而模型轻量化中广泛应用的就是剪枝。剪枝是将神经网络所需的存储和计算减少一个数量级，而不影响其准确性的一种方法。在剪枝中最重要的是尽量保证精度和复杂度的平衡，减少冗余的部分留下最重要的部分。剪枝主要分为两种方式，剪权重和剪神经元，前者不会破坏原来的网络结构，后者会使得模型的结构发生较大变化。因此剪神经元对模型的影响较大，剪权重对模型的精度影响较小。而剪枝问题实际上是如何判断参数重要性的问题，随后把不重要的参数剪掉，它们对于效果的影响可以忽略不计，从而达到模型轻量化的目的。

一种微网群边缘调度与智能体轻量化裁剪方法，如图3所示，包括如下步骤：

S1，构建包括电力终端和边缘设备的微网群，且边缘设备k中设有任务分配模型；

如图1所示，所述微网群是由若干个电力终端和若干个边缘设备组成，且所有电力终端均可与所有边缘设备连接。所述边缘设备的集合采用

微网群中有一个最大长度为

e

S2，设置总训练轮次T、初始训练轮数t＝0，初始化每个电力终端的本地训练模型、稀疏度范围(γ

S3，电力终端基于深度强化学习方法对任务分配模型进行训练，并基于模型剪裁的方法对本地训练模型进行剪裁，边缘设备k对训练后的模型进行聚合并更新任务分配模型，包括如下步骤：

S3.1，执行t＝t+1，将M个电力终端的随机集合赋值到集合S

S3.2，集合S

S3.3，电力终端对经验重放内存进行感知并更新；

所述经验重放内存的最大大小为M

S3.4，电力终端利用深度强化学习的方法对本地训练模型进行训练，并基于模型剪裁的方法对训练出的模型参数进行剪裁，包括如下步骤：

S3.4.1，将集合S

S3.4.2，对神经网络的全连接层的参数进行减裁；

神经网络中的全连接层共m

式中，

S3.4.3，设置全连接层每层的稀疏度，其设置公式为：

式中，

S3.4.4，将每层全连接层的参数按照由小到大的顺序进行排列，然后将前

S3.4.5，设置卷积层每层的稀疏度，其设置公式为：

式中，

S3.4.6，对每层卷积层的滤波器的个数进行修剪；

修剪要求为：

式中，n

由于神经网络的每个卷积层会提供f个三维滤波器

由于智能体模型训练时需要两个网络，两个网络之间需要传递参数，所以要保证两个网络的结构始终不变，否则参数的传递会出现问题，所以在神经元剪枝和权重剪枝之间，权重剪枝更优。权重剪枝，就是消除权重张量中不必要的值，丢弃不严重影响模型表现的权重，减少计算中涉及的参数，从而降低操作次数，达到减小模型大小的作用。本申请通过将模型中的一部分神经网络层的参数变小，一部分神经网络层去掉多余过滤器，可以在减小模型的大小的同时维持模型精度不变，实现更方便的部署。

S3.5，将步骤S3.4剪裁后的本地训练模型的参数和电力终端进行本地训练的次数上传到计算能力最强的边缘设备k；

S3.6，计算能力最强的边缘设备k对每个电力终端的本地训练次数分别进行统计；

S3.7，计算能力最强的边缘设备k根据统计后本地训练次数对接收到的模型参数进行聚合；

所述计算能力最强的边缘设备k聚合的公式为：

式中，θ

S3.8，判断t＜T，如果是，返回步骤S3.1，否则执行步骤S4；

S4，根据更新后的任务分配模型，并以最大化长期效益期望为目标预测资源分配策略，所述资源分配策略包括任务卸载决策和能量分配决策；

所述最大化长期效益期望的表达式为：

式中，U(X，Φ)表示最大化长期效益期望，I表示时间片的总数，u(·)表示i时间片下的直接效用，X

所述网络状态X

式中，

在每个时间片下，当有任务被取出或生成时，任务队列会进行更新，更新后的任务对列的表达式为：

式中，d

同样地，在每个时间片下，能量队列也会进行更新，更新后的能量队列的表达式为：

式中，

所述i时间片下电力终端与边缘设备的连接关系s

式中，c

所述i时间片下的直接效用由任务执行延迟d

式中，w

所述任务执行延迟d

式中，d

所述i时间片下的切换延迟h

式中，σ表示连接切换延迟，s

所述i时间片下本地执行任务的时间消耗

式中，f

所述i时间片下微网群分配的CPU频率f

式中，τ为常数，取决于芯片结构，

所述i时间片下任务从本地传输到对应的边缘设备的时间开销

式中，r

所述i时间片下的数据传输速率r

式中，

所述i时间片下的传输功率

式中，

根据式(17)、式(18)、式(19)可得，最小传输时间满足：

式中，

由于边缘节点计算资源的有限性，本申请进一步定义了占用边缘节点所需的花销来避免对边缘节点的过度使用，定义π∈R

所述任务排队延迟ρ

由于当任务队列已满时，会使新产生的任务无法存入任务队列，从而导致任务丢失，任务丢弃数η

所述资源分配策略的表达式为：

式中，

S5，电力终端根据步骤S4所预测的资源分配策略执行。

本申请实施例还提供了一种微网群边缘调度与智能体轻量化裁剪装置，包括电力终端和边缘设备，所述电力终端上设有训练模块和裁剪模块，边缘设备上设有聚合模块和决策模块；

训练模块，用于电力终端根据从边缘设备k接收到的任务分配模型参数利用强化学习方法对本地训练模型进行训练，训练后的模型和本地训练次数发送到裁剪模块；

裁剪模块：用于对接收到的训练后的本地训练模型的参数进行剪裁，并将剪裁后的本地训练模型参数和本地训练次数发送到聚合模块；

聚合模块：根据接收到的本地训练次数对剪裁后的本地训练模型参数进行聚合，更新任务分配模型；

决策模块：用于根据更新后的任务分配模型生成包括任务卸载决策和能量分配决策的资源分配策略。

本申请实施例还提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器存储有计算机程序，计算机程序被处理器执行时，执行上述微网群边缘调度与智能体轻量化裁剪方法的步骤。

本申请实施例还提供了一种计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时，执行上述微网群边缘调度与智能体轻量化裁剪方法的步骤。具体地，该存储介质可以为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述微网群边缘调度与智能体轻量化裁剪方法的实施例。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。