一种基于SAC算法的混合能源系统在线调度方法

摘要

本发明公开了一种基于SAC算法的混合能源系统在线调度方法，在不确定环境下，将风‑光‑抽水蓄能‑碳捕获混合能源系统互联运行，由于风力发电、光伏发电以及负荷需求的波动性、随机性，通过合理调度抽水蓄能电站的有功功率和碳捕获系统的功率来平衡不确定性波动，同时以最大碳捕获量为目标，最后采用一种基于最大熵强化学习框架的离线学习策略SAC算法，通过SAC算法训练智能体获取最优调度策略，达到最大碳捕获的目的。

说明书

技术领域

本发明属于电力技术领域，更为具体地讲，涉及一种基于SAC算法的混合能源系统在线调度方法。

背景技术

目前能源消费结构依然以化石燃料为主体，造成大量温室气体排放。这是导致全球变暖的主要原因。为了应对日益严峻的气候变化，全世界178个缔约方签署了巴黎协定，国际会议提出了不同的发展路径，其中低碳经济(low carbon economy,LCE)已成为许多国家的共识。从2020年到2030年，可再生能源的电力需求将增长三分之二，约占全球电力需求增长的80％。全球的可再生能源市场发展迅猛，且饱含巨大的潜力。

我国一直以发展低成本且清洁的可再生能源为能源转型的目标。为了促进 LCE计划的实现，我国还制定并实施了节能减排的相关措施。在过去十年中，风力发电(WP)和太阳能发电能力迅速增长。到2020年底，WP和太阳能的全球装机容量分别飙升至742.69GW和716.15GW。

尽管研究了多种方法提高化石燃料的转换效率，减少化石能源消耗，在目前条件下仍然难以实现碳零排放。为实现“30.60双碳目标”，第一步是要加大可再生能源的开发利用，如风电、光伏、生物质能等，减少CO2排放量。第二是最近研究火热的碳捕获技术，这是能够短期内持续有效减少CO2的技术之一。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于SAC算法的混合能源系统在线调度方法，考虑了风机、光伏发电量以及负荷需求的波动性和不确定性，通过合理调用抽水蓄能电站的有功功率平衡可再生能源发电的波动，并以碳捕获量最大的最优调度方法。

为实现上述发明目的，本发明一种基于SAC算法的混合能源系统在线调度方法，其特征在于，包括以下步骤：

(1)、采集风力发电厂WT的历史发电数据，记为P

(2)、构建抽水蓄能电站PSH的出力模型；

其中，P

(3)、构建风-光-抽水蓄能-碳捕获混合能源系统的在线调度目标函数及约束条件；

目标函数为：

其中，T为优化运行周期，f

P

当P

约束条件为：

其中，

(4)、搭建并训练基于SAC算法(Soft Actor Critic,SAC)的风-光-抽水蓄能-碳捕获混合能源系统在线调度模型；

(4.1)、将一个运行周期内的风-光-抽水蓄能-碳捕获混合能源系统的在线调度目标函数及约束条件转化为包含状态集合S、动作集合A和奖励函数r的无约束的马尔可夫决策过程；

其中，S包含决策过程所有状态，t时刻的状态s

(4.2)、将风-光-抽水蓄能-碳捕获混合能源系统的含约束优化问题转化为无约束问题；

r

(4.3)、构建SAC算法所需的五个神经网络；

构建一个策略网络，记为φ，用于实现输入状态s

构建一个状态值网络，一个目标状态值网络，记为

构建一个两个状态动作值网络，记为θ

(4.4)、设置基于SAC算法的风-光-抽水蓄能-碳捕获混合系统在线调度模型的总迭代次数N和马尔可夫过程的迭代步数T；设置记忆库，记其容量为D，并初始化为空；初始化所有神经网络的参数集合，初始化n＝1，初始化学习率α，初始化计数器m；

(4.5)、初始化风-光-抽水蓄能-碳捕获混合系统，令t＝1并获取当前状态s

(4.6)、判断t是否小于T，若t＜T，则进入步骤(4.7)，反之，则进入步骤 (4.17)；

(4.7)、将s

(4.8)、根据输出动作a

(4.9)、构建元组信息{s

(4.10)、判断m是否大于D，若是，则进入步骤(4.11)；反之，则进入步骤(4.16)；

(4.11)、更新基于最大熵的随机策略π；

其中，α是温度参数，T表示时间尺度，H(π(·|s

(4.12)、更新状态值网络ψ，并计算最小化残差平方J(ψ)；

▽

其中，V

(4.13)、更新状态动作值网络θ，并计算最小化软贝曼残差J

其中，

(4.14)、更新策略网络φ，并计算最小化KL散度；

其中，ε

(4.15)、更新网络

其中，τ为更新系数；

(4.16)、更新当前状态，赋值t＝t+1且s

(4.17)、令n＝n+1，再判断n是否大于N，如果是，则进入步骤(4.18)；反之，则进入步骤(4.5)；

(4.18)、迭代停止，并输出神经网络参数集合，从而得到风-光-抽水蓄能- 碳捕获混合系统在线调度模型；

(5)、实时采集风电出力数据

本发明的发明目的是这样实现的：

本发明基于SAC算法的混合能源系统在线调度方法，在不确定环境下，将风-光-抽水蓄能-碳捕获混合能源系统互联运行，由于风力发电、光伏发电以及负荷需求的波动性、随机性，通过合理调度抽水蓄能电站的有功功率和碳捕获系统的功率来平衡不确定性波动，同时以最大碳捕获量为目标，最后采用一种基于最大熵强化学习框架的离线学习策略SAC算法，通过SAC算法训练智能体获取最优调度策略，达到最大碳捕获的目的。

同时，本发明基于SAC算法的混合能源系统在线调度方法还具有以下有益效果：

(1)、在非用电高峰时期，风电和光伏富余电量用于碳捕获，此举为风能、太阳能等可再生能源等电力资源的高效利用提供了新的途径。

(2)、本发明采用碳捕获技术不仅可以减少弃风、弃光，还可以有效减少系统的碳排放和不必要的能量损失，这样经济效益和低碳运营得到改善，同时也反映多能源系统互联的优势。

附图说明

图1是风光储-碳捕获系统混合能源系统的一种具体实施方式架构图；

图2是马尔可夫决策过程；

图3是数据模型的训练框图以及神经网络架构；

图4是SAC算法应用于风-光-抽水蓄能-碳捕获系统的训练图；

图5是风电、光伏发电以及负荷的测试数据集；

图6是抽水蓄能和碳捕获系统的调度优化结果；

图7是混合能源系统中风-光-抽水蓄能-碳捕获-负荷的功率；

图8是混合能源系统同电网PCC的交互功率；

图9是基于SAC算法优化的碳捕获系统的碳捕获量；

图10是同等环境下与其他方法的优化对比图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

实施例

图1是风光储-碳捕获系统混合能源系统的一种具体实施方式架构图。

在本实施例中，一种基于SAC算法的混合能源系统在线调度方法，包括以下步骤：

S1、采集风力发电厂WT的历史发电数据，记为P

S2、构建抽水蓄能电站PSH的出力模型；

其中，P

S3、构建风-光-抽水蓄能-碳捕获混合能源系统的在线调度目标函数及约束条件；

目标函数为：

其中，T为优化运行周期，f

P

当P

约束条件为：

其中，

S4、搭建并训练基于SAC算法(Soft Actor Critic,SAC)的风-光-抽水蓄能- 碳捕获混合能源系统在线调度模型，如图1所示；

S4.1、将一个运行周期内的风-光-抽水蓄能-碳捕获混合能源系统的在线调度目标函数及约束条件转化为包含状态集合S、动作集合A和奖励函数r的无约束的马尔可夫决策过程；

其中，S包含决策过程所有状态，t时刻的状态s

S4.2、将风-光-抽水蓄能-碳捕获混合能源系统的含约束优化问题转化为无约束问题；

r

S4.3、构建SAC算法所需的五个神经网络；

构建一个策略网络，记为φ，用于实现输入状态s

构建一个状态值网络，一个目标状态值网络，记为

构建一个两个状态动作值网络，记为θ

S4.4、设置基于SAC算法的风-光-抽水蓄能-碳捕获混合系统在线调度模型的总迭代次数N和马尔可夫过程的迭代步数T；设置记忆库，记其容量为D，并初始化为空；初始化所有神经网络的参数集合，初始化n＝1，初始化学习率α，初始化计数器m；

S4.5、初始化风-光-抽水蓄能-碳捕获混合系统，令t＝1并获取当前状态s

S4.6、判断t是否小于T，若t＜T，则进入步骤S4.7，反之，则进入步骤S4.17；

S4.7、将s

S4.8、根据输出动作a

S4.9、构建元组信息{s

S4.10、判断m是否大于D，若是，则进入步骤S4.11；反之，则进入步骤 S4.16；

S4.11、更新基于最大熵的随机策略π；

其中，α是温度参数，T表示时间尺度，H(π(·|s

S4.12、更新状态值网络ψ，并计算最小化残差平方J(ψ)；

▽

其中，V

S4.13、更新状态动作值网络θ，并计算最小化软贝曼残差J

其中，

S4.14、更新策略网络φ，并计算最小化KL散度；

其中，ε

S4.15、更新网络

其中，τ为更新系数；

S4.16、更新当前状态，赋值t＝t+1且s

S4.17、令n＝n+1，再判断n是否大于N，如果是，则进入步骤S4.18；反之，则进入步骤S4.5；

S4.18、迭代停止，并输出神经网络参数集合，从而得到风-光-抽水蓄能-碳捕获混合系统在线调度模型；

S5、实时采集风电出力数据

在实施的例子中，如图2所示，马尔可夫决策过程是当前时刻的状态只与上一时刻状态相关。本发明要解决的是非线性高维度的复杂问题，为了简化这个问题，基于马尔可夫决策过程解决问题的思路，本发明采用了一种数据模型训练求解最优策略的方法，如图3。

人工智能(AI)和数据驱动技术的结合正在深刻影响和改变全球电力和能源行业，并在智能电网中发挥巨大潜力。人工智能关注个体在与动态随机环境交互过程中的累积回报。在电力系统中，奖励值可以表示为系统的运行指标，如最大碳捕获量和最大经济收益等。随着AlphaGo的出现，以深度强化学习算法为代表的人工智能算法发展更进了一步，深度强化学习算法基于马尔可夫决策过程解决问题的思路，为求取最优策略对智能体进行反复训练，在达到一定训练次数以后，面对任意随机的环境智能体都能输出获取最大奖励值的动作值。目前，人工智能算法广泛应用于智能电网中的高维非线性优化问题，并取得了可喜的成果。因此，本发明提出将人工智能算法应用于碳捕获问题。由于电价、风电、光伏发电以及负荷的不确定性，在满足负荷需求的前提下，将剩余的电量参与碳捕获系统。本发明中，以一天24小时为调度周期，时间间隔为一小时。该仿真在已有的真实数据集中随机抽取一天24小时的数据，将其分为24次循环对应一天的时间周期，本研究基于某个地区的365天的数据作为训练集。以此建立一个基于场景的随机优化模型，以系统的有功率平衡为基础，最大化碳捕获量为经济性指标进行优化，最终得到基于风-光-抽水蓄能-碳捕获混合系统的最优调度策略。

表1可再生能源参数配置

基于上述混合能源系统模型进行仿真，将非高峰时期的低价电能储存，通过SAC算法生成的有功调度策略来进行经济性优化，表1是混合能源系统配置。碳捕获系统的参数如表2所示。

表2碳捕获系统参数配置

表3 SAC算法的参数设置

在本实施例中，奖励值函数按照F进行计算，并依据表3对SAC算法进行参数设置，用来完成最大碳捕获量的目标，训练过程如图4所示。该曲线直观表现了智能体训练过程的学习趋势。智能体在和环境交互大约2000次以后，就收敛到区间[-13-11.5]。

然后，根据前面训练好的智能体，将为混合能源系统提供最优调度策略，以完成碳捕获最大化问题。从实际的电厂数据中，随机选择一天24小时的风电、光伏发电和负荷需求的数据集作为测试，如图5所示。再加入抽水蓄能对混合能源系统进行调控后，优化结果如图6所示。可以看出，可再生能源出力大的时候碳捕获系统的转化量就多。正方形节点的线条代表抽水蓄能电站的出力情况，叉号节点的线条代表碳捕获系统的使用功率，而圆形节点的线条则代表PCC, 可以看出加入抽水蓄能电站后混合能源系统和电网之间的功率交互很少。

混合能源系统中所有的发电系统和负荷结合在一起如图7所示，其中第一层柱状图(从下往上)表示风力发电功率，第二层柱状图表示光伏发电功率，第三层柱状图表示抽水蓄能电站功率，圆形节点的线条表示碳捕获系统消耗的功率，正方形节点的线条表示负荷需求。由圆形节点线条可以看出，当发电机刚好满足负荷时，碳捕获系统就不消耗功率，而发电量和负荷差值越大，碳捕获系统消耗的电量也就越大。在SAC算法优化下，碳捕获系统消耗功率在范围 0-0.45。

满足负荷需求的同时，同电网PCC交互功率越少越好。如图8所示，基本实现风光消纳的前提，且碳捕获量最大(见图9)。从图8可以看出可以直观看出，风电、光伏、抽水蓄能、碳捕获、负荷需求之间的偏差在0.03以内，碳捕获量为0-0.11t.

为进一步体现本方法在解决碳捕获问题时的优越性，本实施例决定用SP算法和输出不连续动作的DQN算法进行对比，表4是对这两种方法的参数设置。

表4.SP和DQN算法的参数设置

三种算法的抽水蓄能出力功率很接近，但还是有明显的差别。SAC算法的抽水蓄能出力是高于SP和DQN两种算法的，SAC算法优化后碳捕获量最多，其次是DQN，最后是SP。如图10所示，在同样的环境下，引入随机规划(SP) 和深度Q网络(DQN)进行了比较分析。SP优化后的最大碳捕获量为0-0.05t，而DQN优化结果为0-0.07t,SAC的最大碳捕获结果为0-0.11t。综上所述，对于高维复杂非线性的碳捕获问题，SAC优化效果明显优于DQN和SP，本发明所提出的解决方法能够解决最大碳捕获问题。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。