实时电价机制下基于复合两端采样强化学习的区域供冷系统需求响应运行控制

摘要

为推动电力系统实现碳中和,我国近年来风、光等新能源发电装机规模不断增加.由于风、光等新能源具有强间歇性和高度不确定性,电力系统供需实时平衡的难度不断增大.通过分时电价或实时电价政策,引导需求侧灵活负荷与新能源发电协同(即需求响应)是未来保证高比例新能源有效消纳的重要技术路径.空调负荷是城市用电负荷占比最高的单一类型负荷之一(在我国部分城市夏季高峰负荷中占比超过50%),且可利用建筑热惯性提供较好的调控能力,是近年来需求响应领域研究的热点.针对未来电力市场实时电价机制场景,本文研究大型区域供冷系统中的冰蓄冷需求响应优化控制技术,提出了基于复合两端采样机制的强化学习方法,实现对冰蓄冷系统的优化调度与控制,可以有效应对来自用户用冷需求和市场实时电价的双重不确定性.首先,针对实时电价下区域供冷系统运行控制问题的特性,构建马尔可夫决策过程.其次,采用非模型的强化学习算法对马尔可夫决策过程进行求解,并针对传统强化学习算法中均匀随机采样导致的学习效率低下的问题,利用结合立即回报和时序误差的复合两端采样机制,提高控制器的训练效率和收敛性能.最后,基于真实系统仿真模型开展实验,验证了本文所提需求响应优化控制方法的有效性.