技术领域
本发明涉及综合能源系统运行优化领域，尤其涉及一种基于强化学习的综合能源系统多主体运行优化方法及装置。
背景技术
能源是人类生存与发展的基础，是社会进步的基本保障。近些年来，随着化石能源的不断消耗、世界用能需求的不断上升，如何高效的利用能源成为了一个非常重要的研究课题。因此，发掘新能源、提升已有能源的利用效率迫在眉睫。综合能源系统(IntegratedEnergy System,IES)是一种将多种能源混合利用、通过不同能源之间的协调互补进行供能的系统，它打破原有各供能系统单独规划、单独设计和独立运行的既有模式，进行社会能源系统的一体化规划设计和运行优化，能够提升各类能源的利用效率。综合能源系统中往往存在多个利益主体，各主体在满足供应需求的情况下，均可根据自身的利益目标灵活协调，这为分析各主体行为带来了一定困难。
在分析综合能源系统多主体博弈时，目前大部分学者常采用粒子群算法。然而该类启发式算法计算时间较长、分析博弈较慢，且容易收敛于局部最优点，单次优化不容易得到全局最优解。在实际工程应用中，较长的计算时间会使园区运营者制定的控制策略相对滞后，不利于柔性资源的充分挖掘与全系统的优化运行；系统运行于局部最优点时，各个主体的互动能力未被充分挖掘，其实际收益低于理论最优，同时也不利于网级层面的最优潮流计算。为解决此类问题，众多研究人员将人工智能算法引入多主体博弈并取得了一定的效果。
发明人在实现本发明的过程中，发现现有技术至少存在以下缺点和不足：
1、现有的启发式算法计算时间较长、分析博弈较慢，较长的计算时间会使园区运营者制定的控制策略相对滞后，不利于柔性资源的充分挖掘与全系统的优化运行；
2、现有技术未能充分考虑运营方、服务方和用户多方主体互动，各个主体的互动能力未被充分挖掘，实际收益低于理论最优；
3、现有技术容易收敛于局部最优点，单次优化不容易得到全局最优解，不利于网级层面的最优潮流计算。
发明内容
为了解决在求解园区运行时传统的粒子群等启发式算法导致的柔性资源未被充分挖掘、多方主体利益低下、不利于最优潮流计算等问题，本发明提供了一种基于强化学习的综合能源系统多主体运行优化方法及装置，详见下文描述：
第一方面，一种基于强化学习的综合能源系统多主体运行优化方法，所述方法包括：
构建园区综合能源系统多主体模型，将多主体模型的优化过程分为上层多主体博弈与下层设备调度优化，并采用“源-荷”双侧博弈互动；
基于Stackelberg博弈定义以排列组合的形式筛选Nash均衡点，并结合Nash-Q算法获取全时段的最优组合动作，即为当前典型日的最优策略；以各主体生产成本最小为目标函数使用CPLEX求解器求取各主体设备最优运行状态。
在一种实现方式中，所述基于Stackelberg博弈定义以排列组合的形式筛选Nash均衡点具体为：
应用强化学习中的强化信号去描述多主从博弈中纳什均衡点的实际物理意义，根据强化信号判断组合动作是否满足任一智能体的回报约束条件，若满足则该组合动作为一个Nash均衡解。
在一种实现方式中，所述结合Nash-Q算法获取全时段的最优组合动作，即为当前典型日的最优策略具体为：
1)对动作空间进行离散；
2)各智能体根据回报约束条件，去除不满足约束的动作组合，将满足约束的动作保留作为动作集；
3)计算动作集中所有组合动作下各智能体的收益，将收益数据存于表格中；
4)按照从智能体1至智能体n的顺序选中某一智能体，分别在其余未选中的所有智能体的所有组合动作下搜索选中智能体的最优动作，并删除本次选中的智能体的其余动作，只保留最优动作；
5)将现存的动作集中的组合动作保存，保存的组合动作即为全时段的最优策略。
第二方面，一种基于强化学习的综合能源系统多主体运行优化装置，所述装置包括：
构建模块，用于构建园区综合能源系统多主体模型；
划分与互动模块，用于将多主体模型的优化过程分为上层多主体博弈与下层设备调度优化，并采用“源-荷”双侧博弈互动；
筛选与求解模块，用于基于Stackelberg博弈定义以排列组合的形式筛选Nash均衡点，并结合Nash-Q算法获取全时段的最优组合动作，即为当前典型日的最优策略；
求取模块，用于以各主体生产成本最小为目标函数使用CPLEX求解器求取各主体设备最优运行状态。
第三方面，一种基于强化学习的综合能源系统多主体运行优化装置，所述装置包括：处理器和存储器，所述存储器中存储有程序指令，所述处理器调用存储器中存储的程序指令以使装置执行第一方面中的所述的方法步骤。
第四方面，一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时使所述处理器执行第一方面中的所述的方法步骤。
本发明提供的技术方案的有益效果是：
1)较之传统启发式算法，本发明所提综合能源系统多主体运行优化研究方法计算使用AI算法求解，能够利用历史数据进行学习，可以减少工程应用中的滞后时间；
2)较之传统综合能源系统模型，本发明所提综合能源系统多主体运行优化研究方法详细考虑了各主体的互动机制，提升了收益和系统的能源利用效率。
附图说明
图1为基于强化学习的综合能源系统多主体运行优化方法的流程图；
图2为综合能源系统多主体模型的示意图；
图3为上层多主体博弈模型的示意图；
图4为下层各设备调度优化模型的示意图；
图5为通过排列组合求解Nash均衡点的流程图；
图6为初始负荷曲线的示意图；
图7为可再生能源初始值的示意图；
图8为能源供应商博弈结果的示意图；
图9为服务商弈结果的示意图；
图10为用户弈结果的示意图；
图11为电能调度结果的示意图；
图12为热能调度结果的示意图；
图13为气能调度结果的示意图；
图14为基于强化学习的综合能源系统多主体运行优化装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。
为了充分考虑园区各主体互动机制，提升多主体博弈的求解效率和系统的用能效率，本发明实施例提供了一种基于强化学习的综合能源系统多主体运行优化方法。
下面结合具体的计算公式、附图、实例对本发明方案进行进一步地介绍，详见下文描述。一种基于强化学习的综合能源系统多主体运行优化方法，该方法包括以下步骤：
步骤101：构建园区综合能源系统多主体模型；
(1)园区综合能源系统
园区综合能源系统中往往包含多种能源供方和能量转换设备。本发明实施例建立了如图2所示的园区综合能源系统模型，其中，能源的供应方有电网公司、热源厂和能源供应商，电网公司只能提供电能，热源厂只能提供热能，能源供应商可以提供电、热、气三种能源。服务方有园区服务商，它负责从能源的供应方购买能源、有选择性的调用园区内部的各类设备并供给用户。园区服务商可以控制的设备有风力发电机组(Wind TurbineGenerator,WTG)光伏发电机组(Photovoltaic Generator,PG)、电转气设备(Power toGas,P2G)、热电联供机组(Combined Heat and Power generation,CHP)、燃气锅炉(GasBoiler,GB)。能源的使用方为用户，其包含电、热、气三种负荷。
当用户存在能源需求时，它只能从园区服务商处购买能源，同时，它会根据园区服务商的定价、自身的能源需求量、用户用能偏好等因素决定其具体的能源需求响应量。而园区服务商可以调整其对用户的能源价格，同时可以灵活选择不同的能源供方和不同的能量转化设备。能源供应商可以决定售卖给服务商的能源价格，服务商会根据能源供应商的定价决定购能量。
(2)能源供应商
能源供应商作为园区能源的一个供方，其主要工作为调配能源生产设备和与园区服务商进行各类能源的博弈互动。其利润为向园区服务商的售能收入与供能成本之差。
能源供应商的目标函数I
其中，
其中，b、a为满意度系数，其取值均为正，视具体情况选取；k∈{e,h,s}，e、h、s分别表示电、热、气；
(3)园区服务商
园区服务商是园区能源供方与用户之间的一个中介，它通过对各供方的选择、对各类能量的分配、对园区各设备的控制实现园区能源的最有效利用。园区服务商的收益为其向园区用户售能获得的利益与园区服务商综合成本之差。园区服务商的综合成本由对园区用户进行需求响应的补偿成本
其中，集合K＝{e,h,s}，e代表电能，h代表热能，s代表天然气；
其中，
其中，
其中，r表示环境治理的单位成本，
同时，园区服务商各设备功率需满足以下约束：
其中，F＝{CHP,GB,P2G,WTG,PVG}表示园区服务商各设备的集合，f表示当前设备且满足f∈F。
园区服务商的能量分配关系由下式表示：
其中，
(4)用户
园区用户包括电、气、热三类负荷，用户会综合考虑自身购能成本和舒适度函数决定其中断负荷的取值，用户的目标函数如下：
其中，ω
其中，
其中，y
步骤102：基于分层控制的园区综合能源系统多主体模型预处理；
(1)上层多主体博弈
传统的园区综合能源系统的源荷博弈是指园区中服务商和用户两个主体的博弈，即传统的负荷侧博弈，服务商直接从供能侧买能，不涉及源的博弈。但本文考虑了能源供应商和服务商的博弈，即源侧博弈。
为配合本发明所提算法，将整个园区多主体运行优化过程分为上层多主体博弈与下层设备调度优化两部分。上层多主体博弈求解流程如图3所示。
综合考虑能源供应商、园区服务商、园区用户的利益，相比于“荷”侧单侧需求响应，“源-荷”双侧博弈互动能更有效提高园区综合能源系统中各主体的经济收益，能够分析“源-荷”双侧博弈互动对园区综合能源系统运行经济性的影响。在上层博弈中，对能源供应商和园区服务商的目标函数进行调整。能源供应商的目标函数仅考虑供应商售能总收益与满意度成本之差最大，可控动作为供应商与服务商之间的电能、热能、天然气价格，不考虑供应商机组调度成本；园区服务商的目标函数仅考虑服务商售能总收益与满意度成本之差最大，可控动作为服务商与用户之间的能量价格实现，不考虑园区内能量转换设备产生的成本；用户的目标函数不变。三个主体的约束条件不变。
其中，上述双侧博弈(也就是上层多主体博弈)是指：源侧博弈(能源供应商和园区服务商)和荷侧博弈(园区服务商和用户)。
(2)下层设备调度优化
即：根据博弈的纳什均衡解，指定设备调度优化策略。使用博弈搜索法配合Nash-Q算法，即可得到一组T时段内最优的Nash均衡点，具体方案如下：
获得了T时段的Nash均衡点后，再根据Nash均衡点下的负荷情况与价格情况对能源供应商和园区服务商内部机组进行调度，下层设备调度优化求解流程如图4所示。
在下层优化中，仅有供应商与服务商两个主体，其目标函数均为自身综合生产成本最小，供应商的可控策略为供应商各机组出力，服务商可控策略为服务商各设备出力与购能功率，约束条件不变。
步骤103：基于Stackelberg博弈的Nash均衡点求解；
(1)基于强化学习的博弈求解原理
强化学习(Reinforcement Learning,RL)是一种常见的机器学习方法，它是智能体通过与环境进行交互获得奖赏作为强化信号指导智能体行为的一种方法，目标是使智能体获得最大的奖赏。
将园区各利益主体以智能体考虑，各智能体的奖赏不仅取决于自身选择的策略，还与其他智能体的策略有关。本发明中认为各智能体选择贪婪策略优先考虑自身利益。若对于任意智能体i均有：
其中，s代表状态，a代表动作，
(2)基于强化信号的博弈搜索法
强化信号指智能体和环境交互过程中获得的奖赏，即智能体进行某动作时获得的回报。为快速求解Nash均衡解，本发明提出了一种基于强化信号的博弈搜索法，该方法应用强化学习中的强化信号去描述多主从博弈中纳什均衡点的实际物理意义。在不同情况下，对所有的组合动作，本发明根据该智能体的强化信号判断此时的组合动作是否满足式(12)(即回报约束式)，如若满足则该组合动作为一个Nash均衡解。该方法的执行流程如图5所示。
该方法可以快速求解某一状态下的Nash均衡点，其执行步骤如下：
第一步：对动作空间进行离散；
第二步：各智能体根据约束条件，去除不满足约束的动作组合，将满足约束的动作留作为动作集；
第三步：计算动作集中所有组合动作下各智能体的收益，将收益数据存于表格中，并将该表格命名为R表；
第四步：按照从智能体1至智能体n的顺序选中某一智能体，分别在其余未选中过的所有智能体的所有组合动作下搜索选中智能体的最优动作，并删除本次选中的智能体的其余动作，只保留最优动作。选取最优动作的方法为选取表格R中回报值最大的动作。对于选中过的智能体，其动作集中仅有最优动作。
第五步：将现存的动作集中的组合动作保存，保存的组合动作即为该状态下的Nash均衡点。
步骤104：基于Nash-Q学习的多主体全时段最优策略获取；
Nash-Q算法是一种常用的求解多智能体博弈的人工智能算法，该算法的迭代公式如下：
其中，
步骤105：制定用于求解考虑多主体博弈的园区综合能源系统优化运行的通用方案。求取各主体最优设备出力，实现全系统Nash均衡下的最优调度。
以步骤103和步骤104求出的Nash均衡点为输入，使用CPLEX求解器，以生产成本最小为目标求取设备调度结果。
根据步骤104得出的结果调整各主体之间的互动策略，再根据步骤105得出的结果协调各主体内部设备出力，即可使园区综合能源系统运行于Nash均衡下的最优点。
较传统园区多主体博弈求解方案，本发明所提方案具有两点主要优势：
1、本发明所提博弈搜索法能够在不损失过多效益或不损失效益的情况下显著提升多主体博弈求解的速度，博弈搜索法的计算用时最短可达到传统粒子群算法的0.075％(详细数据见本发明实施例中表2)，其具体优势体现于：
(1)在实际园区中，可再生能源、用户负荷等往往具有一定的不确定性，而传统算法计算时间很长，其给出的策略往往具有很高的延时性。如使用博弈搜索法计算，更快的计算速度为园区跟随可再生能源、用户负荷的实时预测提供了条件，进而保障了园区运行策略的实时性，提升了园区的经济效益。
(2)电力系统中存在很多突发情况，例如：用户过负荷、线路短路、发电机故障等等，此类突发情况的处理时间最长仅在秒级。传统算法的计算时间过长，在遇到突发情况时其无法及时的给出控制策略，这会为整个园区带来较大的经济损失。如使用博弈搜索法，可以使电力系统在突发情况中仍较快的运行于最优点，提升整个园区的经济效益。
(3)电力系统中包含较多的感性元件，这使得电力系统往往具有较高的时滞，因此电力中心的调度过程往往需要一个小时甚至几个小时才能完成。博弈搜索法降低了电力系统博弈中的延迟时间，为电力系统快速调度提供了条件。
2、本发明所提分层控制方案，能够在不损失过多效益或不损失效益的情况下降低多主体博弈的维度，其具体优势体现于：
(1)配合Nash-Q算法和博弈搜索法，进一步提升多主体博弈求解速率，使电力系统在应对各类情况时更加从容。
(2)降低多主体博弈的维度可以节省更多的计算机空间，节省电力系统计算资源。
(3)减少了电力系统中需传输的信息，节省网络通道流量。
下面给出具体的实施例，以此验证上述方法的可行性，详见下文描述：
本发明实施例设立了T＝24h的园区综合能源多主体博弈模型，构建了如图2所示的园区综合能源系统模型，其中，能源供给方包括：电网、热源厂和能源供应商，服务方为园区服务商，用户包含冷、热、气三种负荷。园区服务商拥有热电联产机组、P2G设备、燃气锅炉、风力发电机组、光伏发电机组。本发明实施例设立电网购电价格110USD/MWh，热源厂购热价格100USD/MWh，电网公司过网费为10USD/MWh，负荷削减补偿成本为5USD/MWh；环境污染单位惩罚成本为3USD/MWh变压器效率设为0.95，P2G设备效率设为0.7，热电联产机组的电能生产效率为0.25、热能生产效率为0.65，燃气锅炉的生产效率设为0.9。初始负荷已在图6中给出。
本发明实施例设置能源供应商的电能出售价格不高于115USD/MWh、热能和气能出售价格均不高于110USD/MWh。对于园区服务商，其三种能源的定价都介于85USD/MWh和90USD/MWh之间。同时，本发明实施例考虑以风力、光伏发电的预测值作为风力发电机组与光伏发电机组每一时刻的最大值，其具体数值如图7所示。本次利用博弈搜索法和Nash-Q算法对整个博弈过程进行博弈求解，设置学习率α设为0.01，折扣因子β为0.9。
为真实反应园区情况，现对该算例上下层优化结果分别进行分析。
上层博弈结果分别如图8、图9和图10所示。
由图6和图10对比可知，每一时刻的用户负荷都有所削减，这是用户目标函数中购能成本函数与舒适度函数共同作用的结果；而对于图8和图9中能源供应商和园区服务商的定价曲线分析可得，它们总是趋向于在用户负荷较高的时刻选择更高的能源价格，这是因为在负荷较高的时刻提升能源价格带来的售能收益大于满意度函数中满意度的损失，例如在时间段8-12和18-21，电负荷功率较高，此时能源供应商和园区服务商均提升了其电能价格。而对于时间段1-5和22-24，用户的电负荷较低，此时降低价格从而降低满意度成本带来的收益更高。
下层优化中电、热、气设备的调度结果分别如图11、图12和图13所示。
图11中，风电与光电几乎按照预测值进行投入，这是因为本算例中风电与光电的生产成本很小且不用缴纳环境污染治理费用；在风电与光电不能满足电负荷需求时，优先通过电网购电、供应商购电的方式供给负荷，图中的购电功率表示这两种购电方式的购电量之和；有时也会通过CHP机组提供电负荷，例如在时刻6、13、17等，这是因为这些时刻不仅有一定的电功率缺额还具有一定的热功率缺额，在这样的情况下才会调动CHP机组。
图12中，园区服务商具有从热网和从供应商购热两种形式，选择哪种形式进行购热取决于当前时段供应商热价与电网热价的相对大小；燃气锅炉GB的投入取决于能源供应商的气价，当通过燃气的形式产生热能对于服务商而言收益为正时，服务商会选择动用燃气锅炉；CHP机组的情况已经做过分析，不在赘述。
图13中，所有气负荷都通过直接从供应商购买的形式满足，这是因为P2G设备的效率设为0.7，其经济性较差，在算例中通过其他形式可以满足气负荷，因此P2G设备未被使用。如将第十个小时的气负荷数值更改为原始值的三倍，P2G功率为2.06MW。
为凸显考虑博弈的优势，现对园区进行分场景分析：
场景1：能源供应商、园区服务商与用户之间进行电、热、气的多主体博弈互动，用户考虑需求响应；
场景2：能源供应商、园区服务商与用户之间仅进行电和热的博弈过程，所有气价固定，用户考虑需求响应；
场景3：能源供应商、园区服务商与用户之间仅进行电的博弈过程，所有热价与气价固定，用户考虑需求响应；
场景4：不进行博弈，所有价格均固定，用户考虑需求响应。
表1中给出了不同场景下的收益结果，当参与博弈的能源种类越多时，服务商和供应商的收益也随之上升，证实了多主体博弈的有效性。
表1不同场景下服务商与供应商收益表
为了验证博弈搜索法的快速性与正确性，现将博弈搜索法与粒子群算法进行对比，计算场景一的结果，如表2所示。表格中第一列中的数字表示博弈搜索法的离散等级，50表示采用博弈搜索法且离散等级选为50，80表示采用博弈搜索法且离散等级选为80，以此类推。粒子群算法的种群个数为50，最大迭代次数为80。
表2场景一下博弈搜索法与粒子群算法对比结果
由表2可以得出，博弈搜索法的计算速度有明显提升，计算结果变化不大。
基于同一发明构思，作为上述方法的实现，参见图14，本发明实施例还提供了一种基于强化学习的综合能源系统多主体运行优化装置，该装置包括：
构建模块1，用于构建园区综合能源系统多主体模型；
划分与互动模块2，用于将多主体模型的优化过程分为上层多主体博弈与下层设备调度优化，并采用“源-荷”双侧博弈互动；
筛选与求解模块3，用于基于Stackelberg博弈定义以排列组合的形式筛选Nash均衡点，并结合Nash-Q算法获取最优保存的组合动作即为当前状态下的Nash均衡点；
求取模块4，用于以各主体生产成本最小为目标函数使用CPLEX求解器求取各主体设备最优运行状态。
这里需要指出的是，以上实施例中的装置描述是与上述方法实施例描述相对应的，本发明实施例在此不做赘述。
上述各个模块、单元的执行主体可以是计算机、单片机、微控制器等具有计算功能的器件，具体实现时，本发明实施例对执行主体不做限制，根据实际应用中的需要进行选择。
基于同一发明构思，本发明实施例还提供了一种基于强化学习的综合能源系统多主体运行优化装置，该装置包括：处理器和存储器，存储器中存储有程序指令，处理器调用存储器中存储的程序指令以使装置执行实施例中的以下方法步骤：
构建园区综合能源系统多主体模型，将多主体模型的优化过程分为上层多主体博弈与下层设备调度优化，并采用“源-荷”双侧博弈互动；
基于Stackelberg博弈定义以排列组合的形式筛选Nash均衡点，并结合Nash-Q算法获取最优保存的组合动作即为当前状态下的Nash均衡点；
以各主体生产成本最小为目标函数使用CPLEX求解器求取各主体设备最优运行状态。
其中，结合Nash-Q算法获取最优保存的组合动作即为当前状态下的Nash均衡点具体为：
1)对动作空间进行离散；
2)各智能体根据回报约束条件，去除不满足约束的动作组合，将满足约束的动作保留作为动作集；
3)计算动作集中所有组合动作下各智能体的收益，将收益数据存于表格中；
4)按照从智能体1至智能体n的顺序选中某一智能体，分别在其余未选中的所有智能体的所有组合动作下搜索选中智能体的最优动作，并删除本次选中的智能体的其余动作，只保留最优动作；
5)将现存的动作集中的组合动作保存，保存的组合动作即为全时段的最优策略。
这里需要指出的是，以上实施例中的装置描述是与实施例中的方法描述相对应的，本发明实施例在此不做赘述。
上述的处理器和存储器的执行主体可以是计算机、单片机、微控制器等具有计算功能的器件，具体实现时，本发明实施例对执行主体不做限制，根据实际应用中的需要进行选择。
存储器和处理器之间通过总线传输数据信号，本发明实施例对此不做赘述。
基于同一发明构思，本发明实施例还提供了一种计算机可读存储介质，存储介质包括存储的程序，在程序运行时控制存储介质所在的设备执行上述实施例中的方法步骤。
该计算机可读存储介质包括但不限于快闪存储器、硬盘、固态硬盘等。
这里需要指出的是，以上实施例中的可读存储介质描述是与实施例中的方法描述相对应的，本发明实施例在此不做赘述。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例的流程或功能。
计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者通过计算机可读存储介质进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质或者半导体介质等。
本发明实施例对各器件的型号除做特殊说明的以外，其他器件的型号不做限制，只要能完成上述功能的器件均可。
本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
机译： 用于在计算机上运行基于行为的多主体计算系统，基于行为的多主体计算系统，计算机可读介质和可读介质计算机上的计算机程序的计算机实现的方法
机译： 考虑区域供热网络和建筑物热惯性的综合能源系统运行优化方法
机译： 基于热网和家庭热惯性的综合能源系统优化方法
