基于改进极端学习机方法的电力系统短期负荷预测方法

摘要

本发明公开了一种基于改进极端学习机方法的电力系统短期负荷预测方法，以极端学习机(ELM)作为预测模型基本结构，提出BFGS(Broyden，Fletcher，Goldfarb，Shanno)拟牛顿方法对网络左侧权值进行优化训练调整，解析获得右侧权值参数的迭代－解析学习算法，创建了基于改进极端学习机(IELM)方法的短期负荷预测模型，提出极端学习机网络参考隐节点数概念，对隐节点数目与样本数目相同的等维极端学习机网络进行训练，再对该等维网络右权值向量的模值进行有序聚类，找出相应的多个模值分割点，并将其作为预测网络的参考隐节点数，在预测精度和速度方面比现有方法都有了大幅提高。

说明书

技术领域

本发明属于电力系统短期负荷预测的方法，具体涉及一种基于改进极端学习机理论的电力系统短期负荷预测模型。

背景技术

对于电力系统短期负荷预测的模型，国内外学者作了大量研究，其主要模型有：基于时间序列、回归分析的传统预测模型；基于人工神经网络、小波分析、专家系统等人工智能理论的现代预测模型。

基于时间序列法的短期负荷预测模型是将负荷变化处理成一个随时间变化的序列，找出历史负荷数据序列中的变化规律，然后将它外推来进行负荷预测。常用的模型有自回归模型、移动平均模型、自回归移动平均模型和累积式自回归移动平均模型等，在这类预测模型中，如何正确地选择模型种类和确定其中的参数是非常重要和比较困难的。

回归分析预测模型是假定待预测负荷同一个或多个影响因素存在相关关系并寻找两者间相关关系的方法，预测模型目前大多采用多元线性回归模型，对各个模型输入变量的选取是该方法成功的关键，并且各个模型具有很好的可解释性。

传统方法的主要缺点在于，这些方法多是线性模型，很难描述负荷和影响因素之间的非线性关系；而且模型过于僵硬，缺乏灵活性，模型参数难以及时、准确的估计和调整，限制了预测精度的提高。

小波分析是20世纪数学研究成果中最杰出的代表之一。它是一种时域—频域分析方法，在时域和频域上同时具有良好的局部化性质，非常适合于负荷预测领域，但目前的应用还不成熟。

专家系统预测模型是基于知识建立起来的计算机系统，它拥有短期负荷预测领域内专家们的知识和经验，能像专家们那样运用这些知识，通过推理作出决策。但是，知识获取的“瓶颈”问题限制了专家系统预测模型的预测精度和不同地区的通用性。

人工神经网络是通过借鉴人脑对信息的处理过程而创立的一种数学方法，给定样本集的输入输出，神经网络就能够自动得到两者间的映射关系，并将得到的关系存储到它的参数中。正是由于神经网络良好的学习能力和便于处理负荷及其影响因素之间复杂非线性关系的特点，使得其在短期负荷预测理论与方法的研究中得到了高度关注与广泛应用。

基于人工神经网络的短期负荷预测模型大多采用前向单隐层结构，模型参数通过误差反向传播(BP)算法或其改进算法进行训练。预测模型所使用的训练样本包括输入变量和输出变量，输入变量主要由四部分组成：负荷变量、温度变量、日期变量和节假日变量，输出变量为预测日的实际负荷值。在形成训练样本之后，每次训练都将输入变量输入神经网络，将网络输出负荷值和样本实际负荷值对比，得到的负荷误差值反馈给神经网络本身，并采取BP算法修正权值参数，使得下次网络的输出负荷值和实际负荷值误差减小，如此反复直到误差足够小为止。

训练完毕后，再将待预测日输入变量输入训练好的神经网络，网络输出值作为最终负荷预测值。

基于人工神经网络的短期负荷预测模型，其结构参数和训练方法是预测模型是否具有推广能力的关键及难点，虽然对其进行了大量研究，并取得了大批成果，但仍存在以下缺陷：

1)BP算法学习速率η难以选取。η取得过大，训练过程将不稳定或难以收敛；η取得过小，训练时间可能大大增加；

2)当η过小，迭代过程还可能陷入局部极值的“小坑”而无法到达全局最优点，不仅浪费训练时间，推广能力也很差；

3)网络结构中的隐节点数直接影响到网络预测模型的学习能力与泛化推广能力，然而，目前神经网络训练尚未提出行之有效的方法来给出合理的隐节点数目。

现有的人工神经网络预测模型，一方面，由于神经网络自身学习训练需要对所有权值参数迭代调整，网络优化过程总停留在高维空间进行，寻优计算的复杂度加大，训练时间过长，而且容易陷入局部最优点；另一方面，网络模型的隐节点参数尚未提出较为合理的选取办法，限制了预测精度的提高。

发明内容

本发明的目的在于提供一种能够有效提高短期负荷预测的精度与速度的基于改进极端学习机方法的电力系统短期负荷预测方法，通过引入基于迭代-解析算法的改进极端学习机这一新型的网络预测模型，加快学习训练时间，避免陷入局部最优点，并且提出了参考隐节点数目思想优化网络结构参数，使得负荷预测精度与速度同现有预测模型相比都得到了大幅提高。

为达到上述目的，本发明采用的技术方案是：

本发明以极端学习机作为预测模型基本结构，提出BFGS(Broyden，Fletcher，Goldfarb，Shanno)拟牛顿方法对网络左侧权值进行优化训练调整，解析获得右侧权值参数的迭代-解析学习算法，创建了基于改进极端学习机(IELM)方法的短期负荷预测模型，提出极端学习机网络参考隐节点数概念，对隐节点数目与样本数目相同的等维极端学习机网络进行训练，再对该等维网络右权值向量的模值进行有序聚类，找出相应的多个模值分割点，并将其作为预测网络的参考隐节点数，在预测精度和速度方面比现有方法都有了大幅提高。

附图说明

图1是极端学习机的网络结构图；

图2是ELM的流程图；

图3是本发明的极端学习机的网络结构图；

图4是Sigmoid函数图，其中横坐标为Sigmoid函数输入量，纵坐标为函数输出量；

图5是本发明的整体流程图。

具体实施方式

下面结合附图及算例对本发明作进一步详细说明。

参见图5，读取历史样本数据：读取电力部门提供的待预测日前2年的负荷数据、星期类型及温度数据为历史样本数据；

在历史数据中一般包含有历史负荷数据和温度数据，这两类数据之间相差一个或几个数量级。为了使不同数量级的数据具有可比性，同时避免计算溢出，在进行计算之前首先对数据进行归一化处理。

为了使改进极端学习机网络的训练过程易于收敛，通常都对其输入和输出量进行规格化处理，使得它们的值在[0，1]区间内，设x_t、y_t分别为预测网络输入、输出归一化负荷值，则

$x_t=\frac{P_{\mathrm{dt}0}-0.9P_{t\min }}{1.1P_{t\max }-0.9P_{t\min }},$t＝1，2，…，24              (4-7)

$y_t=\frac{P_{d\prime t0}-0.9P_{t\min }}{1.1P_{t\max }-0.9P_{t\min }},$t＝1，2，…，24              (4-8)

其中，P_tmax和P_tmin分别为全部样本中在t时刻负荷的最大值和最小值，P_dt为时刻t输入真实负荷值，P_d′t为时刻t输出真实负荷值；

对负荷数据的归一化处理如式(4-7)、(4-8)所示，温度数据的归一化如下：

${\tilde{T}}_d=\frac{{\underset{‾}{T}}_d}{{\mathrm{Coe}}_T}$

其中，Coe_T为温度归一化常数取30℃；T_d为d日实际温度值，为归一化后的温度值；

极端学习机理论

极端学习机是新加坡南洋理工大学黄广斌博士提出的一种用于神经网络训练的快速算法。该算法首先对一般前向单隐层人工神经网络左侧权值及隐层神经元域值随机给定，从而将网络权值参数训练问题转化为不相容线性方程组的求解问题，然后依据矩阵理论中摩尔—彭罗斯广义逆矩阵理论，利用解析方法求得该方程组具有最小范数的最小二乘解作为学习机网络的右侧权值参数，完成网络的整个训练过程，巧妙地克服了传统人工神经网络预测模型训练时间长、易于过拟合以及陷入局部最优等问题。

摩尔-彭罗斯广义逆

线性代数中，矩阵求逆大多是针对方阵而言，若一个方阵不是奇异矩阵，它就有逆矩阵。实际上，对于行列数不等的矩阵，也有逆矩阵，称之为广义逆矩阵，其中的摩尔-彭罗斯广义逆矩阵，简称为M-P广义逆。这种矩阵在求解线性方程组问题时有特殊用途。本发明的极端学习机方法正是来源于这种理论的延伸。

定义5-1：摩尔-彭罗斯广义逆：

矩阵G_n×m是矩阵A_m×n的摩尔-彭罗斯广义逆矩阵，当且仅当：

AGA＝A，GAG＝G，(AG)^H＝AG，(GA)^H＝GA(式中()^H是转置符号)    (5-1)

为方便起见，将矩阵A的摩尔-彭罗斯广义逆记为A⁺。上式中四个方程也被称作彭罗斯方程。下文将论述摩尔-彭罗斯广义逆存在的条件、性质、求解方法，进而得出它完全适用于求解本文模型参数的结论。其中论述摩尔-彭罗斯广义逆存在的条件时，要用到奇异值分解的理论，论述摩尔-彭罗斯广义逆的计算方法时，要借助于满秩分解的理论。

定义5-2：矩阵的奇异值：

设$A\in C_r^{m\times n}(r>0),$AA^H的特征值为λ₁≥λ₂≥…≥λ_r>λ_r+1＝…＝λ_n＝0，则称

${\sigma }_i=\sqrt{{\lambda }_i}(i=\mathrm{1,2},···,n)$为A的奇异值；当A为零矩阵时，奇异值均为0。

显而易见，矩阵A的奇异值个数等于A的列数，A的非零奇异值的个数等于rankA。

定理5-1：设$A\in C_r^{m\times n}(r>0),$则存在m阶酉矩阵U和n阶酉矩阵V，使得：

$U^H\mathrm{AV}=\left(\begin{array}{cc}\Sigma & 0\\ 0& 0\end{array}\right)$

式中：

$\Sigma =\mathrm{diag}({\sigma }_1,{\sigma }_2,···,{\sigma }_r),$σ_i(i＝1，2，…，r)为矩阵A的全部非零奇异值。

这条定理给出了矩阵可以进行奇异值分解的条件，奇异值分解在最优化问题、特征值问题、最小二乘问题、广义逆问题和统计学中有重要应用，本文中的广义逆计算中要用到这条定理。

定理5-2：对任意$A\in C_r^{m\times n},$A⁺存在且唯一。

该定理保证了下文引入M-P广义逆进行网络参数求解时，具有可行性和确定性。

考虑非齐次线性方程组：Ax＝y

式中：A∈C^m×n，b∈C^m，x∈Cⁿ为待定向量。

如果存在向量x使得上式成立，则称方程组相容，否则称方程组不相容或矛盾。如果方程组相容，则可求出其通解，此时解可能有无穷个，这里面就有范数极小的解；如果方程组不相容，则不存在通常意义下的解，但此时由于实际问题的需要，往往去寻求其最小二乘解，这种解通常也不是唯一的，也存在范数最小的解。下文提到的神经网络训练过程，所涉及的线性方程组一般是不相容方程组，因此就可以去寻求最小范数最小二乘解作为要训练的参数。

定义5-3：对于广义线性系统Ax＝y，若有：

$\left|\right|A\hat{x}=y\left|\right|=\underset{x}{\min }\left|\right|\mathrm{Ax}=y\left|\right|---(5-2)$

则称为该线性问题的最小二乘解。‖‖表示在欧式空间中求范数。最小二乘解在计算方法中是个很重要的概念，它是通过寻找和已知点距离最近的一个点作为其解，在多元方程求解、曲线拟合等众多领域有应用。

定义5-4：x₀称为线性系统Ax＝y的最小范数最小二乘解，当且仅当：

对任意A∈C^m×n，x∈Cⁿ，都有

‖x₀‖≤‖x‖，$\forall x\in \{x:\left|\right|\mathrm{Ax}=y\left|\right|\le \left|\right|\mathrm{Az}=y\left|\right|,\forall z\in R^n\}---(5-3)$

意即：x₀是该线性系统的最小二乘解中具有最小范数的那一个解。向量的范数用于度量向量的“长度”，而一个“长度”最小的向量往往会有一些独特的性质，下文也将提到，神经网络中权值向量的范数会影响网络的性能，这也正是本文的ELM方法要寻求具有这种特性的权值的原因。

虽然最小二乘解一般不唯一，但是最小范数最小二乘解却是唯一的，并且它可由摩尔-彭罗斯广义逆表示。

定理5-3：存在一个矩阵G，使得Gy是线性系统Ax＝y的最小范数最小二乘解的充要条件是：

G＝A⁺                (5-4)

定义5-1~定义5-4是为引出定理5-3做准备的，这条定理给出了线性系统的一类具有两条特性的解Gy，下文将会看到，描述神经网络的方程组在适当处理后，就可以转化为Ax＝y的形式，其中x代表神经网络的待求权值，再依据本定理，就能很容易的计算出来，而不必采用传统的依靠不断迭代修正的办法得到这些权值，从而大大节省了训练时间。

M-P广义逆的计算方法：

定义5-5：设$A\in C_r^{m\times n}(r>0),$如果存在矩阵$F\in C_r^{m\times r}$和$G\in C_r^{m\times n},$使得

A＝FG                       (5-5)

则称式(5-5)为矩阵A的满秩分解。

定理5-4：设$A\in C_r^{m\times n}(r>0),$则A有满秩分解^[21]。

定理5-4提示我们，通过矩阵的初等行变换的办法，即可求出矩阵的满秩分解。

定理5-5：设$A\in C_r^{m\times n}(r>0)$的满秩分解式为A＝FG，则：

A⁺＝G^H(F^HAG^H)^-1F^H        (5-6)

式中：

A⁺为A的M-P广义逆矩阵，G^H、F^H分别为G、H的转置矩阵^[21]。

式(5-6)即本文M-P广义逆矩阵的求解公式。

至此，某矩阵A的M-P广义逆A⁺的计算步骤可归纳如下：

1)将矩阵A进行满秩分解：

(1)矩阵A进行初等行变换，化为阶梯形矩阵$B=\left(\begin{array}{c}G\\ 0\end{array}\right),$则此时存在P，使PA＝B；

(2)将P^-1分块，P^-1＝[F|S]，$F\in C_r^{m\times r},$$S\in C_{n-r}^{m\times (n-r)}$

(3)A＝FG，满秩分解结束。

2)依据公式(5-6)算出A⁺。

极端学习机数学模型

极端学习机是一种ANN网络训练新算法，预测模型仍采用前向单隐层结构，如图1所示。

设其中输入层、隐含层和输出层的节点数分别为n、N、m，神经元函数为g(x)，阈值为b_i，样本数目为N，每个样本表示为(X_i，Y_i)，i＝1，2，…N，其中：

X_i＝[x_i1，x_i2，...，x_in]^T∈Rⁿ为输入变量，包括负荷、气象、日期等因素；

Y_i＝[y_i1，y_i2，...，y_im]^T∈R^m为输出变量，由实际负荷值构成。

如果设该ELM网络的负荷输出值为O_i＝[o_i1，o_i2，...，o_im]^T∈R^m，则其数学模型可表示为：

$\underset{i=1}{\overset{\bar{N}}{\Sigma }}{\beta }_{i}g(w_i·X_j+b_i)=O_j$

j＝1，2…N             (5-7)

式中：

w_i＝[w_i1，w_i2，…，w_in]^T，β_i＝[β_i1，β_i2，…，β_im]^T

图1的理想目标是寻求输入输出权值，使得如下关系式成立：

$\left(\begin{array}{c}{y}_1=\underset{i=1}{\overset{\bar{N}}{\Sigma }}{\beta }_{i1}g(\underset{j=1}{\overset{n}{\Sigma }}{w}_{\mathrm{ij}}{x}_j+b_1)\\ y_2=\underset{i=1}{\overset{\bar{N}}{\Sigma }}{\beta }_{i2}g(\underset{j=1}{\overset{n}{\Sigma }}{w}_{\mathrm{ij}}{x}_j+b_2)\\ ······\\ y_m=\underset{i=1}{\overset{\bar{N}}{\Sigma }}{\beta }_{\mathrm{im}}g(\underset{j=1}{\overset{n}{\Sigma }}{w}_{\mathrm{ij}}{x}_j+b_{\bar{N}})\end{array}\right)---(5-8)$

表示成矩阵形式为

Hβ＝Y             (5-9)

式中：

$H(w_1,···,w_{\bar{N}},b_1,···,b_{\bar{N}},X_1,···,X_N)=$

${\left(\begin{array}{ccc}g(w_1·X_1+b_1)& ···& g(w_{\bar{N}}·X_1+b_{\bar{N}})\\ ·& & ·\\ ·& & ·\\ ·& & ·\\ g(w_1·X_N+b_1)& ···& g(w_{\bar{N}}·X_N+b_{\bar{N}})\end{array}\right)}_{N\times \bar{N}}$$\beta ={\left(\begin{array}{c}{\beta }_1^T\\ ···\\ {\beta }_{\bar{N}}^T\end{array}\right)}_{\bar{N}\times m}$$Y={\left(\begin{array}{c}{Y}_1^T\\ ···\\ Y_N^T\end{array}\right)}_{N\times m}$

极端学习机的训练目标是寻求最优的网络权值W、β，使得网络输出负荷值与对应的历史样本真实负荷值误差最小，即：

$\min E(W,\beta )=\underset{j=1}{\overset{N}{\Sigma }}\left|\right|O_j-Y_j\left|\right|---(5-10)$

其中W＝(w_i，i＝1，2，…，N；b_j，j＝1，2，…，N)，包含了网络左权值参数及隐层神经元域值。

可见，ELM网络的训练过程可归结为一个非线性优化问题，目标函数为式(5-10)所示。极端学习机理论的主要思想是在训练开始前，将输入权值和阈值W随机给定，此时，矩阵H为一常数矩阵，式(5-9)被简化成一组线性方程，通过MP广义逆理论，即可解析求得方程式(5-9)最小范数最小二乘解，即网络右侧权值$\hat{\beta }=H^{+}Y,$完成ELM网络训练过程。

根据MP广义逆理论可知，此特解具有以下特征：

1、训练误差最小化。特解$\hat{\beta }=H^{+}Y$是广义线性系统Hβ＝Y的一个最小二乘解，意味着训练误差遵守下式达到最小值：

$\left|\right|H\hat{\beta }=Y\left|\right|=\left|\right|{\mathrm{HH}}^{+}Y=Y\left|\right|=\underset{\beta }{\min }\left|\right|\mathrm{H\beta }=Y\left|\right|---(5-11)$

2、权值的范数最小和更好的推广能力。具体而言，$\hat{\beta }=H^{+}Y$是Hβ＝Y的最小二乘解中具有最小范数的一个。

$\left|\right|\hat{\beta }\left|\right|=\left|\right|H^{+}Y\left|\right|\le \left|\right|\beta \left|\right|,$$\forall \beta \in \{\beta :\left|\right|\mathrm{H\beta }-y\left|\right|\le \left|\right|\mathrm{Hz}-y\left|\right|,\forall z\in R^{\bar{N}\times m}\}---(5-12)$

3、Hβ＝Y的最小范数最小二乘解具有唯一性，即：$\hat{\beta }=H^{+}Y.$

对于单隐层神经网络预测模型，权值范数越小，其泛化能力一般会越高。本文极端学习机网络不仅在训练样本上实现了误差值最小化，而且得到的权值范数也最小。因此，有理由推断，ELM训练算法将会比BP及其改进算法取得更好的泛化能力。

至此，可将ELM算法的实现步骤进行归纳如下：

1)对输入层的权值w_i和隐层神经元阈值b_i进行随机赋值，$i=\mathrm{1,2}···\hat{N}.$

2)计算隐层输出矩阵H。

3)解析得到输出层权值：β＝H⁺T。

H、β、T见式(5-9)中定义。可见，ELM的训练过程没有传统的迭代过程，取而代之的是矩阵求逆过程，因此会有更好的性能。极端学习机的程序流程如图2。

改进极端学习机网络预测模型

极端学习机算法与一般神经网络算法相比，毋庸置疑，具有较大优势，但该算法由于只是通过随机给定网络左侧权值，解析求得右侧权值完成网络模型的训练过程，随机因素的影响导致网络预测效果不稳定，很难直接应用于电力系统短期负荷预测。本发明提出改进极端学习机网络预测模型，结合一般神经网络权值的迭代训练过程与极端学习机解析过程两者的优点，其基本原理是对极端学习机网络预测模型左侧权值及隐层神经元域值引入基于BFGS拟牛顿方法的迭代训练，而右侧权值通过求解式(5-9)的MP广义逆获得，这一方面避免了一般神经网络高维空间寻优引起的学习训练缺陷，同时又较好的解决了基本极端学习机算法左权值随机给定而导致模型预测效果不稳定的弊端。

BFGS拟牛顿法优化训练

本发明采用求解非线性规划中的BFGS算法对极端学习机网络参数W进行优化，即式(5-10)在固定右侧权值β基础上，寻找最佳参数W^*，使E(W，β)达到最小，此时式(5-10)可简化为：

$\min E\left(W\right)=\underset{j=1}{\overset{N}{\Sigma }}\left|\right|O_j-Y_j\left|\right|---(5-13)$

对二阶可微的误差函数E(W)，其参数W＝(w_i，i＝1，2，…，N；b_j，j＝1，2，…，N)简记为M维变量W＝(w_i，i＝1，2，…，M)

则它的一阶导数(梯度向量)为

$g\left(W\right)={(\frac{\partial E}{{\partial w}_1},\frac{\partial E}{{\partial w}_2},···\frac{\partial E}{{\partial w}_M})}^T---(5-14)$

二阶导数矩阵(Hessian矩阵)为

$G\left(W\right)=\left(\begin{array}{cccc}\frac{{\partial }^{2}E}{{\partial w}_1^2}& \frac{{\partial }^{2}E}{{\partial w}_1\partial w_2}& ···& \frac{{\partial }^{2}E}{\partial w_1\partial w_M}\\ \frac{{\partial }^{2}E}{\partial w_2\partial w_1}& \frac{{\partial }^{2}E}{\partial w_2^2}& ···& \frac{{\partial }^{2}E}{\partial w_2\partial w_M}\\ ·& ·& & ·\\ ·& ·& & ·\\ ·& ·& & ·\\ \frac{{\partial }^{2}E}{\partial w_M\partial w_1}& \frac{{\partial }^{2}E}{\partial w_M\partial w_2}& ···& \frac{{\partial }^{2}E}{\partial w_M^2}\end{array}\right)$      (5-15)

BFGS算法求解E(W)极小点W^*的迭代步骤(第k次)如下：

1、确定搜索方向s^(k)，满足

B^(k)s^(k)＝-g^(k)            (5-16)

其中，由给定的初始正定矩阵B⁽¹⁾(取单位矩阵)经迭代计算逐步进行修正。注意，B^(k)是Hessian矩阵G^(k)的一个近似，为对称正定矩阵，从而使s^(k)Tg^(k)<0，保证了s^(k)为下降方向。

2、沿s^(k)进行线性搜索，得最优步长α^(k)，并从而得出变量的新值

W^(k+1)＝W^(k)+α^(k)s^(k)       (5-17)

本文采用不精确搜索法，使步长α^(k)满足以下两个不等式：

E(W^(k)+α^(k)s^(k))≤E(W^(k))+ρα^(k)g^(k)s^(k)|g(W^(k)+α^(k)s^(k))^Ts^(k)|≤-σg^(k)Ts^(k)

                              (5-18)

其中，ρ∈(0，0.5)，σ∈(ρ，1)。

3、修正矩阵B

$B^{(k+1)}=B^{\left(k\right)}+\frac{{\gamma }^{\left(k\right)}{\gamma }^{\left(k\right)T}}{{\delta }^{\left(k\right)T}{\delta }^{\left(k\right)}}-\frac{B^{\left(k\right)}{\delta }^{\left(k\right)}{\delta }^{\left(k\right)T}{B}^{\left(k\right)}}{{\delta }^{\left(k\right)T}{B}^{\left(k\right)}{\delta }^{\left(k\right)}}---(5-19)$

其中，$\left(\begin{array}{c}{\delta }^{\left(k\right)}=W^{(k+1)}-W^{\left(k\right)}\\ {\gamma }^{\left(k\right)}=g^{(k+1)}-g^{\left(k\right)}\end{array}\right)---(5-20)$

基于迭代-解析的改进极端学习机算法

结合一般神经网络权值迭代训练过程与极端学习机解析过程两者的优点，本发明提出改进极端学习机网络预测模型，对原极端学习机网络预测模型左侧权值及隐单元域值引入基于BFGS拟牛顿方法的迭代训练，而右侧权值通过求解H矩阵的MP广义逆获得，这就形成了一种迭代-解析的新型算法，既能较好克服原ELM网络随机给定左侧权值带来的随机因素干扰，同时又使得网络的寻优降到了低维空间，采用这一新的学习算法应用于短期负荷预测建模，可以取得更好的拟合与泛化效果。

对于一个网络拓扑结构给定的改进极端学习机网络预测模型，其结构如图3所示。

设其中输入层、隐含层和输出层的节点数分别为n、N、m，神经元函数为g(x)，阈值为b_i，样本数目为N，每个样本表示为(X_i，Y_i)，其中：

X_i＝[x_i1，x_i2，...，x_in]^T∈Rⁿ为输入变量，包括了负荷、气象、日期等因素；

Y_i＝[y_i1，y_i2，...，y_im]^T∈R^m为输出变量，由实际负荷值构成。

如果设该神经网络的负荷输出值为O_i＝[o_i1，o_i2，...，o_im]^T∈R^m，则该网络的数学模型可表示为：

$\underset{i=1}{\overset{\bar{N}}{\Sigma }}{\beta }_{i}g(w_i·X_j+b_i)=O_j,j=\mathrm{1,2}···N---(5-21)$

式中：

w_i＝[w_i1，w_i2，…，w_in]^T，β_i＝[β_i1，β_i2，…，β_im]^T。

图3的理想目标是寻求输入输出权值，使得如下关系式成立：

$\left(\begin{array}{c}{y}_1=\underset{i=1}{\overset{\bar{N}}{\Sigma }}{\beta }_{i1}g(\underset{j=1}{\overset{n}{\Sigma }}{w}_{\mathrm{ij}}{x}_j+b_1)\\ y_2=\underset{i=1}{\overset{\bar{N}}{\Sigma }}{\beta }_{i2}g(\underset{j=1}{\overset{n}{\Sigma }}{w}_{\mathrm{ij}}{x}_j+b_2)\\ ······\\ y_m=\underset{i=1}{\overset{\bar{N}}{\Sigma }}{\beta }_{\mathrm{im}}g(\underset{j=1}{\overset{n}{\Sigma }}{w}_{\mathrm{ij}}{x}_j+b_{\bar{N}})\end{array}\right)---(5-22)$

表示成矩阵形式为

Hβ＝Y                         (5-23)

式中：

$H(w_1,···,w_{\bar{N}},b_1,···,b_{\bar{N}},X_1,···,X_N)=$

${\left(\begin{array}{ccc}g(w_1·X_1+b_1)& ···& g(w_{\bar{N}}·X_1+b_{\bar{N}})\\ ·& & ·\\ ·& & ·\\ ·& & ·\\ g(w_1·X_N+b_1)& ···& g(w_{\bar{N}}·X_N+b_{\bar{N}})\end{array}\right)}_{N\times \bar{N}};$$\beta ={\left(\begin{array}{c}{\beta }_1^T\\ ···\\ {\beta }_{\bar{N}}^T\end{array}\right)}_{\bar{N}\times m};$$Y={\left(\begin{array}{c}{Y}_1^T\\ ···\\ Y_N^T\end{array}\right)}_{N\times m}$

改进极端学习机网络的实际训练目标是寻求未知网络参数，使得预测网络输出负荷值与对应的历史样本真实负荷值误差最小，即：

$\min E\left(W\right)=\underset{j=1}{\overset{N}{\Sigma }}\left|\right|O_j-Y_j\left|\right|---(5-24)$

其中W＝(w_i，i＝1，2，…，N；b_j，j＝1，2，…，N)，包含了网络左权值参数及隐层神经元域值。

这就将网络的训练过程归结为了一个非线性优化问题，目标函数为式(5-24)，本发明提出的迭代-解析训练算法，对极端学习机网络左侧权值w_i，i＝1，2，…N及隐单元域值b_i，i＝1，2，…N通过BFGS拟牛顿法寻优，而对右侧权值β_i，i＝1，2，…N则通过MP广义逆理论解析求得，该算法的具体步骤如下：

1、随机给定网络的左侧权值参数及隐单元域值参数，记为W⁽¹⁾＝(w⁽¹⁾，b⁽¹⁾)。

2、计算隐层输出矩阵H并解析得到输出层权值：β＝H⁺Y。

3、在网络右侧权值β不变情况下调用BFGS优化学习算法求解E(W)极小点W^*。

4、在W^*基础上重新计算输出矩阵H′并解析得到输出层权值：β′＝H′⁺Y。

5、如果满足$\underset{i=1}{\overset{\bar{N}}{\Sigma }}\left|\right|{\beta }_i-{\beta }_i^{\prime }\left|\right|\le ϵ,$则网络训练完毕，否则，令β＝β′，返回第3步。

隐节点参数优化

对于极端学习机网络来说，隐节点参数的选取是至关重要的，隐节点数目选得过大，将导致网络结构冗余，训练计算量增大且不易于收敛，且网络参数对信息的存储过于分散，预测精度不高，而隐节点数目过小时，网络训练容易产生过拟合，泛化能力降低，从而导致预测效果较差。可见，合理的选择隐节点数目，对于网络预测模型训练以及最终的负荷预测精度是非常必要和有意义的，然而，目前对于网络隐节点参数选取尚没有较成功的实际应用，一般都是凭借经验选取一个固定隐节点数，或利用经验公式计算求得，也有人通过构建决策树获得隐节点参数，但都没有取得很好的效果。

本发明结合极端学习机网络结构及权值参数的特点，通过大量实际测算及对结果数据的规律总结，提出了极端学习机网络参考隐节点数思想，首先对隐节点数目与样本数目相同的等维极端学习机网络进行训练，再对该等维网络右权值向量的模值进行有序聚类，找出相应的多个权值分割点，并将其作为预测网络的参考隐节点数。

有序聚类的精确最优解方法——Fisher算法

在数据挖掘过程中，对存放在数据库中的大量数据，能够以简洁的形式在更一般抽象层进行描述是至关重要的。这种将数据集从较低的概念层抽象到较高概念层的方法称为数据概化。而实现大批量数据概化最为常用的处理办法是聚类分析。聚类分析就是按照一定的要求和规律对事物进行区分和分类的过程，在这一过程中没有任何关于类分的先验知识，没有教师指导，仅靠事物间的相似性作为类属划分的准则，因此属于无监督分类的范畴。有序聚类是聚类分析的一种，当所给变量具有一定的顺序，其顺序在分类中是不能打乱的，即只能按其顺序分成若干类，例如要将一组权值向量数据划分为三个等级：高权值、中权值和低权值，则首先应将权向量的模值(样本)按高低排序，然后将其参照一定指标分为三类，此时就应采取有序聚类的方法进行分类。本文将采用目前非常流行的Fisher算法进行有序聚类分析，以求找到精确的最优分类。

设n个样本需分成k类，当n个样本有序时，则一切可能的分法只有

$R(n,k)=C_{n-1}^{k-1}---(5-25)$

个。由于有序变量的分类方法个数随分类k而线性增长的性质，使得我们能在所有分法中找寻最优解，Fisher算法正是在计算机列举了这R(n，k)种分法的可能结果后，利用“高类聚、低耦合”的原则选取其中最佳的部分作为选定的分类结果。所谓“高类聚、低耦合”是指基于类内距离平方和最小，类间距离平方和最大。

定义5-6设有m维有序样本：X₁，X₂，X₃…，X_n，其中X_i＝(x_i1，x_i2，x_i3，…，x_im)，若某类的样本为{X_i，X_i+1，X_i+2…，X_j}，i≤j，其均值向量为

${\bar{X}}_{\mathrm{ij}}=\frac{1}{j-i+1}\underset{l=i}{\overset{j}{\Sigma }}{X}_i=\frac{1}{j-i+1}{(\underset{l=i}{\overset{j}{\Sigma }}{x}_{i1},\underset{l=i}{\overset{j}{\Sigma }}{x}_{i2},\underset{l=i}{\overset{j}{\Sigma }}{x}_{i3}···,\underset{l=i}{\overset{j}{\Sigma }}{x}_{\mathrm{im}})}^T---(5-26)$

类内的类直径为：

$D(X_i,X_j)=D(i,j)=\underset{l=i}{\overset{j}{\Sigma }}{(X_i-{\bar{X}}_{\mathrm{ij}})}^T(X_i-{\bar{X}}_{\mathrm{ij}})---(5-27)$

其含义表示该样本段{X_i，X_i+1，X_i+2…，X_j}内部各样本之间的差异情况。D(i，j)越小，表示该段内样本之间的差异越小，或说明相互间越接近。反之，D(i，j)越大，表示该段内样本之间的差异越大，或说明相互间越分散。

定义5-7将n个样本X₁，X₂，X₃…，X_n分成k类，假定其分法表示为

$P(n,k):\{X_{i_1},X_{i_1+1},···X_{i_2-1}\}\{X_{i_2},X_{i_2+1},···X_{i_3-1}\}···\{X_{i_k},X_{i_k+1},···X_{i_{k+1}-1}\}$

其中i₁＝1<i₂<…<i_k≤n，我们可定义该种分类方法的误差函数为

$e\left(P(n,k)\right)=\underset{j=1}{\overset{k}{\Sigma }}D(i_j,i_{j+1}-1)---(5-28)$

当j＝k时，i_k+1-1＝n。

考虑到总距离平方和

$E=\underset{i=1}{\overset{n}{\Sigma }}{(X_i-\bar{X})}^T(X_i-\bar{X})=\underset{j=1}{\overset{k}{\Sigma }}\underset{1=i_j}{\overset{i_{j+1}-1}{\Sigma }}{(X_i-{\bar{X}}_{i_j{i}_{j+1}-1}+{\bar{X}}_{i_j{i}_{j+1}-1}-\bar{X})}^T\left((X_i-{\bar{X}}_{i_j{i}_{j+1}-1}+{\bar{X}}_{i_j{i}_{j+1}-1}-\bar{X})\right)$

$=\underset{j=1}{\overset{k}{\Sigma }}D(i_j,i_{j+1}-1)+\underset{j=1}{\overset{k}{\Sigma }}(i_{j+1}-i_j){({\bar{X}}_{i_j{i}_{j+1}-1}-\bar{X})}^T({\bar{X}}_{i_j{i}_{j+1}-1}-\bar{X})$

$=e\left(P(n,k)\right)+e_A\left(P(n,k)\right)---(5-29)$

其中$\bar{X}=\frac{1}{n}\underset{i=1}{\overset{n}{\Sigma }}{X}_i$叫做总均值；e_A(P(n，k))叫做类间平方和，反映各类之间的差异。当n，k固定时，E为一常数，e(P(n，k))和e_A(P(n，k))随分法不同而变化。显然，当e(P(n，k))越小，e_A(P(n，k))越大，分类越合理。因此，所谓最优分法也就是使e(P(n，k))达到最小的一种分法。

定义5-8误差函数${\min }_{1\le i_1<···<i_k\le n}e\left(P(n,k)\right)$的递推公式为：

${\min }_{1=i_1<···<i_k\le n}e\left(P(n,k)\right)={\min }_{k\le j\le n}\{{\min }_{1=i_1<···<i_{k-1}\le j-1}e\left(P(j-1,k-1)\right)+D(j,n)\}$    (5-30)

Fisher算法具体步骤是：

输入：待聚类的有序数据样本及已知的分类数；

输出：样本数据的聚类分割点；

步骤1：根据定义(5-27)计算D(i，j)，i＝1，2，…，n-1；j＝i+1，…，n；

步骤2：设已知的分类数为k，则分割点个数为k′＝k-1，根据定义5-6及5-7计算e(P(i，j))，i＝3，4，…，n；j＝2，3，…，k且2<k<n，j<i；

步骤3：根据e(P(i，j))矩阵，求得使e(P(n，k))达到极小的最后一个分割点号g，再找出使e(P(g-1，k-1))达到极小的分割点号g₁，进一步找出使e(P(g₁-1，k-2))达到极小的分割点号g₂…最后找到最优两类分割点号g_k′-1。

不难看出，Fisher算法只需要计算出D(i，j)，i＝1，2，…，n-1；j＝i+1，…，n与e(P(i，j))，i＝3，4，…，n；j＝2，3，…，k且2<k<n，j<i，并进行适当判断即可。

参考隐节点数目的选取

隐节点数目是网络结构中非常重要的参数，节点数过多或过少都将直接影响到网络预测模型的泛化能力及预测精度。本发明提出参考隐节点数思想，通过对等维极端学习机网络右权值向量模值有序聚类，给出多个参考隐节点数，再利用这多个隐节点数分别构造网络预测模型进行负荷预测，各模型所的预测结果取平均值作为最终负荷预测值。

对于一个极端学习机网络，如图3所示，其数学模型式(5-23)主要由H_N×M、β_M×m组成，而网络隐层神经元函数g(x)采用Sigmoid函数，其输入-输出特性如图4。

可见，矩阵H中数据元素均分布在0~1之间，网络输出负荷值主要决定于矩阵β_M×m，也就是说，对于极端学习机网络第i个隐层神经元对应的右权值向量β_i＝[β_i1，β_i2，…，β_im]^T，如果其模值较大，则该神经元对负荷输出贡献较大，即该神经元为一个关键神经元。

根据以上分析，本发明首先对隐节点数目与样本数目相同的等维极端学习机网络进行训练，再对该等维网络右权值向量的模值进行有序聚类，对关键神经元数目进行累加，找出相应的多个权值分割点，将其作为预测网络的参考隐节点数。

求取参考隐节点数具体步骤如下：

1、对等维极端学习机网络采用迭代-解析算法进行训练，得到右权值向量为β_i＝[β_i1，β_i2，…，β_im]^T，i＝1，2，…，N；

2、分别计算N个右权值向量β_i的模值，得到一列模值数据S＝{s₁，s₂，…s_N}；

3、对序列S中的元素排序，得到有序序列$S\prime =\{s_1^{\prime },s_2^{\prime },···s_N^{\prime }\},$调用有序聚类算法将序列S′分割为c＝6类，假定分割点为则将3、8、15、20、26作为相应的5个参考隐节点数；

4、利用所得5个参考隐节点数分别构造5个极端学习机网络，并分别经行训练及预测，取网络预测平均负荷值作为最终预测值。

使用本发明建立的基于改进极端学习机方法的电力系统短期负荷预测模型与一般神经网络(ANN)预测模型以及支撑向量机(SVM)预测模型对杭州电网、西安电网以及河南濮阳电网典型月份(冬季、夏季、节假日)进行负荷预测，并对预测精度与速度进行了比较。

杭州电网数据采用2006年1月1日至2007年9月1日的历史负荷及气象(包括最高温度、最低温度)数据，分别预测该电网2007年1月、5月、8月份每日的96点负荷值，预测结果见表1～表3。

表1 杭州电网2007年1月测试结果：

表2 杭州电网2007年5月测试结果：

表3 杭州电网2007年8月测试结果：

陕西电网数据采用2005年9月1日至2007年9月1日的历史负荷及气象(包括最高温度、最低温度)数据，分别预测该电网2007年1月、5月、7月份每日的96点负荷值，预测结果见表4～表6。

表4 陕西电网2007年1月测试结果：

表5 陕西电网2007年5月测试结果：

表6 陕西电网2007年7月测试结果：

河南濮阳电网数据采用2004年1月1日至2005年12月31日的历史负荷及气象(包括最高温度、最低温度)数据，分别预测该电网2005年8月、10月、12月份每日的96点负荷值，预测结果见表7～表9。

表7 濮阳电网2005年8月测试结果：

表8 濮阳电网2005年10月测试结果：

表9 濮阳电网2005年12月测试结果：

表10 本发明与ANN、SVM日平均预测时间(分钟)比较

由表1～表9可以看出，本发明采用的预测方法在对含节假日的月份(如5月、10月)及夏、冬两季(如1月、7月、8月、12月)进行预测时的精度相比支撑向量机(SVM)方法与一般神经网络(ANN)方法都有了显著的提高。5月1日至3日及10月1日至3日受劳动节或国庆节影响，负荷水平明显低于其它时间，负荷变化规律也体现不同特点，由于本发明改进极端学习机方法由于MP广义逆的最小二乘特性，使其具有更好的泛化能力，对于节假日的预测精度明显高于其它方法；夏季(如7月、8月)降温负荷(如空调负荷)及冬季(如1月、12月)取暖负荷(如电暖器)的增多，使得温度对负荷变化将产生较大的影响：对于夏季，温度较低时随温度的升高负荷水平呈上升趋势，持续高温天气下负荷值达到饱和而保持不变，雷雨天气下负荷会随温度降低而有所下降，但有一定的延迟；对于冬季，在温度偏低时，随着温度持续下降，用电负荷量也将不断上升，直到一定水平后达到饱和。杭州电网1月、8月，陕西电网1月、7月以及濮阳电网8月、12月预测精度的大幅提升也同样充分表明，本发明创建的基于迭代-解析算法的极端学习机模型对受温度影响较大的夏、冬季节负荷有很好的预测效果。

在预测速度上，由表10可以看出，本发明的日预测时间相比支撑向量机减少了十分钟以上，相比一般神经网络也少了两分钟左右。对于支撑向量机方法，由于其优化算法自身特点，导致预测模型训练时间较长，所以该方法预测时间较大；本发明与一般神经网络相比预测时间减少主要是因为极端学习机在学习训练时将非线性方程组问题转化为线性方程组求解，迭代过程只需对网络的左侧权值进行调整，使得学习训练这一优化过程的寻优维数大幅降低，收敛性增强，更加容易找到最优点，从而使模型的训练速度本身就比ANN要快得多。

总之，本发明基于该机极端学习机方法的电力系统短期负荷预测模型无论是在预测精度上，还是在预测速度上都取得了令人满意的效果，这将对电网调度部门安排发电计划以及电力工业市场化运行管理发挥积极而有效的作用。