一种基于广义均值的鲁棒典型相关分析算法

摘要

本发明公开了一种基于广义均值的鲁棒典型相关分析算法，主要解决基于欧氏距离的传统典型相关分析算法对野值点非鲁棒的问题，以及高维小样本引起样本协方差奇异问题。实现过程为：(1)输入必要的参数，并且对训练样本进行中心化处理；(2)求解传统典型相关分析的两组投影集；(3)基于广义均值重构模型的目标优化函数，以抑制野值点对目标函数的影响；(4)用线性迭代方法求解目标函数，其中使用传统典型相关分析的两组投影集进行初始化；(5)将求得基于广义均值的典型相关分析的两组投影集用于样本的特征抽取和降维。在多特征手写体数据库(MFD)、人脸数据库(ORL)和对象图像数据库(COIL‑20)上的实验结果验证了该算法的有效性。

说明书

技术领域

本发明属于特征抽取和数据降维技术领域，主要为典型相关分析算法的改进优化。具体为一种基于广义均值的鲁棒典型相关分析算法，可应用于机器学习、模式识别、数据挖掘及图像处理等领域。

背景技术

在模式识别和机器学习领域，维数约简(Dimensionality reduction,DR)一直是研究的热门之一。人们提出了大量的方法用于数据的降维，其中主成分分析(Principal component analysis,PCA)是最经典的方法之一。但PCA关注的是单模态数据(Single-view data)的特征抽取与降维。随着科技的发展，人们采集数据的手段更加的多样化，同一事物具有多元的表示形态，例如某人的信息可以由面部、字迹、指纹等属性构成。对于多模态数据(Multi-view data)，典型相关分析(Canonical correlation analysis,CCA)更加适合特征的抽取与融合。CCA是一种研究同一对象两组变量之间相关性的多元统计方法，可用于实现数据的特征抽取、降维和可视化。CCA通过最大化不同模态间的相关性，消除数据间的冗余信息，提取重要特征，强化后续学习(如分类)任务的性能。近年来，CCA及其衍生模型成功应用于人脸识别、气象分析、生物信息融合和社会科学等领域。但CCA本质上是一种线性子空间的学习方法，其学习到的是一种全局线性情况下的线性特征。对于非线性的场景，CCA学习往往导致欠学习的结果。为此，S.Akaho结合核技术提出了核CCA(Kernel CCA,KCCA)，克服了CCA在非线性情况下的不足。2000年，San等人提出了局部线性嵌入(Local linear embedding,LLE)的非线性降维方法，流形学习(Manifold learning,ML)从此得到深入的研究。Sun等人引入流形学习中局部保持投影(Locality preserving projection,LPP)的思想，保留数据中的流形结构信息，提出一种局部保持的CCA(Locality preserving CCA,LPCCA)，大大拓展了CCA在非线性情况下的应用。尽管如此，CCA、KCCA和LPCCA都是基于欧氏距离的方法，从多元线性回归分析的角度看，它们的目标优化函数都是基于L2范数的最小均方误差(Mean square error,MSE)。然而，在现实场景中，野值点普遍存在于观测的数据集中。研究表明，采用L2范数的MSE的欧式距离方法对于野值点都存在着非鲁棒性。而且，CCA、KCCA和LPCCA最终转化为广义特征值求解，在高维小样本情况下，其样本协方差矩阵极可能奇异，这对算法的鲁棒性带来影响。

广义均值(Generalized mean,GM)是算术平均值的推广形式。通过调节GM的p值可以表现出多种数据的中心。J.Oh等人2013年在文献(Generalized mean for feature extraction in one-class classification problems.Pattern Recognition,2013,46(12):3328-3340)中结合基于广义均值提出了一种新颖的有偏鉴别分析(Biased discriminant analysis using generalized mean,BDAGM)，增强正向样本的作用，抑制野值点的干扰。人脸实验证明，GM增强了算法的鲁棒性，算法的性能得到了提升。

发明内容

为了解决传统CCA、KCCA和LPCCA等典型相关算法普遍存在的对野值点非鲁棒和高维小样本问题，本发明提出一种基于广义均值的鲁棒典型相关分析算法(CCA based on generalized mean,GMCCA)。首先，提出投影空间中样本之间的相关误差概念，以更好地描述投影后的样本之间的相似程度；其次，基于广义均值，由相关误差重新构建目标函数，替换原始的基于L2范数的最小均方误差的目标函数，得到新模型；最后，通过线性迭代的方法求解新模型。在多特征手写体数据库(Multiple feature database,MFD)，人脸数据集(ORL)和对象特征数据库(COIL-20)三个真实数据集上的实验表明，新算法不仅具有更好的鲁棒性，而且避免了高维小样本导致样本协方差矩阵奇异的问题。GMCCA算法具体可描述如下：

(1)输入一组大小为N的样本集广义均值的参数p，内部迭代总次数T₁和T₂，外部迭代总次数T，降维后特征的维数d；

(2)首先，计算样本集X＝(x₁,x₂,...,x_N)与Y＝(y₁,y₂,...,y_N)的中心值：

$\bar{x}=\frac{1}{N}\underset{i=1}{\overset{N}{\Sigma }}{x}_i,\bar{y}=\frac{1}{N}\underset{i=1}{\overset{N}{\Sigma }}{y}_i$

并用和中心化X和Y：

$\bar{X}=(x_1-\bar{x},x_2-\bar{x},\mathrm{...},x_N-\bar{x}),\bar{Y}=(y_1-\bar{y},y_2-\bar{y},\mathrm{...},y_N-\bar{y})$

为了统一性，将中心化后的和仍记为X＝(x₁,x₂,...,x_N)与Y＝(y₁,y₂,...,y_N)；

(3)传统的典型相关分析(Canonical correlation analysis,CCA)是寻找两组样本集X和Y的投影向量和使得在投影空间中着两组样本集的特征具有最大的相关性，其准则函数如下所示：

$\underset{w_x,w_y}{max}{w}_x^T{\mathrm{XY}}^T{w}_y$

$\left(\begin{array}{cc}s.t.& w_x^T{\mathrm{XX}}^T{w}_x=w_y^T{\mathrm{YY}}^T{w}_y=1\end{array}\right)$

上式转化为如下的两个广义特征值问题：

$S_{xy}{S}_{yy}^{-1}{S}_{yx}{w}_x={\lambda }^2{S}_{xx}{w}_x,$

$S_{yx}{S}_{xx}^{-1}{S}_{xy}{w}_y={\lambda }^2{S}_{yy}{w}_y$

并且w_x和w_y具有如下的等式关系：

S_xyw_y＝λS_xxw_x,S_yxw_x＝λS_yyw_y

最后选取最大的前d个特征值所对应的特征向量组合成两组投影集和

$W_x^{cca}=(w_{x1},w_{x2},\mathrm{...},w_{xd}),W_y^{cca}=(w_{y1},w_{y2},\mathrm{...},w_{yd})$

可以看出，CCA的求解需要对S_xx和S_yy求逆。但高维小样本极易导致S_xx和S_yy奇异，影响CCA的性能；

(4)假设p≠0，对于一个标量数据集{a_i＞0,i＝1,2,...,N}的广义均值M_G定义为如下：

$M_G={\left(\frac{1}{N}\underset{i=1}{\overset{N}{\Sigma }}{a}_i^p\right)}^{1/p}$

进一步分析，广义均值M_G中的可以由数据集{a_i}的一组非负的线性组合表示，如下所示：

$\underset{i=1}{\overset{N}{\Sigma }}{a}_i^p=b_1{a}_1+b_2{a}_2+...+b_N{a}_N$

$b_i=a_i^{p-1},i=1,2,\mathrm{...},N$

b_i可以看成a_i的权重，即a_i对M_G的贡献值。当p＜1时，随着a_i越大，b_i越小，意味着当p＜1时，广义均值M_G受{a_i}中较小值的影响较大，并且p越小，影响越大。广义均值的这种性质在GMCCA抑制野值点的影响中起到主要作用。

定义如下所示的投影空间中样本之间的相关误差e(W_x,W_y)：

$e(W_x,W_y)=x^T{W}_x{W}_x^{T}x-y^T{W}_y{W}_y^{T}y$

结合上述的广义均值和相关误差，构建如下基于广义均值的鲁棒典型相关分析(CCA based on generalized mean,GMCCA)的目标优化函数：

$\left(\begin{array}{c}\left(W_x,W_y\right)=\underset{W_x,W_y}{\arg \min }{\left(\frac{1}{N}\underset{i=1}{\overset{N}{\Sigma }}{\left[e_i\left(W_x,W_y\right)\right]}^p\right)}^{1/p}\\ =\underset{W_x,W_y}{\arg \min }\underset{i=1}{\overset{N}{\Sigma }}{\left[e_i\left(W_x,W_y\right)\right]}^p\\ \approx \underset{W_x,W_y}{\arg \min }\underset{i=1}{\overset{N}{\Sigma }}{\alpha }_i·e_i\left(W_x,W_y\right)\end{array}\right)$

$\left(\begin{array}{cc}s.t.& W_x^T{\mathrm{XX}}^T{W}_x=W_y^T{\mathrm{YY}}^T{W}_y=I,0<p<1\end{array}\right)$

${\alpha }_i=\left(\begin{array}{cc}0,& e_i(W_x,W_y)=0\\ {\left[\left|e_i\left(W_x,W_y\right)\right|\right]}^{p-1},& e_i(W_x,W_y)\ne 0\end{array}\right)$

$e_i(W_x,W_y)=x_i^T{W}_x{W}_x^T{x}_i-y_i^T{W}_y{W}_y^T{y}_i$

求解上述的目标函数，得出W_x和W_y。取W_x和W_y得前d列组成GMCCA的两组投影集和从上式可以看出GMCCA鲁棒性的本质：当p＜1时，α_i的值随相对误差增大而减小，因此，对于投影空间中相关误差较大的样本点，即野值点，赋予了较小的权重，抑制野值点对准则函数的不良影响，增强算法的鲁棒性；

(5)利用步骤(4)求得的和对原始样本进行特征抽取并降维：

$\hat{X}=W_x^{{\mathrm{gmcca}}^T}X,$

$\hat{Y}=W_y^{{\mathrm{gmcca}}^T}Y$

将和用于接下来的模式识别任务。

上述的目标函数通过一种线性迭代方法求解，该方法具体如下：

假设当前迭代的次数t₁＝t₂＝t＝0；第t次迭代得到的W_x和W_y分别为和并初始化和

首先固定通过如下的极小值问题求得：

$\begin{array}{cc}s.t.& W_y^T{\mathrm{YY}}^T{W}_y=I,S_{\alpha }^{\left(t\right)}={\Sigma }_{i=1}^N{\alpha }_i^{\left(t\right)}{y}_i{y}_i^T\end{array},---\left(1\right)$

${\alpha }_i^{\left(t\right)}=\left(\begin{array}{cc}0,& e_i^{y\left(t\right)}(W_x^{\left(t\right)},W_y^{\left(t\right)})=0\\ {\left[\left|e_i^{y\left(t\right)}\left(W_x^{\left(t\right)},W_y^{\left(t\right)}\right)\right|\right]}^{p-1},& e_i^{y\left(t\right)}(W_x^{\left(t\right)},W_y^{\left(t\right)})\ne 0\end{array}\right)$

即是最大的d个特征值对应的正交特征向量集；

此时，用去更新W_x。固定同理，通过如下的极小值问题求得：

$W_x^{(t+1)}=\underset{W_x}{\arg \min }tr\left(W_x^T{S}_{\beta }^{\left(t\right)}{W}_x\right)$

$\begin{array}{cc}s.t.& W_x^T{\mathrm{XX}}^T{W}_x=I,S_{\beta }^{\left(t\right)}={\Sigma }_{i=1}^N{\beta }_i^{\left(t\right)}{x}_i{x}_i^T,\end{array}---\left(2\right)$

${\beta }_i^{\left(t\right)}=\left(\begin{array}{cc}0,& e_i^{x\left(t\right)}(W_x^{\left(t\right)},W_x^{\left(t+1\right)})=0\\ {\left[\left|e_i^{x\left(t\right)}\left(W_x^{\left(t\right)},W_y^{\left(t+1\right)}\right)\right|\right]}^{p-1},& e_i^{x\left(t\right)}(W_x^{\left(t\right)},W_y^{\left(t+1\right)})\ne 0\end{array}\right)$

至此可得，求解W_x和W_y的线性迭代算法如下：

从上述的线性迭代方法中可以看出，GMCCA不同于传统的CCA，GMCCA的两组特征投影集是分开求解获得的，W_x和W_y并无CCA中的等式关系。W_x和W_y分别是样本集X和Y的加权协方差最大的d个特征值对应的正交特征向量集。而且，整个求解过程并不涉及对样本集X和Y的协方差矩阵的求逆。因此，GMCCA避免了在传统CCA中高维小样本引起样本协方差矩阵奇异的问题

本发明具有以下优点：

(1)通过广义均值抑制野值点对目标优化函数的影响。

(2)保留了欧氏距离的样本旋转不变性。

(3)GMCCA避免了高维小样本问题导致样本协方差矩阵奇异的问题。

附图说明

图1是本发明的实现流程图；

图2是ORL人脸数据库中一个人的6幅图像；

图3是选取ORL每类前4幅图像训练，GMCCA与其他4种算法在O-L特征组合下随维数变化的识别结果；

图4是选取ORL每类前4幅图像训练，GMCCA与其他4种算法在O-H特征组合下随维数变化的识别结果；

图5是选取ORL每类前4幅图像训练，GMCCA与其他4种算法在L-H特征组合下随维数变化的识别结果；

图6是COIL-20中20个对象图像；

图7是选取COIL-20每类前25幅图像训练，GMCCA与其他4种算法在O-L特征组合下随维数变化的识别结果；

图8是选取COIL-20每类前25幅图像训练，GMCCA与其他4种算法在O-H特征组合下随维数变化的识别结果；

图9是选取COIL-20每类前25幅图像训练，GMCCA与其他4种算法在L-H特征组合下随维数变化的识别结果；

具体实施方式

为了阐明本发明的目的、技术方案和优点，以下结合具体实施例及附图，对本发明做进一步详细说明。

参照图1，本发明的具体实施过程包括以下步骤：

(1)输入一组大小为N的样本集广义均值的参数p，内部迭代总次数T₁和T₂，外部迭代总次数T，降维后特征的维数d；

(2)首先，中心化样本集X＝(x₁,x₂,...,x_N)与Y＝(y₁,y₂,...,y_N)：

计算样本集X＝(x₁,x₂,...,x_N)与Y＝(y₁,y₂,...,y_N)的中心值：

$\bar{x}=\frac{1}{N}\underset{i=1}{\overset{N}{\Sigma }}{x}_i,\bar{y}=\frac{1}{N}\underset{i=1}{\overset{N}{\Sigma }}{y}_i$

并用和中心化X和Y：

$\bar{X}=(x_1-\bar{x},x_2-\bar{x},\mathrm{...},x_N-\bar{x}),\bar{Y}=(y_1-\bar{y},y_2-\bar{y},\mathrm{...},y_N-\bar{y})$

为了统一性，将中心化后的和仍记为X＝(x₁,x₂,...,x_N)与Y＝(y₁,y₂,...,y_N)；

(3)传统CCA的目标函数如下所示：

$\underset{w_x,w_y}{max}{w}_x^T{\mathrm{XY}}^T{w}_y$

$\left(\begin{array}{cc}s.t.& w_x^T{\mathrm{XX}}^T{w}_x=w_y^T{\mathrm{YY}}^T{w}_y=1\end{array}\right)$

上式转化为如下的两个广义特征值问题：

$S_{xy}{S}_{yy}^{-1}{S}_{yx}{w}_x={\lambda }^2{S}_{xx}{w}_x,$

$S_{yx}{S}_{xx}^{-1}{S}_{xy}{w}_y={\lambda }^2{S}_{yy}{w}_y$

最后选取最大的前d个本征特征值所对应的特征向量组合成两组投影集和

$W_x^{cca}=(w_{x1},w_{x2},\mathrm{...},w_{xd}),W_y^{cca}=(w_{y1},w_{y2},\mathrm{...},w_{yd})$

(4)假设p≠0，对于一个标量数据集{a_i＞0,i＝1,2,...,N}的广义均值M_G定义为如下：

$M_G={\left(\frac{1}{N}\underset{i=1}{\overset{N}{\Sigma }}{a}_i^p\right)}^{1/p}$

且定义如下所示的投影空间中样本之间的相关误差e(W_x,W_y)：

$e(W_x,W_y)=x^T{W}_x{W}_x^{T}x-y^T{W}_y{W}_y^{T}y$

结合上述的广义均值和相关误差，构建如下基于广义均值的鲁棒典型相关分析(CCA based on generalized mean,GMCCA)的目标优化函数：

$\left(\begin{array}{c}\left(W_x,W_y\right)=\underset{W_x,W_y}{\arg \min }{\left(\frac{1}{N}\underset{i=1}{\overset{N}{\Sigma }}{\left[e_i\left(W_x,W_y\right)\right]}^p\right)}^{1/p}\\ =\underset{W_x,W_y}{\arg \min }\underset{i=1}{\overset{N}{\Sigma }}{\left[e_i\left(W_x,W_y\right)\right]}^p\\ \approx \underset{W_x,W_y}{\arg \min }\underset{i=1}{\overset{N}{\Sigma }}{\alpha }_i·e_i\left(W_x,W_y\right)\end{array}\right)$

$\left(\begin{array}{cc}s.t.& W_x^T{\mathrm{XX}}^T{W}_x=W_y^T{\mathrm{YY}}^T{W}_y=I,0<p<1\end{array}\right)$

${\alpha }_i=\left(\begin{array}{cc}0,& e_i(W_x,W_y)=0\\ {\left[\left|e_i\left(W_x,W_y\right)\right|\right]}^{p-1},& e_i(W_x,W_y)\ne 0\end{array}\right)$

$e_i(W_x,W_y)=x_i^T{W}_x{W}_x^T{x}_i-y_i^T{W}_y{W}_y^T{y}_i$

上述的目标优化函数通过一种线性迭代方法求解，该方法具体如下：

假设当前迭代的次数t₁＝t₂＝t＝0；第t次迭代得到的W_x和W_y分别为和并初始化和

首先固定通过如下的极小值问题求得：

$W_y^{(t+1)}=\underset{W_y}{\mathrm{argmax}}tr\left(W_y^T{S}_{\alpha }^{\left(t\right)}{W}_y\right)$

${\begin{array}{cc}s.t.& W_y^T{\mathrm{YY}}^T{W}_y=I,S_{\alpha }^{\left(t\right)}={\Sigma }_{i=1}^N\alpha \end{array}}_i^{\left(t\right)}{y}_i{y}_i^T,---\left(3\right)$

${\alpha }_i^{\left(t\right)}=\left(\begin{array}{cc}0,& e_i^{y\left(t\right)}(W_x^{\left(t\right)},W_y^{\left(t\right)})=0\\ {\left[\left|e_i^{y\left(t\right)}\left(W_x^{\left(t\right)},W_y^{\left(t\right)}\right)\right|\right]}^{p-1},& e_i^{y\left(t\right)}(W_x^{\left(t\right)},W_y^{\left(t\right)})\ne 0\end{array}\right)$

即是最大的d个特征值对应的正交特征向量集；

此时，用去更新W_x。固定同理，通过如下的极小值问题求得：

$W_x^{\left(t+1\right)}=\underset{W_x}{\arg \min }tr\left(W_x^T{S}_{\beta }^{\left(t\right)}{W}_x\right)$

$\begin{array}{cc}s.t.& W_x^T{\mathrm{XX}}^T{W}_x=I,S_{\beta }^{\left(t\right)}=\end{array}{\Sigma }_{i=1}^N{\beta }_i^{\left(t\right)}{x}_i{x}_i^T,---\left(4\right)$

${\beta }_i^{\left(t\right)}=\left(\begin{array}{cc}0,& e_i^{x\left(t\right)}(W_x^{\left(t\right)},W_x^{\left(t+1\right)})=0\\ {\left[\left|e_i^{x\left(t\right)}\left(W_x^{\left(t\right)},W_y^{\left(t+1\right)}\right)\right|\right]}^{p-1},& e_i^{x\left(t\right)}(W_x^{\left(t\right)},W_y^{\left(t+1\right)})\ne 0\end{array}\right)$

至此可得，求解W_x和W_y的线性迭代算法如下：

取W_x和W_y得前d列组成GMCCA的两组投影集和

(5)利用步骤(4)求得的和对原始样本进行特征抽取并降维：

$\hat{X}=W_x^{{\mathrm{gmcca}}^T}X,$

$\hat{Y}=W_y^{{\mathrm{gmcca}}^T}Y$

将和用于接下来的模式识别任务。

本发明的效果可通过以下在真实数据库上的实验进一步说明。

1.实验说明

为验证GMCCA的有效性，本节在多特征手写体数据库(Multiple feature database,MFD)，人脸数据集(ORL)和对象特征数据库(COIL-20)三个真实数据集上进行实验，并与PCA、CCA、鲁棒CCA(Robust CCA,ROCCA)、完备CCA(Complete CCA,C3A)和核诱导CCA(CCA based on kernel-induced measure,KI-CCA)进行对比。ROCCA通过构建近似矩阵代替样本协方差矩阵，消除高维小样本问题，身份识别的实验验证了ROCCA的有效性。C3A克服了CCA可能丢失信息的问题，提取出更加完备的典型相关信息。ROCCA用核诱导距离度量代替传统CCA的欧氏距离度量，提高了算法鲁棒性的同时，又解决非线性问题。

在本文所有实验中，GMCCA的p设置为0.1，t₁、t₂和T分别设置为10、10和20。PCA需要将2组特征首尾相连以形成新的高维特征向量，然后用PCA进行特征提取，CCA、ROCCA、C3A、KICCA和GMCCA提取特征后通过串联的方式，即将两组降维后的特征首尾相连地串接在一起进行识别分析。分类器采用最近邻分类器。

2.实验结果

实验1多特征手写体实验

本实验用多特征手写体数据集(MFD)测试GMCCA的性能。该数据集是UCI机器学习知识库的一个组成部分(http://archive.ics.uci.edu/ml/datasets/Multiple+Features)，在手写体数字识别中具有重要价值。该数据库包含0～9共10个数字的6个特征数据集，每类200个样本，共2000个样本，被广泛应用于模式识别和机器学习的研究。从二值化手写体数字图像中抽取6个特征，包括傅里叶系数、轮廓相关特征、Karhunen-Loève展开特征、像素平均、Zernike矩和形态学特征，其对应的特征名称和维数分别为：(fou,76),(fac,216),(kar,64),(pix,240),(zer,47)以及(mor,6)。在此数据集上，任选2组特征作为输入，共有15种组合方式。对于每个特征组合，从每类中随机选取100个样本作为训练，剩下的100个样本作为测试。

表1所示为6种算法在不同特征组合上的10次随机实验的平均识别结果，每种算法中的最佳识别率用黑体表示，下同。从表中所示的结果可以看出，在绝大多数的组合中GMCCA算法的平均识别率优于其他算法，尤其明显高于CCA的识别效果，此外，15种组合的平均识别率也高于其他算法。这些结果验证了GMCCA的有效性。在fou-pix、kar-pix、mor-pix和mor-zer组合中，GMCCA的识别率低于其他算法，虽然GMCCA的识别率仍高于CCA，但也表示GMCCA在一些特征组合中仍有不足之处。

表1 6种算法在MFD实验中不同特征组合上的识别结果

实验2ORL人脸数据库实验

为了进一步验证GMCCA的有效性，本实验选取人脸姿态变化较大的ORL数据库(http://www.cl.cam.ac.uk/research/dtg/attarchive/facedatabase.html)。该数据库是由英国剑桥Olivetti实验室从1992年4月到1994年4月期间拍摄的一系列人脸图像组成，共有40个不同年龄、不同性别和不同种族的对象。每个对象10幅图像共计400幅灰度图像组成，图像尺寸是92×112，图像背景为黑色。其中人脸部分表情和细节均有变化，例如笑与不笑、眼睛睁着或闭着，戴或不戴眼镜等，人脸姿态也有变化，其深度旋转和平面旋转可达20度，人脸尺寸也有最多10％的变化。该库是目前使用最广泛的标准数据库，它含有大量的比较结果。图2显示了ORL数据库中一个人的6幅图像。

实验中从每个人的10幅图像中随机选取4、5、6、7或8幅图像作为训练，其余用作测试；对每幅图像抽取3组特征。其中，将原始图像特征记为O；将原始图像用局部二值模式(Local binary pattern,LBP)提取后的特征记为L；将原始图像用方向梯度直方图(Histogram of Oriented Gradient,HOG)提取后的特征记为H。LBP和HOG特征及其组合特征在人脸识别问题上已被证明是有效的。为了避免奇异性问题，用PCA将上述3种特征约减至100维。

表2所示为6种算法在3种特征组合上的10次随机实验的平均识别结果，“n”表示每类的训练样本数，下同。从表2可以看出，绝大数的情况下，GMCCA的识别效果在3种不同组合均优于其他5种算法，并且比较所有组合的平均识别率，GMCCA也优于其他5种算法。从表2中还可以看出，GMCCA的识别效果比传统的CCA有较大提高，尤其当训练样本数较少时，如每类4个训练样本。这些结果表明GMCCA提取的特征更具有鲁棒性，验证了方法的有效性。表2中的结果也显示了，有四种情况下，GMCCA的识别率略低于其他算法，但与最优值十分接近。

表2 6种算法在ORL人脸数据库上的识别结果

再次选取ORL数据库中每人的前4幅图像进行训练，剩余图像用于测试，实验结果如图3、图4、图5所示。因为在表2中其他5种算法明显优于PCA，所以图2、图3和图4只显示了5种典型相关算法在3种特征组合下随维度变化的识别结果。从图2、图3和图4可以看出GMCCA优于其他4种算法，尤其在维数较少的情况下，GMCCA的识别率明显高于其他算法。从算法的稳定性角度，GMCCA也比其他4种算法较好。实验结果再次有效地验证了GMCCA的鲁棒性。

实验3COIL-20对象数据库实验

本节实验采用国际上被广泛使用的COIL-20对象数据库，COIL-20是哥伦比亚大学的一个包含20个对象的图像数据库(http://www.cs.columbia.edu/CAVE/software/softlib/coil-20.php)，该数据库分别对每个对象从0°～360°进行水平方向的旋转，每5°采样一幅图像，每个对象共计采取72幅图像，共计1440幅图像。该数据库已被成功地应用于模式识别和机器学习等领域，如数据的可视化、姿态的估计等。COIL-20数据库中的20个对象如图6所示。

实验中，从每个对象的72幅图像中随机选取10、20、30、40和50幅图像，剩下的图像用作测试。独立进行10次随机实验，然后计算其平均识别率。实验中对每幅图像提取3组特征。本次实验仍将原始图像特征记为O；原始图像用LBP提取后的特征记为L；将原始图像用HOG提取后的特征记为H。并执行PCA将上述3种特征约减至50维。

表3显示了6种算法在3种特征组合上的10次随机实验的平均识别结果。从表3的实验结果可以看出，GMCCA明显优于传统的CCA。在绝大部分情况下，GMCCA比ROCCA效果略好。表3中，CCA和C3A的识别率相当，说明此数据集在PCA提取特征降维后，CCA能够提取出完备的特征信息，而GMCCA的识别率优于CCA和C3A，也说明GMCCA不仅提取出完备的特征信息，而且提取出的特征更加具有鲁棒性。在表3中仍有两种情况下，GMCCA的识别率比其他算法略低，但差异很小。并且，从整体平均识别率来看，GMCCA优于其他5种算法。这些实验结果验证了GMCCA有效性和鲁棒性。

表3 6种算法在COIL-20对象数据库上的识别结果

再次选取COIL-20数据库中每个对象的前25幅图像进行训练，剩余图像用于测试，图7、图8和图9显示了5中算法在3种特征组合下随维度变化的识别结果。从3张图的结果可以看出GMCCA明显优于其他4种算法，相比传统的CCA，识别率有了较大的提高，并且进一步验证了GMCCA在维数较少时识别率比其他算法更高的结论。而且，GMCCA随维数的增加，识别率比其他4种算法更加趋于稳定，这些结果说明GMCCA提取的特征更加具有鲁棒性。注意到，CCA和C3A的Dimension-Recognition Rate折线是重合的，验证了表3中CCA和C3A的识别率相当的结论，说明CCA可以从数据集中提取出完备的特征信息。这也侧面反映在CCA能够提取完备信息的同时，GMCCA能抑制野值点的影响，提取出更加鲁棒的特征。上述的实验结果进一步验证了GMCCA的有效性和鲁棒性。