高光谱遥感图像空谱结合分类框架下的基于地物类别隶属度评分的合并方法

摘要

本发明属于遥感图像处理技术领域，具体为高光谱遥感图像空谱结合分类框架下的基于地物类别隶属度评分的合并方法。本发明结合基于光谱信息的初步分类结果和基于空间信息的初步分割结果，最终得到高精度的地物分类标识图，为“分类—分割—合并”框架中的合并环节提供一种新策略。本发明以模糊理论为基础，以隶属度评分为核心，同步权衡三大因素：高光谱图像的空间一致性、光谱多变性以及先验知识，从而有效地提高了分类精确程度，增强了分类标识图的空间平滑性及可读性。同时，本发明具有良好的兼容性和鲁棒性，能够应对低精度的初步分类、分割结果以及参数变化等多种不确定性因素，能够提升空谱结合的分类框架的实用性。在高光谱图像的分类方面具有重要的应用价值。

说明书

技术领域

本发明属于遥感图像处理技术领域，具体涉及一种高光谱遥感图像空谱结合分类方法。

背景技术

遥感技术是本世纪六十年代发展起来的新兴综合技术，与空间、电子光学、计算机、地理学等科学技术紧密相关，是研究地球资源环境的最有力的技术手段之一。高光谱遥感是将成像技术与光谱技术相结合的多维信息获取技术。高光谱成像仪在电磁波谱的数十至数百个非常窄且连续的光谱段上同时探测目标的二维几何空间与一维光谱信息，为地物信息的提取和分析提供了极其丰富的信息，有助于精细的地物分类和目标识别，从而被广泛应用于地质科学、水文科学、精准农业以及军事领域等[1],[2]。然而，大量的光谱信息也会带来诸多问题，如维数灾难、休斯(Hughes)效应等。特别是遇到严重的同物异谱现象时，单纯依靠光谱特征的分类器无法精确地将同一种类的像素划分出来[2]。所以需要借助空间信息来弥补光谱信息的不足。在高光谱图像中，像素的分布往往表现出空间上的特性，可以提取出多种对应于地物的空间特征，例如形状、纹理等。将这些空间信息与光谱信息相结合[2]，则可以大大提高利用高光谱图像进行地物分类的能力。

在空谱结合的指导思想下，大量学者提出并细化了一种通用的高光谱遥感图像的分类框架：分类—分割—合并，即先分别将图像进行单纯基于光谱信息的分类以及基于空间信息的分割，再将二者的结果进行合并，以提高最终的分类精度[1]。在此框架下，已有大量优秀的方法[1]-[6]。而这些方法共性是偏重初步分类、分割或特征提取算法的开发，而忽视了合并策略的研究，使得它们步骤庞杂、计算复杂度高，不利于应用与推广。经我们研究发现，只要合并方法能够充分利用局部空间的一致性，就能够有效地应对同物异谱现象，只需简单的计算，就能正确地融合初步分类和分割的结果，从而得到高精度的地物标识图。另外，由于获取一组高光谱数据的地物真实信息的难度较大，使得训练样本的个数稀少[2]。所以充分地利用有限的先验知识是合并方法的另一大要点。

下面介绍与本发明相关的一些概念：

光谱多样性(Spectral variability)

由于高光谱图像的波段数量大、地物种类多，所以像素的光谱特征具有多样性。另外，低空间分辨率、地物分布异质性、多次散射效应等因素会加重多样性的程度[2]，往往会导致同物异谱现象或异物同谱现象，为分类造成困难。

局部空间的一致性(Local spatial consistency)

该特性由我们观察经验所得，即为在一个较小的局部空间内，高光谱图像的像素往往均属于少数的几种类别甚至是同一类别，而且它们的光谱特征具有高度的相关性。

超像素(Superpixel)

超像素在图像分割领域中得到广泛应用[7]。本发明将一个分割区域视为一个超像素。

发明内容

本发明的目的在于提出一种分类与分割结果的合并方法，即高光谱遥感图像空谱结合分类框架下的基于地物类别隶属度评分的合并方法。

本发明在“分类—分割—合并”框架下，以模糊理论为基础[1]，采用一种地物类别隶属度的评分方法，同步权衡三大因素：高光谱图像的空间一致性、光谱多变性以及先验知识，进行初步分类与分割结果的有效合并。与其他优秀的同类方法相比，本发明具有更高的分类精度、更好的兼容性和鲁棒性，以及更为简便的实现方式。兼容性表现在能够兼容低精度的分类、分割算法以及多种像素级相似性度量。即使在初步分类、分割结果误差较大的情况下，本发明也能够保证高质量的分类效果；即使采用不同的像素级相似性度量时，最终分类精度的波动也不明显。鲁棒性表现在能够有效应对参数的变化，即使使用缺省值，无需精确的参数调节，也能够获得高精度的分类结果。简便性主要体现在评分表达式中，即只需要基本的数值运算，就能够实现地物隶属度的模糊评分。

本发明提出一种高光谱遥感图像空谱结合分类框架下的基于地物类别隶属度评分的合并方法。具体内容如下：

一、根据现有的高光谱遥感图像的分类框架：分类—分割—合并，采用现有算法，对于前两个环节进行计算，得到初步分类以及初步分割结果

根据现有的高光谱遥感图像的分类框架：分类—分割—合并，对高光谱遥感图像分别进行空间上的分割以及光谱上的分类，最后将二者的结果合并。分类或分割之前，可以对图像进行降维(非强制)，以防止维数灾难、提高后续算法的效率。并且，降维、分类、分割以及合并算法可任意选择。由于本发明提出的合并算法具有良好的兼容性，对分类、分割的精确度要求不高，为了保证分类框架的整体实用性，所以选择简单、高效、常见的算法：用支持向量机(support vector machines，SVMs)[1]或K邻域法(K-Nearest Neighbor，KNN)作为有监督分类器，将主元分析法(Principal Component Analysis，PCA)用于分类前的降维。同时，用简单线性迭代聚类法(simple linear iterative clustering，SLIC)进行无监督过分割，得到分割区域将每一分割区域X_m视为一个超像素，其中所涵盖的自然像素即为该超像素的成员，成员个数B_m即为该超像素的大小。另外，由于局部空间地物类别的一致性是后续的合并算法的基本要素之一，所以采用SLIC对图像进行过分割，得到小型的超像素。一般地，令B_m＝L²，2≤L≤4。

二、定义超像素之间的相似度

已知任意两个不同的超像素m和n，其大小分别为B_m和B_n，则超像素之间的相似度可定义为：

$>S_{\mathrm{mm}}=\frac{\underset{c=1}{\overset{C}{\Sigma }}\underset{1\le i\le B_m}{\Sigma }\underset{1\le j\le B_n}{\Sigma }{s}_{\mathrm{ij}}{w}_i^c{w}_j^c}{\underset{c=1}{\overset{C}{\Sigma }}\underset{1\le i\le B_m}{\Sigma }\underset{1\le j\le B_n}{\Sigma }{w}_i^c{w}_j^c},m,n=\mathrm{1,2}...M,---\left(5\right)$>

其中，M是图像中所有超像素的个数，i和j分别表示超像素中的成员。c＝1,2,...C表示已知类别。是加权值，表征像素i是否属于类别c，如果是，则为一数值较大的常数W₁，否则为1。s_ij＝d_ij^-1,d_ij≠0可以是任意像素级的相似度，例如欧氏距离(EuclideanDistance，ED)、光谱角距离(Spectral Angle Metric，SAM)等[8]。特别地，为了直接反应地物的空间相关性，本发明一般采用光谱相关系数(correlation coefficient，CC)的自然底数幂(exp(0.5·CC_ij))作为s_ij。取自然底数幂的目的在于保证超像素相似度量的非负性。此外，为了方便应用，定义d_ii＝0及s_ii＝0。相似度越大，则超像素m和n越相似。特别地，该超像素的相似度考虑了先验知识，不仅能够表征两个超像素在空间和光谱上的相似性，还能够反应其它们在地物类别属性上的一致性。

三、定义超像素的邻域

如果一个超像素至少有一个成员与另一的超像素的成员相邻，则认为这两个超像素是相邻的。在此基础之上，本发明定义了两种超像素邻域：自然邻域和拓展邻域。一个超像素的自然邻域仅涵盖了与该超像素相邻的所有超像素；而拓展邻域则不仅包括了自然邻域，还包含了与该超像素最相似的相邻超像素的自然邻域。其中，相似度由(二)中定义的超像素级相似度来衡量。采用邻域的目的在于在评分机制中适当引入光谱的变化，平衡多样性和单一性。相比自然邻域，拓展邻域能够引入更高程度的光谱以及地物类别的多样性。所以，当某一超像素及其自然邻域全部被初步分类器误判时，拓展邻域能为纠正错误带来更多契机。

四、定义隶属度模糊评分规则

隶属度评分(Affinity Score，AS)是本发明的核心部分，它以模糊理论为基础[9]，同步考虑了三大要素：局部空间上的一致性、光谱多变性以及先验知识。该评分规则在每一个分割区域即超像素及其领域中，对该超像素的各成员隶属于各已知类别的程度进行模糊评分，然后将每一成员划分到得分最高的类别中，实现再分类以及错误校正。令表示超像素m内成员i属于类别c的程度评分，主要有两部分组成：超像素m内其他成员j贡献的评分和超像素m邻域内其他超像素n所有成员k_n贡献的评分。为了保证空间区域的一致性，评分限定在某一个超像素及其邻域内，则c＝1,2,...C是出现在超像素m及其邻域的初步分类结果中的类别，而非整体图像X的所有训练样本所包含的类别。

的具体计算过程如公式(5)—(7)所示。由超像素m内其他成员贡献的评分如下：

$>\left(\begin{array}{c}{I}_i^c=\underset{1\le j\le B_m}{\Sigma }{s}_{\mathrm{ij}}{w}_j^c\\ i,j\in \{\mathrm{1,2},...,B_m\},c\in \{\mathrm{1,2},...,C_m\},i\ne j,m=\mathrm{1,2}...M,\end{array}\right)---\left(6\right)$>

其中，B_m，M，s_ij以及的定义同公式(5)。特别地，是对先验知识提供的训练样本的加权值，即当且仅当成员j为训练样本且属于类别c时否则c∈{1,2,...,C_m}是出现在超像素m的初步分类结果中的类别。由超像素m邻域内其他超像素n所有成员k_n贡献的评分如下：

$>\left(\begin{array}{c}{C}_i^c=\underset{n=1}{\overset{N}{\Sigma }}\underset{1\le k_n\le B_n^m}{\Sigma }{s}_{i{k}_n}{w}_{k_n}^c,\\ k_n\in \{\mathrm{1,2},...,B_n^m\},c\in \{\mathrm{1,2},...,C_n\},i\ne k_n,n=\mathrm{1,2}...N,\end{array}\right)---\left(7\right)$>

其中，是邻域内超像素n的大小，是对n中的训练样本的加权值，即当且仅当成员k_n为训练样本且属于类别c时否则由于k_n不在i的超像素m内部，二者的关联性低于j和i的关联性，故令1≤W₂≤W₁。c∈{1,2,...,C_n}是出现在超像素n的初步分类结果中的类别。综上，归一化的总得分为：

$>A_i^c=\frac{I_i^c+O_i^c}{\underset{c_m=1}{\overset{C_m}{\Sigma }}{I}_i^{c_m}+\underset{c_n=1}{\overset{C_m}{\Sigma }}{O}_i^{c_n}},---\left(8\right)$>

显然，的变化范围是(0,1]。分值越高，则说明像素成员属于类别的程度越大。

五、采用隶属度模糊评分，对步骤(一)中初步分类、分割结果进行合并，具体步骤如下：

步骤1：已知高光谱遥感图像X∈R^I×J×Q，其中I,J,Q分别表示行、列以及波段数，训练样本的地物真实、初步分类(SVM/KNN)以及初步分割(SLIC)结果；

步骤2：令超像素计数m＝0，最大值为M，循环计数t＝0，最大值为T；

步骤3：计算并记录X中任意两个像素i和j之间的相似度s_ij；

步骤4：根据(一)中定义的自然邻域或拓展邻域，确定超像素m的邻域；

步骤5：根据公式(6)—(8)定义的隶属度评分规则，对超像素m中每一成员i属于每一类别c的程度进行模糊评分；

步骤6：将超像素m中每一个成员i重新标注为得分最高的类别；

步骤7：更新m←m+1，重复步骤3-5；当m＝M时执行步骤8；

步骤8：更新t←t+1，重复步骤3-6；当t＝T时执行步骤9(此步非强制)；

步骤9：得到分类后的地物标识图。

需要注意的是，本发明有两个模式：步骤4中只采用自然邻域的记为CRAS1，采用拓展邻域的记为CRAS2。还需补充说明的有三点。首先，步骤5中，如果多个类别获得了相同的评分，则将该像素成员标注为在其所属超像素及邻域内上述类别中出现频率最高的那一类；若仍无法判别，则将该成员随机划分为上述地物种类中的任意一类。其次，步骤8是非强制的。而由经验可知适当循环步骤3-6可以进一步提升分类精度。另外，同样由经验可知，如果在步骤4中使用拓展邻域，则需在t＞1或t＞2时才能进行。即CRAS2的前1-2个循环和CRAS1相同。这是因为，初步分类结果的精度不高，每一个超像素内的误判较多，故再分类的首要工作是保证空间的一致性，而不宜大量引入光谱以及地物类别多样性。一般地，如果只采用自然邻域，则令T＝2或T＝3；如果还使用了拓展邻域，则令T＝3。

本发明的有益效果在于：显著提高分类精度，增强分类标识图的平滑性和可读性；兼容性强，能够采用多种像素级相似度，配合基本的甚至是低精度的分类、分割方法；对参数的变化具有鲁棒性，无需精确地调节参数就能获得高质量的分类结果；充实合并策略的研究领域，提升了“分类—分割—合并”框架的实用性，在空谱结合的高光谱图像分类方面有重要的应用价值。

实际高光谱数据实验表明，与同类算法相比，本发明中采取的模糊评分法具有更好的分类结果，在初步分类精度较低的情况下仍然能够输出高精度的分类标志图，对像素级相似度以及参数的变化不敏感，具有较好的兼容性和鲁棒性，为严重的同物异谱现象以及稀少的训练样本等问题提供了一个良好的解决途径，对于高光谱图像的空谱结合的分类领域具有重要的实际意义。

附图说明

图1 Indian Pines高光谱遥感图像：(a)波段70、86和136的伪彩图,(b)地物真实图.

图2 Indian Pines图像为例，“分类—分割—合并”框架各环节随机抽取的结果：(a)SLIC过分割，(b)SVM分类(TTR＝5.01％,OA＝79.08％)，(c)SVM+SLIC+CRAS1的分类结果(TTR＝5.01％,OA＝97.00％)，(d)SVM+SLIC+CRAS2的分类结果(TTR＝5.01％,OA＝97.35％).

图3 KNN+SLIC+CRAS1/CRAS2对Indian Pines图像的分类精度与参数变化的关系：(a)其他参数不变时，改变W₁(b)其他参数不变时，改变W₂.

具体实施方式

下面，以实际遥感图像数据为例说明本发明的具体的实施方式:

本发明中的基于隶属度评分的合并方法用CRAS表示，其采用自然邻域和拓展邻域的两种模式分别用CRAS1和CRAS2表示。结合“分类-分割-合并”框架中的前两个环节，本发明用SVM/KNN+SLIC+CRAS1/CRAS2表示。

实际数据实验

我们使用实际的高光谱遥感图像数据集对所提出算法的性能进行测试。该数据集是由机载可见光及红外成像光谱仪(Airborne Visible/Infrared Imaging Spectrometer，AVIRIS)拍摄于1992的Indian Pines数据集。该数据集包含145×145个像素，220个波段，波长范围是0.4-2.5μm，光谱分辨率为10nm。去除低信噪比或水吸收波段后，余下的186个波段被用于算法验证。图1显示了该图像的伪彩色图以及地物真实分布图。实地勘测可知，该地区包含16种地物，各类别名称、编号以及样本个数请见表1。

在分类前，依据地物真实取定训练样本—总样本占比(Train-to-Total Ratio，TTR)。该比例为先验的训练样本数占待分类的样本总数的百分比。由此选取的样本作为训练，剩余的样本作为分类测试。初步分类分别采用SVM¹和KNN²，SVM的参数由交叉验证确定，所用的样本为一组随机抽取的TTR＝5.01％的训练样本，KNN则完全采取缺省值，其中邻域数K＝1。初步过分割采用SLIC³。其他主要参数的缺省值如表2所示。如无特殊说明，本节中所有的参数均采用缺省值，AS中使用的像素级相似度为CC的自然指数函数。

评价分类效果的方式分为定性的和定量的。其中，定性评价即考察分类标识图的可读性，并且将其与地物真实图(图2(b))比较。定量评价则包含三个指标：总体分类精度(OverallAccuracy，OA)，平均分类精度(Average Accuracy，AA)以及Kappa系数(κ)，其计算方法如[8]所示。每个实验都在同等条件下执行20次，然后使用平均结果作为最终的输出结果，以避免单次实验所造成的误差。实验的软硬件环境为Intel(R)Xeon(R)X5667 CPU3.00 GHz(双核)24 GB内存，软件平台为Windows 7及MATLAB R2013b。

表1 Indian Pines高光谱遥感图像的地物类别及各类的样本数

标号名称样本数标号名称样本数C1Alfalfa54C9Oats20C2Corn-notill1434C10Soybeans-notill968C3Corn-min834C11Soybeans-min2468C4Corn234C12Soybeans-clean614C5Grass/Pasture497C13Wheat212C6Grass/Tress747C14Woods1294C7Grass/pasture-mowed26C15Bldg-Grass-Tree-Drives380C8Hay-windrowed489C16Stone-steel towers95

表2主要参数的缺省设置

参数解释缺省值R_sSLIC产生的超像素的大小(约为R_s×R_s)3R_eSLIC产生的超像素的形状规则度约束50W₁AS对当前超像素中训练样本的加权值800

W₂AS对当前超像素邻域中训练样本的加权值50TCRAS的循环次数3P初分类前PCA提取的主元个数22

实验1分类效果的验证首先，通过观察图1中“分类—分割—合并”框架各环节的结果，可以发现，采用CRAS合并算法以后的分类精度较SVM初分类的精度有明显的提升，分类标识图的椒盐错误得到纠正，平滑性、可读性也就大大增强。

而后，我们采用相同的初分类、初分割算法，将CRAS与基本的合并规则众数投票(Majority Voting，MV)[1]以及加权众数投票(Weighted Majority Voting，WMV)[10]相比较，以评价CRAS单纯作为合并规则时的性能。表3说明采用CRAS时，分类精度明显升高，验证了CRAS相对于MV和WMV的优越性。此外，CRAS2的效果略优于CRAS1。这是因为Indian Pines数据具有严重的同物异谱现象，导致初步分类的精度低，同时使得某一超像素及其自然邻域全部被误判的几率增加，而考虑了拓展邻域的CRAS2能够合理地引入更高程度的光谱以及地物类别的多样性，为纠正错误带来更多契机。

表3比较CRAS与基本的合并规则MV以及WMV

表4比较KNN+SLIC+CRAS1/CRAS2与较为优秀的空谱结合分类算法

最后，再将SVM/KNN+SLIC+CRAS1/CRAS2与“分类—分割—合并”框架下其他性能较优的算法Hseg+MV[1],[3],[4],SVMMSF[1],[5],SVMMSF+MV[1],[5]以及MSSC-MSF[1],[6]进行比较。其中，第一种方法的重点在于分割算法的改进，第二、三种方法侧重于分割与合并算法的混合使用，最后一种方法则强调多重分类器的应用。如表4所示，提出的方法均优于其他方法，表明CRAS能够显著提升该通用框架的效果与实用性。

实验2兼容性的验证在AS(式(6)—(8))中分别采用三种像素级相似度/距离：ED，SAM[8]和CC。如表5所示，相似度量的改变对CRAS分类精度的影响不明显，说明CRAS能够兼容多种形式的像素级相似度。在应用当中，可以尽量选择简洁的度量方式。

另外，从表3可知，无论是配合效果不佳的KNN还是SVM，CRAS都能给出高精度的分类结果。所以说明使用CRAS的空谱结合分类框架能够兼容常用的分类、分割算法，节省了寻找或开发高精度的分类、分割算法的时间。

表5采用不同的像素级相似度时，CRAS的分类精度

实验3鲁棒性的验证采用KNN进行初分类，分别改变AS中的权重W₁和W₂，考察分类精度的变化。如图3所示，综合所有情况，分类精度最大值约为97.0％，最小值约为94.5％，相差小于3％，而且均高于表4中已有的那些性能较优的方法。这说明，CRAS具有鲁棒性，其效果对参数的变化不敏感，即使采用缺省值也能够保证分类的精度。所以CRAS不要求精细地调节参数，从而大大提高了自身的实用性。

如图3(a)所示，当W₁＝10,20,...,100,200,...1000，W₂＝50的分类精度高于W₂＝500的分类精度；当W₁＝1000时，CRAS1和CRAS2均能得到最高的分类精度。如图3(b)所示，对于W₂＝10,20,...,100,200,...1000，W₂＝50时的分类精度高于W₂＝500时的分类精度；当W₂＝20时，CRAS1和CRAS2均能得到最高的分类精度。与此相比，缺省值和产生的分类精度(见表3)虽不是最优的，但相差不大，所以没有必要精细地调节参数，也能通过CRAS获到较好的结果。另外，由图3(b)可知，W₂＝10的分类精度下降幅度相对较大，所以在设定参数时建议遵循10＜＜W₂＜＜W₁。

综上可知，我们提出的算法CRAS的分类效果优于其他类似算法，并且还具有良好的兼容性和鲁棒性以及实用性，可以高效地实现高光谱图像的空谱结合的分类。

参考文献：

[1]M.Fauvel,Y.Tarabalka,J.A.Benediktsson,J.Chanussot,and J.C.Tilton,“Advances inspectral-spatial classification of hyperspectral images,”Proceedings of the IEEE.,vol.101,no.3,pp.652-675,Mar.2013.

[2]G.Camps-Valls,D.Tuia,L.Bruzzone,and J.A.Benediktsson,“Advances in hyperspectralimage classification,”Signal Progressing Magazine,IEEE.vol.31,no.1,pp.45-54,Nov.2014.

[3]J.C.Tilton,Y.Tarabalka,P.M.Montesano,and E.Gofman,“Best merge region growingsegmentation with integrated non-adjacent region object aggregation,”IEEE Trans.Geosci.Remote Sens.,vol.50,no.11,pp.4454-4467,Nov.2012.

[4]Y.Tarabalka,J.C.Tilton,J.A.Benediktsson,and J.Chanussot,“A marker-based approachfor the automated selection of a single segmentation from a hierarchical set of imagesegmentations,”IEEE J.Sel.Top.Appl.Earth Observ.Remote Sens.,vol.5,no.1,pp.262-272,Feb.2012.

[5]Y.Tarabalka,J.Chanussot,and J.A.Benediktsson,“Segmentation and classification ofhyperspectral images using minimum spanning forest grown from automatically selectedmarkers,”IEEE Trans.Syst.Man Cybern.B,Cybern,vol.40,no.5,pp.1267-1279,Oct.2010.

[6]Y.Tarabalka,J.A.Benediktsson,J.Chanussot,and J.C.Tilton,“Multiple spectral-spatialclassification approach for hyperspectral data,”IEEE Trans.Geosci.Remote Sens.,vol.48,no.11,pp.4122-4132,Jan.2010.

[7]R.Achanta,A.Shaji,K.Smith,A.Lucchi,P.Fua,and S.Susstrunk,“SLIC superpixelscompared to state-of-the-art superpixel methods,”IEEE Trans.Pattern Analysis andMachine Intelligence,vol.34,no.11,pp.2274-2280,Nov.2012.

[8]H.Pu,Z.Chen,B.Wang,and G.Jiang,“A novel spatial-spectral similarity measure fordimensionality reduction and classification of hyperspectral imagery,”IEEE Trans.Geosci.Remote Sens.,vol.52,no.11,pp.7008-7022,Nov.2014.

[9]M.Jung,K.Henkel,M.Herold,and G.Churkina,“Exploiting synergies of global landcover products for carbon cycle modeling,”Remote Sensing of Environment,vol.101,no.4,pp.534-553,Jan.2006.

H.Yang,Q.Du,and B.Ma,“Decision fusion on supervised and unsupervised classifiers forhyperspectral imagery,”IEEE Geosci.Remote Sens.Lett.,vol.7,no.4,pp.875-879,2010.。