利用非对称注意力与小波子带注入的高光谱超分辨方法

摘要

本发明公开了一种利用非对称注意力与小波子带注入的高光谱超分辨方法，该方法主要包括：利用离散小波变换抽取多光谱多分辨率高频细节特征；构建细节提取网络编码器；构建细节提取网络解码器；对低分辨率高光谱图像进行预处理；构建空谱融合网络编码器；构建非对称特征选择注意力模块；构建空谱融合网络编码器；使用L1损失函数训练网络。本发明通过小波网络提取多光谱的深度多分辨率细节注入到U‑Net，使学习到的高光谱图像具有更好的空谱细节信息。

说明书

技术领域

本发明涉及一种高光谱超分辨方法，特别是一种利用非对称注意力与小波子带注入的高光谱超分辨方法。

背景技术

高光谱图像拥有几十到数百个波段，相比于多光谱图像可以很清楚的辨别地物。然而，现实中受到硬件或预算的限制，获得高空间分辨率的HS图像是困难的。因此，现在普遍的方法是将LR-HS图像和HR-MS图像融合获得HR-HS图像。

随着深度学习的发展，越来越多的深度学习模型应用在高光谱超分辨中，例如空谱融合网络(SSF)、深度双分支卷积神经网络(Two-CNN)、深度递归网络 (DRN)、渐进式零中心残差网络(PZRes-Net)和深度空谱注意力卷积神经网络 (DSSA-CNN)。一些方法利用深度学习网络学习退化模型来重构HS图像，例如深度高光谱Sharpening(DHSIS)和深度盲源高光谱融合(DBIN)，为了增加深度学习的可解释性，研究者提出深度展开网络来解决融合HS问题，例如，多光谱高光谱融合网络(MHF-Net)、融合变分网络(VaFuNet)和模型主导的高光谱图像超分辨率(MOG-DCN)。这些深度学习方法只是将HS图像和MS图像沿光谱通道的级联作为网络的输入，没有充分考虑潜在的多尺度空间信息。

有研究者提出在不同尺度上融合HS图像和MS图像。例如，Zhou等人[Zhou, Feng,et al."Pyramid fully convolutional network for hyperspectral andmultispectral image fusion."IEEE Journal of Selected Topics in Applied EarthObservations and Remote Sensing 12.5(2019):1549-1558.]提出PFCN网络来解决MSI和HSI融合问题。该网络主要由两个子网络组成，第一个子网络是通过卷积核提取LR-HS 图像中的光谱信息并将其编码为深度特征，第二个子网络旨在将HR-MS图像金字塔与编码的深度特征集成以获取HR-HS图像。Xu等人[Xu,Shuang,et al. "HAM-MFN:Hyperspectral andmultispectral image multiscale fusion network with RAP loss."IEEETransactions on Geoscience and Remote Sensing 58.7(2020): 4618-4628.]提出HAM-MFN网络来解决MS图像和HS图像融合问题。该网络首先LR-HS图像的深度特征利用反卷积逐渐放大，然后将LR-HS图像和MS图像的深度特征在不同的尺度上融合，最后获得HR-HS图像。但是这种结构忽略了MSI的基本特征和浅层特征。因此，Xiao等人[Xiao J,Li J,Yuan Q,etal.“A Dual-UNet with Multistage Details Injection for Hyperspectral ImageFusion，”IEEE Transactions on Geoscience and Remote Sensing,2021.]提出双U-Net融合方法，首先利用编码器-解码器网络提取不同尺度的多光谱空间特征，然后使用这些尺度特征注入U-Net网络来重建HS图像。然而这些网络只是简单的利用卷积提取 MS图像多尺度深度特征注入HS图像来增强分辨率，融合目的应该是利用MS 的空间细节特征注入到HS图像。简单利用卷积提取MS的多尺度特征不能有针对性的获得细节特征。

发明内容

本发明的目的在于提供一种利用非对称注意力与小波子带注入的高光谱超分辨方法。

实现本发明的技术解决方案为：一种利用非对称注意力与小波子带注入的高光谱超分辨方法，包括如下步骤：

第一步，利用离散小波变换抽取多光谱多分辨率高频细节特征；

第二步，根据离散小波变换提取的高频细节和卷积操作，构建细节提取网络编码器；

第三步，通过细节提取编码器的深度特征和反卷积操作，构建细节提取网络解码器；

第四步，对低分辨率高光谱图像做预处理，即对低分辨率高光谱图像上采样至多光谱图像同样的空间大小；

第五步，利用上采样后的高光谱图像、高分辨率多光谱图像和细节提取网络编码器提取的深度特征，构建空谱融合网络编码器；

第六步，利用非对称特征选择注意力模块，对空谱融合网络编码器输出的深度多分辨率特征进行选择；

第七步，利用非对称特征选择注意力模块、空谱融合网络编码器和细节提取网络解码器输出的深度特征，构建空谱融合网络解码器，并利用Relu激活函数得到融合结果；

第八步，使用L1损失函数训练网络。

一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的利用非对称注意力与小波子带注入的高光谱超分辨方法。

本发明方法结构简单，与现有技术相比，其显著特点在于：(1)首先利用离散小波变换提取多分辨率小波细节特征，然后使用编码器-解码器将这些细节特征转化成深度细节特征，并注入到HS图像中来增强分辨率；(2)利用非对称特征选择注意力模块，对不同分辨率特征进行选择；(3)该网络结构简单，计算复杂度低。

下面结合附图对本发明作进一步详细描述。

附图说明

图1是本发明方法的结构图。

图2是非对称特征选择注意力模块的结构图。

图3是本发明方法对real and fake apples数据上不同方法的融合结果伪彩色合成图和对应的均方误差图像(波段30，20，10)。(a)CNMF.(b)HySure.(c)ICCV. (d)DHSIS.(e)DBIN.(f)CNN-Fus.(g)MOG-DCN(h)DMW-UNet。

图4是本发明方法在real and fake apples数据上不同方法的融合结果各个波段的MPSNR曲线比较。

图5是本发明方法在real and fake apples数据上不同方法的融合结果各个波段的MSSIM曲线比较。

图6是本发明方法在img1数据上不同方法的融合结果伪彩色合成图和对应的均方误差图像(波段30，20，10)。(a)CNMF.(b)HySure.(c)ICCV.(d)DHSIS. (e)DBIN.(f)CNN-Fus.(g)MOG-DCN.(h)DMW-UNet。

图7是本发明方法在img1数据上不同方法的融合结果各个波段的MPSNR 曲线比较。

图8是本发明方法在img1数据上不同方法的融合结果各个波段的MSSIM 曲线比较。

具体实施方式

针对现有技术存在的问题，本发明首先利用离散小波变换提取MS的多尺度细节特征，然后利用卷积学习这些细节特征得到多尺度深度细节特征，最后将这些特征注入U-Net来增强HS图像分辨率。本发明具有同时在欧式空间与拓扑空间中提取高光谱图像空-谱特征的能力，应用于高光谱图像超分辨具有优异性能。实验结果是，在CAVE数据集上平均峰值信噪比(MPSNR)可达47.0245，在Harvard数据集上平均峰值信噪比(MPSNR)可达45.8118。实验结果表明本发明提出的网络结构能很好的恢复HS图像的空间和光谱信息。

结合图1，详细说明本发明的实施过程，本发明所述方法步骤如下：

第一步，利用离散小波变换抽取多光谱的多分辨率高频细节特征。记

三个方向的高频子带图像表示为

其中，其中，

W

其中，Concat(.)表示通道维拼接操作。由于低频子带图像C

第二步，根据离散小波变换提取的高频图像和卷积操作，构建细节提取网络编码器。首先对高频图像W

WE

其中，Conv

WE

第三步，通过编码器提取的深度特征和反卷积操作，构建细节提取网络解码器。细节提取网络解码器目的是对空谱联合网络解码器信息的一种补充，解码器由步长为2的反卷积和一个3×3卷积组成。解码器三个输出的深度特征，表示为

其中，Deconv(.)表示反卷积，WD

第四步，对低分辨率高光谱图像做预处理，即对低分辨率高光谱上采样至多光谱相同的空间大小，变换过程为

其中，Up(.)表示空间上采样操作，上采样的方式是双线性插值，尺度因子为8。

第五步，利用上采样后的高光谱图像、高分辨率多光谱图像和细节提取网络编码器提取的深度特征，构建空谱融合网络编码器。本节使用残差块来提取深度特征，因此下面将简单介绍残差块。残差块由两个3×3的卷积和Relu激活函数组成。此过程表示为

RB(X

其中，X

其中，MUe

第六步，如图2所示，利用非对称特征选择注意力模块，对空谱融合网络编码器输出的特征进行选择。下面是以MUe

然后将获得的三个深度特征逐元素相加，得到深度特征Su，此过程表示为

下面将对多分辨率特征联合使用空间和通道注意力机制选择重要的特征。

为了获得深度特征Su的通道注意力系数，首先利用全局平均池化操作来提取 Su的全局感受野，将每个特征通道都抽象为一个特征点，此过程表示为

Cs＝SAvgpool(Su)

其中，SAvgpool(·)表示空间维平均池化操作。然后利用两层的多层感知机网络进行非线性特征变换构建特征图之间的相关性，此过程表示为

Cz＝fc(Relu(fc(Cs)))

其中，fc(.)表示全连接层。

为了获得深度特征的空间注意力系数，首先对Su通道维做平均池化和最大池化得到两个空间维与深度特征Su空间大小相同通道维为1的深度特征。然后将两个深度特征在通道维上拼接起来，此过程表示为

Ss＝Concat(CAvgpool(Su),CMaxpool(Su))

其中，CAvgpool(.)表示通道维平均池化操作，CMaxpool(.)表示通道维最大池化操作。接着对Ss利用7×7卷积计算，获得空间注意力系数，此过程表示为

Sz＝Conv

将获得的空间和通道注意力系数相乘，获得空谱注意力系数，表示为

Sc＝Cz*Sz

利用三个1×1卷积获得三个空谱注意力系数，此过程表示为

SC

其中，Conv

其中，Sa、Sb和Sc分别表示Su

AFSSC

其中，AFSSC

第七步，利用非对称特征选择注意力模块、空谱融合网络编码器和细节提取网络解码器的深度特征，构建空谱融合网络解码器，并利用Relu激活函数得到融合结果。利用卷积、残差块和反卷积对MUe

其中，MUd

将解码器的输出MUd

第八步，使用L1损失函数训练网络。具体为

其中，

本发明的效果可通过以下仿真实验进一步说明：

仿真条件

仿真实验采用两组真实高光谱数据：CAVE数据集和Harvard数据集。CAVE 数据集由32个室内高光谱图像组成，它的空间大小为512×512，波段范围 400nm-700nm，光谱分辨率10nm，31个波段。Harvard数据集由50个室内和室外高光谱图像组成，它的空间大小为1040×1392，波段范围420-720nm，光谱分辨率10nm，31个波段。在实验中为了方便采集训练数据块，本发明从图像左上方开始截取1024×1024空间大小作为训练和测试集。

LR-HS图像通过利用8×8的高斯滤波器(均值为0，标准差维2)，并通过对参考图像的每个波段再垂直和水平方向上每8个像素进行下采样来实现，即抽取因子为8×8。模拟同一场景的HR-MS图像，对HR-HS图像进行下采样。光谱下采样矩阵R采用Nikon D700相机的响应函数。对于CAVE数据集，实验中使用前20个高光谱图像作为训练，后面12个高光谱图像作为测试。对于Harvard 数据集，实验中使用前30个高光谱图像作为训练，后面20个高光谱图像作为测试。由于深度学习需要利用大量的数据作为训练集，因此对这些训练高光谱图像取块作为深度学习的训练集。每个LR-HSI块的大小4×4×31，每个HR-MSI块的大小32×32×3，每个HR-HSI块为32×32×31。

仿真实验在windows10操作系统下采用Python-3.8-Pytorch-1.10完成。此外，本实验的激活函数统一为Relu，使用ADAM优化器训练网络，学习率设置为 0.0001，迭代次数固定为1000，其他网络结构超参数配置总结在表1中。

仿真实验结果分析

表2为本发明方法及其对比方法对CAVE数据集超分辨的结果，表3为本发明方法及其对比方法对Harvard数据集超分辨的结果。

表1网络超参数配置

表2本发明方法及其对比方法对CAVE数据集超分辨的结果

表3本发明方法及其对比方法对Harvard数据集超分辨的结果

表2为本发明方法及其对比方法对CAVE数据集超分辨的结果。从表2可以看出DMW-UNet在指标mpsnr、uiqi和mssim数值最大，且RMSE、ERGAS和 SAM数值最小。从图3可以说明本发明方法重建误差最小。从图4和图5中可以看出本发明方法的MPSNR和MSSIM数值在每个波段上指标都最高。

表3为本发明方法及其对比方法对Harvard数据集超分辨的结果。从表2可以看出DMW-UNet在指标mpsnr、uiqi和mssim数值最大，且RMSE、ERGAS 和SAM数值最小。从图6可以说明本发明方法重建误差最小。从图7和图8中可以看出本发明方法的MPSNR、MSSIM数值在每个波段上指标都最高。

从以上实验结果可以看出，本发明方法拥有较好的空间和光谱重建能力。