摘要：高光谱图像超分辨率技术旨在通过提升低分辨率高光谱图像的空间细节和质量，使其更好地服务于环境监测等领域。近年来，基于深度卷积神经网络的机器学习技术在光谱单图超分辨率领域上有着广泛的发展与应用，但仍存在难以兼顾空间多尺度局部特征与全局细节特征学习的缺陷。对此，本文

本文内容来源于《测绘学报》2025年第7期（审图号 GS京(2025) 1330

号）

DRformer：一种渐进式耦合多尺度CNN与浓缩注意力Transformer的高光谱图像超分辨率方法

程青, 汪博轩 , 张洪艳

摘要

高光谱图像超分辨率技术旨在通过提升低分辨率高光谱图像的空间细节和质量，使其更好地服务于环境监测等领域。近年来，基于深度卷积神经网络的机器学习技术在光谱单图超分辨率领域上有着广泛的发展与应用，但仍存在难以兼顾空间多尺度局部特征与全局细节特征学习的缺陷。对此，本文设计了一种基于渐进式采样策略耦合卷积神经网络与Transformer架构的融合网络DRformer。一方面，通过多尺度自适应加权光谱关注模块，用于局部特征的多尺度学习并选择性强调光谱信息特征并进行第一次上采样；另一方面，在网络后半段进行第二次上采样后融入基于Transformer架构构建的CADR模块，用于处理图像的全局特征，增强有效信息。为了验证本文方法的有效性与稳健性，选取Chikusei与Houston2013数据集开展试验，相较于已有的GDRRN、SSPSR、EUNet及MSDformer等深度学习方法具有更好的超分辨率性能，并且设计了消融试验以验证本文方法中各模块的有效性。

第一作者： 程青（1987—），女，博士，研究员，博士生导师，主要从事遥感信息处理与应用方面的研究。E-mail：

通信作者: 张洪艳 E-mail：zhanghongyan@cug.edu.cn

本文引用格式

程青, 汪博轩, 张洪艳.

CHENG Qing, WANG Boxuan, ZHANG Hongyan.

高光谱图像（hyperspectral image，HSI）通常由数十甚至数百个光谱带组成，提供了丰富的光谱信息来源。这些丰富的信息使高光谱图像能够有效地区分不同的物体、材料和土地覆盖类型，在矿产勘探 ［1］ 、医学图像处理 ［2-3］ 、遥感地物分类 ［4-6］ 及环境监测 ［7］ 等领域得到了广泛的应用。然而，由于传感器和采集设备的硬件限制，高光谱图像虽然具有很高的光谱分辨率，但空间分辨率却相对较低。这一特性难以满足某些对空间分辨率和精度要求较高的任务。因此，如何在保持光谱分辨率的同时提高空间分辨率，成为当前研究的重点。

为了解决上述问题，直接的办法是提高光学器件的精度和传感器的分辨率，但硬件传感器的改进需要高昂的成本。为了降低成本，学者们致力于使用后处理的方法提升高光谱图像的分辨率。它的原理是通过利用输入图像的信息、先验知识或来自外部的附加数据来计算丢失的高频细节，从低分辨率图像生成高分辨率图像。光谱图像超分辨率方法可分为两大类：光谱融合超分辨率方法 ［8-9］ 和光谱单图超分辨率方法（single hyperspectral image super-resolution，SHSR） ［10］ ，前者需要额外的辅助信息，如全色图像 ［11］ 、多光谱图像 ［12-13］ 等增强空间分辨率，而后者则仅依靠单张低分辨率高光谱图像来恢复相应的高分辨率图像。尽管光谱融合超分辨率方法受到广泛关注，但其要求低分辨率高光谱图像和高分辨率辅助图像来自同一场景，且复杂的配准和预处理操作都会影响算法的精度。为了克服这些问题，SHSR方法应运而生。由于SHSR方法在重建过程中不需要额外的辅助信息，且在大多数情况下重建效果良好，目前已广为运用。

综上所述，当前方法存在光谱特征表示不足、未能有效兼顾长距离信息和重要局部特征等问题。此外，许多方法仍依赖Transformer中的MLP层来处理高光谱图像，但这种做法可能无法充分适应高维数据的特点，从而限制了模型的进一步优化。本文提出一种名为DRformer（dual-resource Transformer）的混合结构来实现单幅高光谱图像超分辨率重建，该模型整体采用渐进式上采样策略，分阶段逐步提升图像的空间分辨率，在网络前半部分设计了多尺度自适应加权光谱关注模块MAWSA（multi-scale adaptive weighted spectral attention module），运用分组策略并且通过自适应加权特征统计能够选择性地强调光谱信息特征，使模型整体上更好地提取光谱信息；此外，本文设计一个更加适合处理高光谱图像的Transformer模型CADR（condensed attention and dense residual connection），通过引入Condensed Attention机制，并利用DRNet代替传统Transformer中的MLP层，使其更加适合处理高光谱图像与捕捉远程的光谱依赖关系。通过两个高光谱数据集的定性和定量试验证明本文方法的有效性。

将从以下4个部分介绍DRformer方法：DRformer整体网络结构、多尺度自适应加权光谱关注模块MAWSA、基于浓缩注意力机制与密集残差连接机制的Transformer模块CADR，以及损失函数。

本文提出的DRformer网络整体框架如图1所示，其由卷积神经网络结构和Transformer架构两部分组成，分别用以学习局部特征与全局特征，并采用渐进式上采样策略来逐步细化图像细节。

图1 DRformer网络整体框架

Fig. 1 The overall framework of the DRformer network

将输入的低分辨率高光谱图像记为 I

，输出的高分辨率高光谱图像记为

，每个高光谱图像组有 c 个通道，且有 o 个重叠波段，分组数

。为了有效提取局部信息，本文设计了MAWSA模块，从每组

中进行多尺度特征的提取，并通过自适应加权特征模块选择性地提取光谱信息特征。然后，对每个经过特征提取的分组进行第一次上采样，将其映射到原始高分辨率高光谱图像空间维度的一半，并通过一个3×3的卷积层进行浅层特征提取且使通道恢复到 c 。由第 t 个分组经过上述步骤得到最后的多尺度光谱特征

，表示为

在提取完所有分组特征后，将所有分组特征连接起来得到局部多尺度特征

，可表示为

表示经过 N 个CADR模块后得到的全局光谱特征。

(5)

综合以上考虑，如图2所示，本文设计的多尺度自适应加权光谱关注模块（MASWA），旨在更好地恢复高光谱图像的细节。在模块的多尺度特征提取中，首先采用3个空洞数为1、3、5的空洞卷积，结合不同大小的感受野以捕获多尺度的空间信息。在每个空洞卷积后采用Relu激活函数，引入非线性关系，增强网络的表示能力和特征的表达能力。然后将3组所得特征进行对应点相加，以

表示第 t 组的MAWSA输入，得到的多尺度特征表示为

图2 多尺度自适应加权光谱关注模块（MAWSA）

Fig. 2 Multi-Scale adaptive weighted spectral attention module (MAWSA)

通过一组空间残差模块，得到多尺度空间特征

可以表示为

相加得到多尺度光谱空间特征

，可以表示为

相乘进行特征的映射。通过嵌入AWCA模块，提出的AWSA模块可以自适应地调整光谱特征重新校准，以促进网络的学习。

1.3 基于浓缩注意力机制与密集残差连接机制的Transformer模块（CADR）

(10)

(11)

式中， CA 表示浓缩注意力机制，旨在捕获超像素级的全局依赖关系。该模块主要经过特征聚合、注意力计算和特征恢复3个步骤。具体来说，首先通过卷积层进行特征聚合，之后在通道注意力和空间注意力两个维度上分别使用分组卷积，将通道维度映射为原有的3倍。然后，将切片通道划分为查询（ Q ）、键（ K ）和值（ V ）3部分，经过自注意力计算并通过Softmax函数生成注意力权重。最后，将注意力权重应用于 V ，得到处理后的特征张量。为简化表述，单个 CA 块可表示为

(12)

式中，

为缩放因子，可以根据需要进行调整。在后续的DRnet部分，采用密集残差结构。具体来说，DRNet前后各包含一组PReLU激活函数与3×3的卷积，中间部分含有两个残差块（Resblock），每个残差块由两组PReLU激活函数和3×3的卷积层组成，具体的连接操作如图3所示。通过采用密集化策略，CADR块不仅能够挖掘更多细致的特征，同时也保持了较好的计算速度。

图3 基于浓缩注意力机制与密集残差连接机制的Transformer模块（CADR）

Fig. 3 Transformer module based on condensed attention and dense residual connection (CADR)

(13)

(14)

式中，

和

分别为第 n 个重构的高分辨率高光谱图像与原高光谱图像； N 表示一个训练批中图像的个数；Θ表示网络的参数集；

、

与

分别表示用于计算

的水平、垂直和光谱梯度的函数。

综上，模型的最终目标损失为这两者的加权和

在本文方法中，默认输入的高光谱图像采取每组8个通道，重叠通道数为2（ c =8， o =2），AWCA模块中线性变换层缩放比设为16（reduction=16），网络后半段中CADR块数量为2（ N =2），且浓缩注意力中的缩减比例设定为

表1 DRformer网络参数

Tab. 1 Network parameters of the DRformer network

模块

网络架构

输入尺寸

模型参数

输出尺寸

整体结构

MAWSA

× W × c

—

× W ×256

Conv-UP

× W ×256

3×3， c ，Stride1

/2× sW /2× c

Concatenation

/2× sW /2× c

—

/2× sW /2× C

UP

/2× sW /2× C

—

× sW × C

CADR-Conv

× sW × C

1×1，256，Stride1

× sW ×256

Bicubic-Conv

× W × C

3×3，256，Stride1

× sW ×256

Conv

× sW ×256

3×3， C ，Stride1

× sW × C

MAWSA

Dconv（1，3，5）-ReLU

× W × c

3×3，256，Stride1，dilation（1，3，5）

× W ×256

Conv-ReLU-Conv

× W ×256

3×3，256，Stride1

× W ×256

AWCA

× W ×256

reduction=16

× W ×256

CADR

Condensed

× sW × C

num＿heads=8，d=16

× sW × C

Attention

DRNet

× sW × C

× sW × C

（PReLU-Conv）

3×3，256，Stride1

（Resblock）

3×3，256，Stride1

（PReLU-Conv）

3×3， C ，Stride1

新窗口打开| 下载CSV

Chikusei数据集是由Headwall Hyperspec VNIR-C成像传感器于2014年7月29日在日本茨城县Chikusei的农业和城市地区拍摄。它包含2517×2335像素，光谱范围为363~1018 nm，128个波段，地面采样距离为2.5 m。由于缺失边缘区域的信息，将原始场景的2304×2048×128进行信息中心区域的裁剪。

具体来说，将图像的顶部区域裁剪成4张大小为512×512×128的无重叠高光谱图像作为测试集。图像的其余区域被裁剪为有重叠的图像块进行训练（随机抽取10%的训练数据作为验证集）。当比例因子为×4时，采用32像素的重叠提取大小为64×64×128的图像块。当比例因子为×8时，采用64像素的重叠提取大小为128×128×128的图像块。这些图像块作为原始高光谱图像的参考，并根据相应的比例因子，通过双三次降采样生成低分辨率的高光谱图像，作为输入图像。

表2 Chikusei数据集的试验结果

Tab. 2 The test results of Chikusei dataset

比例因子

方法

PSNR

SSIM

CC

RMSE

ERGAS

SAM

×4

Bicubic

37.637 7

0.895 3

0.921 2

0.015 6

6.756 3

3.403 9

GDRRN

37.721 8

0.897 0

0.922 3

0.015 4

6.697 0

3.321 5

SSPSR

EUNet

38.867 0

0.926 0

0.939 7

0.013 4

5.931 8

2.751 7

MSDformer

39.067 1

0.924 5

0.942 3

0.013 2

5.714 1

2.864 4

本文方法

×8

Bicubic

34.504 8

0.806 8

0.831 3

0.022 3

9.697 5

5.043 5

GDRRN

34.556 4

0.807 3

0.832 7

0.022 2

9.646 9

4.991 5

SSPSR

34.938 0

0 .822 9

0.021 0

9.318 6

4.863 2

EUNet

MSDformer

34.790 2

0.816 2

0.842 2

0.021 5

9.433 1

4.823 0

本文方法

0.822 3

0.810 6

注：粗体表示最佳结果，下划线表示次佳结果。

新窗口打开| 下载CSV

如图4所示，在比例因子为×4的条件下，对Chikusei数据集中的一幅测试高光谱图像采用了不同的对比方法进行了超分辨率重建（选择第70、100和36波段作为R-G-B通道，以便更好地可视化）。图4中第3行绘制了误差图，直观地显示了测试集中图像超分辨率重建后的精度。由图4可知，早期的方法GDRRN和Bicubic在重建后的图像整体效果与真实图像存在较大差距。近年来提出的一些方法虽能产生相对良好的视觉重建效果，但本文方法在细粒度纹理和边缘细节的恢复上显著优于其他方法（参见红框标记的区域）。此外，由误差图可以看出，本文方法在边缘细节上误差最少，整体重建误差也较低。为了进一步验证本文方法恢复光谱信息的精度，图5展示了，在比例因子×4条件下，从Chikusei数据集测试集上绘制的平均光谱差曲线，本文方法的曲线始终保持在最低位置，所有光谱波段的误差最小。

图4 Chikusei数据集重建的复合图像

Fig. 4 The reconstructed composite image the Chikusei dataset

图5 Chikusei数据集的平均光谱差曲线

Fig. 5 Average spectral difference curve derived from the Chikusei dataset

Houston2013数据集由2013年IEEE GRSS数据融合大赛所提供，利用ITRES CASI 1500光谱成像仪在美国得克萨斯州休斯敦大学校园及其周边城区拍摄。在364~1046 nm的光谱范围内，包含144个波段的349×1905像素。将图像的顶部区域裁剪成4张大小为168×168×144像素的无重叠高光谱图像作为测试集。与Chikusei数据集的设置类似，对图像的其余区域进行裁剪，在不同比例因子条件下形成具有不同重叠大小的图像块训练集（随机选择10%的训练数据作为验证集）。

表3列出了所有方法在4个测试图像中6个评标指标的平均性能。由表3可知，本文方法在比例因子为×4时所有客观评价指标上都明显优于其他方法，在比例因子为×8时，ERGAS指标略低于EUNet与MSDformer，SAM指标略低于EUNet。这表明本文方法具有优秀的性能与稳健性，尤其在空间恢复上，同时对大部分数据集有适用性。

表3 Houston2013数据集上的试验结果

Tab. 3 The test results of the Houston2013 dataset

方法

比例因子

PSNR

SSIM

CC

RMSE

ERGAS

SAM

Bicubic

×4

33.698 4

0.801 6

0.901 4

0.025 6

6.157 1

6.459 2

GDRRN

×4

33.798 3

0.806 7

0.903 2

0.025 3

6.084 1

6.342 1

SSPSR

×4

34.207 3

0.831 4

0.910 1

0.023 9

5.748 1

5.494 4

EUNet

×4

MSDformer

×4

34.077 1

0.828 8

0.908 8

0.024 2

5.849 8

5.894 3

本文方法

×4

Bicubic

×8

31.120 9

0.673 0

0.816 3

0.034 7

8.339 1

9.365 7

GDRRN

×8

31.097 6

0.674 2

0.814 0

0.034 5

8.320 1

9.368 8

SSPSR

×8

31.221 5

0.684 1

0.820 7

0.033 9

8.174 1

8.895 9

EUNet

×8

31.349 1

0.687 7

0.824 1

MSDformer

×8

0.033 6

9.079 3

本文方法

×8

8.120 1

新窗口打开| 下载CSV

如图6所示，在Houston2013测试集中选择一幅高光谱重构图像在比例因子×4时进行了可视化展示（将其第29、26、20波段作为R-G-B通道以便展示），并制作了其误差图。Bicubic方法和早期的GDRRN方法重建的图像整体较为模糊，与真实图像存在较大差异。MSDformer存在边界不清晰的问题，SSPSR和EUNet能够产生相当的视觉重建效果，但在恢复细节方面仍存在不足。通过误差图可以看出，本文提出的DRformer方法在重建后的精度误差较小，略优于其他方法。图7展示了在比例因子×4条件下，Houston数据测试集平均光谱差曲线。可以明显看到，本文方法的曲线在大多数波段上保持在最低位置，特别是在70~110波段之间的差距较为明显，提供了最小的光谱误差，而其他方法则存在一定程度的光谱失真。

图6 Houston2013数据集的复合图像

Fig. 6 The reconstructed composite image of Houston2013 dataset

图7 Houston2013数据集的平均光谱差曲线

Fig. 7 Average spectral difference curve derived from the Houston2013 dataset

本节将探讨模型复杂度与运行时间分析对模型实用性的影响，并给出效率-性能的平衡性讨论。表4列出了本文与不同方法运行的参数量大小以及在Houston2013数据集（比例因子为4）条件下的运行时间（训练时间与测试时间之和）。

表4 模型复杂度与运行时间

Tab. 4 Model complexity and running time

模型

参数量/MB

时间/s

GDRRN

0.479 2

304

SSPSR

13.674 8

1828

EUNet

2.796 7

867

MSDformer

9.121 5

1535

DRformer

12.988 2

4101

新窗口打开| 下载CSV

GDRRN方法的所需参数与时间最少但是其性能效果较差见表4。EUNet是一个轻量级的网络，在参数较少时能取得不错的效果，适用于计算资源有限的场景，如卫星和机载平台。SSPSR与MSDformer参数量与本文方法接近，训练收敛较快，但是方法效果有限。本文方法在处理时间上没有优势，但该耗时可以换来数据处理精度的大幅提高。训练耗时长的主要原因是由于本模型复杂性较高，且训练的epoch次数较多后才开始收敛，导致了较长的运行时间，后期可以采用早停策略和尝试不同学习率加快模型的收敛速度，来提高计算效率和缩减运行时间。

在本节中，将讨论不同模块选取对模型超分辨率性能的影响与所提出的CADR块数量对模型的影响。本文方法包括分组策略、多尺度自适应加权光谱关注模块（MAWSA）、CADR模块和采用DRNet代替MLP层4个主要部分。为了验证这些组件的有效性，修改了模型并比较了它们的变体。所有的变体都在比例因子×4的Houston数据集上进行训练。表5列出了4种变体的定量评价结果，图8展示了4种变体在测试集上的重建图像。表6讨论了CADR块数量对模型的影响。

表5 消融试验结果

Tab. 5 Ablation experiment results

变体

参数量/MB

PSNR

SSIM

CC

RMSE

ERGAS

SAM

本文方法

12.988 2

变体1

14.241 6

34.229 5

0.830 7

0.910 9

0.023 7

5.728 5

5.654 3

变体2

12.988 2

33.968 1

0.827 6

0.907 1

0.024 1

5.883 1

6.114 6

变体3

9.095 6

34.181 7

0.828 9

0.910 4

0.023 9

5.760 4

5.558 5

变体4

5.689 8

34.112 1

0.827 5

0.909 2

0.024 1

5.818 8

5.985 3

新窗口打开| 下载CSV

图8 各变体的超分辨率重建结果

Fig. 8 Super-resolution reconstruction results of various variants

表6 CADR块数消融试验

Tab. 6 Ablation experiment on the number of CADR blocks

CADR块数

PSNR

SSIM

CC

RMSE

ERGAS

SAM

=1

34.116 3

0.828 1

0.909 2

0.024 1

6.157 1

6.023 3

=2

=3

34.456 1

0.838 6

0.915 4

0.023 3

5.570 8

5.455 4

新窗口打开| 下载CSV

变体1为了展示分组策略的有效性，将取消网络前半段中的分组策略，改为直接将不分组的图像输入MAWSA模块中。变体2为了验证MAWSA模块的有效性，将采用文献［10］中的SSB模块来代替原方法中的MAWSA模块进行试验。变体3为了验证CADR模块在全局特征提取时的有效性，将原方法中CADR部分更改为进行二次上采样后使用式（8）与式（9）中提到的空间注意力机制与AWSA模块。变体4为验证采用DRNet来代替了MLP层的有效性，在CADR块中采用传统的MLP代替DRNet。

由表5可知，变体1由于未采用分组策略，导致模型所需的参数量增加，并且定量评价指标结果下降。变体2使用SSB模块替代MAWSA模块，无法选择性地强调光谱信息特征，在SAM指标上显著下降。变体3在未使用CADR模块进行长距离信息提取时，参数量下降，但是定量评价指标也下降严重。变体4的结果凸显了采用残差类型网络代替MLP层来处理高光谱图像的有效性。

由图8可知，在变体2中部分区域存在伪影和光谱色彩失真的问题，在引入了MAWSA模块后，建筑物等地物轮廓都重建出真实的线条轮廓。变体3存在细节模糊的问题，验证本文提出的CADR模块对于地物细节不足的问题有了较大改善。变体4中的细节出现了条带状斑块，说明DRNet增强了网络对复杂光谱特征的学习能力，在处理深层次和细粒度特征时表现更加优越。变体1与本文方法在视觉表现上相当，但需要更多的参数才能实现相同的效果。

在网络的全局特征提取部分，采用了多个连续的CADR块，因此研究了CADR块数量对网络模型的影响，以便选取合适的块数。试验结果见表5，当仅采用一个CADR块时（ N =1），所有的评价指标结果都较差。随着CADR块数量增加到两块（ N =2），评价指标均上升。当进一步增加块数时，超分辨率的性能开始逐渐下降，这可能由于模型训练中出现了过拟合所导致。

本文提出了一种耦合CNN结构与Transformer架构的超分辨率重建网络DRformer，解决高光谱图像超分辨率任务中局部特征与全局特征难以兼顾的问题。与现有的GDRRN、SSPSR、EUNet和MSDformer等方法相比，本文方法在Chikusei和Houston2013数据集上表现出显著优势，通过MAWSA和基于浓缩注意力机制的CADR模块，本文方法能够有效提取多尺度局部特征并增强全局光谱依赖关系，从而在超分辨率任务中达到了更高的精度水平。

但本文方法仍存在一些局限性：首先，其对极端尺度（如×16或更高）的数据的敏感性较高，在大尺度超分任务中还需要进一步优化；然后，跨传感器泛化能力缺乏对应契合的数据集，其泛化能力需要进一步验证；最后，由于模型复杂度较高，DRformer的训练和推理时间较长。未来的研究可以通过引入更轻量的网络结构来减少参数量并优化计算效率，使用更有效特征融合机制来增强模型在大尺度超分任务中的表现，同时尝试构建大规模高质量真实成对数据集以促进本领域的进一步发展。

初审：张艳玲

复审：余易举

终审：宋启凡

资讯

来源：随性自由的水滴一点号