摘要：遥感图像融合技术能够将两幅或多幅多源遥感图像信息进行互补、增强,使图像携带的信息更加准确和全面。非下采样轮廓波变换(nonsubsampled contourlet transform, NSCT)对遥感数字图像进行多尺度多方向分解,有益于提取高分遥感图像细节

摘要

遥感图像融合技术能够将两幅或多幅多源遥感图像信息进行互补、增强,使图像携带的信息更加准确和全面。非下采样轮廓波变换(nonsubsampled contourlet transform, NSCT)对遥感数字图像进行多尺度多方向分解,有益于提取高分遥感图像细节,从而实现图像的锐化高空间分辨率,但传统NSCT直接生成的高频细节信息过少,且容易产生“虚影”现象。基于此,论文结合NSCT与引导滤波(guided filter, GF),提出了一种新的遥感图像全色锐化融合算法。该算法通过NSCT变换的多尺度多方向分解与重构特性,提取直方图匹配后的图像的细节分量,同时结合GF提取具有全色细节特征的多光谱细节分量,最终通过加权细节信息锐化获得高空-谱融合结果。通过多个高分遥感数据集的主客观评价验证了所提出算法有效性。

引用

徐欣钰, 李小军, 盖钧飞, 李轶鲲. 结合NSCT变换和引导滤波的多光谱图像全色锐化算法[J]. 自然资源遥感, 2025, 37(1): 24-30.

0 引言

图像融合最早始于20世纪70年代,发展至今,已成为多源遥感数据处理的主要手段。全色锐化作为遥感数字图像融合的主要方法,是将低空间分辨率多光谱遥感图像与高空间分辨率的全色图像进行融合,生成高空间分辨率的多光谱图像的过程。其锐化融合结果可以大大提高后续遥感图像解译与处理精度,在地物识别、变化检测、图像分类等遥感图像处理中有较高的应用需求。

目前,遥感图像全色锐化方法大致可分为2类: 成分替换方法和多分辨率分解方法。成分替换方法是将多光谱图像变换到另一个空间,分离出光谱特征和纹理细节特征,并采用全色图像替换多光谱细节特征,再逆变换回到初始空间。成分替换方法主要有: IHS变换、Brovey法、主成分变换(principal component analysis,PCA)以及Gram-Schmidt法等。成分替换方法简单易行,细节保持较好,但光谱扭曲较大。多分辨率分解方法是先采用多尺度分析对多源遥感图像进行分解,再将分解后的子带信息在多方向以及多分辨率下进行融合,最后再通过重构得到融合后的高质量图像。常见的多分辨率分解方法有非下采样剪切波变换法(nonsubsampled shearlet transform, NSST)、基于平滑滤波器的强度调制法(smoothing filter-based intensity modulation, SFIM) 、高通滤波法(high pass filter, HPF) 、金字塔变换、轮廓波变换、剪切波变换、非下采样轮廓波变换(nonsubsampled contourlet transform, NSCT)等。多分辨率分解方法光谱扭曲小,但计算量较大、细节保持不足。

为了解决遥感图像全色锐化中单一的NSCT变换细节保持不足,且容易产生“虚影”等问题,本文结合NSCT与引导滤波(guided filter, GF)变换特性,提出了一种新的全色锐化算法。该算法首先利用NSCT变换将全色图像与多光谱图像的低频分量与高频分量分离出来,通过NSCT分解重构,分别提取多光谱图像和全色图像的细节信息; 然后将多光谱图像细节信息和全色图像细节信息输入到GF中,得到具有全色信息的多光谱新的细节分量; 接着将经过NSCT重构的多光谱细节分量减去经过GF的多光谱细节分量得到新的细节分量,与全色图像细节信息相加得到总细节信息; 最后将总细节信息注入到多光谱图像中获得全色锐化结果。

1 研究方法1.1NSCT变换与GF滤波原理

1.1.1 NSCT变换

Cunha等根据非下采样小波变换原理,在轮廓波变换对图像分解处理的基础上,提出了NSCT变换的概念。NSCT变换首先由非下采样金字塔(nonsubsampled pyramid, NSP)滤波器组对图像进行多分辨率分解,然后采用非下采样方向滤波器组(nonsubsampled direction filter bank, NSDFB)对多尺度分解得到的高频子带进行多方向分解,以2层分解、各层方向分解数为n1和n2为例,NSCT分解示意图如图1所示。

1.1.2 GF原理

GF技术是He等在解决图像去雾问题中所提出的一种滤波方法,该方法滤波结果边缘保持性较好,且能够将引导图像的特征注入到输入图像中。

1.2 结合NSCT与GF的全色锐化算法

本文提出一种结合NSCT变换和GF滤波的遥感图像全色锐化算法。该算法主要由细节分量提取模块、自适应细节权重计算模块和全色锐化融合模块组成,算法流程框图如图2所示。该算法利用广义IHS(generalized intensity-hue-saturation, GIHS)变换提取直方图匹配后的全色图像强度分量,并使用NSCT获取插值后的多光谱图像的第n个波段MSUn和全色图像强度分量各自的细节分量; 随后,通过GF滤波,将全色图像细节分量作为引导图像,引导MSUn图像细节分量来计算多光谱图像的真正细节信息,再加上全色图像细节分量来获得总细节信息; 最后,对MSUn图像各波段自适应注入总细节信息,按照多分辨率分析法进行全色锐化融合,得到高空间分辨率的多光谱图像。

1.2.1 细节分量提取

为了下文表述方便,定义上采样的多光谱图像为MSU,n为第n波段,直方图匹配后的多光谱图像为MSH,低分辨率的多光谱图像为MSL,提取到的多光谱细节为MSD,经过GF得到多光谱图像为MSG,融合图像为MSO; 提取到多光谱图像中的真正细节为M,直方图匹配后的全色图像为PANH,全色图像的强度分量为PANI,低分辨率的全色图像为PANL,提取的全色细节为PAND。

在细节分量提取中,使用NSCT提取直方图匹配后的多光谱图像和全色图像的细节信息,进而通过GF引导获得总细节分量信息,具体步骤如下:

1)将与MSUn图像直方图匹配后的全色图像进行GIHS变换,提取PANI;

2)对MSHn图像的每个波段均进行NSCT分解,并将所有高频系数置0。随后经过NSCT重构得到MSHn图像各波段的低频强度分量MSLn,用MSUn图像减去MSLn,得到多光谱图像的细节信息MSDn;

3)对PANI进行NSCT分解,将域内的高频系数全部置0,重构系数得到低频强度分量PANL,用PANI减去PANL得到全色图像细节信息PAND;

4)使用GF,将PAND作为引导图像,MSDn作为输入图像,得到输出图像MSGn;

5)最后云计算得到第n个波段的最终细节分量Dn；

1.2.2 自适应细节权重计算

由于多光谱图像每个波段光谱信息存在差异,统一为MSUn图像注入相同强度细节分量势必会导致融合图像产生较大的光谱失真。为此,本文采用自适应细节权重,为每个波段注入不同强度的细节分量。规定n为第n个波段,N为多光谱图像的总波段数; r为多光谱图像与全色图像的空间分辨率比值; Xl为将X图像先下采样1/r,再上采样r倍得到的低通图像。

1.2.3 全色锐化融合

由前面计算得到的强度分量细节信息,对MSUn图像各波段自适应注入高分强度分量细节信息,按照多分辨率分析法进行全色锐化融合,得到高空间分辨率的多光谱图像,从而计算锐化融合结果MSOn,

1.3 评价指标

除了采用主观评价方式对图像融合效果进行主观评判以外,论文还选用了光谱扭曲度Dλ、空间细节失真度Ds、无参考指标(quality with no reference, QNR)、四元数指标(Q4)、相对全局综合误差(relative dimensionless global error in synthesis, ERGAS)、光谱映射角(spectral angle mapper, SAM)、广义图像质量指标(universal image quality index, UIQI)和相关系数(correlation coefficient, CC)共8种客观评价指标[20]对图像融合效果进行客观评价,其中Dλ,Ds和QNR属于在全分辨率融合下的评价指标,Q4,ERGAS,SAM,UIQI和CC属于按照wald协议[21],将原始多光谱图像作为参考图像,将原始多光谱图像和全色图像都进行下采样后,降分辨率融合下的评价指标。

2 实验与分析2.1 实验数据

为验证本文所提出算法的有效性,论文采用2组高分遥感数据集进行仿真验证。第一组数据采用的是WorldView-2遥感卫星采集的农田区域,其中全色图像和多光谱图像大小分别为1 024×1 024和256×256×4,多光谱图像的空间分辨率为2 m,全色图像的空间分辨率为0.5 m。第二组数据选取GF-2遥感卫星获取的敦煌市城镇地区,全色图像和多光谱图像大小与第一组数据集一致,多光谱图像和全色图像的空间分辨率分别为3.44 m和0.86 m。

另外,开展了本文方法与GSA[22],HPF[23],SFIM[23],Indusion[24],MTF-GLP-HPM-PP[7]和MTF-GLP-CBD[7]这6种经典遥感图像融合算法对比实验。文中所有实验以及相关代码均在MATLAB软件下开展,NSCT分解级数为3级,从“细”到“粗”分解的方向子带数分别为8,8,16; GF中的滤波窗口大小R设置为5,归一化因子ε为0.01。

2.2 融合结果

图3所示为采用WorldView-2的7种算法融合实验对比结果。从主观上来看,其他6种对比融合算法均获得了较好的融合结果,但与本文算法相比,仍存在一定的差异。从融合图像的光谱扭曲来看,GSA方法和MTF-GLP-HPM-PP法融合图像光谱扭曲最大,在农田和道路区域较为明显; SFIM法和HPF法在边缘处可以看出融合结果存在重影现象; 本文所提算法的融合结果对多光谱图像光谱保真上明显优于GSA,SFIM,Indusion和MTF-GLP-HPM-PP图像融合算法。从融合图像的空间细节注入程度来看,本文算法相较于HPF,SFIM和Indusion等多分辨率分析法,对比度更好,且地物更加准确、清晰。

图4所示为GF-2数据集的融合结果。从图中可以看出GSA和MTF-GLP-HPM-PP法融合图像在右下角绿地区域颜色较浅, GSA融合图像的左上角房屋颜色偏深,操场颜色偏浅,均出现光谱较大失真; Indusion融合影像有明显的模糊重影现象; 而HPF,SFIM,MTF-GLP-CBD和本文算法融合影像颜色自然,纹理丰富。

2.3 指标评价结果

表1和表2所示为本文算法与其他6种融合对比方法的客观评价结果,几种算法的指标最优值在表中以加粗表示。从表1和表2可以看出,本文算法的融合指标精度均优于其他经典融合算法。由于综合考虑了多光谱图像和全色图像中的细节,本文方法在图像纹理细节保持、光谱保真、与参考标准图像相关性评价等方面,相较传统锐化融合算法有较大的提高。因此,主观与客观2种图像融合效果评判验证了本文算法的有效性和可行性。

表1WorldView-2图像客观评价指标计算结果

表2

3 结论

论文提出了一种结合NSCT与GF的新的全色锐化算法。通过NSCT的多尺度多方向的小波分解与重构特性,分别提取多光谱图像和全色图像的细节分量,并结合GF计算出多光谱图像中真正的细节,将全色图像细节与多光谱图像细节相加得到总的细节信息,随后将总细节信息自适应注入多光谱图像进而获得具有高空-谱分辨率信息的多光谱融合图像。实验结果表明,提出的全色锐化算法可以解决由于传统NSCT变换导致融合中原图像损失较多的细节信息的问题,提升了多分辨率遥感图像融合精度与质量。从多个数据集的主、客观评价实验,验证了本文算法有效性。

但随着遥感数据量的迅猛增长,传统的多分辨率分析法已经不能满足大规模的数据融合。基于深度学习的融合方法已经崛起,且取得了不错的成果,下一步团队将通过深度学习来融合图像的特征并优化融合任务。

来源：hoogoow