RSE | 一种可解释的空间关联学习网络:

摘要：现阶段卫星遥感传感器由于其感光性能限制，难以兼顾高空间和高时间分辨率的监测需求，导致对于细粒度土地覆盖动态制图获取能力有限的问题。

RS DL

论文介绍

题目：Very fine spatial resolution urban land cover mapping using an explicable sub-pixel mapping network based on learnable spatial correlation （空间关联学习的可解释性亚像元制图网络用于城市土地覆盖制图）

期刊：Remote Sensing of Environment

论文：https://doi.org/10.1016/j.rse.2023.113884

代码：https://github.com/whheda/LECOS

年份：2023

单位：中山大学，Lancaster University.

注：本篇由论文原作者审阅

研究背景

现阶段卫星遥感传感器由于其感光性能限制，难以兼顾高空间和高时间分辨率的监测需求，导致对于细粒度土地覆盖动态制图获取能力有限的问题。

研究问题

亚像元制图是提升制图空间分辨率、实现细粒度高动态城市监测的有效途径。然而，当前研究通常忽略了城市场景中的空间异质性，难以提供可靠的城市格局制图。具体问题如下：

1) 模型驱动的亚像元制图方法通常基于空间自相关理论，但空间自相关亚像元制图方法仅限于局部窗口，无法建模两个远距离位置或对象之间的遥相关关系；且空间自相关理论基于“越近越相似”的理念，依赖于距离加权衰减参数，难以刻画城市空间异质区域内丰富的互信息多样性。

2）数据驱动的亚像元制图方法依赖海量样本暴力拟合的模型参数，卷积方式缺乏空间相关性理论支撑，预测结果不可信。

创新点

1) 利用自注意力操作的“相互检索”机制建模空间关联强度，挖掘多样化的上下文相关性模式，从而建模绿化带、建筑物和道路等远距离城市要素对象之间的全局遥相关关系；

2) 设计了一种“跨尺度自注意力”计算法则，模拟粗像元与亚像元的空间吸引力指数，以自适应地学习粗像素与亚像素之间的多样化全局关联模式。

3）结合模型驱动的空间自相关建模思想与数据驱动的空间模式学习能力，构建地物空间关联学习的可解释性亚像元土地覆盖制图模型，主动学习空间关联知识，并应用于模型预测过程。

图1. 空间关联可学习的内在机制

图2 空间关联学习的可解释性亚像元制图网络框架

图3 跨尺度自注意力计算方法

结果与分析

1. WHDLD 数据集。包含 2 m分辨率Google Earth 影像及对应标签。影像大小为256×256 像素，六种土地覆盖类别（即建筑、路面、植被、裸土和水）。将原始影像降采样四倍后，空间分辨率从 2 m 转换为 8 m，斑块大小更改为 64×64 像素，作为粗分辨率影像。

2. LoveDA数据集。包含 0.3 m分辨率影像及对应标签。影像大小为 1024×1024 像素，七种类别（即耕地、林地、水体、建筑、道路、裸地、、背景）。首先将LoveDA影像和标注降采样为1.2 m空间分辨率（256×256 像素），然后将图像进一步降采样为4.8 m分辨率（64×64 像素）以用作粗分辨率影像。

3. FLAS数据集。包含10m分辨率Sentinel-2影像及其对应的2m分辨率标签。影像大小为64 x 64 像素，标签大小为320x320像素。

图4 在三个标准数据集上的实验结果

图5 对学习到的地物空间关联规则进行可视化

空间关联可解释性分析：

如图3，随机选择不同层和不同头部的注意力矩阵{α=1…N（即空间关联规则）进行可视化，发现模型学习到了城市场景中较为合理的空间关联规则。例如，注意力在第2或第3层级阶段更倾向于关注局部小的地物覆盖（例如，以道路为索引，道路通常更关注周围的细长道路和分散的树木），而在第4阶段的注意力倾向于关注场景中的主导地物覆盖（例如，道路更关注建筑物），这表明上下文逐渐收敛到全局感知；另一方面，以第4阶段为例，以道路作为索引，道路与建筑物高度相关，以植被为索引，植被在住宅区更关注道路和自身；以建筑物为索引，建筑物与周围植被有很强的相关性，同时，建筑物与施工区域的裸地高度相关。

空间关联量化分析：

图6 空间关联量化分析

我们进一步将学习得到的关联规则进行定量统计，即将每种关联模式的注意力得分进行统计，例如WHDLD数据中共6种地物，那么这6种地物总共会产生36种关联模式。我们从统计得分排名表中可以发现：1）类内相关性比类间相关性高；2）B-V和R-V模式的高注意力得分表明建筑物与植被高度相关，道路与植被也密切相关。这表明这个数据集区域范围内存在大量的住宅场景。

中国五个典型城市的市中心区域的2m分辨率土地覆盖制图与地物空间关联模式量化分析：

图7 中国五个典型城市的市中心区域的2m分辨率土地覆盖制图与地物空间关联模式量化分析

我们利用上述空间关联模式的定量化统计方法，对中国五个典型城市的市中心区域进行了关联模式分析，我们选择不透水面I作为查询Query，去检索其他类别Key，主要统计了四种关联模式，I-CL、I-T、I-G、I-W；其中CL代表农田，T代表树木，G代表草地，W代表水体）。其中，I-T得分可代表人类与城市绿地的关联强度，即绿色空间可达性；I-T得分越高，证明城市绿地与不透水面交织越紧密；北京的I-T得分最高，反映其城市绿色空间规划更多考虑了人类绿色暴露度、绿色空间可达性和公平性等因素。

与局部气候区产品进行交叉验证：

为了验证这个结论，我们进行了空间叠加分析实验，通过叠加我们的制图结果与局部气候区（LCZ）数据集进行验证。LCZ数据集将不透水面分为10个更细的类别，依据的是建筑密度（紧凑、开放、稀疏）、建筑高度（高层、中层、低层）和建筑材料（重型和轻型）。我们统计了落入每个不透水面类别区域范围内的城市树木面积，并除以该不透水面类别的总面积进行归一化。这个验证实验的前提假设是，在密度较大的不透水面类别中如果具有较高的树木比例，意味着更大的绿地空间可达性。

更多图标分析可见原文