摘要：引用格式：张京, 赵泽瑄, 赵艳茹, 卜泓超, 吴星宇. 基于Bi-GRU和空-谱信息融合的油菜菌核病侵染区域高光谱图像分割方法[J]. 智慧农业(中英文), 2024, 6(2): 40-48.

引用格式：张京, 赵泽瑄, 赵艳茹, 卜泓超, 吴星宇. 基于Bi-GRU和空-谱信息融合的油菜菌核病侵染区域高光谱图像分割方法[J]. 智慧农业(中英文), 2024, 6(2): 40-48.

DOI： 10.12133/j.smartag.SA202310010

Citation:ZHANG Jing, ZHAO Zexuan, ZHAO Yanru, BU Hongchao, WU Xingyu. Oilseed Rape Sclerotinia in Hyperspectral images Segmentation Method Based on Bi-GRU and Spatial-Spectral Information Fusion[J]. Smart Agriculture, 2024, 6(2): 40-48.

基于Bi-GRU和空-谱信息融合的油菜菌核病侵染区域高光谱图像分割方法

张京1*， 赵泽瑄1， 赵艳茹2， 卜泓超1， 吴星宇1

（1.首都经济贸易大学 管理工程学院，北京 100070，中国； 2.西北农林科技大学 机械与电子工程学院，陕西杨凌 712100，中国）

0 引 言

油菜是世界四大油料作物之一，亦是植物油和植物蛋白的主要来源。然而，菌核病的高发对油菜的种植和保供提出了严峻的挑战。菌核病，又称菌核杆腐病，是由核盘菌（Sclerotinia sclerotiorum）引起的一种病害，易侵染油菜的茎、叶、花、角果和种子等部位，不仅会导致油菜的大规模减产，还会使病株种子的含油量锐减，严重影响油菜的产量和品质，造成极大的经济损失。传统用于检测菌核病的化学方法，常伴随着药剂的频繁使用，这是一种有损的检测方式且对于环境也会造成污染。因此，研发一种新的高通量无损检测方法具有重要意义。高光谱图像（Hyperspectral Image, HSI）的引入可以精准地识别那些外表看似“健康”但实际上已感染菌核病的油菜植株。实现病害早期侵染的检测，同时及时采取相应的治疗措施，可大幅减少由于感染菌核病而引发的一系列损失。

传统的高光谱图像分割方法主要包含距离分类器（Distance Classifier, DC）、K近邻分类器（K-Nearest Neighbor, KNN）、最大似然分类器（Maximum Likelihood Classification, MLC）和逻辑回归（Logistic Regression, LR）等。但这些方法大多都会受到Hughes现象的影响（当训练数据有限时，随着模型特征维数的增加，分类的精度会出现先增后降）。针对这一问题，研究者们提出了相关的特征提取方法和判别学习方法。其中，特征提取法主要是将高维数据映射到低维空间，同时保留类别信息。典型的特征提取方法有主成分分析（Principal Component Analysis, PCA）、独立成分分析（Independent Component Analysis, ICA）、线性判别分析（Linear Discriminant Analysis, LDA）等。判别学习法则包括：支持向量机（Support Vector Machines, SVM）、多类别逻辑回归（Multinomial Logistics Regression, MLR）、人工免疫网络（Artificial Immune Network, AIN）等。该类方法主要是通过学习得到高维空间中数据与类别之间的映射关系。近年来，除了谱维度数据以外，高光谱图像分割方法也开始引入空间信息，从而利用融合的空-谱信息来表征对象。空-谱信息的融合显著提高了高光谱图像的识别与分割精度，但也进一步增加了数据量。如何从海量的数据中高效且准确地提取特征，同时充分挖掘空间数据和光谱数据所包含的潜在信息，一直是该研究的难点与热点。

深度学习（Deep Learning, DL）为高光谱数据特征的提取提供了有效的解决方案。在高光谱图像分割领域应用的典型深度学习模型主要包括卷积神经网络（Convolutional Neural Network, CNN）、递归神经网络（Recurrent Neural Network, RNN）及Transformer等。其中，Hamida等提出的3D CNN模型，在减少模型参数量的同时采用空-谱特征融合手段，实现了较高的分割精度。Mou等提出一种RNN模型，并设计了新的激活函数进行参数校正。该模型有效地将谱维度信息作为序列数据进行分析。Hong等设计了基于Transformer架构的Spectral-Former网络。该模型通过分组光谱嵌入和跨层自适应融合方法实现了高光谱图像中光谱序列特征和空间特征的同时提取。从信息的表征形式看，面向深度学习的高光谱图像分割方法可主要分为以下3类：基于谱信息的分割方法、基于空间信息的分割方法和基于空-谱数据的分割方法。实际上，面向空间信息的分割方法大多采用CNN模型。这种方法通常将高光谱图像近似为一般的RGB图像进行处理，但由于降维计算必然导致谱维度信息的丢失。因此，对于病害早期感染现象的检测效果并不理想。RNN在光谱序列数据的处理上具有天然优势，如何实现全波段光谱信息的深入挖掘，探究面向RNN的空-谱信息融合机制，是目前极具潜力的研究方向之一。

本研究的主要贡献在于解决了油菜菌核病早期感染现象难以检测的问题，提出了一种基于双向门控循环神经网络（Bi-directional Gate Recurrent Unit, Bi-GRU）的高光谱图像分割方法，通过空-谱信息的联合表征实现了病害浸染区域的精准识别与提取。

1 材料与方法

1.1 数据的获取

本研究以浙江大学生物技术研究所提供的双低品系甘蓝型油菜浙双758（Brassica napus L. cv. ZS758）为油菜叶样品。为了确保数据获取的精确度，在样品感染病菌24 h后进行高光谱数据采集。光谱采集装置采用Handheld FieldSpec光谱仪，该光谱仪可实现325~1 075 nm的512个频带的数据获取，其探测器的视场角度（Field of View）为20°。数据采集系统使用150 W的卤素灯，其入射角为45°。探测器和油菜叶片的垂直距离约为150 mm。通过辐射修正得到的高光谱图像如图1所示。

图1 油菜菌核病不同感染时期的RGB图像和伪彩色图像

Fig. 1 RGB images and pseudo-color images of oilseed rape sclerotinia in different periods

根据油菜感染菌核病的程度，将HSI数据分为以下3个类别：感染初期（图1a和图1b）、感染中期（图1c和图1d）和感染后期（图1e和图1f）。其中，不同感染程度的划分主要依据病斑所占的像素数量。感染初期代表病斑占据了5~30个像素区域；感染中期说明病斑占据了31~400个像素区域；而感染后期则代表病斑占据的像素区域超过了400个。为了更清楚地说明HSI在病菌感染初期的诊断效果，图1针对3个不同的感染阶段分别采用RGB图像和伪彩色图像进行比较。其中，伪彩色图像由390、740和950 nm这3种波长构成。而RGB图像则由波长为460、540和630 nm的光谱数据形成。在菌核病感染的初期阶段，仅使用RGB图像难以直接发现病斑（图1b），但通过特征频带筛选后得到的伪彩色图像（图1a）却能够实现初期感染位置的准确定位。这也进一步验证了利用HSI诊断菌核病初期感染症状的可行性。

1.2 光谱特征分析

本研究从光谱角度入手，分析菌核病的谱维度特征。图2分别展示了完全健康的（图2a）及处于初期（图2b）、中期（图2c）和后期（图2d）感染阶段的油菜叶片原始反射率光谱曲线。为了减少噪声对谱特征分析所造成的影响，图2截取了400~1 000 nm波长的光谱数据，同时采用平滑去噪算法实现了光谱曲线的进一步优化。

图2 油菜叶片的原始反射率光谱

Fig. 2 Raw reflectance spectral of oilseed rape leaves

由图2发现，在550 nm附近和750~1 000 nm波长范围内，油菜叶片上不同位置的光谱反射率呈现出较大的差异性。与此同时，随着菌核病感染程度的加深，上述波段的反射率差异也表现得更为显著。此外，感染区域的大小以及叶片含水率的不同也是引发这种差异的主要因素。与完全健康的叶片相比，光谱反射率数据在550 nm附近和750~1 000 nm波长范围内所产生的差异意味着可以从谱维度特征入手，实现菌核病的检测与分割。

1.3 油菜叶片菌核病数据集的构建

数据集的构建是训练深度神经网络的基石和必要条件。本研究基于PaddleLabel（1.0版本）智能数据标注工具，构建包含400张HSI图像的油菜叶片菌核病数据集。该数据集中每个HSI数据立方体的大小为100×100×512。通过像素级精细标注后，该菌核病数据集被分为训练集、验证集和测试集3个部分，分别包含280、40和80张HSI图像。此外，表1显示了处于不同感染阶段的HSI图像的数量。

表1 油菜叶片菌核病数据集的结构组成

Table 1 The structural composition of rapeseed leaf dataset

本研究中油菜菌核病数据集的标注主要是基于伪彩色图像实现的，其标注效果示例如图3所示。在标注过程中，将HSI图像的每个像素划分为健康（图3c中蓝色区域）或染病（图3c中绿色区域）两个类别。然而，菌核病的感染区域通常仅占整个油菜叶片的一小部分，因此导致数据集中健康区域像素的占比远高于感染区域，分别为83.2%和16.8%。这种数据分布不均衡的现象常出现于各种数据集中，特别是面向实际应用的场景。因此，本研究通过基于加权的交叉熵损失函数对Bi-GRU模型进行训练，经过多次试错调整权重参数配置，最终将健康和感染两个类别之间的权重分配固定为1∶6。

图3 油菜菌核病数据集的标注效果示例

Fig. 3 Annotation effects of oilseed rape sclerotinia dataset

1.4 空-谱信息融合机制

与传统RGB图像相比，高光谱图像增加光谱维度数据，提供检测油菜菌核病早期感染现象的可能性。本研究提出的空-谱信息融合机制如图4所示。

图4 空-谱信息融合机制

Fig. 4 Spatial-spectral information fusion mechanism

首先，基于PCA对整个光谱数据立方体进行数据降维。这种降维操作虽然损失了一定的数据特征，但是大幅提升了数据处理的效率。保留前3个主成分，取得一个降维后大小为100×100×3的数据立方体，并在此基础上进一步提取大小为7×7×3的数据立方体。以正方形平面正中心的像素为检测目标，对降维处理后的数据立方体进行展平和重构，将其作为检测目标的空间信息。对光谱信息而言，直接提取未经过降维处理的目标像素的谱维度数据作为其光谱信息。最后，拼接目标像素的空间信息和光谱信息，从而实现空-谱信息的融合表征。

1.5 Bi-GRU模型构建

相较于模型结构相对复杂的长短时记忆网络（Long Short-Term Memory, LSTM），GRU模型在准确性和效率上都具有相对更优的表现。本研究采用的GRU模型主要由更新门zt和重置门rt两个门控机制组成。其中，重置门用于控制想保留的过去状态的数量，有助于捕获序列中的短期依赖关系。而更新门负责控制过去状态被带入到当前状态的数量，用于捕获序列中的长期依赖关系，其涉及的具体计算方法如公式（1）所示。

由于传统的GRU模型只考虑序列中单一方向上数据间的相关性，而忽略对未来信息的考量，因此在往返关联性较强的应用上有较大局限。所以，为了同时提取高光谱数据序列的全部特征，本研究采用双向的GRU算法，即Bi-GRU，该网络包含正、反向两个GRU层，正向传播的GRU用来计算当前时刻的序列信息，反向传播的GRU则逆向读取同一序列，引入逆序信息。两个GRU网络层共同连接一个全连接层，在网络训练过程中为全连接层中的所有神经元同时提供正序与逆序两类信息。模型的具体结构组成如图5所示。本研究的Bi-GRU模型由4个部分组成：输入层、隐藏层、全连接层和输出层。其中，隐藏层使用512个GRU神经元，共两个全连接层且每层包含1 000个神经元，输出层有两个神经元，分别对应健康和染病两个类别。

图5 Bi-GRU模型结构

Fig. 5 Structure diagram of the Bi-GRU model

1.6 训练策略与评价指标

本研究构建的Bi-GRU模型是基于Pytorch框架实现的。模型的训练环境主要包含Intel Core i7-11800 H处理器、NVIDIA GeForce 3060显卡及16 G内存。模型训练过程中采用Adam自适应优化器，且学习率被设置为0.000 5。此外，由于数据集存在数据分布不均衡的现象，因此本研究通过基于加权的交叉熵损失函数对Bi-GRU模型进行训练，其中健康和染病两个类别之间的权重分配为1∶6。在模型的训练过程中，采用Dropout方法减少神经元之间的相互依赖，避免过拟合的发生。Dropout被设置为0.3，即30%的节点被随机选择并重置。

为了深入分析本研究中Bi-GRU模型的总体效果，试验部分采用了多项评估指标对模型的综合性能进行量化分析。均值平均精度（mean Average Precision, mAP）是通过对所有检测类别的平均精度（Average Precision, AP）进行综合加权平均得到的，具体计算方法如公式（2）所示。

式中：k为不同类别；P为在所有检测对象中检测到正确目标的概率；R为所有阳性样本中正确识别的概率。

另外，基于平均交并比（mean Intersection over Union，mIoU）计算每个类别的预测值和真实值的交并比，计算方法如公式（3）所示。

Kappa系数主要用于指标的一致性检验，衡量分类的精度。当数据分布不均衡时，Kappa系数的可参考性优于mAP。计算方法如公式（4）所示。

式中：p0为预测一致性；pe为偶然一致性。

Dice系数是一种集合相似度度量函数，常用于计算两个样本间的相似度。本研究基于Dice系数评估人工标注样本（Ground-Truth，GT）与模型预测结果之间的相似度。计算方法如公式（5）所示。

式中：X和Y分别代表两个不同的样本。

2 试验与结果分析

2.1 模型综合性能验证

为了充分验证本研究提出的Bi-GRU模型的综合性能及其空-谱信息融合机制的有效性，设计相关的对比分析试验，其具体结果如表2和表3所示。该试验主要基于ClassAP（1）、ClassAP（2）、mAP、mIoU和Kappa系数5个核心参数对Bi-GRU模型的性能进行综合评估。其中，ClassAP（1）和ClassAP（2）分别代表感染类别和健康类别的AP。此外，由于感染类别所占的总像素比例远小于健康类别，因此与mAP指标相比，采用Kappa系数能更准确地评价模型的分类精度。与此同时，本研究将CNN和LSTM两种主流的深度神经网络模型作为对照组，分别与Bi-GRU模型进行对比，从而进一步论证本研究所提出的Bi-GRU模型的优势与可行性。其中，CNN模型主要采用UNet结构，同时结合PCA降维方法保留前3个主成分后作为CNN模型的输入。对于LSTM模型而言，由于GRU模型本身就是LSTM的一种优化结构，因此这两种模型具有一定的相似性。在试验的过程中只需保证LSTM与GRU在各层中具有相同的神经元个数即可。

表2 Bi-GRU模型综合性能的对比试验结果（谱维度）

Table 2 Comparative test results of the overall performances of the Bi-GRU model （spectral dimension）

表3 Bi-GRU模型综合性能的对比试验结果（空-谱融合）

Table 3 Comparative test results of the overall performances of the Bi-GRU model （spatial-spectral dimension）

考虑LSTM和GRU虽然都属于RNN模型，但在不同的任务中其表现往往也各不相同。因此，本研究主要针对LSTM和GRU模型设计了两组对比方案。第1组重点关注模型中信息的传输方式，即单向（U）和双向（Bi）两种不同模型架构。第2组因素则更注重数据特征表达形式的区别，即仅采用谱维度数据或空-谱融合数据作为模型的输入时，同时对LSTM和GRU的整体性能进行了验证。由表2和表3可知，PCA+CNN方法对于油菜叶片菌核病的检测效果不够理想。对于LSTM和GRU而言，与单向架构相比，基于双向架构的LSTM和GRU模型普遍具有更高的mAP和mIoU。此外，对比表2和表3发现，无论是对于LSTM还是GRU模型而言，采用空-谱融合数据能有效提升菌核病的检测效果。在相同条件下，GRU模型在油菜叶片菌核病的检测方面比LSTM模型具有更优的综合性能。

2.2 油菜叶片菌核病分割结果

除了对各项参数进行评估，本研究还对比分析不同模型对油菜叶片菌核病的实际分割效果，如图6所示。其中，用于试验的样本均来自于测试集，且为了更清楚地说明实际分割效果，对油菜叶片菌核病的3个不同感染阶段也进行区分。试验所采用的检测模型主要包含PCA+CNN，Bi-LSTM和Bi-GRU，且两个RNN模型都采用空-谱融合数据作为输入。

图6 油菜叶片菌核病的分割结果示例

Fig. 6 Examples of oilseed rape sclerotinia segmentation results

由图6发现，当菌核病感染程度达到中期或晚期时，仅通过RGB图像就可以观察到明显的病斑区域。然而，在菌核病感染的初期，其感染区域在RGB图像中变得难以分辨，只有通过伪彩色图像才能较为清晰地观察到病斑的实际位置和大小。这说明在菌核病感染初期，感染区域与健康区域在可见光波段的光谱差异性并不显著。这也意味着相比于中期或晚期，利用深度神经网络模型检测菌核病的初期感染现象具有更大挑战。在图6中，PCA+CNN方法没能检测出菌核病的初期感染现象，且针对感染中期的检测效果也不够理想。与Ground-Truth对比，本研究提出的Bi-GRU模型在菌核病感染的3个阶段其检测效果都优于Bi-LSTM模型。特别是在感染初期，Bi-GRU检测出的有效感染区域明显多于Bi-LSTM模型。

2.3 不同感染阶段菌核病的检测效果评估

为了更加深入、准确地分析本研究提出的Bi-GRU模型的菌核病实际检测效果，采用CNN、Bi-LSTM（S）、Bi-GRU（S）、Bi-LSTM（SS）和Bi-GRU（SS）这5种模型对测试集中的所有图像分别进行了检测。其中，Bi-LSTM（S）和Bi-GRU（S）代表仅使用谱维度数据作为输入，而Bi-LSTM（SS）和Bi-GRU（SS）则代表使用空-谱融合数据作为输入。与此同时，分别计算所有模型的输出结果与Ground-Truth图像之间的Dice系数，从而综合评估不同模型在感染初期、中期和后期3个阶段中的菌核病实际检测效果，结果如图7所示。

图7 CNN、Bi-LSTM和Bi-GRU模型在不同感染阶段的菌核病检测Dice系数

Fig. 7 Dice coefficient of Sclerotinia detection for CNN， Bi-LSTM and Bi-GRU models at different infection periods

由图7可知，对于所有模型而言，其感染初期的Dice系数都明显低于中期和晚期。这说明针对菌核病初期感染现象的检测是实现油菜叶片菌核病感染区域精准提取与定位的核心难点所在。初期感染区域分割精度相对偏低的主要原因在于初期感染区域与健康区域的高光谱数据特征极为相似（图2）。因此，除了Bi-GRU模型架构的进一步完善以外，增加初期感染区域的光谱数据量同时采用有针对性的数据增强办法是提升初期感染现象检测精度的有效手段。此外，在菌核病感染的3个阶段中，与其他模型相比，本研究提出的Bi-GRU（SS）模型均取得最高的Dice系数。在感染初期、中期和后期，Bi-GRU（SS）模型的Dice系数分别为83.8%、89.4%和89.2%。值得注意的是，采用空-谱融合数据作为输入的模型，其Dice系数明显高于仅采用谱维度数据的模型。这也进一步验证本研究所提出的空-谱数据融合机制的有效性与可行性。

3 结 论

本研究构建了基于空-谱信息融合机制的Bi-GRU模型，实现了对油菜菌核病染病区域的精准、高效提取，同时解决了菌核病早期感染现象难以检测的问题，具体结论如下。

1）通过综合性能对比试验发现，GRU模型相较于主流的CNN、LSTM等模型具有更优的综合性能对于油菜菌核病的检测。此外，采用双向架构和空-谱融合数据能有效地提升检测效果。

2）分别基于CNN、Bi-LSTM和Bi-GRU实现了菌核病染病区域分割结果的可视化。通过对比Ground-Truth发现，本研究提出的Bi-GRU模型在油菜菌核病感染的各个阶段其检测效果都优于CNN和Bi-LSTM等模型。

3）通过对比分析不同模型菌核病分割结果之间的Dice系数发现，相比于中期或后期感染，初期感染现象的检测精度相对较低。但采用空-谱数据融合机制能够有效地提升油菜菌核病初期感染现象的检测效果。

未来的研究工作将进一步扩充数据集，结合注意力机制以及其他大模型的优势不断完善Bi-GRU模型，并将其推广用于多种不同农产品、不同病害的高通量检测领域。

利益冲突声明：本研究不存在研究者以及与公开研究成果有关的利益冲突。

为方便农业科学领域读者、作者和审稿专家学术交流，促进智慧农业发展，为更好地服务广大读者、作者和审稿人，编辑部建立了微信交流服务群，有关专业领域内的问题讨论、投稿相关的问题均可在群里咨询。 入群方法： 加小编微信17346525780，备注：姓名、单位、研究方向，小编拉您进群，机构营销广告人员勿扰。

来源：智慧农业资讯一点号