CEA | 南农姜东教授团队基于语义分割网络和GSD算法提出了小麦苗期出苗面积估算的新方法

摘要：近日，南京农业大学农学院姜东教授团队在Computers and Electronics in Agriculture期刊上发表了题为“High-throughput Wheat seedling phenotyping via UAV-based seman

近日，南京农业大学农学院姜东教授团队在Computers and Electronics in Agriculture期刊上发表了题为“High-throughput Wheat seedling phenotyping via UAV-based semantic segmentation and ground sample distance driven pixel-to-area mapping”的研究论文。该研究基于分割网络和GSD换算算法，提出了一种小麦苗期出苗面积估算的新方法。

研究背景

目前，传统小麦苗期面积的计算方法在复杂田间环境下存在精度低、效率差和泛化能力不足等问题，准确对苗期小麦幼苗掩膜提取和出苗面积估算是一个热点问题。

研究目标

为解决上述问题，课题组提出了一套小麦出苗面积估算的分析流程，具体目标是：(1) 提出一套结合色彩校正、超绿分割、改良各向异性扩散滤波的图像预处理算法，提升图像标注的精度。(2) 采用Wheat Seedling Former对小麦幼苗区域进行语义分割。(3)结合RGB掩膜图像以及GSD算法计算实际出苗面积以及紧密度在内的两个表型指标。将语义分割的掩膜通过特征匹配变换应用到多光谱图像上，提取四个相关的多光谱指标。(4) 开发Seedling Phenotype Extraction应用软件，集成图像标注、表型计算等功能。(5) 通过提取的表型参数对种植小区进行长势评估。

研究结果

1.提出了一套预处理算法以提高掩膜标注效率

通常，一些图像标注工具，例如ISAT with segment anything、Roboflow所训练的模型都是通用模型，对于小麦苗期这种复杂图像的标注效果不理想(只能标注幼苗的大致范围，对于叶尖等一些细节的特征无法进行识别和标注)。因此，本研究开发了一套结合线性回归颜色校正、超绿分割以及改良各向异性扩散滤波的分蘖期小麦幼苗预处理算法，对无人机采集图像进行处理，随后采用基于SAM的图像标注软件对预处理后的图像进行标注，以提高标注的效率和准确性。

在预处理的过程中，首先采用线性回归的颜色校正算法对图像进行处理得到颜色校正后的图像。得到颜色校正后的图像后，我们采用超绿分割算法对颜色校正后的图像进行处理。由于超绿分割图像因阈值分割会产生锯齿状边界，而掩膜图像最重要的就是图像边缘信息，边缘劣化的图像会影响后续标注工具的标注精度，因此本研究基于各向性滤波算法提出了改良的各向性滤波算法修补边缘。最后，我们采用ISAT with segment anything标注软件对预处理后的黑白掩模图进行标注以及细节调整，同时将标定框以及色彩校正板作为两个新的类别进行了标注。按照数据预处理以及ISAT with segment anything标注软件的处理流程，完成对160个小区图像掩膜的标注工作。

图1 多尺度图像数据采集和预处理算法流程

2.提出 Wheat Seedling Former优化学习架构以准确提取小麦苗期掩膜

为了将分蘖期小麦幼苗的掩膜部分进行准确提取，以提高后续出苗面积的估算准确性，我们提出了小麦幼苗语义分割网络Wheat Seedling Former(WSF)，本模型以Segformer为主干，由于小麦幼苗处在自然的田地环境，环境中的土块、杂草等背景区域会干扰模型的精度，因此我们在编码器的头部加入了空间与通道协同注意力模块(SCSA)，在空间注意力上消除无关背景区域，在通道注意力上弱化冗余通道，减小计算开销。同时，小麦幼苗包含叶尖等细节特征信息，为了提升对这类小目标的检测精度，我们在SCSA模块后面加入了跨层特征金字塔(CFPT)模块，该模块整合了浅层细节和深层语义，增强不同大小尺度特征金字塔的表达能力。最后，我们在解码器的多层感知器后加入空洞空间卷积池化金字塔(ASPP)模块，ASPP作为CFPT的后置模块，引入全局平均池化分支，可以整合细节感知并进行全局结构推理从而为提高最终的检测精度。

图2 WSF语义分割网络架构

3.通过GSD换算计算实际出苗面积并利用特征匹配将掩膜应用到光谱图像上

获得掩膜图像后，我们根据小麦苗期的掩膜图像计算了行出苗面积以及紧密度两个评价指标。对于掩膜图像，我们采用GSD换算计算每个像素点代表的实际面积。随后，我们将小麦幼苗所在的掩膜像素点个数乘以这个比例因子，从而获得小麦的实际出苗面积。然后，我们对小麦幼苗的掩膜区域采用基于深度优先搜索的聚类，并计算每个聚类簇的包围轮廓最小凸多边形，计算所有聚类簇所含像素点以及最小轮廓多边形所包含像素点比值的平均值作为紧密度参数的估算值。

同时，我们也结合RGB掩膜和光谱图像计算了光谱相关的指标。在小麦分蘖时期，一个种植小区内土壤的占比较大，而这些土壤表面的反射会影响幼苗部分光谱参数的计算，因此，我们需要将RGB图像的掩膜应用到光谱图像上，将掩膜以外的部分作为土壤所在部分以去除土壤反射的干扰。如果直接将RGB的掩膜应用到光谱图像上，掩膜和小麦幼苗在光谱图像中实际的位置会有较大的偏差，这是因为即使无人机位置拍摄角度相同，拍摄RGB和光谱图像来自两个的不同传感器，成像存在一定的偏移，因此我们需要通过配准的方式来弥补这种偏移。本研究采用特征匹配的方式，首先将RGB图像以及光谱图像中校正框的四个角作为高置信度匹配点对，并采用使用 RANSAC算法估算光谱图像到RGB图像的变换矩阵，并对光谱图像应用透视变换，使其与RGB图像严格对齐。随后，我们将掩膜根据光谱和RGB图像的分辨率比值重采样至光谱图像掩膜尺寸后应用到光谱图像上。最后，计算每个波段土壤部分反射率的平均值，并对整幅图像小区所在的每个像素进行反射率校正。消除土壤反射的影响后，我们计算了 NDVI、NDRE、CI以及FVC在内的四个光谱指数。

图3 各参数提取示意图

4.开发了Seedling Phenotype Extraction Application，集成标注和表型提取功能

为了计算小苗苗期相关的表型参数并简化未来对于小麦幼苗图像复杂的标注工作，我们开发了Seedling Phenotype Extraction工具软件。Seedling Phenotype Extraction软件以PyQt5为框架，无需配置环境，直接运行相应可执行文件即可跨平台使用。软件采用Python语言开发，同时包含OpenCV、OpenMMLab等开源科学库。

Seedling Phenotype Extraction Application软件包括：数据加载模块、添加类别模块、图像标注和细节微调模块、参数计算模块和数据保存模块。该软件支持图像标注和表型参数计算，为精准农业领域的研究者和从业者提供了极大的便利。

图4 Seedling Phenotype Extraction Application软件功能展示

泛化试验的试验对象为拔节期小麦以及缺乏人工管理长势不均匀且杂草较多的试验田。我们比较了SAM模型和Wheat Seedling Former模型的效果，对于拔节期小麦，两个模型的准确率相差不大。对于缺乏人工管理的试验田，SAM模型和Wheat Seedling Former模型的准确率分别为67.5%和82.7%，本模型的准确率远远大于SAM模型。证明本研究提出的WSF小麦出苗语义模型在小麦分蘖到拔节期的出苗分析上具有显著的效果。

图5 泛化试验效果图展示

5.通过提取的表型参数对种植小区进行长势评估

我们将160个品种的出苗面积、紧密度、去除土壤干扰的归一化植被指数NDVI、红边归一化指数NDRE、绿波叶绿素指数CI以及植被覆盖度FVC这六个参数绘制成了热力图。

为进一步研究了不同品种小麦的长势，本研究采用经典机器学习随机森林模型对长势进行分类，设置高长势、中长势以及低长势三个分类组。将六个指数进行归一化并进行两两组合，采用机器学习的方式进行三分类，统计每两种组合下(15种组合)高中低长势的小麦区域数量，并根据统计的数量将160个小区划分成了高、中、低三个类别。结果表明，160个小麦品种中有35个高长势小区、有83个中长势小区以及42个低长势小区。通过这种方式，我们可以评估每个小区的芽苗长势，并为优异种质基因的筛选提供参考依据。

图6 长势分级展示

总之，Wheat Seedling Former网络结合我们的预处理流程和多模态数据融合方法，为小麦出苗面积估算和表型分析提供了一种高精度、高效的解决方案。RGB与光谱数据的结合以及软件工具的开发，凸显了本研究在推动精准农业中的实际价值。未来的工作将重点优化网络性能，扩展其在其他作物中的适用性，并探索其在大规模农业监测和决策系统中的潜力。本研究为利用无人机技术进行作物生长评估和遗传改良奠定了坚实基础，为现代农业的可持续发展做出了贡献。

南京农业大学前沿交叉研究院与农学院联合培养博士生周鸿昊、农学院钟山青年研究员李庆为本文的第一作者。小麦生理生态与生产管理团队首席姜东教授、农学院副教授仲迎鑫、前沿交叉研究院钟山青年研究员陈佳玮，为本文的共同通讯作者。该研究得到了江苏省国际科技合作创新支持计划项目（BZ2023049）、国家重点研发计划项目（2023YFD2300200）、江苏省农业科技创新基金（CX（22）1006）等项目的支持。

文章链接：