摘要：陈明猷, 罗陆锋, 刘威, 韦慧玲, 王金海, 卢清华, 骆少明. 采摘机器人全果园视觉感知及自主作业综述[J]. 智慧农业(中英文), 2024, 6(5): 20-39. DOI: 10.12133/j.smartag.SA202405022

陈明猷, 罗陆锋, 刘威, 韦慧玲, 王金海, 卢清华, 骆少明. 采摘机器人全果园视觉感知及自主作业综述[J]. 智慧农业(中英文), 2024, 6(5): 20-39. DOI: 10.12133/j.smartag.SA202405022

CHEN Mingyou, LUO Lufeng, LIU Wei, WEI Huiling, WANG Jinhai, LU Qinghua, LUO Shaoming. Orchard-Wide Visual Perception and Autonomous Operation of Fruit Picking Robots: A Review[J]. Smart Agriculture, 2024, 6(5): 20-39. DOI: 10.12133/j.smartag.SA202405022

官网全文免费阅读

采摘机器人全果园全局地图构建综述

地图构建的目的是获取果园中的道路、种植行、果枝主干等大规模结构，实现机器人对果园宏观环境的理解，是后续机器人自主移动及采摘规划的基础。同时定位与建图（Simultaneous Localization and Mapping, SLAM）是实现全局地图构建的重要技术手段，其核心思想是通过机器人的移动实现对环境的持续采样，形成具备时间序列的连续数据流，然后结合图论、概率统计与知识推理等方法构建时间序列数据的关联，进而实现机器人对大规模连续物理环境的感知。SLAM技术流程包括地图构建和传感器自定位两个部分，其同时运行并相互更新信息，因此SLAM方法具有较强的灵活性与自组织性。其中，地图构建部分对移动载体的形式没有严格要求，除了常见的地面移动平台外，还可以部署飞行载体或多个协同作业的载体来实现建图。

视觉传感器是地图构建任务中最常用的传感器之一。视觉方法获取的信息量较大，其不仅包含三维表型和距离信息，还包含目标纹理和颜色等细节信息。通过对视觉序列图像进行一系列后处理可得到丰富的果园场景语义，构建包含水果、枝叶、道路和障碍物等标签的语义地图，有效指导机器人在复杂果园中的移动、避障与采摘等工作。因此，视觉方法对果园地图构建任务具有较强的适用性。

1 基于视觉的果园建图

在视觉建图框架下，采摘机器人需全面采集果园场景的时间序列图像，基于立体视觉方法计算每一帧序列图像对应的三维点云，并通过合适的匹配策略得到序列点云间的空间关联，进而拼接得到全局点云地图。在复杂非结构化因素干扰下，如何准确可靠地从图像中提取各帧三维点云中的特征信息，并基于这些信息估计全局点云拼接位姿，是实现高质量果园地图构建的关键。

针对果园中的复杂纹理与背景干扰，可将对单帧序列图像的处理问题视为第1节所述的局部目标感知问题，采取第1.2节中所述基于高级特征学习的方法，通过部署深度神经网络提取单帧图像的高级鲁棒特征。基于高级特征可实现对场景、道路、果实、枝叶等对象的目标检测和语义分割，构建具备感兴趣类别标签的全局语义点云地图。

针对序列图像采样问题，通过在机器人上安装多个相机或以机械臂搭载单个相机进行多视点采样，可显著提升机器人对果园环境的采样覆盖率，确保特征采集的多样性，并缓解因遮挡和视觉盲区带来的信息丢失问题，提高全局点云位姿估计与帧间关联的稳定性。

对于规模较大的果园场景，其采样所得的时间序列图像数据量往往较大，可考虑使用稀疏特征代替稠密特征来提高稠密建图效率，但相关稀疏特征需具备较强的旋转、平移或尺度不变性。为了应对大规模果园不同区域中的自然力学扰动、光照变化等动态因素，视觉建图系统需要具备较强的实时性和动态更新能力。基于图优化和回环检测技术可有效减少累计建图误差。此外，采用增量式建图方法可实现在采集新数据的同时更新地图，适应动态环境变化。

基于视觉方法的果园建图效果如图1所示，研究情况见表1。

图1基于视觉方法的果园建图效果示意图

Fig. 1 Schematic diagram of the effects of orchard mapping based on vision method

表1 近年基于视觉的果园建图方法研究情况

Table 1 Research on vision-based orchard mapping methods in recent years

目前，果园环境下视觉信息的高效获取与高质量后处理仍然面临较多难题，导致视觉建图效果受限，主要体现在三个方面。首先，视觉建图系统的正常运行依赖于高质量帧间关联，要求基础视觉算法能持续稳定地提取场景中的稀疏特征或光流信息，并具备较强的异常状态响应与校正能力。然而，受户外果园中的复杂因素影响，实际采样的全局序列图像广泛存在动态失焦、照度不均、视场突变等现象，难以满足系统长时间稳定运行的需求；其次，以视觉里程计、回环检测、图优化、局部点云重建等为代表的视觉建图关键技术对非结构化农业环境的针对性优化不足，存在计算效率低、全局累计误差大、点云分辨率低等应用受限问题；此外，为了实现高质量全局产量估计和实时移动避障路径规划，往往需要构建数据量较大的高精度稠密语义地图。由于野外环境下硬件性能以及能源供给的限制，已有农业视觉建图系统仍难以实现对实时性、效率与精度的兼顾。Capua等曾指出，为了使主流建图系统适应复杂的农业场景，需要对视觉算法、系统硬件架构乃至其基础工作逻辑进行大幅修改与优化。

2 基于多传感融合的果园建图

除了视觉传感器外，常见于地图构建任务的传感器还有激光传感器、惯性测量单元（Inertial Measurement Unit, IMU）和全球导航卫星系统（Global Navigation Satellite System, GNSS）等。激光传感器可提供精确的场景距离与目标表型信息，惯性导航单元可提供运动学与动力学信息，而卫星导航模块则可为机器人提供稳定的全局位置信息。将这些传感器与视觉传感器结合，可降低基于单一视觉传感信息建图的模型误差，提高复杂干扰下果园建图的精度和稳定性。

视觉传感器与激光传感器融合感知的方案可基本满足3D场景建模对颜色、纹理与几何信息的数据量需求，为建图系统提供多重冗余数据，提高系统在全果园产量评估、植株表型重构与几何参数提取、林冠模型数据库构建等任务下的综合性能表现。

视觉传感器与IMU融合的方案可大大强化机器人对自身运动状态的感知与实时调节能力，在视觉传感器数据不充分或发生遮挡时补充加速度、角速度与位置信息，优化关键帧的生成速率和帧间匹配精度，提升建图过程的稳定性。

视觉传感器与GNSS融合的方案中，卫星数据可为视觉建图系统提供准确可测的全局坐标系，确保帧间关联精度。对于大规模、长时间跨度下的水果采摘任务，该坐标系是建图系统校正和补偿累积位姿估计误差的重要基准。

进一步地，同时结合视觉传感器、激光传感器、IMU和GNSS，可构建具备强鲁棒性的建图系统，进一步提升建图过程的精度和稳定性。基于多传感融合方法的果园建图效果如图2所示，研究情况见表2。

图2 基于多传感融合方法的果园建图效果示意图

Fig. 2 Schematic diagram of the effects of multi-sensor-based orchard mapping method

表2 近年基于多传感融合的果园建图方法研究情况

Table 2 Recent researches on multi-sensor-based orchard mapping methods

基于多传感融合的方法在提高建图精度和稳定性方面具有显著优势，但也存在明显局限性。一方面，多传感器系统的集成和全局标定相对复杂，需要在不同传感器之间建立精确的时空同步机制，大大增加了系统与算法设计的复杂度，也对硬件的算力、成本及其运行实时性提出更高要求。另一方面，果园中的天气与光照条件变化、传感器遮挡等因素也会影响多传感器系统的整体性能。例如，果园枝叶遮挡和动态光照容易导致视觉传感器采样质量下降，而雨雪等恶劣天气容易影响激光传感器和GNSS数据的可靠性。如何在复杂、多变的果园环境中保持多传感器系统的高效稳定运行仍然是一个亟待解决的问题。

3 分析与评价

视觉建图方法可有效获取果园内水果、枝叶和障碍物空间语义信息，并通过图像的颜色、形状和灰度特征来评估产量和生长状态，为移动底盘和机械臂的作业行为规划提供重要参考。然而，视觉建图在非结构化环境中易受动态失焦、光照变化和遮挡等因素干扰，需进一步优化光照一致性、算法鲁棒性和点云拼接的实时性。

多传感融合建图方法结合了视觉传感器、激光传感器、IMU和GNSS等数据，提高了果园建图的精度和稳定性。然而，数据融合的过程显著提升了系统的复杂性及其集成难度，对硬件性能和算法设计提出了更高要求。同时，恶劣天气和动态光照变化等环境因素对多传感系统的性能影响问题仍需解决。

发布征集

来源：智慧农业资讯一点号