摘要：陈明猷, 罗陆锋, 刘威, 韦慧玲, 王金海, 卢清华, 骆少明. 采摘机器人全果园视觉感知及自主作业综述[J]. 智慧农业(中英文), 2024, 6(5): 20-39. DOI: 10.12133/j.smartag.SA202405022

本文节选自：

陈明猷, 罗陆锋, 刘威, 韦慧玲, 王金海, 卢清华, 骆少明. 采摘机器人全果园视觉感知及自主作业综述[J]. 智慧农业(中英文), 2024, 6(5): 20-39. DOI: 10.12133/j.smartag.SA202405022

CHEN Mingyou, LUO Lufeng, LIU Wei, WEI Huiling, WANG Jinhai, LU Qinghua, LUO Shaoming. Orchard-Wide Visual Perception and Autonomous Operation of Fruit Picking Robots: A Review[J]. Smart Agriculture, 2024, 6(5): 20-39. DOI: 10.12133/j.smartag.SA202405022

官网全文免费阅读

采摘机器人果园自主作业行为规划

在视觉感知的基础上，机器人应能自主连贯地移动到果园中的多个不同位点并实施采摘。因此，其自主作业行为主要包括在全局果园中的自主移动和在局部场景位点下的自主采摘。

1 全局果园中的自主移动行为规划

采摘机器人的自主移动行为规划主要包括全局尺度下的移动路径规划，及其在移动过程中的局部路径规划。

在非农业场合，自主移动机器人已成功应用于环境探测、室内作业、楼道救援、安全管理和虚拟仿真等众多领域，目前不乏成熟案例。相比之下，复杂果园环境下的自主移动机器人技术仍处于发展阶段。为了实现全果园范围内的连贯移动与采收作业，机器人不但需要具备基本的自定位和运动能力，还需要具备基于果园语义进行移动决策与规划，准确导航至最优采摘位点并与采摘模块高效协同的能力，这涉及地图后处理、基于产量的实时调度、高安全性路径规划、高精度自定位和异常状态校正等问题，对已有移动机器人技术提出了更高的要求。

针对移动过程中的采样质量问题，可考虑构建面向全景采样的视觉感知模块，设计跨场景光照自适应与补偿算法，部署结构光硬件系统，提高机器人跨片区移动时对场景光照与视野变化的自适应性。同时，可借助大角度回旋机构带动传感器采样，进一步扩大自主导航系统的感知范围。

针对非结构化果园道路识别问题，由于不同区域中道路的形状、材料属性与表型特征存在差异，传统基于单一阈值的视觉识别方法往往难以适应该类工况。部署特征自学习的深度神经网络、设计针对道路区域的注意力模块、采用无监督学习等，均是提高视觉算法对复杂路面特征识别的鲁棒性的有效策略。在道路特征不明显的情况下，以道路两侧种植行为基准进行路径规划也是一种有效的方案。

针对自主移动中地图与定位数据的稳定性问题，需合理设计机器人内部各节点模块的数据交换逻辑，基于果园先验知识构建SLAM状态估计器，降低场景目标状态不确定性对底盘全局运动位姿估计的影响。全果园自主移动行为规划效果如图1所示。

图1 全果园自主移动行为规划效果示意图

Fig. 1 Schematic diagram of the effects of autonomous movement behavior planning in an entire orchard

需要指出的是，目前采摘机器人移动行为规划相关研究多聚焦于机器人本体的实时自定位与移动避障问题，而自定位过程中所构建的全局地图利用率较低。实际上，对于以水果收获为目标的采摘机器人而言，通过对高分辨率全局三维地图进行后处理与细节提取，可以为机器人提供全局水果目标的生长状况、空间分布和成熟度等重要收获信息，提高机器人移动决策与路径规划的效率与目标指向性。因此，地图的结构细节信息应被进一步融合至移动行为规划的技术流程中。总的来说，机器人的移动模块需要同时具备较强的自定位、地图后处理，以及基于地图语义的实时信息提取与决策能力，这对机器人的硬件架构、算法鲁棒性，以及工作逻辑设计提出了更高的要求，亟待进一步深入的研究。

2 局部场景下的自主采摘行为规划

机器人随底盘移动到特定采摘位点后，需基于当前视野下水果的几何表型、障碍物分布及实时环境状况，自主规划最优采样视点以获取高质量采摘位姿，并规划其最优采摘避障路径。因此，机器人自主采摘行为规划主要包括机器人在视觉采样过程中的主动视点规划，以及在采摘进给过程中的避障路径规划。

在采摘的过程中，系统需实时评估潜在的障碍物碰撞、果实损伤与定位误差等情况，建立基于实时视觉信息的视点与路径校正机制。“眼在手上”的Eye-in-Hand视觉系统通过机械臂带动相机在不同视野下进行采样，具有较强的部署灵活性与环境交互性，是高质量视觉伺服控制与自主采摘行为规划的关键载体。

针对采摘视点规划问题，通过离线预设的运动规则建立末端运动学模型，控制“手-眼”视觉系统在物体前方多个视点进行精细采样，可有效筛选最优采摘视点，获取完整的目标表面信息并生成实时障碍物空间，提高机器人对采摘区域的感知精度和全面性。然而有研究指出，由于场景中存在未知障碍物和随机扰动，基于固定运动学模型的遍历式视点规划策略无法完全解决遮挡问题，需进一步辅以二次视点规划与校正处理。在离线运动学模型的基础上增加远-近协同的相机视点，远视点用于快速筛选可采摘区域，近视点用于对场景进行局部重采样与精定位，从而引导机器人完成高质量采摘动作。

针对采摘避障路径规划问题，基于“手-眼”协同与高频视觉伺服的末端行进方案在本领域较常见。在末端靠近采摘点的过程中，“手-眼”视觉系统以较高的频率持续计算并更新目标位姿信息，可实时校正末端的采摘路径，实现对果实真实位置的精确逼近。近年来，基于深度强化学习的局部路径规划方法研究取得较大进展。通过在仿真空间内收集机械臂-环境行为交互的经验信息，可引导机械臂学习最优采摘运动学参数，实现端对端采摘避障路径规划。由于深度学习方法具有较强的特征提取与复杂环境适应能力，其在构建强鲁棒采摘行为规划系统方面具有较大发展潜力。局部场景下自主采摘行为规划效果如图2所示。

图2 局部场景下自主采摘行为规划效果示意图

Fig.2 Schematic diagram of the effects of autonomous picking behavior planning in local scenes

从已有案例不难发现，“手-眼”协同是实现高质量自主采摘行为规划的关键。然而，已有的“手-眼”视觉系统仍然存在局限性。一方面，环绕目标的多视点规划与采样需要耗费大量计算资源和时间，从而导致采摘效率下降，这是“手-眼”多视点采样模式的共性问题。另一方面，已有的“手-眼”协同机制过于单一，过度依赖人工设计的运动学模型与规则，缺乏对果园中动态目标和场景的自适应机制，难以满足多元化水果收获需求。为了进一步提升“手-眼”视觉系统对果园采摘任务的适应性，有必要深入研究具备环境交互与自学习能力的行为决策模型，形成动态、智能与柔性化的自主采摘行为。

3 分析与评价

机器人的自主作业行为规划包括其在全局果园中的自主移动行为规划和在果园局部位点下的自主采摘行为规划。

在自主移动行为规划方面，目前相关研究侧重于机器人的自定位问题，对全局地图中细节信息的利用率较低。为了提高机器人自主移动效率，有必要进一步关注对全局地图中的语义、结构与产量等与采摘过程密切相关的细节信息的挖掘与后处理，形成针对果园采摘任务的新型自主移动行为规划方法与框架。

在自主采摘行为规划方面，“手-眼”协同的采摘模式在户外环境下具有较强的灵活性与机动性，是实现高效自主采摘的关键载体。然而，已有基于手眼协同的视点规划与避障路径规划方法大多存在采样耗时长、采摘规划机制单一等问题。研究具备动态环境交互与自学习能力的行为决策模型，形成动态与柔性化的自主采摘作业行为，是未来进一步实现智能水果收获的关键。

发布征集

来源：智慧农业资讯一点号