摘要：机器人灵巧手的触觉感知系统通常采用多传感器融合方案来获取触觉信息，这些数据对实现精准抓取和人机交互具有重要作用。目前视触觉感知方案使用弹性材料作为交互界面，这种材料因其可变形特性，能够同时获取压力、形变等多模态物理信息，在智能交互系统和机器人触觉感知领域展现出

机器人灵巧手的触觉感知系统通常采用多传感器融合方案来获取触觉信息，这些数据对实现精准抓取和人机交互具有重要作用。目前视触觉感知方案使用弹性材料作为交互界面，这种材料因其可变形特性，能够同时获取压力、形变等多模态物理信息，在智能交互系统和机器人触觉感知领域展现出应用潜力。

但在实际应用中，弹性体表面在受力时产生的微小形变难以持续稳定捕捉，且形变信号会随时间快速消逝。这一现象导致现有视触觉传感器在实时区分细微运动状态时存在局限性。因此，如何实现对动态软接触过程中弹性界面形貌变化的实时精确监测，成为当前触觉传感技术需要解决的关键问题。

▍提出新策略，理解视触觉传感器软界面和接触行为的内在关联

针对机器人触觉感知领域存在的技术难题，来自华南师范大学的李昕明研究员团队基于理想漫反射模型构建了光学系统，将弹性体表面形变程度与反射光辐照度进行关联，实现了使用光学触觉传感系统来可视化软介质表面轮廓的实时演变过程，并将触觉信息转换为视觉信号。

同时研究团队也开发了一个能够识别具有细致差异的接触行为的深度神经网络模型，用于分析微小的静态和动态接触诱导的差异化软界面变形的图像特征，实现精细的接触行为识别。得益于视触觉图像的高密度特性，该方法允许在表面上获取空间连续变形，实现软接触过程的高精度感知，能够以84.24%的准确率识别具有1°倾角偏差的接触状态。利用视触觉图像的高密度特性，该技术实现了接触表面连续变形的空间解析，为精确感知软接触过程提供了新思路。

目前，研究成果的相关论文已分别以“Monitoring Soft Shape Surface Deformation via Optical Images for the Distinction of Contact State”和” A Real-Time Imaging Sensing System to Visualize Elastomer Surface Profile Evolution for Dynamic Tactile Recognition”为题发表在国际知名期刊Advanced Intelligent Systems和Advanced Functional Materials上。

▍基于接触界面分析的视触觉交互信息感知策略

视触觉传感器通过捕捉接触引起的反射光学变化，实现了对物体接触状态的精准感知。当物体与传感器接触时，传感器表面会产生变形，这种变形导致传感器表面的接触轮廓发生变化，进而导致反射光函数发生变化。这种变化在触觉图像中表现为像素亮度的变化，这些变化成为研究人员表征软界面变形，进而分析接触行为的关键线索。具体而言，通过分析光学图像中像素值与表面变形之间的相关性，研究人员可以解读出关于不同接触物体接触力大小、运动参数以及物体姿势的丰富信息。

为了更高效地从触觉图像中提取接触界面变形信息，研究团队提出了一种基于平行入射光的反射光学传感方法来构造接触界面变形角与检测光信号之间的相关性。在平行光反射到CMOS的过程中，弹性体表面变形转化为光学信息。该工作将局部辐照度转换为各像素0~255范围内的通道值，这种操作使得弹性体的变形信息转换为光学图像的亮度，这有利于分析和解耦物体的接触状态。

▍视触觉传感方案在静态与动态接触感知分析与探索

为了全面评估所提出的基于接触界面分析的面向机器人视触觉传感系统在识别多模态接触信息方面的性能，研究团队不仅验证了系统的静态接触状态分析能力，还通过实际案例展示了其在实时动态运动行为检测任务中的潜力。

在实验中，视触觉传感器与神经网络的紧密结合展现出了卓越的触觉感知能力。在XOZ平面5-13 °范围内，系统对接触倾角识别准确率达到84.24%，步长为1°。而在XOY平面0-360 °范围内的偏转角度识别任务中，识别准确率达到97%，步长为22.5°，展现了极高的姿态识别精度。

为了进一步验证该视触觉系统对微小差异接触状态的感知能力，团队对球体动态运动识别展开了探究。实验中，视触觉系统成功区分了具有不同尺寸、硬度的球体在不同运动速度下的运动图像，展现了良好的实时动态识别能力。通过神经网络算法，该系统从单张图像中分辨出球体不同滑动速度的准确率达 82.7%。这种用于接触界面分析的动态实时识别框架为视触觉感知应用中基于运动行为的指令识别提供了新的思路。

在触觉感知场景中，该系统能够实时捕捉并“预测”接触物体的运动行为。这些信息对于视触觉感知中准确的运动识别至关重要。研究人员将该光学触觉感知系统引入到“滑动预测”任务中。光学图像先于视觉观测捕捉到“腿”与弹性界面发生相对运动。说明该基于细微接触界面变形检测的方法在触觉感知任务的滑动预测方面具有一定的潜力。

以上实验结果综合表明，基于图像识别的动态微变形识别框架在精确触觉感测领域展现出了巨大的应用潜力。其高精度、高灵敏度的特性，不仅适用于精细且复杂的触觉识别任务，还能够在仿真中指导真实物理交互模式的构建，还可广泛应用于人机交互、机器人触觉感知等多个领域。

来源：机器人大讲堂