摘要：第一作者：Yuze Qiu通讯作者：Erbao Dong，Xinge Yu通讯单位：中国科学技术大学，香港城市大学DOI: 10.1093/nsr/nwae413

第一作者：Yuze Qiu

通讯作者：Erbao Dong，Xinge Yu

通讯单位：中国科学技术大学，香港城市大学

DOI: 10.1093/nsr/nwae413

触觉感知是机器人探索和预测环境的好方法，对于它们的各种功能（如形状感知和力反馈）都是必要的。此外，当机器人在工作环境中面对脆弱的目标时，软触觉传感器具有良好的适用性和准确性。因此，性能优异的柔性触觉传感器对于机器人执行复杂任务非常重要。近几十年来，触觉传感器利用不同的传导原理得到了广泛的发展，大致可分为电阻式、电容式、磁性、压电式和基于光学/视觉的类型。与传统的触觉传感器相比，基于视觉的柔性触觉传感器具有多种优势，如高分辨率、高稳定性、连续触觉信息、低成本和高信噪比。因此，研究人员对基于视觉的触觉传感器（VTS）越来越感兴趣。

最近，已经提出并不断开发了几种典型的VTS。其中之一是Johnson和Adelson提出的GelSight，专门用于测量接触区域的形状。通过弹性凝胶变形，它可以捕捉接触物体的形状和纹理，并使用光度立体算法重建接触表面的3D高度图。该方案随后演变为具有更高分辨率的高度小型化触觉传感器。Chorley等人于2009年提出的TacTip是一种人工指尖形状的触觉传感器，可以进行精确的力位置识别。TacTip系列具有良好的集成能力，因此可以用作软机械领域的标准设备。此外，基于TacTip开发了一系列软机器人手、软机器脚和软机器系统。

然而，仅依赖几何光学信息，如光照颜色随弹性体变形而变化，阻碍了这些VTS的精确力识别和定位，这对其力位置识别的分辨率和精度构成了重大限制。标记阵列是克服这一局限性的有效方法；通过跟踪弹性体变形过程中标记的位移，可以准确评估变形场以及接触力的大小和位置。然而，这种方法受到生产更小、更密集标记的困难的极大限制。此外，瑞利准则的局限性是阻碍上述密集标记阵列方法发展的困境。

有趣的是，当3D标记足够密集并成行或列连接时，它们的形态会收敛到光栅的形态，光栅具有周期性的微槽结构，通常用于光学实验以产生特定的衍射干涉现象。基于光的相位特性，波动光学中干涉现象产生的条纹图案可以提供相对较高的空间分辨率和信息熵。从高分辨率传感器的发展历史来看，许多追求更高精度和空间分辨率的光学仪器或方法已经从使用几何光学信息转向使用干涉光学信息。例子包括4Pi单分子开关超分辨率显微镜、合成孔径相位显微镜和基于光子的调零干涉术。根据这些发展趋势，本研究提出了一种触觉感知方法的新概念：我们引入光学干涉图案作为传感器触觉信息的视觉表示，这允许传感器对更高的空间分辨率和精度进行触觉估计。

与其他光栅相比，闪耀光栅具有较高的衍射效率。闪耀光栅的表面具有周期性的微米锯齿结构，可以区分具有相同衍射角但颜色不同的光线，从而根据衍射干涉现象产生物理结构颜色。这些物理结构颜色作为一种高分辨率的干涉图案，非常适合用作VTS的视觉输入。在这里，我们使用玻璃反射闪耀光栅制造了一种具有光学结构颜色的柔性光栅薄膜，模仿了Morpho蝴蝶的翅膀。利用多种结构颜色特征和深度学习技术，我们提出了一种基于该胶片的VTS设计，该设计在这项工作中表现出了出色的性能；考虑到其彩虹般丰富的结构色彩，它被命名为IrisTact。IrisTact不仅在空间分辨率和力精度方面比概念原型和代表性的最先进的基于视觉/光学触觉传感器具有更高的综合性能，而且具有很高的可扩展性，通过几个简单的更改或附加部件，它可以轻松完成不同的传感任务，如胡须传感或振动检测。

图1a的中间部分还展示了IrisTact的未来应用前景：它将被集成到机器人手指中，使刚性的机器人手能够通过结构颜色对触觉的敏感和快速反应，安全地处理鸡蛋或水果等脆弱的物体。尽管目前提出的传感器仍需要最小化以适应机器人手指，但随着微型光源和紧凑型图像捕获技术的进一步发展和集成，这一目标原则上是可行的。此外，IrisTact令人印象深刻的性能证明，使用光学干涉图案提供触觉信息的视觉呈现可以提高VTS的性能。因此，所提出的方法不仅具有良好的研究前景，而且预示着具有更高力精度和空间分辨率的触觉感知系统的发展方向，特别是在VTS领域。

本文亮点

1. 本工作提出了一种新的触觉感知方法及其相应的传感器，将柔性闪耀光栅的结构颜色与深度学习相结合。

2. 更丰富的结构颜色和更精细的数据处理促进了触觉估计性能。

3. 所提出的传感器具有6 mN的整体法向力幅值精度、79 μm的平面分辨率和25 μm的接触深度分辨率。

图文解析

图1. 柔性光栅结构颜色触觉感知方法概述。光学干涉、深度学习和软材料的集成赋予了所提出的方法及其相关传感器IrisTact良好的性能和感知扩展的潜力。中间的概念图描绘了微型IrisAct在机器人手指上的未来应用，用于处理鸡蛋等易碎物体并获取触觉信息，突出了相关技术进步提供的这种方法的可能性。（a） 柔性闪耀光栅膜：（i）通过将柔软、可重复的材料浇铸到玻璃闪耀光栅上，获得具有表面周期性微观结构和独特结构颜色（干涉图案）的柔性光栅膜；（ii）该示意图示出了通过柔性光栅膜的干涉效应产生结构颜色特征。（b） 触觉估计。当IrisTact的胶片上有接触时，触觉信息由胶片的结构颜色图案在视觉上表示。深度学习网络用于自动建模和解码从这种结构颜色模式中导出的触觉信息。最终，该网络预测并输出接触状态，包括平面接触位置、接触深度和法向接触力。

图2. IrisTact的制造工艺。左图：IrisTact的分解图。右图：由PDMS构建的3D打印组件和柔性光栅膜的材料、加工步骤和中间结果。ANYCUBIC拥有ANYCUBICPhotonS和黑白树脂的名称和图片的商标和版权。

图3. IrisTact的直接单点接触性能。（a） 用于推断单点接触位置和力的估算管道。固定在校准平台上的压头探测IrisTact，并收集结构颜色图案。在通过动态差分方法进行预处理后，图像被输入机器学习模型，其输出表示接触位置（平面坐标的x、y和z以及胶片上接触的深度）和法向接触力大小（f）。（b） IrisTact的整体性能（平均误差x=∼0.073 mm，y=ͪ0.079 mm，z=W 0.025 mm，f=∤0.0059 N）以及最先进的触觉传感器和IrisTact之间的比较。（c） 根据测试数据对传感器性能进行统计评估。根据施加的接触深度分类的负载定位和识别性能。橙色、绿色和蓝色的半小提琴和红色小提琴分别表示x、y、z和f中的预测误差分布。（d） 投影到表面光栅上的相同测试数据的力定位和识别的量化误差的空间分布。点的大小越大，颜色越亮，相应的误差就越大。

图4. IrisTact对接触轨迹的动态识别评估。（a） 用于识别动态轨迹的管道。ResNet用于预测记录的结构彩色视频的每一帧的接触位置。在动态补偿之后，这些位置被映射并显示在相应的帧上，以直观地展示接触点随时间的移动。（b） IrisTact在不同轨迹上的动态识别性能与运动捕捉系统捕捉的参考轨迹的图形评估和比较。

图5. IrisTact触觉感知方法的感知扩展示例。（a–c）配备末端执行器的传感器原型擅长感知外部低频振动，这些振动会引起相关的结构颜色变化。它捕获在持续滑动活动期间产生的低频振动信号（b），并测量人手腕的脉搏率（c）。（d–f）在柔性光栅膜上加入须晶可以增强膜对细微外部干扰的响应能力。这种须状薄膜的适应性使IrisTact能够检测外部干扰，例如在稳定的滑动活动（e）或气流通过（f）过程中发生的低频振动。在右图中，蓝线表示风速计的参考测量值，红线表示胡须传感器的结果。（g–i）该内窥镜配备有圆柱形柔性光栅套筒，能够检测使用低碳铁丝（h）或化妆刷（i）的3D接触。由这些接触引发的结构颜色图案的强烈变化被其横向相机记录下来。视频中可见的这些变化的频率和幅度提供了有关3D接触性质的详细信息，例如这些触摸或碰撞的强度和位置。

来源：华算科技