从元宇宙到医疗模拟,触觉技术距离更真实的人机交互还有多远?

摘要:触觉技术有望在多个领域应用,例如元宇宙、机器人、可穿戴设备、沉浸式游戏、模拟手术、教育培训、远程操作等。这也意味着,触觉反馈设备(例如触觉手套、触觉可穿戴设备、触觉外骨骼等)在市场具有良好的发展前景。

人类通过“五感”,即视觉、听觉、触觉、嗅觉和味觉,来感知周围的世界,并基于此与外界进行信息交互。

在这些感官中,触觉扮演着传递信息和情感的重要角色,它能够使人们感知力觉、滑觉、温湿度、柔软度、纹理等多种信息。

触觉技术有望在多个领域应用,例如元宇宙、机器人、可穿戴设备、沉浸式游戏、模拟手术、教育培训、远程操作等。这也意味着,触觉反馈设备(例如触觉手套、触觉可穿戴设备、触觉外骨骼等)在市场具有良好的发展前景。

国际技术研究和市场咨询公司 IDTechEx 在《触觉 2025-2035:技术、市场、参与者》报告中预测,到 2035 年,触觉技术市场规模将达到 71 亿美元,2024 年至 2035 年的复合年增长率为 4.4%[1]。

图丨全球触觉技术市场(来源:IDTechEx)

实际上,尽管计算平台经过了 30 多年的发展,交互方式的演变主要还集中在视觉和听觉信息上,触觉反馈技术的应用仍然处于起步阶段。

不过,近年来,全球的科研团队已经开始积极地探索触觉反馈技术领域。例如,北京航空航天大学王党校教授团队在 npj Flex Electron 中,提出了一种“主动电子皮肤”(AE-Skin,Active Electronic Skin)的概念 [2]。

该技术的核心在于模拟人类皮肤的感觉能力,通过在物理表面上部署这种“皮肤”,可以实现动态多模式的触觉显示和触觉传感。

研究人员根据不同的互动场景需求,选择合适的触觉模态和传感信号,并采用相应的材料和制造方法来制备相应的执行器或传感器。这些技术的结合使用,为用户提供了沉浸式的互动体验。

图丨AE-Skin 的潜在应用场景(来源:npj Flex Electron)

根据论文,在实际应用中,AE-Skin 技术在物理世界和数字世界展现出巨大的潜力。例如,在智能家居环境中,通过在墙面上部署 AE-Skin,可以模拟出不同的材质纹理,如硅藻土、石材和陶瓷,为用户提供丰富的触觉体验。

在智能汽车中,集成了 AE-Skin 的方向盘能够监测驾驶员的生理和行为参数,如握持压力和握持位置,在驾驶疲劳或不合规驾驶时发出振动警告。

在智能博物馆中,AE-Skin 能够通过动态图案和温度反馈增强展品的生动性和真实性,为参观者提供沉浸式的互动体验。

研究人员对 AE-Skin 提出了四个潜在的发展方向,包括:

首先,计划深入研究皮肤交互的力学原理、感知生理学以及触幻觉效应等基础理论,这将为 AE-Skin 的设计和性能评估提供坚实的理论支撑。

其次,致力于研究触觉呈现系统的能源供应和低能耗技术,同时探索如何将多种触觉模态融合,以实现更精准的空间、时间和语义配准,从而提升交互体验的沉浸感和真实性。

再次,探索驱动器和传感器的空间配准方法,以及功能适配和数据传输与处理技术,旨在构建一个高度集成的驱动感知一体化交互系统。

最后,探究视触觉融合呈现技术,以实现 AE-Skin 触觉信息与虚拟场景或电子屏幕等视觉信息之间的时空一致性配准,这将进一步增强用户体验的自然性和无缝性。

通过这些方向的研究,AE-Skin 技术有望在未来实现更丰富和更高效的交互体验。

DeepTech 发现,触觉技术正在向学科交叉和更多技术融合方向发展。

例如,西湖大学⼯学院姜汉卿教授课题组与美国西北⼤学约翰·罗杰斯(John Rogers)教授等课题组合作,在 Nature 上报道了一种新型的多模态触觉模拟方法及智能穿戴装置 [3]。

该研究展示了一种新型的生物弹性触觉模拟换能器,通过皮肤机械能量的储存与恢复,实现了高效的多模态触觉模拟及反馈,为生物医学和多模态触觉模拟反馈技术提供了新的视角。

另一方面,AI 在触觉技术中也发挥着重要的作用。上海交通大学刘景全教授、卢策吾教授团队在 Nature Communications 报告了一种基于机器学习、用于操作的视觉-触觉记录和跟踪系统 ViTaM[4]。

这个系统配备了拥有 1152 个力敏通道的可伸缩触觉手套,以及视觉与触觉相结合的学习框架,能够对操作过程中手与物体的互动动态进行评估。

他们开发了一种主动抑制技术,该技术基于对称响应检测和自适应校准,成功达到了 97.6% 的测力准确度。

研究人员对包括可变形和刚体在内的 6 类 24 个物体进⾏了实验,所有序列的平均重建误差仅为 1.8cm,证明了在操纵具有不同程度可变形性的物体时,复制⼈类知识的普遍能⼒。

图丨ViTaM 系统概述(来源:Nature Communications)

触觉技术在更广泛的应用方面,青岛大学田明伟教授团队受海星管足启发,开发了一种能够识别手势的手套,其中包含双层微柱互锁结构柔性触觉传感器 [5]。

这种触觉手套在实现高灵敏度(0.04kPa-1)、宽检测范围(5kPa-450kPa)、快速响应时间(23ms)和出色耐久性(~10000 次)的同时,还兼具防⽔性能。

通过与机器学习算法的结合,成功地实现了智能识别 16 种⽔下常用手势,大幅度扩展了潜水员的有效通信能力,并在水下通信领域表现出应用潜力。

在推动触觉产品落地方面,新加坡国立大学林水德(Lim Chwee Teck)教授课题组开发了一款便携式、高度灵活的触觉手套 HaptGlove[6]。

不仅能够通过 AI 捕捉用户数据,还为医疗提供者和患者在元宇宙中的互动提供了实时的触觉反馈。

与市面上其他类似产品相⽐,他们所研发的触觉手套更轻便,仅重 250 克。

HaptGlove 使用该课题组所开发的专有软件,可将视觉触、觉延迟在 20 毫秒以内,进而提供近乎实时的用户体验。并且,基于此精准捕捉手指运动,提供物体的硬度、形状、大小等触觉反馈。

HaptGlove 的应用场景包括游戏、医疗和教育领域等,例如通过模拟超现实环境帮助外科医生更好地准备手术,或通过模拟不同身体部位的触诊为学生提供实践学习体验。

图丨用户使用 HaptGlove(来源:新加坡国立大学)

此外,美国麻省理工学院计算机科学与人工智能实验室开发了一种多功能智能手套,集成了触觉传感器和振动触觉单元 [7]。通过先进的数字机绣技术,这些传感器和执⾏器被精确地嵌⼊到织物中,实现了可定制的空间分辨率和布局。

手套基于机器学习框架,采用成本低廉的商业材料,在能够快速制成的同时,还保持了纺织品的柔软性、形状稳定性和适应性。

总体来说,触觉技术的发展正推动着人机交互向全新的维度发展。从智能家居到元宇宙,从医疗模拟到水下通信,触觉技术的应用前景广阔,它不仅增强了人们的感官体验,也有望为特定行业提供革命性的解决方案。

参考资料:

1.https://www.idtechex.com/en/research-article/haptics-technology-market-to-grow-to-us-7-1b-by-2035/31731

2.Guo, Y., Wang, Y., Tong, Q. et al. Active electronic skin: an interface towards ambient haptic feedback on physical surfaces. npj Flex Electron 8, 25 (2024). https://doi.org/10.1038/s41528-024-00311-5

3.Flavin, M.T., Ha, KH., Guo, Z. et al. Bioelastic state recovery for haptic sensory substitution. Nature 635, 345–352 (2024). https://doi.org/10.1038/s41586-024-08155-9

4.Jiang, C., Xu, W., Li, Y. et al. Capturing forceful interaction with deformable objects using a deep learning-powered stretchable tactile array. Nature Communications 15, 9513 (2024). https://doi.org/10.1038/s41467-024-53654-y

5.Liu,J. et al.Underwater Gesture Recognition Meta-Gloves for Marine Immersive Communication. ACS Nano 18, 16, 10818–10828(2024). https://doi.org/10.1021/acsnano.3c13221

6.https://news.nus.edu.sg/novel-vr-glove-levels-up-user-experience-in-the-metaverse-with-a-more-realistic-sense-of-touch/

7.Luo, Y., Liu, C., Lee, Y.J. et al. Adaptive tactile interaction transfer via digitally embroidered smart gloves. Nature Communications 15, 868 (2024). https://doi.org/10.1038/s41467-024-45059-8

运营/排版:何晨龙

来源:DeepTech深科技一点号

相关推荐