摘要：想象一下，你的童年是否有心爱的一个旧玩偶，或是一块老怀表。在当今这个数字技术飞速发展的时代，若是能把这些承载着珍贵回忆的旧物品连同它们独一无二的特征都完整保存下来，该有多美好？

想象一下，你的童年是否有心爱的一个旧玩偶，或是一块老怀表。在当今这个数字技术飞速发展的时代，若是能把这些承载着珍贵回忆的旧物品连同它们独一无二的特征都完整保存下来，该有多美好？

目前的技术确实可以在虚拟世界中创建物品的“数字孪生”，比如把一个布娃娃扫描成 3D 模型。但难点在于，如何让这个数字娃娃像实物一样会眨眼睛，甚至会发出“咯咯”的笑声。要知道，正是这些生动的互动细节，才让每个物品变得独一无二。

近期，麻省理工学院计算机科学与人工智能实验室（CSAIL）的研究人员提出了一个可行的解决方案。

他们开发的“InteRecon”程序，让用户在手机应用程序中重新捕捉现实世界中的物品，然后在混合现实环境中赋予其“生命力”，让保存记忆这件事变得前所未有的简单和生动。

这项技术的不同之处在于，它并不只是简单复制物品的外形，而是完美保留了物品的“灵魂”，尤其是那些让你爱不释手的互动功能。这让我们在数字世界中也能感受到实物带来的温暖触感和生动回忆，创造出一个既真实又充满个人情感的数字空间。

“InteRecon”重建不同物品交互体验的能力有望使其成为多功能工具。比如，教师可以用它演示重力作用等抽象概念；博物馆能让画作“动”起来，或是让历史人物模型 “活” 起来。

未来，InteRecon 或许能通过可视化展示完成任务所需的每个动作，来指导医学生学习手术操作。

据该研究的第一作者 Zisu Li 介绍，InteRecon 令人期待的潜力在于它能够为众多不同物品添加运动或交互功能。

她表示，“拍照录像虽能保存记忆，但数字副本是静态的且不具有任何互动性。我们发现，用户希望重建个人物品，同时保留其交互性，以此丰富自己的回忆。借助混合现实的强大功能，InteRecon 可以将这些回忆以交互式数字物品的形式，在虚拟环境中留存更久。”Zisu Li 是香港科技大学的博士生，同时也是 CSAIL 访问研究员。

Zisu Li 和团队计划将在 2025 年 ACM CHI 人机交互会议上展示这项研究成果。这项研究工作得到了香港科技大学（广州）APEX 实验室与 HCI 工程组合作项目的支持。

让虚拟世界更逼真

为了实现数字交互，该团队首先开发了一款 iPhone 应用程序，操作非常简单，用手机摄像头环绕物品扫描三圈，即可完整捕捉物品形态。然后，可将 3D 模型导入 InteRecon 混合现实界面。

在这个界面中，用户可以标记（确切地说是“分割”）各个区域，选择模型的哪些部分具有交互性（比如玩偶的手臂、头部、躯干和腿）。若是嫌麻烦的话，用户也可以直接使用 InteRecon 提供的自动分割功能。

图｜三维外观重建过程（来源：arXiv）

InteRecon 界面可通过混合现实头戴显示设备（如 Hololens 2 和 Quest）进行访问。当模型分割完成，用户就能为选中的物品部位设置动态效果了。

系统会以动态演示的形式呈现多种运动选项，就像试衣间一样让你随意尝试。比如，模拟毛绒玩偶耳朵摆动的效果。

更有意思的是，你还能用手指“捏住”某个部位，尝试滑动、悬摆、钟摆式旋转等不同动画效果，就像在玩“数字橡皮泥”。

让老物件在数字世界“复活”

研究团队展示了 InteRecon 的另一个神奇功能，还原实体电子设备的交互界面。比如，可以把复古电视做成数字副本后，随心所欲地给 3D 模型搭配不同操作界面。

系统提供了多种交互组件模板，包括屏幕（电视显示器或摄像机的取景器）、旋钮（用于调节音量）、“开 / 关” 按钮和滑块（类似 DJ 调音台设置）。

图｜添加物理变换过程（来源：arXiv）

在这项研究中，团队还展示了一款应用程序，它通过在电视模型上整合虚拟小部件（如 “开 / 关” 按钮、屏幕和频道开关），再嵌入老影片，整台电视就“活”过来了。

与之类似的，用户也能给 iPod 的 3D 模型添加播放按钮，上传 MP3 音乐文件，就能在混合现实中聆听青春记忆。

研究人员认为，InteRecon 为设计逼真的虚拟环境开辟了新思路。一项用户研究证实，不同领域的人们都对它充满期待，认为这个系统易学易用，能生动还原承载记忆的个性化物品。

“我印象最为深刻的一点是，用户记忆中的物品并非完美无缺。”该论文的另一位作者 Faraz Faruqi 说道，他也是 CSAIL 的成员，同时还是麻省理工学院电气工程和计算机科学专业的博士生，“InteRecon 将这些‘小缺陷’一同融入混合现实，精准地再现了像少了几颗纽扣的泰迪熊这类个人物品的独特模样。”

在一项相关研究中，用户设想了这项技术在专业场景中的应用，指导医学生进行手术训练、帮助旅行者记录见闻、辅助服装设计师测试面料等。

不过，在将 InteRecon 应用于更高级的场景之前，该团队希望先升级物理模拟引擎的精确度，而这，将使诸如帮助医学生学习执行某些外科手术所需的精确定位等应用成为可能。

至于下一步计划，研究团队正在努力开发一种更自动化、更强大的流程，以便在混合现实中为终端用户（比如虚拟办公空间）创建更大物理环境的交互性保留数字孪生，以及探索构建一种方法，通过 3D 打印机物理重建丢失的物品。

展望未来，Zisu Li 和 Faraz Faruqi 还计划整合大语言模型和生成式模型，这些模型可以根据语言描述，将丢失的个人物品重新创建为 3D 模型，并解释界面的功能。

“InteRecon 代表了混合现实领域令人激动的新前沿，它超越了单纯的视觉复制，能够捕捉物理对象独特的交互性。” 南洋理工大学计算与数据科学学院副教授 Hanwang Zhang 评价道（他并未参与这项研究），“这项技术有望为虚拟环境带来全新的沉浸感和个人情感连接，从而彻底改变教育、医疗以及文化展览等众多领域。”

原文链接：

来源：麻省理工科技评论APP