摘要：近日，Meta Reality Labs 宣布开源一个名为 HOT3D 的数据集，该数据集基于 Project Aria 眼镜和 Quest 3 头显所采集的数据，旨在加速机器人训练和提升其操作能力。

近日，Meta Reality Labs 宣布开源一个名为 HOT3D 的数据集，该数据集基于 Project Aria 眼镜和 Quest 3 头显所采集的数据，旨在加速机器人训练和提升其操作能力。

尽管近年来机器人在执行各种任务上取得了显著进步，但在双手操作和物体交互方面，与人类相比仍有较大差距。因此，世界各地的科研团队一直在积极探索优化方法，其中利用 VR 采集的自中心训练数据成为了一个重要的研究方向。

从特斯拉、英伟达到小鹏，越来越多的企业开始尝试利用 XR 技术来辅助机器人训练。通过佩戴头显设备，人型机器人可以精确地复刻并映射人类操作员的动作，同时实现第一人称视频的实时传输和精确控制输出。这种解决方案不仅提高了训练效率，还具备远程数据收集的优势，使得全球各地的注释人员无需亲临现场即可为项目作出贡献。

Meta 此次开源的 HOT3D 数据集，正是为了推动这一领域的进一步发展。该数据集包含了通过 Project Aria 眼镜和 Quest 3 头显采集的高质量 3D 视频，这些视频展示了自中心人类用户抓取和操纵各种物体的过程，为分析手与对象的交互提供了宝贵的资源。

具体来说，HOT3D 数据集提供了超过 833 分钟（超过 3.7 万张图像）的图像流，涵盖了 19 名被试与 33 种不同对象的交互场景。此外，该数据集还包含多模态信号、全面的真实值注释以及手和对象的3D模型，为研究人员提供了丰富的数据支持。

为了评估 HOT3D 数据集在机器人和计算机视觉研究中的潜力，Meta 研究人员利用该数据集训练了三个不同任务的基线模型。实验结果显示，与其他模型相比，使用 HOT3D 进行训练的相关模型在各项任务中的表现均更为出色。

Meta 团队指出：“在我们的实验中，我们充分证明了多视角自中心数据在三个流行任务中的有效性。”这一发现不仅验证了 HOT3D 数据集的价值，也为未来的机器人训练和计算机视觉研究提供了新的思路和方法。

来源：新浪VR一点号