摘要：以下内容来自小六的机器人AI学习圈（6年积累，全国最大的机器人SLAM交流社区，为SLAM行业从业者提供从入门、学习、交流、求职、线下链接、合作、咨询、答疑等一系列的服务）知识星球每日更新内容

以下内容来自小六的机器人AI学习圈（6年积累，全国最大的机器人SLAM交流社区，为SLAM行业从业者提供从入门、学习、交流、求职、线下链接、合作、咨询、答疑等一系列的服务）知识星球每日更新内容

【URDFormer: A Pipeline for Constructing Articulated Simulation Environments from Real-World Images】

文章链接：[2405.11656] URDFormer: A Pipeline for Constructin...

项目主页：GitHub - LuoXubo/JointLoc: Code for "JointLoc: A R...

开源代码：GitHub - WEIRDLabUW/urdformer: code release for UR...

在从机器人技术到计算机视觉等领域中，构建具有视觉和物理真实感的精确且有针对性的仿真场景是一个具有重要实际意义的问题。这个问题变得更加重要，因为掌握大数据的学习方法的研究人员为物理决策系统寻找新的训练数据来源。然而，建立仿真模型往往仍由手工完成- -图形设计人员和仿真工程师使用预定义的资产来构建具有真实动力学和运动学特性的丰富场景。虽然这可能扩展到小数量的场景，为了实现数据驱动机器人控制所需的泛化特性，我们需要一种能够综合大量现实场景的流水线，具有"自然"的运动学和动力学结构。为了解决这个问题，我们开发了从自然图像中推断结构和生成模拟场景的模型，从而可以从网络规模的数据集中生成可扩展的场景。为了训练这些图像到仿真模型，我们展示了如何使用可控的文本到图像生成模型来生成成对的训练数据，从而可以对反问题进行建模，从现实图像构建完整的场景模型。 我们展示了这种范式如何允许我们构建大规模的场景数据集在模拟上具有语义和物理上的真实感。我们提出了一个集成的端到端流水线，从现实世界的图像中生成完整的关节运动学和动力学结构的仿真场景，并将其用于训练机器人控制策略。然后，我们在真实世界中稳健地部署，用于关节式物体操作等任务。在这样做的过程中，我们的工作既为大规模仿真环境的生成提供了流水线，又为在生成的环境中训练鲁棒的机器人控制策略提供了集成系统。

「小六的机器人AI圈」为机器人AI行业从业者提供从入门、学习、交流、求职、线下链接、合作、创业、行业内幕、咨询、答疑等一系列的服务。快人一步，步步领先！已沉淀6年，星球内部资料包括秘制视频课程、独家大咖采访及经验、项目对接、星主独家思考、同城线下交流会、求职招聘&笔面试题、学习打卡挑战、小组学习、最新前沿论文分享等等...

限时优惠联系客服立减 50元加入！送上千页独家答疑电子书！加入3天内不满意无条件退款。付款后务必联系客服领取权益~

来源：计算机视觉life