国内外具身智能仿真数据集现状

360影视 动漫周边 2025-06-06 12:34 2

摘要:合成视频+3D重建:基于像素流驱动,先生成视频或图像,再重建为点云或mesh等非结构化3D数据,最终转为结构 化语义模型。如Hillbot、群核科技、World labs(李飞飞)等。

仿真数据:场景生成引擎的两种技术路径

机器人仿真数据主要依赖虚拟场景,而场景的合成方案可拆解成两个关键部分:场景生成(Gen)与模拟(Sim)。

场景生成引擎(Gen)主要有两种技术路径:

合成视频+3D重建:基于像素流驱动,先生成视频或图像,再重建为点云或mesh等非结构化3D数据,最终转为结构 化语义模型。如Hillbot、群核科技、World labs(李飞飞)等。

AIGC直接合成3D数据:利用图神经网络(GNN)、扩散模型(Diffusion)、注意力机制(Attention)等方法,直接 合成结构化空间数据。如 ATISS、LEGO-Net、DiffuScene、RoomFormer 等代表模型,部分方案结合程序化生成技术, 如 Infinigen(CVPR 2024)。

路线一:视频合成+3D重建

合成视频+3D重建:基于像素流驱动,先生成视频或图像,再重建为点云或mesh等非结构化3D数据,最终转为结构 化语义模型。如Hillbot、群核科技、李飞飞“World Models”项目等。

路线二:端到端的3D直接生成

端到端3D合成数据:利用图神经网络(GNN)、扩散模型(Diffusion)、注意力机制(Attention)等方法,直接合成结构化空间数据。

端到端3D算法优势:稳定性强、高效低成本、信息完整、控制性强、可拓展性强。

群核科技:空间智能领军企业

群核科技的SpatialLM和SpatialVerse是该路线的代表性技术。群核科技成立于2011年,是一家以AI技术和GPU集群为底座的空间智能企业,公司构建了一套物理正确的世界模拟器,并运用在室内空间场景下的实时渲染、工业生产制造,以及虚拟物理世界训练等场景。

公司旗下拥有空间设计软件【酷家乐】、海外版产品【Coohom】、面向室内环境AI开发的下一代空间智能解决方案【群核空间智能平 台】(SpatialVerse)以及空间理解模型SpatialLM等。

SpatialVerse为机器人提供优质的数据服务。群核科技推出的空间智能解决方案SpatialVerse 构建了庞大且物理正确的数据集库, 模仿真实世界物理特性和空间关系,通过合成数据方案为机器人搭建起接近物理真实的“数字道场”,帮助机器人在仿真环境下完成 例如叠被子、递送水杯、开关冰箱门等行动的交互训练。

Hillbot:专注具身合成数据

Hillbot成立于2024年,是一家专注具身合成数据的企业。Hillbot 的核心在于利用 3D 生成式 AI 技术,通过文字提示生成3D对象,再将生成好的 3D 对象,放入自主开发的模拟器 SAPIEN 中。这种方法通过生成数据和模拟真实环境中的互动,提供了源源不断的数据流。其技术路径包括通过 NVIDIA Cosmos 快速生成环境视频片段,利用 Sapien/ManiSkill 对视频进行3D场景解析和重建。此过程中,Hillbot通过标签化的三维模型库将物体(如冰箱、餐桌)替换为仿真中的对应对象,并赋予物理属性,从而实现机器人与虚拟环境的交互。

World Labs(李飞飞):发布高保真仿真平台

World Labs 是一家专注于空间智能的人工智能公司,致力于打造大型世界模型(LWM),以感知、生成并与 3D 世界进行交互。World Labs 采用先进的深度学习和计算机视觉技术,结合大规模数据集,进行空间数据的建模与推理。公司致力于为开发者和行业提供一套具有深度空间理解、动态交互和生成能力的 AI 工具和平台,让机器不仅能够理解视觉图像,还能在真实世界的三维空间中“感知”并做出反应。

利用3D场景来构建交互结果

2024年12月,World Labs发布空间智能模型,生成更加逼近物理世界的 3D 环境建模,而不仅仅是可互动视频,更接近理解图片的物理关系。

智元:推出AgiBot Digital World仿真框架,助力仿真数据生成

2025年2月25日,智元机器人宣布出自主研发的大型仿真框架AgiBot Digital World,为机器人操作提供灵活的仿真数据生成方案、 预训练的大规模仿真数据和统一的模型评测标准,同步开源海量仿真数据! AgiBot Digital World作为一款专为机器人操作技能研究与应用设计的仿真框架,集成了海量的逼真三维资产、多样化的专家轨迹生 成机制和全面的模型评估工具。通过高保真地模拟训练场景,全链自动化地生成数据。

智元机器人开源上线海量规模的仿真数据集AgiBot Digital World Dataset,涵盖5大类场景、180+品类具体物品、9种常见材质、12 种核心技能,具有质量高、泛化快、任务多样、应用灵活的特点。

Genesis:开源生成式物理引擎

生成式物理引擎Genesis发布。2024年12月中旬,CMU 联合其他 20 多所研究实验室开源发布了一个生成式物理引擎:Genesis。发布的Genesis 是一个用于通用机器人学习的生成式和可微分的物理引擎,提供了一个统一的模拟平台,支持各种材料的模拟,能够模拟广泛的机器人任务,同时完全支持可微分特性。旨在为机器人解锁无限且多样化的数据,让它们能够在前所未有的各种环境中学习广泛的技能。

英伟达: NVIDIA Isaac Sim结合Comsmos可生成可控合成数据

NVIDIA Isaac Sim 是一款基于 NVIDIA Omniverse 构建的参考应用程序,用于在基于物理的虚拟环境中开发、仿真和测试由 AI 驱动的机器人。

2025年1月,英伟达推出了全新Isaac Sim 4.5版本,其中NVIDIA Cosmos世界基础模型,结合 Isaac Sim 可生成大量可控的合成数据,可用于训练机器人感知系统。

同时发布的NVIDIA Isaac GR00T Blueprint,人形机器人开发者现在可以利用该Blueprint,通过少量人类示范构建自定义数据管线,生成大量合成轨迹数据。

更多行业研究分析请参考思瀚产业研究院官网,同时思瀚产业研究院亦提供行研报告、可研报告(立项审批备案、银行贷款、投资决策、集团上会)、产业规划、园区规划、商业计划书(股权融资、招商合资、内部决策)、专项调研、建筑设计、境外投资报告等相关咨询服务方案。

来源:思瀚研究院

相关推荐