摘要:近期,清华大学叉院的ISRLab和星动纪元首个开源AIGC生成式机器人大模型VPP(Video Prediction Policy)横空出世,被誉为机器人界的「Sora」。
近期,清华大学叉院的ISRLab和星动纪元首个开源AIGC生成式机器人大模型VPP(Video Prediction Policy)横空出世,被誉为机器人界的「Sora」。
VPP模型正引领机器人从数字世界迈向物理世界,实现跨越性的进步。其核心优势在于视频预测策略、高频执行、跨本体学习以及可靠透明性,为机器人领域的创新提供了强大动力。
其背后企业星动纪元,凭借自主研发的行业首创关节全直驱仿人五指灵巧手平台——星动XHAND1这个模型训练和验证背后的“硬件密码”,为VPP模型的真机测试与落地提供了核心硬件执行载体,目前已能完成超1000个任务。
未来,星动XHAND1将与更多机器人大模型深度协同,实现硬件 - 算法联合迭代升级,不断拓展应用边界。
那么,星动XHAND1到底有哪些优势?又能与VPP模型实现何种融合?
▍解析星动XHAND1在VPP模型训练和验证中的关键作用
(1)全直驱技术:灵活度更高、速度更快、力量更大
星动XHAND1作为星动纪元首创的关节全直驱仿人五指灵巧手和成人人手大小相仿,在VPP模型的训练和验证中展现出了独特的优势。其全直驱方案通过齿轮直接驱动,省去了复杂绳驱、连杆的传动机构,配备12个全主动自由度,使速度响应更快,单指能实现10次点击/秒,堪比电竞选手的“电竞手”,从而迅速执行VPP模型发出的操作指令。
在需要快速抓取或释放物体的任务中,星动XHAND1的快速响应能力为VPP模型的训练提供了高效的硬件支持,同时为VPP模型在手部动作的控制和执行上提供了丰富的可能性,能够更精准地实现VPP所规划的各种复杂动作,如抓取、放置、堆叠、倒水,甚至因为跟人手大小相仿所以还能使用各种形态的工具。
此外,全直驱驱动方式让灵巧手力量更大,星动XHAND1的最大负载达25kg,最大握力达80N,远超同尺寸的连杆和绳驱方案。
在涉及重物操作或需要较大握力的任务中,星动XHAND1也能稳定执行,为VPP模型的验证提供了可靠的高负载操作平台。
(2)可反驱性:提升模型鲁棒性的关键
星动XHAND1具备可反驱特性,这在VPP模型的训练中具有重要意义。可反驱性使得机器人在受到外力时能够灵活调整姿态,不仅提升了机器人的容错率,还为VPP模型提供了更丰富的训练场景。
在训练过程中,通过拖动示教的方式,可以让 VPP 模型学习到更多关于力反馈和姿态调整的知识,从而增强模型在面对复杂环境和突发情况时的鲁棒性。
例如,在与人类协作完成任务时,星动XHAND1的可反驱性能够使其根据人类施加的力及时调整动作,实现更加自然流畅的人机交互。这种特性使得VPP模型能够更好地适应实际操作中的各种不确定性,提高了模型的泛化能力。
(3)高功率密度与耐用性:长期稳定训练的保障
星动XHAND1采用了高功率密度空心杯电机和高功率密度驱动器,配合高精度编码器,确保了其在执行复杂任务时的动力输出和精度控制。此外,其全自研一体化关节模组设计,不仅提高了整体的集成度和可靠性,还使得星动XHAND1具备了出色的耐用性。
据相关购买人士反馈,星动XHAND1的使用寿命远长于其他同类产品,能够经受住高负载和长时间操作的考验。在VPP模型的长期训练和验证过程中,星动XHAND1的稳定性和耐用性为模型的持续优化提供了坚实的硬件基础,确保了训练过程的顺利进行和验证结果的可靠性。
(4)全方位全链遥操作(支持Apple Vision Pro、Manus手套、Pico、Meta Quest):高效学习人类操作策略
通过这些遥操作设备,星动XHAND1可以实现对人类操作动作的精准捕捉和实时传输,为VPP 模型提供了丰富且真实的动作数据。例如,Manus手套能够详细记录手部的各种细微动作和角度变化等数据,Apple Vision Pro等视觉设备则可捕捉操作时的视觉场景,这些多维度的数据输入,使VPP模型能够更全面地学习人类在不同情境下的操作方式和策略,从而提升其操作的准确性和适应性。
其次星动XHAND1支持多设备协同工作,能够模拟出更加复杂和真实的操作环境与任务场景,有助于VPP 模型进行多任务学习和泛化能力的培养,使其在面对不同类型的任务和环境变化时,具备更灵活的应对能力。此外,其还可加速数据的采集和模型的训练过程,提高训练效率,进而推动 VPP 机器人大模型的不断优化和完善,最终实现机器人在各种实际应用场景中的高效、精准操作。
(5)充分解耦:提升数据采集和算法开发效率
星动XHAND1关节的充分解耦,给予AI算法开发 “真正的自由”,使VPP模型能够对每个关节进行独立控制和优化,大幅提高数据采集和算法开发效率和效果,进而提升VPP对灵巧手的控制性能和任务完成能力。
(6)兼容性高:二次开发友好
此外,星动XHAND1兼容ROS2和ROS1,支持Ubuntu操作系统,适配x86和ARM架构,多接口适配,支持实时性场景EtherCAT/RS485、TwinCAT,可与xARM、Realman、UR等机械臂适配为科研客户提供便捷算法研究。
▍星动XHAND1高性能拓展未来机器人模型训练空间
(1)电流力控技术:显著降低强化学习及sim-to-real算法开发中的现实差距(Gap)
星动XHAND1通过采用先进的电流力控技术,实现了高精度的力矩控制能力。这项技术在强化学习和sim-to-real算法开发过程中通过精确的力控模拟,星动XHAND1能够有效减小模拟环境与现实环境之间的差距(Gap)。
在实际应用中,这种高精度的力控能力使机器人能够更好地适应不同物体的物理特性和复杂多变的现实环境,从而显著提升模型的训练效果和实际操作性能。
(2)270° 环绕指尖高精度触觉传感:唯一支持触觉传感仿真
星动XHAND1的每个手指指端都配备了270° 环绕指尖的高分辨率触觉阵列传感器,精度高达0.01N,能够感知三维力和温度信息,使其能够调整抓取力度,避免损坏物体。
这种高精度的触觉反馈不仅提升了模型在复杂操作任务中的性能,还为模型在处理未知物体时提供了更多的探索能力。
目前,星动XHAND1也是唯一支持触觉传感仿真的全驱灵巧手。
电流感知和星动XHAND1的高分辨率3D触觉传感相结合,提供了独特的混合感知能力,也大幅提升智能抓握性能。
▍星动XHAND1的性能在VPP模型中得到验证
(1)真机测试成功率优异
于Real-World Dexterous Hand任务里,星动XHAND1实现了67%的真机测试成功率,这一成果不仅验证了其在实际操作中的可靠性,更为VPP模型的落地应用奠定了坚实基础。
(2)同类灵巧手对比突出
凭借全直驱设计和优秀的鲁棒性,星动XHAND1实现了更精准的力控与复杂操作泛化能力,使其在与同类灵巧手的竞争中脱颖而出,成为VPP模型训练和验证的更优选择。
未来,星动XHAND1将与更多机器人大模型深度协同,实现硬件 - 算法联合迭代升级,结合VLA与AIGC技术的融合创新,不断拓展应用边界。
此外,星动纪元还将积极拓展开源生态,吸引开发者共建多场景应用库,推动人形机器人技术的快速发展。
▍VPP开源信息回顾
•论文标题:Video Prediction Policy: A Generalist Robot Policy with Predictive Visual Representations, ICML 2025 Spotlight
•论文地址:https://arxiv.org/pdf/2412.14803
•项目地址:https://video-prediction-policy.github.io
•开源代码:https://github.com/roboterax/video-prediction-policy
来源:机器人大讲堂