摘要：在这项工作中，本文利用臂带等传感设备来测量人类肌肉活动，以及麦克风来记录声音，以此捕捉人类操作过程中的细节，使机器人能够提取任务计划和控制参数，进而执行相同的任务。
作者：AcademicDaily
当李飞飞在彭博科技峰会上强调 “AI 越强大，我们越要珍视人性” 时。
DeepMind联合她的团队正悄悄在机器人领域扔下一枚 “技术炸弹”——模态链（CoM）。
这项突破让机器人首次实现 “看一遍就会做” 的神级操作。
不仅能精准复刻人类拧瓶盖、插插头等日常动作。
还能通过肌肉信号和环境声音捕捉人类难以察觉的力控细节，在真实世界实验中成功率高达 73%。
这一成果让机器人离 “具身智能” 更近一步。
【论文链接】https://arxiv.org/pdf/2504.13351v1
项目地址见文末
1
摘要
从人类视频中学习执行操作任务是一种很有前景的机器人教学方法。然而，许多操作任务在执行过程中需要改变控制参数，比如力，而仅靠视觉数据无法捕捉这些信息。
在这项工作中，本文利用臂带等传感设备来测量人类肌肉活动，以及麦克风来记录声音，以此捕捉人类操作过程中的细节，使机器人能够提取任务计划和控制参数，进而执行相同的任务。
为实现这一目标，本文提出模态链（CoM），这是一种提示策略，能让视觉语言模型对多模态人类演示数据（即结合了肌肉或音频信号的视频）进行推理。
通过逐步整合来自各模态的信息，CoM 完善任务计划并生成详细的控制参数，使机器人能够基于单个多模态人类视频提示执行操作任务。
实验表明，与基线方法相比，CoM 在提取任务计划和控制参数方面的准确率提高了两倍，并且在真实世界的机器人实验中，对新的任务设置和对象具有很强的泛化能力。
2
背景
机器人仅通过观看人类手部视频演示来学习执行具有物理挑战性的操作任务存在困难。
因为许多操作技能需要精确指定控制参数，而仅靠视觉信息难以推断这些参数，例如轻轻抓握来转动手中的钥匙、用力推以插入插头、轻击鼓面以发出柔和声音等。
从人类视频数据中提取任务计划也很困难，因为仅靠视觉数据缺乏识别这些计划所需的细节。
但人类任务计划中的许多细节，如力和速度等控制参数，可通过人类肌肉活动和物体交互声音等额外信号更好地捕捉。
VLMs有能力解决多种实际问题，且近期在长上下文输入方面的进展使其能将视频和长序列数字信号作为输入，因此本文思考能否利用 VLMs 从多模态演示视频中推断人类任务计划。
3
贡献
提出CoM这一提示策略，使视觉语言模型能够通过逐步整合视觉和力信息，从多模态人类视频演示数据中进行推理。
实现一次性操作程序生成，即从单个多模态人类演示视频生成机器人控制程序的流程，整合通过肌肉或音频信号获得的力信息，以产生不同技能的细粒度控制参数。
证明 CoM 在两种先进的视觉语言模型中都具有一致的优势，且该方法能让视觉语言模型从单个人类视频中学习编写适用于不同真实世界机器人平台的代码，并具备泛化能力。
4 技术方案
多模态人类演示视频：视频难以捕捉人类执行操作任务的精细细节，尤其是涉及力应用的部分。
因此本文的多模态人类视频在每个时间步包含 RGB 图像、人类肌肉信号或物体交互声音以及手部姿态（图 1）。
肌肉信号和物体交互声音能提供力信息，基于视觉的方法估计的手部姿态可作为另一种输入模态。
CoM：使用视觉语言模型分析多模态人类视频中的丰富信息以提取任务计划描述时，直接将所有模态交织在一起查询模型效果不佳。
因此本文提出 CoM，这是一种提示策略，按顺序查询视觉语言模型以分析每个模态，提取关键信息并逐步聚合结果以生成最终答案（图 2）。
CoM 提示由三部分组成：各模态及其输入数据格式的描述、可用动作集及动作参数的解释、一个视频 - 分析对示例，展示如何分析各模态以生成带参数的已识别动作序列。
编写机器人代码：基于上述对人类视频的分析，最后一步是将动作序列转换为可由机器人执行的代码，通过低级 API 调用实现。
使用相同的视觉语言模型进行代码生成，生成的提示包括视频分析、机器人 API 描述和所需输出格式（图 3）。
实现细节：在数据收集方面，对肌肉信号进行降采样以匹配相机采样率，并取八通道中的最大值作为每个时间步的力信号。
计算每个时间步声音的响度作为输入音频值。
使用 HaMeR 方法估计手部姿态。
在机器人执行方面，机器人 API 调用包含预定义的控制函数，利用感知模型的进展，例如通过查询 Gemini 1.5 Pro 获取目标对象的 2D 边界框，再结合深度信息和相机参数确定其 3D 位置。
5 实验结果
CoM 有助于理解多模态人类视频，其逐模态分析和逐步生成最终答案的方式比其他基线方法更适合当前 VLM 从多模态人类视频中推理（图 5）。
力信息有助于从人类视频中学习，能显著提高任务计划理解和相似性得分（表 I）。
手部姿态有助于理解精细操作，在打开瓶子任务中，只有使用所有模态作为输入的方法才能获得非零成功率。
CoM 能够从多模态人类视频中提取控制参数，且 VLM 可基于 CoM 分析生成操作程序，控制机器人执行任务的平均成功率达到 73%，在跨实体部署方面也展现出潜力（表 II）。
6
结论
本文提出CoM，这是一种提示策略，能让视觉语言模型通过结合视频与力或音频输入，理解多模态人类视频演示数据。
通过逐步完善任务计划和控制参数，CoM 增强了机器人在精细操作任务中从人类视频进行一次性模仿的能力。
实验表明，与基线方法相比，CoM 显著提高了任务计划识别和控制参数提取的准确率，在真实世界机器人实验中对新任务设置和对象具有很强的泛化能力。这项工作的局限性包括：音频模态仅关注冲击声音的音量，未充分捕捉频率和音高等其他方面；
本文侧重于以开环方式从人类视频中提取任务计划和控制参数并在机器人上执行，未来计划探索生成能适应意外情况的闭环控制程序。
【项目链接】
阅读最新前沿科技趋势报告，请访问欧米伽研究所的“未来知识库”
未来知识库是“欧米伽未来研究所”建立的在线知识库平台，收藏的资料范围包括人工智能、脑科学、互联网、超级智能，数智大脑、能源、军事、经济、人类风险等等领域的前沿进展与未来趋势。目前拥有超过8000篇重要资料。每周更新不少于100篇世界范围最新研究资料。欢迎扫描二维码或访问进入。
牛津未来研究院 《将人工智能安全视为全球公共产品的影响、挑战与研究重点》
麦肯锡：超级智能机构：赋能人们释放人工智能的全部潜力
AAAI 2025 关于人工智能研究未来研究报告
斯坦福：2025 斯坦福新兴技术评论：十项关键技术及其政策影响分析报告（191 页）
壳牌：2025 能源安全远景报告：能源与人工智能（57 页）
盖洛普 & 牛津幸福研究中心：2025 年世界幸福报告（260 页）
Schwab ：2025 未来共生：以集体社会创新破解重大社会挑战研究报告（36 页）
IMD：2024 年全球数字竞争力排名报告：跨越数字鸿沟人才培养与数字法治是关键（214 页）
DS 系列专题：DeepSeek 技术溯源及前沿探索，50 页 ppt
联合国人居署：2024 全球城市负责任人工智能评估报告：利用 AI 构建以人为本的智慧城市（86 页）
TechUK：2025 全球复杂多变背景下的英国科技产业：战略韧性与增长路径研究报告（52 页）
NAVEX Global：2024 年十大风险与合规趋势报告（42 页）
《具身物理交互在机器人 - 机器人及机器人 - 人协作中的应用》122 页
2025 - 2035 年人形机器人发展趋势报告 53 页
Evaluate Pharma：2024 年全球生物制药行业展望报告：增长驱动力分析（29 页）
【AAAI2025 教程】基础模型与具身智能体的交汇，350 页 ppt
Tracxn：2025 全球飞行汽车行业市场研究报告（45 页）
谷歌：2024 人工智能短跑选手（AI Sprinters）：捕捉新兴市场 AI 经济机遇报告（39 页）
【斯坦福博士论文】构建类人化具身智能体：从人类行为中学习
《基于传感器的机器学习车辆分类》最新 170 页
美国安全与新兴技术中心：2025 CSET 对美国人工智能行动计划的建议（18 页）
罗兰贝格：2024 人形机器人的崛起：从科幻到现实：如何参与潜在变革研究报告（11 页）
兰德公司：2025 从研究到现实：NHS 的研究和创新是实现十年计划的关键报告（209 页）
康桥汇世（Cambridge Associates）：2025 年全球经济展望报告（44 页）
国际能源署：2025 迈向核能新时代
麦肯锡：人工智能现状，组织如何重塑自身以获取价值
威立（Wiley）：2025 全球科研人员人工智能研究报告（38 页）
牛津经济研究院：2025 TikTok 对美国就业的量化影响研究报告：470 万岗位（14 页）
国际能源署（IEA）：能效 2024 研究报告（127 页）
Workday ：2025 发挥人类潜能：人工智能（AI）技能革命研究报告（20 页）
CertiK：Hack3D：2024 年 Web3.0 安全报告（28 页）
世界经济论坛：工业制造中的前沿技术：人工智能代理的崛起》报告
迈向推理时代：大型语言模型的长链推理研究综述
波士顿咨询：2025 亚太地区生成式 AI 的崛起研究报告：从技术追赶者到全球领导者的跨越（15 页）
安联（Allianz）：2025 新势力崛起：全球芯片战争与半导体产业格局重构研究报告（33 页）
IMT：2025 具身智能（Embodied AI）概念、核心要素及未来进展：趋势与挑战研究报告（25 页）
IEEE：2025 具身智能（Embodied AI）综述：从模拟器到研究任务的调查分析报告（15 页）
CCAV：2025 当 AI 接管方向盘：自动驾驶场景下的人机交互认知重构、变革及对策研究报告（124 页）
《强化学习自我博弈方法在兵棋推演分析与开发中的应用》最新 132 页
《面向科学发现的智能体人工智能：进展、挑战与未来方向综述》
全国机器人标准化技术委员会：人形机器人标准化白皮书（2024 版）（96 页）
美国国家科学委员会（NSB）：2024 年研究与发展 - 美国趋势及国际比较（51 页）
艾昆纬（IQVIA）：2025 骨科手术机器人技术的崛起白皮书：创新及未来方向（17 页）
NPL&Beauhurst：2025 英国量子产业洞察报告：私人和公共投资的作用（25 页）
IEA PVPS：2024 光伏系统经济与技术关键绩效指标（KPI）使用最佳实践指南（65 页）
AGI 智能时代：2025 让 DeepSeek 更有趣更有深度的思考研究分析报告（24 页）
2025 军事领域人工智能应用场景、国内外军事人工智能发展现状及未来趋势分析报告（37 页）
华为：2025 鸿蒙生态应用开发白皮书（133 页
《超级智能战略研究报告》
中美技术差距分析报告 2025
欧洲量子产业联盟（QuIC）：2024 年全球量子技术专利态势分析白皮书（34 页）
美国能源部：2021 超级高铁技术（Hyperloop）对电网和交通能源的影响研究报告（60 页）
罗马大学：2025 超级高铁（Hyperloop）：第五种新型交通方式 - 技术研发进展、优势及局限性研究报告（72 页）
兰德公司：2025 灾难性网络风险保险研究报告：市场趋势与政策选择（93 页）
GTI：2024 先进感知技术白皮书（36 页）
AAAI：2025 人工智能研究的未来报告：17 大关键议题（88 页）
安联 Allianz2025 新势力崛起全球芯片战争与半导体产业格局重构研究报告
威达信：2025 全球洪水风险研究报告：现状、趋势及应对措施（22 页）
兰德公司：迈向人工智能治理研究报告：2024EqualAI 峰会洞察及建议（19 页）
哈佛商业评论：2025 人工智能时代下的现代软件开发实践报告（12 页）
德安华：全球航空航天、国防及政府服务研究报告：2024 年回顾及 2025 年展望（27 页）
奥雅纳：2024 塑造超级高铁（Hyperloop）的未来：监管如何推动发展与创新研究报告（28 页）
HSOAC：2025 美国新兴技术与风险评估报告：太空领域和关键基础设施（24 页）
Dealroom：2025 欧洲经济与科技创新发展态势、挑战及策略研究报告（76 页）
《无人机辅助的天空地一体化网络：学习算法技术综述》
谷歌云（Google Cloud）：2025 年 AI 商业趋势白皮书（49 页）
《新兴技术与风险分析：太空领域与关键基础设施》最新报告
150 页！《DeepSeek 大模型生态报告》
军事人工智能行业研究报告：技术奇点驱动应用加速智能化重塑现代战争形态 - 250309（40 页）
真格基金：2024 美国独角兽观察报告（56 页）
璞跃（Plug and Play）：2025 未来商业研究报告：六大趋势分析（67 页）
国际电工委员会（IEC）：2025 智能水电技术与市场展望报告（90 页）
RWS：2025 智驭 AI 冲击波：人机协作的未来研究报告（39 页）
未来今日研究所 2025 年科技趋势报告第 18 版 1000 页
模拟真实世界：多模态生成模型的统一综述
中国信息协会低空经济分会：低空经济发展报告（2024 - 2025）（117 页）
浙江大学：2025 语言解码双生花：人类经验与 AI 算法的镜像之旅（42 页）
人形机器人行业：由 “外” 到 “内” 智能革命 - 250306（51 页）
大成：2025 年全球人工智能趋势报告：关键法律问题（28 页）
北京大学：2025 年 DeepSeek 原理和落地应用报告（57 页）
欧盟委员会 人工智能与未来工作研究报告
加州大学伯克利分校：面向科学发现的多模态基础模型：在化学、材料和生物学中的应用
电子行业：从柔性传感到人形机器人触觉革命 - 250226（35 页）
RT 轨道交通：2024 年中国城市轨道交通市场数据报告（188 页）
FastMoss：2024 年度 TikTok 生态发展白皮书（122 页）
Check Point：2025 年网络安全报告 - 主要威胁、新兴趋势和 CISO 建议（57 页）
【AAAI2025 教程】评估大型语言模型：挑战与方法，199 页 ppt
《21 世纪美国的主导地位：核聚变》最新报告
沃尔特基金会（Volta Foundation）：2024 年全球电池行业年度报告（518 页）
国际科学理事会：2025 为人工智能做好国家研究生态系统的准备 - 2025 年战略与进展报告（英文版）（118 页）
光子盒：2025 全球量子计算产业发展展望报告（184 页）
奥纬论坛：2025 塑造未来的城市研究报告：全球 1500 个城市的商业吸引力指数排名（124 页）
Future Matters：2024 新兴技术与经济韧性：日本未来发展路径前瞻报告（17 页）
《人类与人工智能协作的科学与艺术》284 页博士论文
《论多智能体决策的复杂性：从博弈学习到部分监控》115 页
《2025 年技术展望》56 页 slides
大语言模型在多智能体自动驾驶系统中的应用：近期进展综述
【牛津大学博士论文】不确定性量化与因果考量在非策略决策制定中的应用
皮尤研究中心：2024 美国民众对气候变化及应对政策的态度调研报告：气候政策对美国经济影响的多元观点审视（28 页）
空间计算行业深度：发展趋势、关键技术、行业应用及相关公司深度梳理 - 250224（33 页）
Gartner：2025 网络安全中的 AI：明确战略方向研究报告（16 页）
北京大学：2025 年 DeepSeek 系列报告 - 提示词工程和落地场景（86 页）
北京大学：2025 年 DeepSeek 系列报告 - DeepSeek 与 AIGC 应用（99 页）
CIC 工信安全：2024 全球人工智能立法的主要模式、各国实践及发展趋势研究报告（42 页）
中科闻歌：2025 年人工智能技术发展与应用探索报告（61 页）
AGI 智能时代：2025 年 Grok - 3 大模型：技术突破与未来展望报告（28 页）
上下滑动查看更多
来源：人工智能学家