摘要：这项由META公司FAIR实验组联合魁北克AI研究院等机构共同完成的重磅研究于2025年6月发表，论文题为《V-JEPA 2: Self-Supervised Video Models Enable Understanding, Prediction and

人类有一项令人惊叹的能力：仅仅通过观察就能理解世界，预测未来，并制定行动计划。当你看到一个球从桌子边缘滚过时，你的大脑会自动预测它将掉落，甚至能规划伸手去接的动作。现在，META的研究团队开发出了一个名为V-JEPA 2的AI系统，让机器第一次具备了类似人类的"视觉智慧"。

这个突破性的AI系统就像一个超级聪明的学徒，通过观看超过100万小时的互联网视频自学成才，学会了理解物理世界的运作规律。更令人惊叹的是，它不需要任何人工标注或指导，就能掌握物体运动、因果关系，甚至学会操控机器人完成复杂任务。研究团队表示，这是首次有AI系统能够同时在理解、预测和规划三个核心能力上都达到顶尖水平。

在多项测试中，V-JEPA 2的表现让人刮目相看。在理解视频内容方面，它在Something-Something v2数据集上达到77.3%的准确率，在人类行为预测任务上更是创下39.7的新纪录，比之前最好的系统提升了44%。当研究人员把它与大语言模型结合后，在多个视频问答任务上都取得了业界最佳成绩。最令人兴奋的是，仅用62小时的机器人操作视频训练后，V-JEPA 2就能零样本控制两个不同实验室的机械臂，完成抓取和搬运物品等复杂任务，而且完全不需要在这些环境中收集额外数据。

一、从观察到智慧：V-JEPA 2如何像人类一样学习

传统的AI训练就像是填鸭式教育，需要大量标注好的数据告诉系统"这是什么"、"那是什么"。但V-JEPA 2采用了一种全新的学习方式，更像是一个好奇的孩子通过观察世界来理解规律。

V-JEPA 2的学习过程可以比作一位艺术修复师的工作。当你给修复师一幅残缺的画作时，他需要根据可见的部分推断出缺失的内容。V-JEPA 2也是如此工作的：研究团队故意遮挡视频的某些部分，让系统学会根据可见的内容预测被遮挡的区域。这种"掩码去噪"的训练方式强迫系统深度理解视频中物体的运动规律、空间关系和因果逻辑。

与以往的AI系统不同，V-JEPA 2不是试图逐像素地重建视频，而是在一个抽象的"表示空间"中进行预测。这就像一个经验丰富的侦探，他不需要记住犯罪现场的每一个细节，而是抓住关键线索来推断事件的发展。这种方法让V-JEPA 2能够专注于视频中真正重要的可预测内容，比如物体的运动轨迹，而忽略那些无关紧要的细节，比如背景中随风摆动的树叶。

研究团队使用了一个名为VideoMix22M的大规模数据集来训练V-JEPA 2，这个数据集包含超过2200万个视频片段，总时长超过100万小时。这些视频来自多个来源：Something-Something v2提供了手部操作物体的精细动作，Kinetics系列提供了各种人类活动，HowTo100M贡献了YouTube上的教学视频，而YT-Temporal-1B则提供了更广泛的互联网视频内容。为了提高数据质量，研究团队还开发了一套智能筛选系统，从海量的YouTube视频中挑选出最有价值的内容进行训练。

V-JEPA 2的架构基于视觉变换器（Vision Transformer），这是一种已被证明非常有效的神经网络结构。不过，研究团队对其进行了重要改进，特别是引入了3D旋转位置编码（3D-RoPE），这让系统能够更好地理解视频中的时空关系。整个系统包含两个主要组件：一个负责理解视频内容的编码器（参数量高达10亿），和一个负责预测缺失内容的预测器。

训练过程采用了一种巧妙的多阶段策略。首先是主要训练阶段，系统在16帧、256×256分辨率的视频片段上学习基础的视觉理解能力。随后是冷却阶段，系统开始处理更长的64帧视频和更高的384×384分辨率，这大大提升了系统对复杂场景和长时间序列的理解能力。这种渐进式训练就像学钢琴一样，先掌握基本指法，再挑战复杂乐曲。

二、从理解到预测：掌握视觉世界的因果规律

理解是智能的基础，但预测才是智慧的体现。V-JEPA 2在视觉理解方面的表现已经令人印象深刻，但它的预测能力更是让研究者们兴奋不已。

在Something-Something v2这个专门测试细粒度动作理解的数据集上，V-JEPA 2达到了77.3%的顶级准确率。这个数据集的特殊之处在于，它需要AI系统真正理解物体之间的交互关系，而不仅仅是识别物体本身。比如，系统需要区分"把东西放在某物上面"和"把东西放在某物后面"这样的细微差别。V-JEPA 2的成功表明它已经掌握了复杂的空间推理能力。

更令人惊叹的是V-JEPA 2在行为预测方面的表现。在Epic-Kitchens-100人类行为预测任务中，系统需要观看厨房中的活动片段，然后预测人类接下来最可能做什么。这就像一个经验丰富的厨师，能够根据当前的准备工作预测下一步的烹饪动作。V-JEPA 2在这项任务上取得了39.7的recall-at-5分数，比之前的最佳系统提升了44%，这是一个巨大的飞跃。

研究团队发现，V-JEPA 2的预测能力随着模型规模的增大而线性提升。从3亿参数的ViT-L模型到10亿参数的ViT-g模型，系统的预测精度持续改善。这种可扩展性表明，随着计算资源的增加和模型规模的扩大，V-JEPA 2的能力还有进一步提升的空间。

特别值得注意的是，V-JEPA 2在处理更长视频序列时表现出色。当从16帧扩展到64帧时，系统在多个任务上的表现都有显著提升。这说明更长的时间窗口让系统能够捕捉到更复杂的时间依赖关系和因果模式。就像一个经验丰富的医生，需要观察病人一段时间才能做出准确诊断一样，V-JEPA 2也需要足够的时间序列信息来理解复杂的动态过程。

研究团队还进行了大量的消融实验来验证各个组件的重要性。他们发现，数据规模、模型规模、训练时长和输入分辨率都对最终性能有重要影响。特别是数据筛选策略，通过智能筛选YouTube视频，系统性能提升了1.4个百分点，这在AI研究中是一个相当可观的改进。

三、从预测到行动：让AI学会在真实世界中规划

理解和预测虽然重要，但真正的智能还需要能够制定和执行行动计划。这就像一个优秀的棋手，不仅要能分析当前局面，还要能预见几步之后的棋局发展，并据此制定最佳策略。V-JEPA 2在这方面的突破可能是整个研究中最激动人心的部分。

为了让V-JEPA 2具备行动规划能力，研究团队开发了V-JEPA 2-AC（Action-Conditioned）版本。这个过程就像培养一位实习医生：首先让他通过大量观察学会理解人体结构和生理过程（这是V-JEPA 2的基础训练），然后再教他如何根据病人的具体情况制定治疗方案（这是V-JEPA 2-AC的专门训练）。

V-JEPA 2-AC的训练使用了Droid数据集，这是一个包含机器人操作视频的专门数据集。令人惊讶的是，研究团队仅使用了62小时的机器人操作视频就训练出了一个功能强大的行动规划系统。这些视频记录了7自由度Franka Emika Panda机械臂执行各种操作任务的过程，包括机械臂的位置、朝向和夹爪状态等信息。

V-JEPA 2-AC的工作原理类似于一个经验丰富的导航系统。当给定当前观察和目标状态时，系统会在其学到的表示空间中搜索最佳的行动序列。具体来说，系统使用一种叫做"交叉熵方法"的优化算法，通过反复尝试和改进来找到最佳的行动路径。这个过程就像一个经验丰富的司机规划路线：根据当前位置和目的地，考虑各种可能的路径，最终选择最优方案。

在实际部署测试中，V-JEPA 2-AC的表现令人印象深刻。研究团队在两个不同的实验室中部署了完全相同的系统，这些实验室的环境、物体摆放和背景都与训练数据不同。令人惊讶的是，V-JEPA 2-AC能够零样本完成各种复杂的操作任务。

在抓取任务中，系统需要准确控制机械臂夹爪抓住特定物体。V-JEPA 2-AC对杯子的抓取成功率达到65%，对盒子的抓取成功率为25%。这种差异反映了不同物体的操作难度：杯子可以通过多种方式抓取（比如插入夹爪再夹紧边缘），而盒子则需要更精确的夹爪控制。

在带物体移动任务中，系统需要在抓住物体的同时移动到指定位置，这需要对物理约束和运动动力学有深入理解。V-JEPA 2-AC在这项任务上的平均成功率达到75%，表明系统已经掌握了基本的物理直觉。

最复杂的是拾取和放置任务，这需要系统将多个子技能组合起来：首先抓取物体，然后移动到目标位置，最后准确放下。研究团队为这个任务设计了多个子目标图像，系统会依次优化向每个子目标的行动。V-JEPA 2-AC在这项任务上的成功率达到65-80%，这在零样本机器人控制中是一个了不起的成就。

特别令人印象深刻的是系统的泛化能力。训练数据来自完全不同的环境和机器人设置，但V-JEPA 2-AC能够适应新环境中的不同背景、光照条件和物体摆放。这说明系统学到的不是简单的模式匹配，而是对物理世界更深层的理解。

四、融合语言智能：让AI真正"看懂"并"说清"视频内容

当V-JEPA 2具备了强大的视觉理解和预测能力后，研究团队进一步探索了一个有趣的问题：能否让这个视觉专家学会用人类的语言来描述和回答关于视频的问题？这就像培养一位优秀的体育解说员，不仅要看懂比赛，还要能用生动的语言向观众解释比赛的精彩之处。

为了实现这个目标，研究团队将V-JEPA 2与大语言模型进行了巧妙的结合。这个过程类似于让一位视觉艺术专家和一位文学大师合作：视觉专家负责理解画面内容，文学大师负责用优美的语言表达出来。具体来说，V-JEPA 2负责提取视频的视觉特征，然后通过一个专门设计的投影模块将这些特征转换为语言模型能够理解的形式。

这种融合训练采用了渐进式的策略，就像学习一门外语一样循序渐进。首先是对齐阶段，让视觉特征和语言表示建立基本的对应关系，这就像学习基本词汇。然后是图像理解阶段，在大量图像-文本对上训练，让系统学会描述静态场景。最后是视频理解阶段，系统学会处理动态内容和时间序列信息。

研究团队使用了8850万个图像和视频文本对来训练这个多模态系统。为了验证V-JEPA 2的视觉理解能力确实有助于语言任务，他们还进行了对比实验，将V-JEPA 2与其他顶级视觉编码器进行了比较，包括DINOv2、SigLIP2和Perception Encoder等。

实验结果表明，即使V-JEPA 2没有经过任何语言监督训练，但当与语言模型结合后，它在多个视频问答任务上都达到了业界最佳水平。在PerceptionTest这个综合性视频理解基准上，V-JEPA 2达到了84.0%的准确率。这个测试涵盖了记忆、抽象推理、物理理解和语义理解等多个维度，是评估视频理解能力的权威基准。

在MVP（最小视频对）基准测试中，V-JEPA 2的配对准确率达到44.5%。这个测试特别设计用来评估物理世界理解能力，通过最小化视觉和文本偏见来确保测试的公平性。V-JEPA 2的优秀表现表明它确实掌握了深层的物理理解能力。

在时间推理方面，V-JEPA 2同样表现出色。在TempCompass测试中达到76.9%的多选准确率，在TemporalBench的短问答任务中达到36.7%的准确率。这些结果表明V-JEPA 2不仅能理解空间关系，还能掌握复杂的时间因果关系。

特别值得注意的是，当使用更高分辨率输入和更大模型规模时，V-JEPA 2的表现会进一步提升。从256像素提升到512像素，从7B参数的语言模型升级到8B参数，都会带来显著的性能改进。这种可扩展性为未来的发展提供了广阔空间。

研究团队还发现了一个有趣的现象：相比于传统的图像编码器，V-JEPA 2在处理长视频时表现出明显优势。当视频帧数从20帧增加到140帧时，V-JEPA 2的性能持续改善，而基于图像的编码器性能则趋于平缓甚至下降。这进一步证明了专门为视频设计的架构在处理动态内容时的优越性。

五、技术创新的关键要素：规模化训练的智慧

V-JEPA 2的成功并非偶然，而是多项技术创新巧妙结合的结果。研究团队在训练过程中遇到了诸多挑战，他们的解决方案为AI训练提供了许多宝贵经验。

数据规模的重要性首先得到了验证。研究团队发现，从200万视频增加到2200万视频，系统性能提升了1个百分点。这个改进看似微小，但在AI研究中已经是相当显著的进步。更重要的是，他们发现数据质量比数量更重要。通过智能筛选算法从YT-Temporal-1B数据集中挑选高质量视频，比直接使用未筛选的数据效果好1.4个百分点。

模型规模的扩展同样带来了明显收益。从3亿参数扩展到10亿参数，系统在各项任务上的表现都有1.5个百分点的提升。研究团队发现这种性能提升是线性的，这意味着继续扩大模型规模仍有进一步改进的潜力。

训练策略的创新是另一个关键因素。传统的做法是使用固定的训练配置，但V-JEPA 2采用了渐进式训练策略。系统首先在较短的16帧、较低的256像素分辨率上进行主要训练，建立基础的视觉理解能力。然后在冷却阶段切换到64帧、384像素的配置，这大大提升了系统对复杂场景和长时序列的处理能力。

这种渐进式策略的巧妙之处在于计算效率。如果从一开始就使用高分辨率长序列进行训练，计算成本会增加60倍。但通过渐进式训练，他们将额外的计算开销控制在最后的冷却阶段，总体上节省了约8.4倍的计算资源。

技术架构方面，3D旋转位置编码（3D-RoPE）的引入是一个重要创新。传统的位置编码主要考虑二维空间关系，但视频还有时间维度。3D-RoPE将特征维度分成三个部分，分别处理时间、高度和宽度信息，让系统能够更好地理解时空关系。

掩码策略的设计也经过了精心考虑。研究团队发现，空间掩码比例在15-70%之间效果最好，时间掩码保持100%（即不进行时间掩码）最为有效。这种策略迫使系统学会根据部分空间信息推断完整场景，同时保持时间连续性。

训练稳定性是大规模训练面临的另一个挑战。研究团队采用了指数移动平均（EMA）机制来稳定训练过程，同时使用停梯度操作防止表示坍塌。学习率调度采用了预热-恒定-衰减的三阶段策略，这比传统的余弦衰减策略更适合长时间训练。

数据增强技术也起到了重要作用。研究团队使用了随机裁剪、尺度变换等技术，让系统能够适应各种视角和尺度变化。特别是在机器人控制任务中，这种数据增强帮助系统更好地泛化到新环境。

六、实际应用与未来展望：从实验室到现实世界

V-JEPA 2的成功不仅仅是学术研究的胜利，更重要的是它展示了AI技术向真实世界应用迈进的巨大潜力。这项研究的影响将远远超出计算机视觉和机器人技术的范畴。

在机器人技术领域，V-JEPA 2-AC的零样本控制能力开启了新的可能性。传统的机器人系统需要在特定环境中收集大量数据进行训练，这个过程既昂贵又耗时。V-JEPA 2-AC证明了通过互联网视频的大规模预训练，机器人可以获得通用的操作能力，然后用少量特定任务数据进行快速适应。这就像培养一个多才多艺的工匠，他掌握了基本技能后可以快速学会各种专门手艺。

这种能力对制造业有着深远影响。未来的工厂可能不再需要为每个新产品重新编程机器人，而是使用像V-JEPA 2-AC这样的通用系统，通过简单的示例就能快速适应新任务。这将大大降低自动化的门槛，让更多中小企业也能享受智能制造的便利。

在家庭服务机器人领域，V-JEPA 2的视觉理解能力同样具有革命性意义。一个配备V-JEPA 2系统的家庭机器人能够理解复杂的家庭环境，预测人类的需求，并执行相应的服务任务。比如，它可能通过观察主人的行为模式预测何时需要清洁，或者根据厨房的状态判断是否需要协助烹饪。

教育领域也将从这项技术中受益。V-JEPA 2的视频理解和问答能力可以用来开发智能教学助手，帮助学生理解复杂的科学概念或历史事件。系统可以分析教学视频，回答学生的问题，甚至根据学生的理解程度调整教学策略。

医疗保健是另一个充满潜力的应用领域。V-JEPA 2的行为预测能力可以用于分析患者的日常活动模式，及早发现健康问题的征象。在手术培训中，系统可以分析手术视频，为医学生提供详细的操作指导和评估。

内容创作行业也将迎来变革。V-JEPA 2的视频理解能力可以自动生成视频摘要、标签和描述，大大提升内容管理的效率。在直播和短视频平台上，系统可以实时理解内容并进行智能推荐。

然而，研究团队也坦诚地指出了当前系统的局限性。V-JEPA 2-AC对相机位置较为敏感，这在实际部署中可能带来挑战。长期规划能力仍有待提升，目前系统主要适用于相对短期的任务规划。此外，系统目前主要依赖图像目标进行规划，而在现实应用中，更自然的方式可能是通过语言指令来指定任务目标。

展望未来，研究团队计划在几个方向上继续推进。首先是开发层次化的世界模型，能够在不同时间和空间尺度上进行预测和规划。其次是增强语言理解能力，让系统能够根据自然语言指令执行任务。再次是扩大模型规模，目前的10亿参数模型已经显示出良好的扩展性，更大规模的模型可能带来质的飞跃。

V-JEPA 2的成功也为AI安全研究提供了新的思路。通过自监督学习而非强化学习训练的系统可能更加可控和可解释。系统的预测能力可以用来评估行动的后果，从而避免危险行为。

这项研究最深远的意义在于它向我们展示了一条通向通用人工智能的可能路径。通过大规模视频数据的自监督学习，AI系统可以获得对物理世界的深入理解，这是实现真正智能的重要基础。正如研究团队所言，这项工作展示了如何通过观察来学习理解、预测和规划，这正是智能的核心特征。

当然，从当前的原型系统到真正的产品化应用还有很长的路要走。系统的鲁棒性、安全性和可靠性都需要进一步提升。但V-JEPA 2已经为我们描绘了一个令人兴奋的未来图景：AI不再是处理特定任务的工具，而是能够理解和适应复杂现实世界的智能伙伴。

正如META首席AI科学家Yann LeCun所说，V-JEPA 2代表了向"观察学习"这一核心AI目标的重要进步。这项研究证明了通过大规模自监督学习，我们可以训练出既能理解世界又能在其中有效行动的AI系统。虽然距离真正的通用人工智能还有距离，但V-JEPA 2无疑是这条道路上的一个重要里程碑。

对于普通人来说，V-JEPA 2的意义在于它让我们看到了AI技术从实验室走向现实生活的可能性。在不远的将来，我们可能会看到更多基于这种技术的实际应用，从智能家居助手到工业机器人，从教育工具到医疗设备。这些应用将逐步改变我们的生活方式，让科技真正服务于人类的需求。

研究团队表示，他们将继续开源相关代码和模型，希望全球的研究者和开发者能够基于这项工作开发出更多有益的应用。这种开放合作的精神体现了科学研究的本质：通过共同努力推动人类知识的边界，最终造福全人类。

Q&A

Q1：V-JEPA 2和传统AI视觉系统有什么本质区别？ A：传统AI需要大量人工标注的数据进行训练，就像填鸭式教育。而V-JEPA 2采用自监督学习，通过观看大量无标注视频自学成才，更像人类通过观察世界来理解规律。它不仅能识别物体，还能理解物理规律、预测未来并制定行动计划。

Q2：V-JEPA 2真的能控制机器人吗？安全性如何？ A：是的，V-JEPA 2-AC仅用62小时机器人视频训练后就能零样本控制机械臂完成抓取、搬运等任务，成功率达65-80%。由于采用自监督学习而非强化学习，系统相对更可控。但目前仍在研究阶段，距离商业应用还需要在安全性和可靠性方面进一步完善。

Q3：普通人什么时候能用上基于V-JEPA 2的产品？ A：虽然V-JEPA 2展现了巨大潜力，但从研究原型到实际产品还需要时间。预计在3-5年内可能会看到基于类似技术的家庭服务机器人、智能监控系统或教育工具等初步应用。META已经开源了相关代码，这将加速技术的产业化进程。

来源：至顶网一点号