任意更改和重构整个视频可将视频转换成无限的可能 Luma发布Modify

摘要：把背景从你家客厅换成赛博朋克都市；把角色衣服从牛仔裤换成中世纪骑士盔甲；将你的表演和动作传递到新的视频或者场景；把原视频变成动画风，但保留人物动作、节奏、表情。

想象一下，你拍了一段视频，接下来可以：

把背景从你家客厅换成赛博朋克都市；把角色衣服从牛仔裤换成中世纪骑士盔甲；将你的表演和动作传递到新的视频或者场景；把原视频变成动画风，但保留人物动作、节奏、表情。

最关键的是：不用重拍、不用绿幕、不用动捕，只需要几步操作

以前不敢想象，或许只能在电影特效中才能实现，现在人人都可以了...

今天，Luma Labs 给了我们这个能力——“Modify Video”，一个让你只需拍摄一次，就能将视频中的的各种元素、背景、对象、人物随意进行更改换变换...

在传统视频制作流程中，如果想要更改场景（比如从白天改成夜晚，或从办公室改成幻想世界），往往需要重新拍摄、重新渲染，甚至换一整套工具。

这不仅成本高、耗时久，还限制了创作者的想象力。

Modify Video允许在不破坏原始表演、动作、镜头和角色的前提下，允许用户对视频中的世界进行全面重构。

也就是你可以保留角色的动作和表演、表情等信息，任意更改和重构整个视频，随便怎么改！

实现一次拍摄，无限变换！

它让你可以保留一个镜头中真正重要的东西（比如角色的动作和面部表情），同时重新设计场景、风格、材质甚至角色的本体。

它理念是：在保持表演、动作和摄影机运动不变的前提下，重塑视频场景、光影、纹理和角色设计，实现“同一镜头，无限世界”。

—

主要能力展示

动作捕捉 + 驱动新角色（Motion & Puppeteering）

上传任意视频，无论是跳舞、打斗、走路、说话，系统会自动提取这些“动作数据”：

全身动作轨迹面部表情口型同步

然后，这些“动作数据”可以被用于驱动新的角色或物体——无论是CG角色、道具还是摄影机运动；

例如：你可以随意做一些挥舞动作，然后将你的动作“转移”另一个画面上，或着你随意的摆一些形似的pose，它就能将你的形态进行视觉化。

世界/风格替换（Restyle & World Swap）

不改变人物和动作，但可以完全改变场景外观与材质；例如：将真实背景改为卡通动漫背景；将真实场景变为电影级场景；将你的动作、表演放到其他场景下；所有变化都建立在对原始结构的理解上，避免画面失真或时空错乱。

甚至还可以进行动作演示或者表演，然后把你的表演放到任何场景当中

比如下面↓

可以只修改视频中的某个元素，而不破坏其他部分；比如：更改角色的服装颜色；替换面部特征（例如换演员的脸）；在天空中添加飞行物（如UFO）；关键在于：不需要绿幕、不需要逐帧追踪，修改自然融入场景。

或者提取个别元素、人物对象进行单独的渲染，改变人物表情等

—

灵活的创作控制

“Modify Video” 提供了三种不同的转换预设模式，让用户能够根据需要灵活调整视频的创作自由度。

Adhere（贴合模式）
这个模式在保持原始视频结构的基础上进行最小的修改，主要针对场景的风格和纹理进行调整。例如，你可以改变视频中的背景颜色或纹理，但人物的动作、表情和镜头角度基本保持不变。这个模式非常适合那些需要在后期修复或保持一致性的项目，比如在多个镜头之间保持视觉风格的一致性。Flex（灵活模式）
该模式在保留关键元素（如人物动作、面部表情等）的同时，允许更多的创意调整。这是一个平衡的模式，可以在保持输入忠实度的同时进行创造性重构。例如，你可以将原始场景稍微改变成另一个风格，或者对人物的服装、道具等进行替换，适用于需要在多个创意方案之间快速切换的情况，比如为客户提供不同风格的快速预览。Reimagine（重构模式）
这是最具创造力的模式，允许你完全重新设计场景或角色，甚至能将人物转变为非人类形态（例如怪物或幻想生物）。这个模式优先考虑创意自由，适合那些需要大胆重构的项目，如艺术创作、概念短片或特殊效果制作。在这个模式下，你可以完全改变一个场景或角色的外观，创造出富有想象力且超现实的效果。

对于需要保留原始素材的情况，Adhere 模式是理想选择，因为它专注于对原视频进行细致的风格微调。

对于一些需要兼顾创意与现实感的项目，Flex 模式能够在维持动作真实性的同时，进行适度的创意重构。

而对于那些富有挑战性且要求高度创意的项目，Reimagine 模式则能够实现从根本上的视觉重构，完全释放创作者的想象力。

—

技术优势

很多视频编辑工具依赖于静态过滤器或者提示词生成，这种方式往往会牺牲一些重要的细节。

Modify Video 的关键在于时序理解和动作保留：

它能根据视频中的“表演信号”（比如动作、面部表情、口型同步等）智能地判断哪些部分应该保留，哪些部分可以进行创意修改。视频级的高保真控制，不仅看一帧，而是理解整个片段；输出结果更一致，尤其在面部、身体动作、时间连续性上，更擅长保留动作和表情的真实性，即使对场景进行大幅度修改，也能保证画面的自然流畅。官方测试显示，Modify Video 在视觉保真度与动作一致性方面优于 Runway 的 V2V 工具。