昨夜,AI视频领域又迎来一场大更新。摘要:在图像质量保真度、流畅动态表现和精确可控性方面,Gen-4又取得了重大进步。
重磅玩家Runway官宣:正式推出了Gen-4!
根据官方解释,这是一款用于媒体生成和世界一致性的全新SOTA模型。
在图像质量保真度、流畅动态表现和精确可控性方面,Gen-4又取得了重大进步。
而今天起,图像转视频功能也将正式上线,所有付费用户和企业客户都能用上。
一致性惊人,电影级画面无限生成
在一致性和可控性上的革新,让Gen-4开启了一个全新的媒体创作时代。
借助Gen-4,我们可以精确创建想要的人物角色、场景环境和物体,还能让他们在不同场景中保持一致。
只要设定期望的视觉风格,模型就能一直维持连贯的世界观,同时,还能保证每一帧都保留独特的艺术风格、情绪氛围和电影级视觉效果。
而这些元素,都可以从场景中的多个视角和位置重新呈现!
这就意味着,我们想叙述一个故事时,拥有了无限的创意空间。
而且,这些功能都是无需任何微调或额外训练就能实现的。
Gen-4为视频生成领域开创了新标准,相较于Gen-3 Alpha取得了显著进步。
它在生成高动态性视频方面表现卓越,不仅能呈现真实流畅的动作效果,还能保持主题、物体和风格的一致性,同时具备卓越的提示遵循能力及业内领先的场景理解能力。
借助视觉素材参考和指令输入,Gen-4能够创建风格、人物、场景等元素保持一致的图像和视频。
可以为创作者提供视频创作时的连贯性和对视频的精确掌控。
下面这部《孤独的小火焰》完全由Gen-4生成,展示了模型的叙事表现能力。
《纽约是个动物园》展示了 Gen-4 令人印象深刻的视觉特效能力,它将超写实动物完美融入纽约市的影视级场景中。
影片中的每个画面都采用了独特的创作流程:先通过Gen-4 References功能将真实动物的参考素材与纽约实景照片合成,再通过精确的提示词指令设计出每个场景中动物的具体动作表现。
在《牛群》这部短片中,镜头记录了一名年轻人在夜晚被牧场上的牛群追赶的惊险经历。
这部作品仅凭几张参考图片就成功构建出了人物角色和弥漫着雾气的牧场画面。
最终,创作团队将这些视觉元素与第一幕相结合,成功编织出一个完整而连贯的故事。
《寻宝旅程》讲述了一队勇敢的探险家们寻找一朵神秘花朵的奇幻冒险。
这部作品完全由Gen-4技术创作,整个制作过程仅用了不到一周的时间。
简单界面,无尽工作流
工作流 • 角色一致性
只需一张参考图片,你就能用Gen-4让创建角色在各种光线环境、场景背景和风格处理中始终保持形象一致。
下图中的女性,在各种树林、小屋等多个场景的各种光线下,形象始终保持一致。
工作流 • 物体一致性
人物角色能做到如此大的一致性突破,物体当然也不在话下。
现在,用Gen-4可以把任何物体或主题元素,放在你想要的任何场景/环境中了。
所以,现在想为长篇叙事内容制作场景,或是对产品进行商业摄影,创造风格一致的视觉内容都是小菜一碟。
比如下面视频中支着红球的木架,还是在雪山、街头,还是刮起沙暴的沙漠中,形象都始终如一。
工作流 • 多角度场景捕捉
现在,我们用Gen-4就可以轻松获取场景的任意视角了。
想要精心打造一个场景?现在你只需要提供主体的参考图片,描述一下自己期望的画面构图是什么样子,然后其他后续工作,就可以全部交给Gen-4。
下面这个头发发白的中年男性走在乱石山岗的画面,每一帧都充满了电影感。
他望向远方的背影、意味深长的眼神特写,都传达出了大量信息。
从此,电影画面再也不用实景拍摄,可以直接交给视频模型来完成!
功能 • 可用于生产的视频
可以说,Gen-4为视频生成,建立了质量和语言理解上的全新标准。
它生成的视频质量极高,动作极其逼真,同时,还保持了主体、对象和风格的一致性。
对于你给出的提示,它会精准地理解和遵循,体现出了卓越的世界理解能力。
功能 • 物理仿真
Gen-4的发布,代表了视觉生成模型在模拟真实世界物理方面的一个重要里程碑。
模拟真实的物理世界,是许多AI模型最容易被看出破绽的地方。
Gen-4对于水、火、空气流动,以及在这些物理条件中人物和物体的表现,都理解得极其细致入微,几乎看不出失真的地方。
工作流 • GVFX
可以说,Gen-4是一种革新视觉特效的全新方式。
它能实现快速、可控且灵活的视频生成,可以与实拍、动画和VFX内容无缝融合。
来源:科技列车