摘要：8月11日，昆仑万维科技股份有限公司（以下简称“昆仑万维”）正式发布SkyReels-A3模型，基于“DiT（Diffusion Transformer）视频扩散模型+插帧模型进行视频延展+基于强化学习的动作优化+运镜可控”，其能实现任意时长的全模态音频驱动数

本报讯 （记者李乔宇）

8月11日，昆仑万维科技股份有限公司（以下简称“昆仑万维”）正式发布SkyReels-A3模型，基于“DiT（Diffusion Transformer）视频扩散模型+插帧模型进行视频延展+基于强化学习的动作优化+运镜可控”，其能实现任意时长的全模态音频驱动数字人创作，让个性化、交互式内容的创作更高效与便捷。目前，SkyReels-A3模型已正式上线。

8月11日，昆仑万维SkyWork AI技术发布周正式启动，8月11日至8月15日，昆仑万维将每天发布一款新模型，从视频生成模型（Skyreels）、世界模型，到生图一体化模型、智能体（Agent）模型，再到AI音乐创作模型（Mureka），连续五天发布覆盖多模态AI核心场景的前沿模型。

作为音频驱动（audio-driven）人像视频生成模型，SkyReels-A3就像给任意照片或视频装上“AI声带”。上传一张人像图片，再配段语音，照片里的人就能按这段语音开口说话或唱歌；上传一张人像图片、配段语音，再给出文字Prompt（提示词），照片里的人就能按照要求的状态进行表演；SkyReels-A3还可以将原视频的音频换掉，人物会自动对上新的口型、表情和表演，画面依旧连贯。

同时，基于对实际应用场景（如广告、直播带货等）的分析，昆仑万维发现这些场景不仅需要更长的一致性视频，在特定交互动作上的自然度和清晰度也有待加强。昆仑万维构造了针对线上直播等场景的数据，对此类场景中的视频生成进行了特定优化。

此外，面对艺术美感要求更高的音乐MV、电影片段或演讲视频等场景，昆仑万维构造了一种基于ControlNet结构的镜头控制模块，通过精细化镜头参数的输入，实现帧级别精准运镜控制。具体来说，镜头控制模块提取参考图的深度信息，配合相机参数，渲染目标运镜轨迹的参考视频，该参考视频随后作为显式运动先验，引导模型逐帧复现精准的运镜效果，生成带有运镜效果的数字人视频。

SkyReels-A3的性能通过广泛的实验进行了验证，包括现有最先进模型（开源和闭源）的定量和定性比较，充分展示了其在音频驱动视频生成方面的能力。

来源：证券日报