摘要：SkyReels AI短剧平台是昆仑万维推出的一款全球首个集成了视频大模型与3D大模型的AI短剧创作平台。该平台通过整合自研的剧本大模型SkyScript、分镜大模型StoryboardGen、3D生成大模型Sky3DGen以及创新平台WorldEngine，

SkyReels AI短剧平台是昆仑万维推出的一款全球首个集成了视频大模型与3D大模型的AI短剧创作平台。该平台通过整合自研的剧本大模型SkyScript、分镜大模型StoryboardGen、3D生成大模型Sky3DGen以及创新平台WorldEngine，实现了从剧本生成到影片合成的全流程操作。

SkyReels平台的主要技术系统包括以下几个方面：

SkyReels平台通过这些技术系统，极大地简化了短剧制作流程，降低了创作门槛，使得非专业用户也能轻松上手，从而推动了短剧产业的发展。

SkyReels AI短剧平台的剧本大模型SkyScript是如何工作的，以及它如何确保生成的剧本质量？

SkyReels AI短剧平台的剧本大模型SkyScript通过昆仑万维自研的技术实现高效且高质量的剧本生成。首先，昆仑万维构建了一个亿级的高质量短剧结构化数据集SkyScript-100M，该数据集对海量精彩短剧的剧情节奏、爽点和情绪变化进行了高质量标注。这种标注帮助SkyScript学习如何写出引人入胜的剧本，并在人物塑造、主题表达、情节连贯性和情感影响方面超越了其他先进的大型语言模型。

为了确保生成的剧本质量，SkyScript采用了渐进式生成框架，能够输出高度结构化的精彩剧本。此外，SkyScript还利用多智能体框架，模仿工业制作流程，通过“创意人”、“选角导演”、“编剧”、“小说作者”和“导演”等智能体的协作来完成剧本创作。这种设计不仅提高了生成内容的专业度和可控性，还确保了剧本在主题表达、角色发展、对话质量和情节连贯性等方面表现出色。

SkyScript通过深度学习技术快速理解创作者的想法，并生成具有吸引力的剧情，为短剧创作提供了强大的智能支持。

StoryboardGen分镜大模型的技术细节是什么，以及它是如何实现一键生成分镜图片和文字脚本的？

StoryboardGen分镜大模型的技术细节主要基于多智能体框架和DiT-MoE架构（Diffusion Transformer的Mixed-of-Experts混合专家架构）。这种架构能够将分镜的不同元素（如场景、镜头、角色、动作等）分解为多个智能体来处理，从而增强分镜制作过程中的可控性和一致性。

具体来说，StoryboardGen模型在接收到剧本后，会将其拆解成全局与主体两部分。全局部分包括对分镜的整体描述，如场景、景别和构图等；而主体部分则包括角色形象和动作人物角色的定制。这些信息最终汇集至故事板智能体，生成完整的分镜图。

此外，StoryboardGen采用了基于DiT的渐进式生成框架，通过多次修改和完善来创作最终的图像。这种框架相比传统的一次性生成模型，能够充分利用中间过程产生的信息，从而生成质量更高、视觉效果更丰富的分镜。

关于如何实现一键生成分镜图片和文字脚本，StoryboardGen通过其多智能体架构和渐进式生成框架，将复杂的分镜制作流程自动化。

SkyReels平台如何处理和优化用户自定义角色形象和音色的技术细节是什么？

SkyReels平台在处理和优化用户自定义角色形象和音色方面，采用了多种先进技术。首先，平台集成了自研的AI技术，包括情感化语音合成技术和多模态大模型能力，这些技术能够智能生成符合剧本需求的角色形象和音色。用户可以自由选择或自定义角色形象和音色，系统内置了丰富的形象库供用户设计和修改。

此外，SkyReels还提供了多种视觉风格选择，如动漫、卡通和真人3D等，以适应不同创作者的偏好和内容表达需求。平台通过情感语音合成技术为角色赋予自然的停顿、情感表达和语调，并基于视频内容自动生成AI背景音乐（BGM），实现画面与音乐的完美融合。

在技术细节上，SkyReels利用其自研的分镜大模型StoryboardGen，能够根据剧本内容一键生成详细的分镜脚本，并允许用户自由调整分镜、镜头角度和运镜方式等参数。WorldEngine平台则结合了AI 3D引擎与视频大模型的深度融合，提供精确可控的创作模式，使角色形象和音色在不同分镜中保持一致性和准确性。

SkyReels视频生成技术是如何将分镜自动转换为连续高清视频的，特别是在保持1080P 60帧输出质量方面采用了哪些技术？

SkyReels视频生成技术通过一系列创新的AI模型和平台，实现了将分镜自动转换为连续高清视频的功能，特别是在保持1080P 60帧输出质量方面采用了以下技术：

WorldEngine平台是如何结合AI视频大模型和3D引擎的技术，以实现创作内容的自然逼真效果的？

WorldEngine平台通过结合AI视频大模型和3D引擎的技术，实现了创作内容的自然逼真效果。首先，WorldEngine是业界首个将AI 3D引擎与视频大模型深度融合的创新平台，它利用图层融合技术，打造了前所未有的3D与视频混合创作模式。这种模式允许用户在生成AI视频时，自由选择使用3D AI引擎或视频大模型来生成任意元素，从而突破了传统AI视频大模型中常见的“穿模”、“反地心引力”等反物理规律现象，实现了物理模拟的精细度与视频大模型的幻想创造力的完美融合。

此外，WorldEngine平台聚合了多家顶级视频生成大模型，并针对人物表演进行了定向优化，使得人物的口型表情和肢体动作具有更强的可控生成能力。这不仅提升了角色表现的真实感，还大幅降低了视频生成的成本和时间。

WorldEngine还提供了从3D生成、视频生成到3D与视频混合创作的全方位解决方案，用户可以轻松构建3D虚拟影棚，实现虚拟拍摄的梦幻体验。平台支持视频中的任意元素自由选择使用3D AI引擎或视频大模型生成，并自动推演角色表演，确保人物表情、动作、台词的协调一致，极大地提升了故事的表现力与观众的代入感。

WorldEngine通过精确可控的光照模拟、物理模拟、3D空间和实时交互等功能，结合AI视频大模型的无限想象力，开创了线上混合视频创作的新模式。

来源：小英议科技