今天起,汉字也能AI视频生成了!《滕王阁序》直接拿捏到位了

360影视 2025-01-09 16:25 3

摘要:原创 关注前沿科技 量子位金磊 发自 凹非寺量子位 | 公众号 QbitAI“汉字”这个难关,今天终于被AI视频生成给拿下了!话不多说,我们直接先来看效果:这个“福”字,就这样被AI水灵灵地一笔一划滴了出来。再如下面这个例子,我们的Prompt是:有汉字“量子

原创 关注前沿科技 量子位金磊 发自 凹非寺量子位 | 公众号 QbitAI“汉字”这个难关,今天终于被AI视频生成给拿下了!话不多说,我们直接先来看效果:这个“福”字,就这样被AI水灵灵地一笔一划滴了出来。再如下面这个例子,我们的Prompt是:有汉字“量子位”,古风。但这样还是略显单调,我们上一下难度:赛博朋克风格城市夜景,镜头视角是车辆在马路上行驶,对面大楼楼体有巨大的LED广告牌,上面写着“量子位”三个字。好的,我们也算是打了一波赛博广告了。那么让字数再多一点,AI是否能hold住呢?我们直接来挑战一下:水彩透叠插画风格,三只不同颜色的可爱小猫咪手举着一条超大的鱼,从右边走到左边。它们分别穿着粉色、蓝色和黄色的小背心,眼睛圆圆的,表情呆萌。充满童趣,笔触淡雅温馨,简笔画风格。纯白背景上逐渐显示出来几个字体,写着:“摸鱼一天 快乐无边”。可以看到,这段视频中虽然有一个小瑕疵(“摸”字多了一笔),但整体是把Prompt中的内容给还原了出来。当然,复杂的汉字都能搞定,这个AI自然也可以生成英文单词,并且还是带“花活儿”的那种(下面还有中文版):那么,这到底是何许AI是也?不卖关子,它就是阿里通义万相刚刚升级的2个新版本视频生成模型:通义万相2.1极速版:能够让AI高效、快速地生成视频;通义万相2.1专业版:更注重AI视频生成的质量。在整体体验过后,我们能够明显感受到模型整体性能有了大幅的提升。尤其是在处理复杂运动、还原真实物理规律、提升影视质感以及优化指令遵循方面。据了解,新版通义万相已经以84.70%的成绩登上权威评测集VBench榜首的位置,一路超越Gen3、Pika、CausVid等国内外视频生成模型。△通义万相4D并行分布式训练策略最后,是数据与评估双轮驱动。通义万相团队打造了一套自动化数据构建管线,通过优化视觉质量和运动质量,筛选整合与人类偏好分布高度一致的数据集。这些数据具有多样性高、分布均衡等特点,极大提升了训练效率。团队还为此设计了一套覆盖美学评分、运动分析、指令遵循等多个维度的评估体系,并训练了专业的打分器。通过这些自动化指标的反馈,显著加速了模型的迭代与优化。以上便是炼成新版通义万相的核心技术要义了。至此,不仅是从技术创新方面,更是从真真切切的体验角度来看,国产Sora再次走到了AI视频领域的前沿。单就能够生成汉字这一点,便是全球独一份的那种。而从视频生成范围之广,也是应了“通义万相”的名字——AI已经到了可以生成“万相”的时刻。那么你是否也有脑洞大开的想法,并想让它们以视频的形式呈现出来呢?快来体验一下最新、最Fashion的模型吧~直接体验入口:https://tongyi.aliyun.com/wanxiang/videoCreationAPI调用:https://bailian.console.aliyun.com/?spm=5176.29619931.J__Z58Z6CX7MY__Ll8p1ZOR.1.74cd59fckLhf3c#/model-market参考链接:https://huggingface.co/spaces/Vchitect/VBench_Leaderboard— 完 —

来源:海安教育

相关推荐