当艺术遇上人工智能——用XEduHub为黑白视频上色

摘要:为了加强美育,实现人工智能与艺术的跨学科融合,应让中小学生在课堂中亲身体验AI艺术创作,从而更好地激发其创新思维,提高审美能力。那么,能否提供一款适合中小学生的人工智能工具,使他们能够轻松上手并参与到艺术创作之中?本文以“为老黑白视频上色”项目为例,探讨了AI

为了加强美育,实现人工智能与艺术的跨学科融合,应让中小学生在课堂中亲身体验AI艺术创作,从而更好地激发其创新思维,提高审美能力。那么,能否提供一款适合中小学生的人工智能工具,使他们能够轻松上手并参与到艺术创作之中?本文以“为老黑白视频上色”项目为例,探讨了AI技术在艺术创作中的应用,并进一步分析了AI技术在艺术创作中的优势与挑战,探讨了其在教育领域的应用前景。

艺术和技术的关系密不可分,它们相互影响、相互促进。随着人工智能技术的飞速发展,其在艺术领域的应用也日益广泛,尤其是在视频处理和图像增强方面。当艺术遇上AI,天马行空的想象力与严谨科学的技术流相互碰撞,可以激发出无限创意的火花。AI技术不仅能够模仿和再现传统艺术形式,还能够创造出全新的艺术表达方式,为艺术创作提供了更多的可能性。那么,能否设计一些适合中小学生的艺术创作项目,激发学生对AI的学习兴趣?

●项目分析:AI在艺术创作中的应用

AI在艺术创作中的应用广泛,它通过模仿人类艺术家的创作过程,为艺术领域带来了创新和变革。其常见的应用领域如下图所示。

①文学创作。AI不仅能模仿特定作者的风格创作文学作品,还能独立生成全新的内容,包括诗歌、小说、散文等多种文学形式。

②视觉艺术创作。视觉艺术创作可分为静态视觉艺术创作和动态视觉艺术创作。静态视觉艺术创作以常见的图像生成为代表,同时广泛地应用于图像处理、风格迁移、平面设计等领域;动态视觉艺术创作以视频生成、编辑和处理为代表,在视频剪辑、动画制作、特效合成等视频创作与处理环节均有应用,常用于影视制作领域。

③听觉艺术创作。AI在听觉艺术创作中的应用可以大致分为音乐创作和声音处理两个部分。AI在音乐创作中的应用主要包括旋律生成、和声编排、乐器模仿等;在声音处理中的应用主要包括音效生成、声音自动编辑与优化等。

除上述三个常见应用领域之外,AI技术还可以运用于艺术分析与理解领域,通过识别艺术作品的风格和情感表达,帮助人们进行艺术品的分类和鉴定,为艺术批评提供新的视角。

●项目实现:“为黑白视频上色 ”

前段时间,笔者无意中看到一条新闻:一个艺术家利用人工智能为一些古老的视频做修复、上色,使其焕发新活力。经过分析,这个案例的操作难度不大,基本上属于AI模型的应用。要完成这个案例,需结合视频数字化的原理,很适合用于中小学教学。

1.“黑白视频上色”的原理分析

(1)视频播放的基本原理

视频是通过连续播放一系列静态图像(帧)来形成连续的动态视觉效果。在视频播放时,每一秒内显示的帧数称为帧率,通常以每秒帧数(FPS)来衡量。视频播放器按照预定的帧率顺序读取视频文件中的每一帧,并以极快的速度连续显示在屏幕上。由于人眼的视觉暂留效应,即图像在视网膜上保留的短暂时间,当帧以足够快的速度连续播放时,人眼无法察觉到每帧之间的间隔,因此产生了连续运动的错觉。

(2)图像着色技术原理

图像着色是灰度图像伪彩色化的过程。图像着色模型是将灰度图像转换为彩色图像的模型,它基于大量灰度和彩色一一对应的图像数据集进行训练,从而实现根据图像的内容来推断合理的颜色分布,实现从灰度到彩色的映射。

(3)视频上色的实现方式

根据上文可知,视频文件本质上是由一系列按时间顺序排列的静态图像(帧)组成的。只要将视频中的每一帧图像取出,分别进行着色处理,上色完成后再拼成视频,便可以达到“为黑白视频上色”的效果。

2.视频拆解为图像的功能实现

为了对视频中的每一帧图像进行着色处理,首先要从视频中提取这些帧。实现此功能的步骤包括:

①视频读取。利用视频处理库(如OpenCV)中的函数,按照视频的编码格式和帧率读取视频文件,代码如下图所示。

②帧提取。通过循环遍历视频的每一帧,将其作为单独的图像提取出来,为后续的图像处理做准备,代码如下图所示。

3.黑白图像上色的功能实现

XEduHub是一个深度学习工具库,为用户提供了简洁的推理工具Workflow。目前,XEduHub内置了多种内容生成的任务,其中包括图像着色模块,任务名称为gen_color。该任务通过调用基于卷积神经网络训练的模型进行推理,自动地为黑白图像添加颜色,实现了快速生成逼真的着色效果。

①单张图像上色。从XEduHub工具库中选择适用于图像着色的预训练模型(gen_color),加载选定的图像着色模型,对提取的黑白图像帧应用模型推理,模型将基于学习到的颜色分布为图像预测并填充颜色,代码如下图所示。

②批量处理。在实现单张黑白图像上色的基础上,使用循环函数对由视频拆解而来的多张黑白图像上色,代码如下图所示。

4.图像拼接为视频的功能实现

当所有图像帧完成着色后,需要将这些彩色帧重新组合成视频。使用OpenCV库中的VideoWriter类创建视频编写器对象,并设置输出视频的参数,如分辨率、帧率和编码格式。随后,将着色后的图像帧按顺序写入视频流中,完成视频上色的整体流程,代码如下图所示。

●总结

本项目通过使用深度学习工具库XEduHub中的gen_color图像着色模型,实现了“为黑白视频上色”的功能。这一过程涉及三个关键步骤:视频拆解为图像、黑白图像上色、图像拼接为视频。通过这一系列操作,不仅为老电影、老视频赋予了新的生命,也为历史影像资料的数字化修复和艺术再现提供了新的方法,同时展示了AI在艺术创作中的潜力,激发了学生对技术的兴趣,还培养了他们的创新思维和审美能力。

本文作者:

魏静洁

上海外国语大学

浙江省温州科技高级中学

文章刊登于《中国信息技术教育》2024年第21期

引用请注明参考文献:

魏静洁,谢作如.当艺术遇上人工智能——用XEduHub为黑白视频上色[J].中国信息技术教育,2024(21):95-97.

来源:中国信息技术教育

相关推荐