社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  aigc

AIGC辅助古诗词视频设计

AI Interface • 1 月前 • 52 次点击  

前言

这是AIGC应用系列教程,之前给大家详细介绍了AIGC做海报、微信红包、动态引导页,这一篇给大家介绍AIGC辅助古诗词视频设计的全流程!

直接上干货,手把手保姆级教程保证轻松完成。


一、AIGC设计探索

目前AIGC在设计中的可行性更为广泛,AI绘画做海报、角色设计、漫画、3D场景设计大家都已经耳熟能详。自去年年底AI视频开始爆火,近期央视首部文生视频AI动画《千秋诗颂》和首部AI全流程微短剧《中国神话》开播,结合AI新技术弘扬中国传统文化,我看后很受启发,加上最近AI音乐上也迎来了高光时刻。这次也尝试结合AI绘画、AI视频、AI音乐,全流程制作一首古风诗词视频。


二、前期准备

Step1 古诗选择

在众多古诗词中,我选择了宋代李清照的作品《如梦令》,全词如下

昨夜雨疏风骤,浓睡不消残酒。

试问卷帘人,却道海棠依旧。

知否?知否?应是绿肥红瘦。

这首词的标题《如梦令》暗示了整个作品的感情基调——如梦如幻,似真似幻,不禁让人联想到一种不可捉摸和稍纵即逝的美好。这里不仅描绘了海棠花从盛开到凋落的过程,也隐喻了人生或爱情的兴衰变迁,以及词人对过去时光的怀念和对现实的无奈感慨。


Step2 风格构思

关键词提取:这次是设计古风诗词《如梦令》,选择中国风、古代庭院、古风女子、海棠花、花瓣飘落等作为画面关键词。


Step3 设计工具

这次用到的主要是ChatGPT写分镜,WHEE的文生图来设计视觉主图,Photoshop进行调整色调和排版设计,AI音乐工具来生成歌曲,AI视频工具来制作动态画面。更多AI视频教程可以查看我的公众号「姚十八设计」里面有系列教程。


三、AIGC视觉设计步骤

3.1 分镜探索

初步制定主题为「新如梦令」古风主题,因为诗词和风格已经确定,接下来就可以直接使用AI工具帮我写视频分镜。主要写了十个基础分镜,后期再根据生成的图片调整分镜。


3.2 主图风格探索

诗词整体的风格偏忧伤,古诗主图的设计,背景设定为一个中国传统的室内场景,窗外下着雨。主角为一位穿着古风的女子,姿态温婉而含蓄。整体画面是采用温暖而柔和的色调为主。

接下来尝试主图的风格探索,控制提示词相同,选择不同模型生成的图片效果,比如:工笔重彩、岩彩画、诗意水墨、传统仕女图画风、新中式水墨风、咏春,然后等待生成效果如下。

提示词:中国古代,一位美丽的中国女子,坐在窗边,窗外下雨。


每种风格模型的效果都很不错,在众多模型中,我选择「咏春」为基础模型,配合「岩彩画」、「诗意水墨」,调节两个模型不同强度再继续调节主图效果。

使用咏春模型和岩彩画模型生成图片,调节模型的不同强度,岩彩画在强度较大时无法表达窗外下雨的画面,在较低时较为适合。

使用咏春模型和诗意水墨模型生成图片,调节模型的不同强度,诗意水墨强度较高时水墨感较重不适合表现人物,强度较低时风格更好。

最后,我选择「咏春」60% 配合「诗意水墨」30%为基础模型来生成图片。


3.3 主分镜图

选择好模型后,按照分镜提示词,分别生成十个分镜,保证每个分镜生成至少2张满意的图片,下载下来,用于后期出视频。


四、AIGC编曲设计步骤

最近,AI 音乐的 ChatGPT 时刻来临啦!Suno V3发布,引发了广泛关注。

Suno 对音乐新手来说几乎毫无门槛。它能够处理从间奏到主歌、副歌、桥段直至尾奏的完整结构,旋律层次和乐器搭配均展现出极佳的感觉,将歌曲的氛围和情感表现得淋漓尽致。

这次我也选择使用Suno来制作《新入梦令》的曲子,如梦令的诗句内容较短,这次我也保留原作不做歌词的扩展。


4.1 登陆注册

Suno官方网站https://app.suno.ai/

目前有三种方式分别为:Discord、Google Mail、Outlook可选择以下任一方式注册。


4.2 主操作界面

在创造界面的「Custom Mode」自定义模式下,大家可以自主创作歌曲。主要为以下三个部分需要去定制。

Lyrics(歌词)/ Instrumental(没有歌词的纯音乐)

Style of Music(风格)

Title(标题)


4.3 歌词提示词

对于没有乐理知识,不懂音乐的朋友,在歌词和曲风上可能有点摸不清楚,推荐用魔法打败魔法,使用AI聊天工具 ChatGPT、Kimi等,生成你想要的歌词、曲风以及标题。

歌词提示词:在歌曲创作中,歌词的结构通常会有特定的标记来指示不同的部分。以下是歌曲结构中常见的标记及其详细介绍的表格:


4.4 曲风提示词

曲风提示词:歌曲元素表格,这表格可以帮助作曲家和制作人在创作过程中作出选择,以匹配他们想要表达的特定风格、情绪和场景。


4.5 《新如梦令》

接下来,我将李清照的《如梦令》放到歌词(Lyrics)里,按照 Verse(诗歌部分 / 主歌)、Chorus(合唱部分 / 副歌)两部分划分,歌曲风格提示词选择「灵魂乐、人声、仙境、管弦、古筝、中高音」,歌名就叫《新如梦令》。需要注意的是,音乐风格填写英文更易识别。

Prompt :Soul,acoustic, ethereal,Strings,Guzheng,Mid/High pitch(灵魂乐、人声、仙境、管弦、古筝、中高音。


歌词:

Verse:

昨夜雨疏风骤,

浓睡不消残酒。

Chorus:

试问卷帘人,

却道海棠依旧。

知否?知否?

应是绿肥红瘦。


这首 Suno生成的《新如梦令》结合了中国传统乐器古筝和西方管弦乐,女声唱出了淡淡的忧愁,整体歌曲还是很不错的!

由于诗词较短,我没有做扩展所以只有十几秒,后面就是suno自由发挥的副歌部分。我选择前20秒作为《新如梦令》的歌曲,开展分镜的视频制作。


五、 AIGC视频设计步骤

接下来重要的一步,使用AI视频来做古风视频,在AI创作工具中找到「AI视频工具」。


5.1 图生视频

打开后可以看到两种模式,图生视频和文生视频。目前AI视频工具还在内测,这次使用前面生成的分镜图来制作视频,选择「图生视频」来创作。

点击按钮

在主操作界面中,可以选择直接上传图片,把制作的图片上传进来。

查看视频

选择原图默认比例,点击「生成」等待就可以啦。右边可以看到生存的记录。


5.2 生成效果

目前生成为4s视频,可以看到生成的视频中在人物方面运动幅度有些小,在物体运动方面海棠花雨水滴落的效果还是很不错的。


5.3 后期剪辑

把AI生成好的视频和歌曲放到剪辑软件中,把卡帧和模糊的视频剪辑掉,加入歌曲名称和歌词字幕,至此古风诗词《新如梦令》视频设计完成!


5.4 设计步骤总结

回顾整个视频设计流程。

第一步AI绘画工具生成图片:生成主图「新如梦令」,确定提示词,主视觉元素和使用的风格模型。

第二步AI音乐工具生成音效:生成《新如梦令》歌曲。

第三步AI视频工具生成视频:目前生成为4s视频,可以看到生成的视频中在人物方面运动幅度有些小,在物体运动方面海棠花雨水滴落的效果还是很不错的。


六、轻松完成古诗词视频

按照以上步骤轻松完成古诗词视频的设计。看一下《新如梦令》视频效果吧。


结语

AIGC工具发展迅速,开启了人工智能赋能创作的新篇章。

赶紧利用AI绘画和AI视频来设计你的短片吧!操作简单易上手,让你轻松完成。


做了知识库集合网站:https://zsk.ai

希望能给大家带来帮助



Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/168827
 
52 次点击