Py学习  »  aigc

快手可灵终于用上了,我们和国内首部 AIGC 奇幻短剧导演聊了聊:AI 视频不再是动态 PPT

AppSo • 1 周前 • 21 次点击  

最近,AI 生成视频以意想不到的方式刷屏国内外的社交媒体:「复活」名画、爆改表情包、「修复」老照片......
多半离不开一个国产 AI——快手旗下的可灵。
前两天,可灵又进行了一次重磅更新,不仅有了网页版,还有了更多可控的新功能。
刚结束不久的上海世界人工智能大会上,快手提到:可灵超 50 万人申请,已开放给超 30 万用户使用。
国内用户等通过,海外网友也在评论区追问:什么时候支持英语?什么时候支持其他国家的电话号码?什么时候给我访问权限?
而我们想问的是,除了「表情包神器」,可灵还能是什么?
「表情包神器」网页版上新!更可控、更高清、更好玩
先来看看可灵的具体更新细节。
7 月 6 日,可灵上线了网页版,同时支持文生视频和图生视频,并带来了更多新功能:高表现模式、首尾帧控制、运镜控制、更长的单次视频生成时长。
高表现模式,比起高性能模式,画面质量更佳,不过每天只能生成 3 次。
高表现模式生成的视频,甚至可以比原图更高清。
当我们上传「强颜欢笑老爷爷」表情包,输入提示词「老爷爷拿起杯子喝茶」,选择高表现模式,AI 不仅让老爷爷喝上了茶,人的清晰度也从 360P 到 480P 了。
然后到首尾帧控制,可以理解为,上传两张图,AI 补全中间的运动过程。
我们选择了两张高司令的剧照,一张出自《芭比》,一张出自《爱乐之城》,风格相差较大,但主体是同一个人,且构图类似,没给提示词,全凭 AI 发挥创意,怎么把这两张图联系起来。
结果,AI 理解的方式和我们不一样,转场不是根据人,而是根据场景来的,给《芭比》的图片补充了类似《爱乐之城》的背景植物,两个高司令的表情也做了过渡。
这个一秒变脸真的很好笑!
接下来是运镜控制,用户可以指定水平、垂直、拉远、推进等运动方式,但只在文生视频时可选择。
我们采取了控制变量法,使用的基本提示词如下:「一个身穿红色连衣裙、戴墨镜的短发女人,正走在东京夜晚的街道上。镜头从地面开始,逐渐上移,聚焦到她的面部。」
只用提示词,没有设置运镜,镜头上移的感觉不太明显。
没有设置运镜
相同的提示词,再加上运镜方式里的「大师运镜:推进上移」,运镜是更好了,但顾此失彼,人体也更怪异了,而且没有符合提示词里的「走」。
设置了推进上移运镜
至于更长的单次视频时长,就比较好理解了,从 5 秒延长到了 10 秒,可以再结合视频延长功能使用。
好消息是,只要有体验资格,所有功能限时免费。
坏消息是,有些功能无法兼顾,比如,图生视频暂不支持运镜控制和生成 10 秒,高性能模式暂不支持生成 10 秒,生成 10 秒时暂不支持运镜控制......
但总体来说,可灵有了网页端之后,创作变得更方便了,功能也比 app 更多了。如果是在手机上,暂不支持首尾帧控制和运镜控制。
可以看出,快手做 AI 的方向很明确,不像 Sora 那样拿 Demo 画饼,让大众用起来,找到 AI 与生活的结合点,才是更有温度也更落地的。接下来,又可以期待一波船新的爆改表情包。
AI 短剧导演:AI 视频不再是动态 PPT 了
「好玩」「生成速度比较快」,是普通用户对于可灵的第一印象。
但对于专业的人来说,可灵是实用的创作工具吗?为了听到行业内部的声音,我们找到了一位 AI 创作者:闲人一坤。
他身上兼具两个身份。
20 多年前,他入行传统影视行业,担任过《这就是街舞》总监制、《跨界冰雪王》执行总导演。
从 2023 年下半年开始,他成为狂热的 AI 玩家,是 PixVerse、Runway、Pika 超级合作者,也是最早使用可灵的一批人。
他的团队和可灵合作的国内首部 AIGC 原创奇幻短剧《山海奇镜之劈波斩浪》,以《山海经》为蓝本,7 月 6 日发布了预告片,正片也即将发布。
在这个等待开花结果的时间点,我们和他聊了聊,关于 AI 短剧的创作过程、AI 影视制作和传统影视制作的区别,以及那些人类无法被 AI 替代的地方。
Q:为什么选择用 AI 制作玄幻题材?
A:AI 影视在发展的前期,能和传统影视 PK 的地方,一定是传统影视当中的痛点。我认为两个赛道有痛点,一个是玄幻,一个是科幻,都需要大量的资金投入和后期制作。AI 可以把这两个方面都缩减。
如果说,AI 缩短了 2/3 的制作周期,成本缩减到原来的 1/4,达到原来效果的百分之七八十,那么它就会变成一个可选项。但我拿 AI 做类似《人世间》的作品,就是用 AI 影视的短板挑战传统影视的长板。
为什么我没选科幻?科幻仍然需要一定的理解成本,但哪怕是农村的老人,你和他说孙悟空是从石头里蹦出来的,他也会很欣然地认同。玄幻根植在我们文化的基因当中,不需要解释,所以我一开始会选择这个赛道。
Q:《山海奇镜之劈波斩浪》的制作过程和工期?
A:文生图的阶段用的是 Midjourney,图生视频的阶段基本都用可灵,音乐也是 AI 做的,剪辑没有 AI 的参与,走传统的流程,用 Final Cut 剪,不是说一个 AI 就全都解决了
可灵没有出来之前,我们用其他 AI 工具完成了一版预告片,但和可灵团队沟通了之后,又在图片到视频的阶段进行了重制。
《山海奇镜之劈波斩浪》 2 分半左右一集,5 集是一个系列故事,加起来十多分钟。在这个体量下,光是重制,包括剪辑,花了 10 天左右的时间,算是非常非常快的了
Q:基本都是图生视频吗?
A:我们所有商业化交付的片子,几乎全都是图生视频,因为文生视频还做不到,包括可灵的技术也不行。
文生视频没有镜头和镜头之间的连续,比如眼睛的大小,你不通过图片,直接文字到视频,是控制不了的。
AI 生成的原理,就是一个黑盒,不是白盒。
什么是白盒?照相机能通过控制光圈、快门、白平衡,达到高度可控的画面效果,我能控制所有的元素。但黑盒,我们现在常说的一个词是「抽卡」,图片阶段我们尽量做到人物的一致性,然后在图片驱动视频的阶段再去选择,最后出来的一致性效果比较好。
某些卖课的不良商家吹嘘什么一句话就当导演,它其实是不存在的,没那么简单。如果真这么简单,我们就算诈骗了。
Q:创作人员还是按照一个传统的剧组来安排吗?
A:远远没有那么多人。以前玄幻题材的这么一个片子,100 人可能是比较轻松的人数,但我们现在也就十多个人,少了 10 倍了。单纯看降本增效的话,是非常非常明显的
Q:刚才说到剪辑还是人工,剪辑花的时间占比有多少?
A:还是比较长的。我觉得在影视制作当中,目前还有很多的环节是不可以被 AI 化的。
比如剧本的创作、后期的剪辑、影视化表演类型的配音,短时间内都不会被取代掉。还有一个,整个链条最后被取代的工种——导演,像我这样的,掌控全局的人,生发想法的人。这几个工种,涉及到很多人类的主观创作
光是《山海奇镜之劈波斩浪》的本子,我就磨了近两个月,当时其实还没有确定部署平台,快手找到我们,一个是看到我们有制作能力,一个是剧本已经 ready 了。那时候 Sora 刚发布,炒得比较热,各家都在寻找,谁有这样的能力,谁能做这件事情。
闲人一坤团队今年 1 月的 AI 概念片
我们在抖音、快手可以看到很多 AI 配音,但它只适合简单的短视频,没有什么情绪,或者单纯的搞笑,一旦涉及到人物表演,那就很难了。
剪辑也是一样的,剪一个访谈,谁说话剪谁,现在有很多 AI 剪辑软件可以实现。但是当你需要去捋一条故事线,当你需要去面临很多选择,就不是一个严格的 1+1=2 的过程。你把一个片子给两个剪辑师,剪出来的东西一定是不一样的,没有标准答案。
Q:假设出现可能替代人类剪辑师的 AI 了,你愿意尝试吗?
A:会啊。当然会尝试。我并不排斥,所有的新技术我一定都会先去尝试。之前我们的 AI 片子是真人配乐,这次就已经是 AI 配乐了。但凡能够达到我的要求,我一定会用 AI,不用 AI,是因为还达不到我的要求
Q:从目前来看,传统影视和 AI 影视的总体差别是怎样的?
A:AI 影视在资金投入体量、制作周期方面,一定会有优势。
目前,AI 影视远远没有达到或者超过传统影视的效果。现在任何一个可灵生成的视频,给我足够多的钱和时间,我都可以通过传统影视复现,但传统影视的很多镜头和效果,在可灵当中不一定能够复现
之前在传统影视,我们做过一个虚拟的场景,是在空中漂浮的一个岛,光做这一个岛,一家大的电影特效公司给我们做了大概两个月。但从另一个角度去评判,这个岛可以实现任意角度的拍摄,怎样都不会穿帮,可以实现一年四季的各种变化,上面还可以有各种花木,调整的空间非常大。
所以,AI 可能可以达到传统影视百分之七八十的效果,准确性和一致性没有那么高,但是对效率的提升和成本的降低是巨大的。
Q:你在发布《山海奇镜之劈波斩浪》预告片时写道,这个片子不再是动态 PPT 了,为什么这么说?
A:之前我们看 AI 视频,为什么觉得像动态 PPT?因为人物动作、幅度、流畅性都会有问题,像慢动作一样,微微地动,这是所有 AI 视频工具都有的问题。
可灵的运动幅度、运动合理性、人物推理,都不再是简单的二维动作,而是整体的三维推演
比如,《山海奇镜之劈波斩浪》预告片有个非常标志性的镜头,片尾时水神共工从山里挣脱而出,然后站起来,用别的软件是比较难生成出来的。
Q:AI 生成视频工具似乎存在共识,可灵的首尾帧控制,Luma 之前也推出了,可灵的运镜控制,Runway 去年就有,都是让生成过程更可控,未来,AI 生成视频还会怎么发展?
A:一定是更加可控、更加精准
一个是镜头运动的控制,拿可灵当前的版本来说,希望能够更快开放图生视频的运镜控制,文生视频已经有了。
还有一个是画面内的控制,Pixverse 有 Magic Brush, Runway 有 Motion Brush,一个是画箭头,一个是设置 xyz 轴的参数,笔刷圈定画面当中的某个区域,告诉大模型希望它能够怎样运动,但现在可灵只能通过提示词控制。
比如树上有三只小鸟,左边的向左转头,中间的向上抬头,右边的向右转头,用提示词控制的话,不能那么精准,但用 Magic Brush 或者 Motion Brush,相对比较容易实现。
体验过可灵,以及和创作者交流过,我们能够比较明显地感觉到,目前的 AI 工具纵然不完美,但已经能够作为工作流的一部分。
最近,有一个 MV 在 X 很火,人物的一致性保持得极好,甚至有网友怀疑:不像是 AI 做的。

创作者 X@Arata_Fukoe 列出了以下工具,然后谦虚地说人物颗粒感还是有些明显。
音乐:ChatGPT、Suno AI
视频:Dream Machine、Runway Gen-3、可灵
图片:Midjourney、Stable Diffusion
剪辑:Ps、Ae
不神化 AI,不抗拒 AI,思考如何使用 AI。在 AI 面前,人类的审美、剪辑、创意,仍然闪闪发光。
创作者会评判,这个用 AI 完成的部分,能不能达到自己的要求。而作为观众,我们也能够直观地感觉到,作品背后的人,是否有热情地把 AI 作为工具,传达他的信念和追求



Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/172072
 
21 次点击