社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  aigc

我手搓了一个 AIGC 工作台,拉片、Blender、深度、母子素材库、演员 Skill 统统安排!

可爱的小Cherry • 3 周前 • 115 次点击  


自己 DIY 的一个漫剧创作工作台已经完成 60% 了,跑通了从创意到分集、分镜、资产、分镜图的静态素材创作流程。

image.png

这个工作台,我添加了很多有意思的想法。

首先是功能上,整合了创作流程和拉片流程。

创作流程就是我们常用的 AIGC 平台,大体上大差不差。拉片则是把逐帧解析、灰度图、台词解析、台词认领、镜头语言讲解整合在了一起,目的就是可以在拉片过程中解析经典,从而沉淀出更多大师级的运镜和镜头语言。

image.png

比如拉片,就是把经典影片里的场景、动作、人物、台词、提示词、镜头时长、转场、镜头、景别全部解析到一个可视化的页面里,让我可以更直观的看这部戏里的内容。

比如这个经验卡片,就是从拉片中提炼出来的镜头用法。它会告诉 Agent,当剧本涉及到某一个场景时,可以尝试使用这些经验运镜方法,把大师作品的能力复制成我的分镜提示词。

举几个例子:

升降规模:crane up 从争吵拉到全景='个体渺小/命运视角';crane down 反向俯冲='进入压迫'。升降起止各留 1s 静止让观众呼吸。

声音先行入戏: 下一场的声音提前 1~2 秒压在上一场画面上(下页对白/环境声先入),画面再切——J-cut 消除转场断裂感,短剧里最容易学的平滑术。

餐桌戏法宝:餐桌是最强调度道具:围桌而坐天然正反打(对面=对峙、相邻=同盟);关键冲突让人物放下筷子/起身离席;敬酒顺序即权力顺序。白模 set.table 直接支持。

image.png

而深度图,就是之前写的一篇 LibTV 1:1 复刻里的内容,我也在本地利用工具把它调出了一个比较不错的效果,支持用来复刻一些经典的动作戏或者镜头。

image.png

还有逐帧解析,这些帧的目的是用来创作的。

比如我生成了一个短篇,那么逐帧解析出来后,可以作为素材,作为另外一段视频的参考帧或关键帧。

这个也深度融合到创作流程中,不再手动去卡一个帧,折腾来折腾去。

image.png

那么创作环节呢,也有一些不一样的地方。

首先是剧本扩写,可以一段话、一段剧本,把一个故事解析成分集内容。

image.png

然后再从分集里提取分镜。这里我做了一个导演预演包,实际上就是将分镜内容转换成 json 的镜头语言,为后期 Blender 运镜、建模使用。

image.png

不过这块只做了一个很粗的东西,能用,但还是文戏比较多,没适配动作戏。

image.png

资产素材提炼是我最近花了比较大功夫去做的一个能力。

我主要想解决的就是高质量短剧中一致性的问题。

举个例子,我有一个提示词里,讲的是学校门口有三个保安。但是在剧情里,这三个人其实是有一定戏份的,所以为了保持一致性,我对创作三个对应的人物。

image.png

为了解决这个问题,我设计了母子素材、全局引用的能力。我可以在这个素材的提示词中去关联另外一个素材,然后用参考图的方式把这个场景用实际存在的素材去生成出来,这样就可以确保了关键词的一致性。

image.png

再比如同个场景的多个状态,也可以互相映射,确保大场景的一致性。

image.png

以及角色,和这个角色的专属物品、特写物品的高度参考一致性。确保在某些特写镜头里不出错。

image.png

所以这样一来,最大的问题就变成了我对参考图的要求非常高。或者说是我对生图数量有很大的需求。

目前我本地是跑的 z-image-turbo、qwen3-edit 来实现生图、改图。但是放到动漫场景下还说的过去,一旦去真人或者高画质场景,实力明显就不行了。

image.png

所以我还接入了火山的 seedream 5.0 pro,然后 2 天用掉了一个 Agent Plan Medium 套餐的月流量。心疼舍不得了。

image.png

前面说了很多都是废话,然后我就把注意打到了 ChatGPT 网页版上。

大家都知道,GPT 网页端是支持生图的,所以有没有办法让 ChatGPT 网页直接读取我这个工作台里的生图列表,然后帮我直接把图跑出来呢?

答案是有的,只不过目前还需要手动来完成导入的过程。

image.png

我利用 Cloudflare Tunnel 将本地工作台的一个 MCP 服务发布到了互联网端,然后给 ChatGPT 安装了这个 MCP 和对应的生图 Skill。

image.png

通过本地服务,将这个资产列表发布到 MCP 里,然后由 GPT 调用接口,获取参考图、提示来生成图片。

image.png

接着在 ChatGPT 网页端,调用插件、Skill,就可以让 GPT 一次性生成 10 张参考图,然后再用我本地的修改模型去修改,大大提高了效率。

image.png

比如更偏 3D 漫剧风格的图片,比本地模型跑出来的效果好上太多了。这个图片的提示词也都是在我的工作台里输出的,GPT 只是一个无情的生图工具。

image.png

包括动漫风格的内容,产出也是更高清、更高质量。

image.png

最后

这是我当前在玩的一个项目,花了一点时间来做。而且我还加入了一些目前其它平台没见到过的短剧关键节点。

一开始的想法其实就是想自己多深入学习一下经典影片的表达方式和镜头语言,毕竟一个半吊子出家的人,在 AIGC 上真的比不得创意感爆棚的人。

但是吧,我打小时候也曾经是走过艺术的路子的,尤其是画画啥的自我感觉还是有点儿天赋的,甚至高考时候还想着去考美院,奈何老师就是不同意,哎。

所以对 AI 爆发后的艺术创作,我真的是打心眼里儿渴望。

后续这个平台还会继续做下去,不过毕竟是 GPT Plus 用户,很多东西还需要慢慢调整,未来希望有一天可以把这个工具分享给大家~ 我们明天见!

图片

往期推荐:

NAS 玩法:

1️⃣首发评测 | 绿联 NAS 杀疯了,iDX6011 Pro 终上市,把 AI NAS 彻底打通了

2️⃣️开源「即梦」工作台来了,一站式短剧创作,3D导演台、无限画布全搞定

3️⃣国庆旅游,老父亲必备,NAS+WorkBuddy 一键生成「交互式旅游攻略」

4️⃣小米玄戒 AI Cube 之外,另一 NPU 主机, 24G 算力卡 tokens 免费跑

5️⃣NAS观影必备!打通8个网盘,免费下载、刮削、反代,不用硬盘玩「影视」

AI 玩法:

1️⃣终于找到 AI 短剧省钱的邪修用法,剧本一丢,三档直接出剧

2️⃣腾讯文档 + WorkBuddy,腾讯 AI 办公「王炸组合」

3️⃣刘慈欣任顾问,550 万找 AI 导演,RunningHub 开始押注长片了

4️⃣WorkBuddy 装这 15 个 Skill,一周工作 3 小时搞定

5️⃣用免费豆包工作 Agent 搭了一套「影视剧1:1复刻」工作台


Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/201224