Py学习  »  Git

GitHub 2.9万 Star!阿里这个开源项目,输入一句话就能全自动出视频

芋道源码 • 2 天前 • 62 次点击  

👉 这是一个或许对你有用的社群

🐱 一对一交流/面试小册/简历优化/求职解惑,欢迎加入「芋道快速开发平台」知识星球。下面是星球提供的部分资料: 

👉这是一个或许对你有用的开源项目

国产Star破10w的开源项目,前端包括管理后台、微信小程序,后端支持单体、微服务架构

RBAC权限、数据权限、SaaS多租户、商城、支付、审批工作流、大屏报表、ERP、CRM、WMS、MES、EAM、HRM、OA、FMS、PMS、AI大模型、AI工作流、AI Agent、IoT物联网、IM实时聊天等功能:

  • 多模块:https://gitee.com/zhijiantianya/ruoyi-vue-pro
  • 微服务:https://gitee.com/zhijiantianya/yudao-cloud
  • 视频教程:https://doc.iocoder.cn
【国内首批】支持 JDK25 + SpringBoot4、JDK17/21+SpringBoot3、JDK8/11+Spring Boot2三版本 

QUOTE

把做视频,拆成可以单独优化的工位。

输入一个主题,它自动写完文案、生成配图或视频片段、合成语音、加上 BGM,吐出一个成品视频。

不用会剪辑,不用写脚本。没显卡可以直接走云端 API,有显卡全套跑本地一分钱不花。

这是 Pixelle-Video,阿里国际 AI 团队做的,Apache 2.0 开源,现在两万九千多 Star。

— 仓库首页实时截图,Star 与 Fork 计数同时可见

本文看点

01

它自己不生成任何东西

02

文案、配图、配音,每一环都能换

03

模板和几个后加的模块

01

PIPELINE

它自己不生成任何东西

先把定位说清楚,不然容易误会。

它不是 Runway 那类产品。它自己一个像素都不生成,一个字的文案也不写。

它干的事是把别人家的模型串起来。LLM 写文案,丢给 ComfyUI 或者 Seedream 出图,再丢给 Edge-TTS 念稿,最后 ffmpeg 合成,套一层 HTML 模板。

— 四步流水线,从文案到成片

四步,文案生成、配图规划、逐帧处理、视频合成。

这个定位决定了它的两个特点。好消息是每一环都能换,画质不行换图模型,文案太烂换 LLM,声音不喜欢换 TTS 工作流,不用赌一个模型把所有事都做好。坏消息是每一环的质量都得你自己负责,它只保证流程跑通。

说得再直白点,它把「做视频」这件事拆成了四个可以单独优化的工位。以前你用一个一体化工具,出片难看只能整个换掉;现在你能看出是哪一环拖后腿,只换那一环。这个差别在长期使用里会越来越明显,因为好的模型和便宜的工具总在变,而流水线的结构不用变。

它自己什么也不生成,它的全部本事在于安排谁在哪一步干活。

ruoyi-vue-pro

基于 Spring Boot + MyBatis Plus + Vue & Element & Ant Design 实现的后台管理系统 + 用户小程序,RBAC权限、数据权限、SaaS多租户、商城、支付、审批工作流、大屏报表、ERP、CRM、WMS、MES、HRM、EAM、OA、FMS、PMS、AI大模型、AI工作流、AI Agent、IoT物联网、IM实时聊天等功能

项目地址:https://github.com/YunaiV/ruoyi-vue-pro

视频教程:https://doc.iocoder.cn/video/


02

MODELS

文案、配图、配音,每一环都能换

界面是 Streamlit 搭的,灰底白框,三栏。左边输入,中间调参数,右边预览。

— Web UI,三栏布局

文案这一环 ,在左侧敲一句主题,比如「为什么我们还没有找到外星文明」,点生成,LLM 吐一段解说词。GPT-4o、通义千问、DeepSeek、Ollama 本地模型都能接,下拉选完自动填好 base_url 和 model,自己搭的私有 API 也能填。不想让 AI 写就切到固定文案模式,把现成稿子贴进去。

这一环的实际差别比想象中大。同一个主题,有的模型给你一段能直接念的解说词,有的给你一段像产品说明书的文字。作者的实测感受是前者更自然、后者偏书面,但都不至于不能用。如果你的内容有固定语气,比如一直用某种口吻讲话,固定文案模式反而更省事。

配图这一环 ,是整套东西里选择空间最大的地方,三条路。ComfyUI 工作流本地跑,默认带一个 image_flux.json,自己写的丢进 workflows 文件夹就行。RunningHub 挂云端,本地不用显卡,按量付钱,支持并行和并发配置。直连 API 最省事,把 DashScope、OpenAI、Seedream、Seedance、Kling 的 Key 一填,画图生视频直接调,ComfyUI 都不用装。

这三条路不互斥。文案走 Ollama 本地、配图走 Seedream API、语音走免费的 Edge-TTS,这种拼积木的组合才是它跟一键出片工具真正拉开差距的地方。

怎么选其实看两件事。一是你手上有没有能跑 ComfyUI 的显卡,二是你出片的频率。偶尔做一条,直连 API 最省事,Key 填完就能用。天天要出好几条,本地方案的一次性折腾会在两周内回本。介于两者之间的,用 RunningHub 这种按量付费的云端工作流,不占本地资源也不用一次投入。

还有一个容易被忽略的细节。配图风格靠 prompt prefix 统一,在视觉设置里填一句英文风格描述,所有分镜都沿用。不然第一条是油画风第二条是日漫风,长视频直接废掉。

语音这一环 ,Edge-TTS 免费用,多语言支持,效果不差。Index-TTS 能做声音克隆,传一段参考音频,它复刻那个声音来念解说词。

yudao-cloud

基于 Spring Cloud Alibaba + Gateway + Nacos + RocketMQ + Vue & Element & Ant Design 实现的后台管理系统 + 用户小程序,RBAC权限、数据权限、SaaS多租户、商城、支付、审批工作流、大屏报表、ERP、CRM、WMS、MES、HRM、EAM、OA、FMS、PMS、AI大模型、AI工作流、AI Agent、IoT物联网、IM聊天等功能

项目地址:https://github.com/YunaiV/yudao-cloud

视频教程:https://doc.iocoder.cn/video/


03

TEMPLATES

模板和几个后加的模块

模板分三种前缀。static_ 开头是纯文字排版,image_ 开头是 AI 生成的图当背景叠文字,video_ 开头是 AI 视频片段当背景。竖屏横屏方形都有。

会写 HTML 的人可以在 templates 文件夹里自己改,字号颜色位置动画全都能调。这是整套流水线上唯一能做出差异化的地方,默认模板的美术说实话偏工具感,要做出小红书那种精致程度,得自己磨 prompt prefix 或者干脆重写模板。

反过来说,如果你做的是系列内容,模板恰恰是最值得投入的地方。定一套固定版式,每期只换文案和配图,观众刷到第三期就能认出是你。这件事用剪映做要一遍遍手动对齐,用 HTML 模板做是一次写好、之后自动复用。

今年初开始还塞了几个模块进来。数字人口播,上传一张人像图和文案,数字人对着镜头念,韩语日语都支持。图生视频,一张静态图让它动起来。动作迁移,传一段参考视频和一张图片,把视频里的动作迁移到图片上。还有自定义素材,上传自己的照片和视频,AI 分析完自动生成脚本再合成。


04

INSTALL

装起来分两种情况

Windows 最省事。去 Releases 页面下整合包,解压,双击 start.bat,浏览器自动打开本地的 8501 端口。Python、ffmpeg 全在包里,什么都不用装。

macOS 和 Linux 从源码跑,先装 uv 和 ffmpeg。

···bash

git clone https://github.com/AIDC-AI/Pixelle-Video.git

cd Pixelle-Video

uv run streamlit run web/app.py

跑起来之后先别急着输入主题。左侧那个「系统配置」面板上标着必需两个字,LLM 的 API Key 和图像方案不填完,后面的生成按钮不会亮。填好保存,再回到左边输入主题点生成,等几分钟完事。

花钱上有三档,丰俭由人。

完全免费是 Ollama 加 ComfyUI 加 Edge-TTS 加内置 BGM,零成本,但要有一张能跑 ComfyUI 的卡,8G 显存起步。

低成本走通义千问 API,三段视频大概 0.01 到 0.05 元。三分钟的短片,API 费不到一毛,这个量级基本可以忽略不计。

全套云端是 OpenAI 加 RunningHub,不挑设备,笔记本都能跑,但费用猛长,适合对画面质量要求很高的人。

三档的差别不在工具本身,在你的出片频率和手上的硬件。偶尔做一条,走云端最划算;天天要出,本地方案的一次性投入很快就摊回来。


05

VERDICT

它适合谁

换个角度看,它省的不只是剪辑时间。它把选题到成片之间那些反复试错的环节,压成了一次配置。你调好一套组合、定好一套模板,之后每条视频都是同一套流程在跑,不用每次重新想。

但 GPU 永远是硬伤,生图和生视频吃显存,它只是个装配工,解决不了这件事。默认模板和默认工作流的审美也就是及格水平,出品好不好看全看你肯不肯花时间调。

但对不需要特别精美的场景,比如做视频教程、内部分享课程、给产品做个演示片,这东西非常合适。你只要把主题想清楚,剩下的它跑。

判断标准可以很简单。如果你的视频靠信息量取胜,画面只要干净不出戏,它够用。如果你的视频靠画面质感取胜,每一帧都要经得起截屏,那它给你的只是个起点,后面还有大量手工活。

开源地址是 https://github.com/AIDC-AI/Pixelle-Video,Apache 2.0。

END




欢迎加入我的知识星球,全面提升技术能力。

👉 加入方式,“ 长按”或“扫描”下方二维码噢:

星球的内容包括:项目实战、面试招聘、源码解析、学习路线。

文章有帮助的话,在看,转发吧。

谢谢支持哟 (*^__^*)

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/203127