社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  Git

又一个神级声音克隆工具,GitHub 暴涨 10.3 万 Star

Java基基 • 10 小时前 • 20 次点击  

👉 这是一个或许对你有用的社群

🐱 一对一交流/面试小册/简历优化/求职解惑,欢迎加入「芋道快速开发平台」知识星球。下面是星球提供的部分资料: 

👉这是一个或许对你有用的开源项目

国产Star破10w的开源项目,前端包括管理后台、微信小程序,后端支持单体、微服务架构

RBAC权限、数据权限、SaaS多租户、商城、支付、审批工作流、大屏报表、ERP、CRM、WMS、MES、HRM、EAM、OA、FMS、PMS、AI大模型、AI工作流、AI Agent、IoT物联网、IM实时聊天等功能:

  • 多模块:https://gitee.com/zhijiantianya/ruoyi-vue-pro
  • 微服务:https://gitee.com/zhijiantianya/yudao-cloud
  • 视频教程:https://doc.iocoder.cn
【国内首批】支持 JDK25 + SpringBoot4、JDK17/21+SpringBoot3、JDK8/11+Spring Boot2三版本 

QUOTE

把声音处理流水线,放回自己的电脑。

VoiceStudio 是个跑在自己电脑上的声音工作台。克隆音色、给视频配音、听写转文字、做有声书,全都本地完成,不注册账号,不用 API Key。

项目九月那会儿三万八,现在已经十万 Star 了。个人开发者 debpalash 维护,前身叫 OmniVoice-Studio,今年四月开源。

— 仓库首页,Star 与许可证

我更愿意把它的定位说准一点。它不是做了个声音克隆的界面,是把一个按字符收费的云端语音服务,整块搬到了 localhost。 连接口都照着那套写,改一行地址就能换过去。

本文看点

01

一台笔记本装下整个录音棚

02

从克隆到有声书,五件事一个界面

03

模型按需装,接口开在本地

01

WORKSPACE

一台笔记本装下整个录音棚

打开就是一张工作台,左边一排功能,右边是当前任务的参数区。

— 默认工作区,左边一排功能入口

它不是单个语音模型,更像个壳子,里面装着十几个合成引擎和十来个识别引擎,默认那个叫 OmniVoice,出自 k2-fsa 团队,官方语言目录覆盖 646 种语言。

装哪个引擎看机器。苹果芯片、英伟达显卡、纯 CPU 都能跑,差别在速度;应用会自己检测显卡,装的时候按需挑。

桌面端三个系统都有包,另外给了 Docker 镜像,扔到服务器上跑也行,手机和平板通过局域网访问同一个工作台。官方的 Pro 和 Cloud 是可选项,不装也能把上面这些活干完。

ruoyi-vue-pro

基于 Spring Boot + MyBatis Plus + Vue & Element & Ant Design 实现的后台管理系统 + 用户小程序,RBAC权限、数据权限、SaaS多租户、商城、支付、审批工作流、大屏报表、ERP、CRM、WMS、MES、HRM、EAM、OA、FMS、PMS、AI大模型、AI工作流、AI Agent、IoT物联网、IM实时聊天等功能

项目地址:https://github.com/YunaiV/ruoyi-vue-pro

视频教程:https://doc.iocoder.cn/video/


02

FEATURES

从克隆到有声书,五件事一个界面

声音克隆 。拖一段干净录音进去,就能复刻出一个音色。官方说 5 到 15 秒最稳,3 秒是下限,能跑但看运气。克隆好的声音存成档案,起个名字,以后生成、配音、有声书都能直接调,不用每次重新喂素材。

— 克隆工作区,拖录音进去就能复刻

有个细节值得说。它基本是照着参考音原样复刻,你喂带混响带底噪的录音,出来的声音也带着混响和底噪。所以素材尽量选单人、近距离、无背景音乐。

声音设计 。没有真人录音也行,用文字描述一个新音色,性别、年龄、口音、音高、语速、情绪都能写进去。做有声书缺配角时,这一条特别省事,写一句「中年男声,语速偏慢,带点沙哑」,出来就能试听。

— 用文字描述一个新音色

视频配音 。视频丢进去或贴个链接,它自己做转录、翻译、区分说话人,再重新配音导出 MP4。多人对话会按说话人分配不同声音,人声和背景音分开处理,原片环境音能留住。视频多的话,批量队列排着跑。

— 视频配音,转录翻译配音一次走完

听写  。全局快捷键,在任何应用里按一下开口说话,说完自动转成文字贴进当前输入框,不用切窗口。

有声书 。EPUB、PDF、长文本都能导,自动分章节,给不同角色分配不同声音,最后导出带章节标记的 m4b。

yudao-cloud

基于 Spring Cloud Alibaba + Gateway + Nacos + RocketMQ + Vue & Element & Ant Design 实现的后台管理系统 + 用户小程序,RBAC权限、数据权限、SaaS多租户、商城、支付、审批工作流、大屏报表、ERP、CRM、WMS、MES、HRM、EAM、OA、FMS、PMS、AI大模型、AI工作流、AI Agent、IoT物联网、IM聊天等功能

项目地址:https://github.com/YunaiV/yudao-cloud

视频教程:https://doc.iocoder.cn/video/


03

MODELS

模型按需装,接口开在本地

模型目录在应用里,装、卸、切换都是点一下,下载支持断点续传,网络断了接着下。显卡好就上大引擎,机器一般换个轻量的,不必一次全下。同一个功能换引擎不用改流程,选完直接重跑。

— 模型目录,装哪个点哪个

对开发者更实用的是它在本地起了一个 OpenAI 兼容的音频接口。原来调云端语音的脚本,把 base_url 指过来就能跑,业务代码几乎不用改。它还带 MCP 服务,能把语音能力接进自己的 Agent 流程。

新加的几样也挺顺手。人声分离把一段混音拆成人声和伴奏,说话人分离能标出多人对话里谁在什么时候说,导出时还能加水印标明是 AI 合成。监听文件夹更省事,往指定目录里丢文件,它自己排队处理完。


04

INSTALL

装之前先看机器

去 Releases 下载对应系统的包,Windows 是 MSI,macOS 是 DMG,Linux 有 AppImage。

— Releases 页面的安装包

也可以从源码启动,先准备好 Git 和 Bun。

···bash

git clone https://github.com/debpalash/VoiceStudio.git

cd VoiceStudio

bun install

cd electron

bun run dev

第一次启动它会自己创建 Python 环境、下载默认模型,这一步要等一阵,看网速和机器。装完先拖一段录音试一次,能出结果就说明整条链路通了。

硬件门槛不算高。最低 8GB 内存、10GB 硬盘能跑起来,建议 16GB 以上;要高保真克隆或者批量配音 ,8GB 以上显存会稳很多。没独显也能玩,选面向 CPU 的轻量引擎就行,接受它慢一点。

硬盘那块要留余量,应用本身不大,占地方的是模型,装三个引擎就是好几个 G,下之前看一眼体积。


05

VERDICT

谁适合装

采访录音、没公开的样片、客户的素材,这类东西本来就不该传到别人服务器上。这是本地处理方案最直接的价值。

做自媒体要批量配音的、整理访谈稿的、给视频做多语言版本的,都能用得上。做有声书的人尤其合适,一本书几十个角色,人工找配音要很久,这里一个下午能排完。

应用本身是 AGPL-3.0,模型权重各有各的许可,商用之前看一眼对应模型那张卡就行。

仓库在 https://github.com/debpalash/VoiceStudio ,官网 voicestudio.sh。

END




欢迎加入我的知识星球,全面提升技术能力。

👉 加入方式,“长按”或“扫描”下方二维码噢:

星球的内容包括:项目实战、面试招聘、源码解析、学习路线。

文章有帮助的话,在看,转发吧。

谢谢支持哟 (*^__^*)

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/203723