GitHub 1.2k Star！开源实时数字人 Agent 框架 CyberVerse：一张照片让数字人真正"活"过来！

CyberVerse 是开源的数字人智能体平台，支持实时视频通话。你可以创建一个能看、能听、能面对面交流的 AI 智能体，体验与真实视频通话无异。

一张照片，让数字人真正「活」起来。

你是否想过拥有一个属于自己的 J.A.R.V.I.S.——能真正看见你、听见你、陪伴你的 AI？

想再次见到思念之人，听见 TA 的声音，看见 TA 对你微笑？

又或者，你一直想把某个角色带到现实世界中？

只需一张照片，CyberVerse 就能让 TA 「活」过来。

CyberVerse 是一个开源的实时数字人 Agent 框架。它基于 WebRTC、人设记忆、工具、RAG 和可选的数字人视频能力，帮助你构建以语音交互为核心的 AI Agent。大概可以理解为openclaw+豆包。 总之通过CyberVerse，仅需一张照片，就可以和任何你喜欢的角色进行实时视频聊天，亦或者创建自己的数字分身，甚至还能指挥ta帮你干一点活。

unset unset相关链接unsetunset

• 代码：https://github.com/Lynpoint/CyberVerse

unsetunset功能特性unset unset

实时语音 Agent

语音是 CyberVerse 的默认交互方式，面向低延迟、可长时间进行的实时对话。用户可以通过麦克风与 Agent 连续交流，在模型说话时随时打断，也可以在同一轮会话中混合使用语音和文本输入。

每个角色可单独配置声线、欢迎语与人格设定，并支持语音克隆。对话过程中支持会话中断与恢复；将 inference.avatar.enabled 设为 false 时，平台会以纯语音模式运行，只发布音频流，无需本地 Avatar GPU，核心语音体验保持不变。

基于 WebRTC 的音视频

会话链路基于 WebRTC 构建，可按部署场景选择直连 P2P（内嵌 TURN / NAT 穿透）或 LiveKit SFU 模式，兼顾低延迟与复杂网络环境下的连通性。

在 standard 模式及受支持的 omni 会话中，Agent 还可以接收用户摄像头画面或屏幕共享帧作为视觉输入，实现「能听、能看」的面对面式交互，而不局限于纯文本上下文。

PersonaAgent + SubAgent 任务

CyberVerse 采用multi-agent架构：PersonaAgent 始终驻守前台，负责与用户保持流畅对话、快速响应打断和上下文切换；搜索、调研、资料整理、总结以及 HTML 报告生成等耗时工作则交给后台 SubAgent 异步执行。

这样复杂任务不会拖慢语音回合，用户可以继续说话、追问或调整方向，待 SubAgent 完成后再把结果回传给前台对话。

角色记忆与 RAG

每个角色的会话历史会持久化到本地磁盘，重新进入对话时会自动加载，保证跨会话的连续感。你还可以为角色导入知识库、文档和人物生平类素材，系统会建立索引并用于检索增强生成，让回答更贴合角色背景与设定。

可选数字人视频

当你具备 GPU 资源并希望 Agent「可见」时，可开启 avatar inference：只需一张角色参考图，即可通过 FlashHead、LiveAct 等可配置后端驱动实时面部动画、口型同步，并在不说话时播放缓存的待机视频。没有 GPU 或暂时不需要视频时，关闭该能力即可退回纯语音 Agent，同一套角色与人设配置仍可继续使用。

插件化技术栈

大脑、声音、听觉、工具、记忆和面孔均为可替换模块。你可以通过 cyberverse_config.yaml 组合 omni 模型、LLM、TTS、ASR、Embedding、RAG、工具调用与 Avatar 后端，并在 Web UI 的 /settings 中配置不同厂商的 API Key 与服务端点，按场景自由切换供应商与模型组合。

unsetunset快速开始unsetunset

环境要求

Node 18+
Go 1.25（需 protoc-gen-go、protoc-gen-go-grpc）
Conda Python 3.10+
FFmpeg, libopus-dev, libopusfile-dev, libsoxr-dev

启动步骤

# 1. 克隆仓库
git clone https://github.com/dsd2077/CyberVerse.git
cd CyberVerse

# 2. 创建环境
conda create -n cyberverse python=3.10
conda activate cyberverse

# 3. 配置API Key（编辑.env填入阿里云/火山引擎等Key）
cp infra/.env.example .env

# 4. 创建本地配置（纯语音模式）
cp infra/cyberverse_config.example.yaml cyberverse_config.yaml
# 编辑：inference.avatar.enabled: false

# 5. 安装依赖
make setup
pip install -e ".[all]"

# 6. 启动（3个终端）
# 终端1：Python推理服务
conda activate cyberverse
make inference

# 终端2：Go API服务
make server

# 终端3：前端
make frontend

# 7. 访问 http://localhost:5173

数字人视频模式（可选）

额外要求：CUDA 12.8+ GPU、PyTorch 2.8、FFmpeg（含libvpx）

# 安装FlashHead模型
pip install "huggingface_hub[cli]"
hf download Soul-AILab/SoulX-FlashHead-1_3B --local-dir ./checkpoints/SoulX-FlashHead-1_3B
hf download facebook/wav2vec2-base-960h --local-dir ./checkpoints/wav2vec2-base-960h

unsetunset结论unsetunset

CyberVerse 补齐了传统数字人项目的短板，将实时音视频通话、图片驱动虚拟形象、大模型 Agent 任务能力三者完整融合。分层智能体架构平衡交互流畅度与复杂计算需求，双模型方案覆盖高低配硬件，插件化设计大幅降低二次开发成本。无论是个人搭建专属 AI 助手、企业客服数字人、虚拟直播角色，还是教学陪伴型虚拟形象，都能基于这套开源框架快速落地。完整中文部署文档、性能调优方案与开源协议，也让中小团队无需从零搭建底层音视频与多模态交互链路，推动实时交互式数字人走向轻量化、可自主部署普及阶段。