企业官网建设流程全解析

Metahuman-Stream 快速上手：如何把文字变成实时数字人直播流

【免费下载链接】metahuman-streamReal time interactive streaming digital human项目地址: https://gitcode.com/GitHub_Trending/me/metahuman-stream

Metahuman-Stream 是一个实时流式数字人系统：给它一段文字或一个音频，它会合成语音、驱动虚拟人开口说话，并通过 WebRTC、RTMP 或虚拟摄像头把画面推出去，全程延迟低到可以直接跟人对话。这篇上手指南带你从一台空机器跑到推流成功，讲清原理、四个核心能力和最常见的坑。

不开摄像头不录播：你省下的是 24 小时直播的人力

做数字人内容，最费劲的从来不是"生成一段视频"，而是"让它一直播、还能互动"。传统做法是提前录好一段数字人视频，循环播放，观众问什么它都答不上来；想换内容就得重录。

Metahuman-Stream 走的是另一条路：文字或语音进来，几秒内变成带口型的实时视频流。你可以拿它做无人值守的直播间（配合 LLM 自动生成话术）、可以当 AI 客服（用户语音提问、数字人实时回答、还能打断重说）、也可以用 API 批量生成数字人出镜的短视频，不用真人拍摄。

它支持的能力包括：多种数字人模型、声音克隆、说话被打断、全身视频拼接、WebRTC / RTMP / 虚拟摄像头三种输出、动作编排（不说话时播放自定义视频）、多并发，以及自定义数字人形象。

原理速览：一句话看懂它是怎么工作的

整条链路可以压缩成一句话：文字/音频 →（可选 LLM 改写）→ TTS 合成语音 → 提取音频特征 → 口型模型逐帧推理 → 贴回高清原视频 → 推流。

你不需要理解每个环节怎么算的，只需要知道每一段都模块化、可替换——TTS 换一种、模型换一种、推流方式换一种，都只是换个参数的事。下面这张数据流图就是整条链路的展开：

从零跑通：最快多久能出画面

环境要求不苛刻：Linux / Windows / macOS 都行，Python 3.10 以上，有独显的机器体验最好。

第一步，克隆仓库并安装依赖，两条命令的事：

git clone https://gitcode.com/GitHub_Trending/me/metahuman-stream cd metahuman-stream && pip install -r requirements.txt

如果显卡驱动是 CUDA 12.8，顺手装好对应版本的 PyTorch 即可；版本对不上就按 PyTorch 官网选一个匹配 CUDA 的版本，这是新手卡得最多的地方。

第二步，把预训练模型放进models/目录，数字人形象素材放进data/avatars/目录。这一步主要是下载耗时，模型文件不算小，网络一般的话预留半小时。

第三步，启动服务：

python app.py --transport webrtc --model wav2lip --avatar_id wav2lip256_avatar1

启动后浏览器打开http://服务器IP:8010/index.html，点击"开始连接"，在文本框里输入一句话，数字人就开始说。如果你用的是现成的 GPU 实例（省去装环境的时间），从启动到出画面通常 2 分钟内能搞定；从零装环境算上下载模型，一般 1 小时内能跑通。

控制台页面上已经内置了 WebRTC 连接、文本驱动、音频驱动、录制控制几个区块，右侧还能直接选参考音频做声音克隆，调试起来不用额外写代码。

核心能力拆解：四个模块各管一段

语音模块：9 种 TTS 引擎任选

输入的文字先变成语音。系统内置 edge-tts 作为默认引擎（免配置、直接能用），同时预留了 GPT-SoVITS、CosyVoice、Azure、腾讯、豆包、QwenTTS、OmniTTS、XTTS 等接入位置，代码都在tts/目录下。想要更自然的音色或克隆你自己的声音，在config.yaml里把tts字段换一下，再填参考音频和参考文本即可——这是整套系统里性价比最高的一次改动。

口型模块：3 款模型，按显卡选

音频特征出来后，由口型模型逐帧生成数字人画面。内置三档选择：

• wav2lip：最省显存，RTX 3060 就能跑到 60 FPS，入门首选
• musetalk：画质更好，RTX 3080Ti 上约 42 FPS，RTX 4090 上约 72 FPS，需要 3080Ti 起步
• ultralight：轻量级方案，主打低配环境

模型结构本身也有讲究，比如下图这个 ernerf 系架构：三平面哈希表示加区域注意力模块负责头部合成，自适应姿态编码处理躯干，音频和眨眼信号一起喂进网络，口型、表情、眨眼是同时出来的：

推理时只重绘口型区域，再把结果平滑贴回原始高清视频，所以最终画面不会糊。

推流模块：同一路画面，三种出口

生成好的视频流由streamout/目录下的三个输出器负责发出去：

• WebRTC：浏览器直接看，延迟最低，适合对话场景
• RTMP：标准直播协议，推 B 站、YouTube 这类平台，在 推流配置页 填推流地址和流密钥即可
• 虚拟摄像头：把数字人变成系统里的一个摄像头设备，OBS、Zoom、腾讯会议都能直接"看到"它

换出口不用改代码，启动命令加一个--transport参数就行。

交互模块：LLM 对话 + 语音识别

默认 LLM 走 DashScope（Qwen-Plus），也可以换成任何 OpenAI 兼容网关，配置在 llm.py 的 provider 列表里。文字进、语音出是基本盘；如果再加上server/asr_server.py里的语音识别服务，就变成"你说、它听、它答"的全双工对话，还支持说话中被打断——用户一开口，数字人立刻停下当前内容，这在客服场景里很关键。

进阶玩法：四个方向把效果再往上抬

压性能。判断"到底实时不实时"，别看感觉，看后端日志里的两个数字：inferfps（GPU 推理帧率）和finalfps（最终推流帧率），两者都 ≥25 才算实时。GPU 决定"多少人能同时说话"，CPU 决定"能挂多少路连接"（每路视频压缩都耗 CPU），规划并发时两条都要算。

声音克隆。给一份 16kHz 单声道的参考 wav 加对应文本，数字人就能用你的声音说话，适合企业培训、个人 IP 这类需要统一音色的场景。

动作编排。数字人不说话的时间最长，这段时间可以配置播放自定义视频（比如挥手、待机动画），让它"待机时也有内容"，配置入口在config.yaml的customvideo_config字段。

虚拟摄像头联动。--transport virtualcam模式在后台渲染、不依赖浏览器，配一个 OBS 虚拟摄像头就能把数字人接进会议软件，参考 虚拟摄像头指南：

定制形象。不想用默认形象的话，打开/avatar.html页面上传一段自己的视频，系统会自动训练出你的专属数字人形象，任务进度也能在页面上查。

避坑清单：遇到问题先对照这 6 条

另外两个容易忽略的点：WebRTC 模式需要服务端开放 TCP 8010 和 UDP 端口段，端口不通时浏览器会一直转圈连不上；自训的 wav2lip 模型如果报维度不匹配，多半是训练时没用 wav2vec 提取音频特征，按官方训练参数重新提一次特征即可。

写在最后

把 Metahuman-Stream 跑起来，门槛在装环境和下模型，跑起来之后的事反而简单：换 TTS 是改一个配置项，换推流方式是改一个启动参数，换形象是上传一段视频。从"文字进、直播流出"到"能说会答的 AI 客服"，中间只需要你按上面清单把对应模块接上。先拿 wav2lip + edge-tts 这条最轻的组合跑通第一路流，再决定要不要升级模型和加对话能力，是成本最低的路线。

【免费下载链接】metahuman-streamReal time interactive streaming digital human项目地址: https://gitcode.com/GitHub_Trending/me/metahuman-stream