【免费下载链接】tongflow
Modality-First GenAI Platform
今天带你用开源平台 TongFlow 搭建一条数字人口播工作流:在画布上把几个节点拖拽连线,就能从一句主题自动生成口型同步的口播视频,全程无需剪辑软件。下面按「认识平台 → 安装配置 → 搭节点 → 选插件 → 运行排错」五步走,零基础也能完成。
一、为什么 TongFlow 适合做数字人口播?
TongFlow 是一个「Modality-First(模态优先)」的开源 AIGC 工作流平台:文字、图像、音频、视频都被当作材料,通过「添加、转换、组合、拆分」四种节点连接起来。每一步的产出都留在画布上,可以直接喂给下一个节点继续加工。
对数字人口播场景来说,正好可以拆成两条支线再汇合:
| 支线 | 节点链 | 产出 |
|---|---|---|
| 🔊 声音线 | 主题文本 → 生成文案 → 合成语音 | 口播配音音频 |
| 🎨 形象线 | 人物描述 → 生成图片 | 数字人形象图 |
| 🎬 汇合线 | 音频 + 图片 → 对口型 | 口播视频 |
核心思路:先确定「每一步做什么」(能力),再决定「交给哪个模型做」(插件)。换插件时,画布结构原样保留。
二、快速安装 TongFlow
TongFlow 有三种用法,共用同一个开源内核:
- 云版:安装桌面版(macOS / Windows),登录即可开始创作,插件与执行由云端托管;
- 自托管:用 Docker 或从源代码启动,完全本地、无需账号;
- 与 Agent 一起构建:在支持 MCP 的 Agent 里直接生成工作流。
这里以 Docker 自托管为例,一条命令启动:
docker run -d -p 127.0.0.1:3000:3000 \ -v tongflow-data:/data -v tongflow-plugins:/plugins \ ghcr.io/tong-io/tongflow:latest启动后浏览器打开http://localhost:3000,画布即刻就绪。更多方式见 docs/README_ZH.md。
装好「数字人工作流」需要做的 3 件事
- 安装插件:打开右上角「积木」图标的插件管理器,按需安装(后文第五节有清单),装完即生效,无需重启;
- 配置凭据:打开右上角「齿轮」图标的 Settings,填入插件需要的环境变量(如
MODAL_TOKEN_ID/MODAL_TOKEN_SECRET,用于运行 GPU 插件,每月有免费 GPU 额度可用); - 试运行:画布预载了一条示例工作流,可先跑通熟悉节点操作。官方示例文件可参考 public/example.json。
三、工作流设计:先搭节点,再填内容
建议在「创作模式」下按下面的链路摆放节点:
添加文本(主题) → 文本生成(写文案) → 生成语音(口播音频) ↘ 添加文本(人物描述) → 生成图片(数字人) → 语音+图生视频(对口型) → 成片每条连线的含义都写在节点的输入端口上(文本 / 图片 / 音频),按类型连线即可,连错会直接提示。
四、手把手教程:从文案到对口型视频
步骤 1:用「添加文本」节点写主题
添加一个文本节点,输入一句话主题,例如:「介绍本周新品咖啡豆的 3 个卖点,时长 30 秒左右」。
步骤 2:用「文本生成」节点产出文案
添加文本生成节点,把主题文本连进来,提示词可写成「根据主题写一段口播文案,口语化、有节奏感」。运行后得到正式文案——这就是数字人要说的台词。
步骤 3:用语音合成节点生成口播音频
把文案连到语音合成节点。TongFlow 提供三种音色方式(节点界面见 text-audio-gen-speech 相关实现):
- 预设音色:直接选现成音色,最快;
- 音色克隆:上传一段 ≥3 秒的参考音频,克隆相似音色,适合固定「主播」;
- 描述音色:用文字描述,例如「温柔甜美的女声,语速稍慢」。
💡 想带情绪的口播?可选支持情感控制的 TTS 插件,同一句文案能生成「兴奋」「舒缓」等不同语气。
步骤 4:用「文本生成图片」节点生成数字人形象
再加一个文本节点写人物描述,例如:「一位 25 岁左右的青年女性主播,半身正脸,面带微笑注视镜头,纯色浅灰背景,写实风格」。把它连到文本生成图片节点,得到数字人形象图。
💡 提示:描述里强调「正脸、注视镜头、半身」,口型区域更完整,后续对口型效果更自然。
步骤 5:用「语音+图生视频」节点完成对口型
添加「语音图片生成视频」节点(音频 + 图片 → 视频,正是 README 中级 Demo 的最后一环),把第 3 步的音频和第 4 步的图片分别连到两个输入端,运行即可得到口型同步的口播视频(节点源码:speech-image-gen-video.tsx)。
两个「备选口型节点」按需选用:
| 节点 | 输入 | 适用场景 |
|---|---|---|
| 视频对口型 | 音频 + 视频 | 已有真人出镜视频,想换配音重对口型(audio-video-lip-sync.tsx) |
| 视频配音对口型 | 视频 + 台词文本 | 插件自动合成语音并对口型,省去独立 TTS 一步(speech-video-gen-video.tsx) |
「视频对口型」节点还提供可选的场景描述框:描述画面与说话人即可(如「一位女性对着镜头说话」),不要把台词全文写进去——口型与配音由音频轨决定。官方提示:音频时长宜与参考视频接近,输出默认 720p。
五、对口型工作流插件选择指南
每个节点背后由插件驱动,同一能力可换不同实现。按本工作流五个环节给出常见选择:
| 环节 | 插件 | 说明 |
|---|---|---|
| 生成文案 | tongflow-api-openai / tongflow-api-gemini / tongflow-router-openrouter 等 | 任选一个你已有 Key 的 API 或路由插件 |
| 合成语音 | tongflow-modal-qwen3tts | Qwen3 文本转语音 |
| 合成语音(带情绪) | tongflow-modal-indextts2 | 情感可控、支持零样本音色克隆 |
| 生成图片 | tongflow-modal-z-image | Z-Image 文生图 |
| 对口型 | tongflow-modal-infinitetalk | InfiniteTalk 音频驱动口型同步(音频 + 图片/视频 → 数字人视频) |
| 对口型(备选) | tongflow-modal-longcat-avatar | LongCat-Video-Avatar:人像 + 语音 → 口型同步视频,最长 60 秒 |
带 Modal 前缀的 GPU 插件跑在云端 GPU 上(每月有免费额度),在 Settings 里配好MODAL_TOKEN_ID/MODAL_TOKEN_SECRET即可。完整插件目录与自定义插件开发文档见 docs/plugins.md;每个能力的输入输出契约定义在 ABI 中:packages/tongflow/abi/tongflow.abi.json。
六、运行数字人口播工作流:单步执行 vs 一键执行
- 单步执行:创作模式下逐个节点点「执行」,适合调试——比如先只跑 TTS 听音色,不满意换插件重跑,其余节点不受影响;
- 一键执行:切换到「执行模式」点运行按钮,整条链路自动依次执行,执行前会展示预估费用与用时;
- 继续加工:成片仍是一「材料」——可以接着连「视频高清放大」节点提分辨率,或「视频拼接」把多段口播接成一条长视频,工作流结构不用动。
七、常见问题速查
| 现象 | 解决 |
|---|---|
| 节点提示「该节点尚未安装可用插件」 | 到插件管理器安装对应环节插件,再重新选择实现 |
| 提示「未检测到 Modal 部署」 | 确认已配置 Modal Token 且本机可执行python -m modal,弹窗中可一键部署 |
| 口型不同步 / 嘴部不自然 | 让音频时长与参考画面接近;形象图用正脸半身;必要时加长音频或换备选插件 |
| 想要固定「主播」形象 | 用同一张人物图反复喂给口型节点,或使用音色克隆固定声音 |
| 想复现别人的工作流 | 菜单「导入 JSON」,直接载入导出的.json工作流文件 |
写在最后
回顾一下这条数字人口播工作流:主题 → 文案 → 配音 → 形象 → 对口型,五个节点、两次连线,从一句话到成片。TongFlow 的「材料即节点」设计让每一步都能单独调参、随时换模型,这正是自己搭数字人产线的乐趣所在。
延伸资料
- 中文说明与 Demo 示例:docs/README_ZH.md
- 插件开发文档:docs/plugins.md
- 节点能力契约(ABI):packages/tongflow/abi/tongflow.abi.json
- 口型节点实现:packages/tongflow/src/canvas/nodes/compose/audio-video-lip-sync.tsx
- 画布中文文案:packages/tongflow/src/canvas/i18n/messages/zh.json
【免费下载链接】tongflow
Modality-First GenAI Platform
相关推荐
VideoSrt完整教程:手把手教你制作专业级视频字幕
VideoSrt完整教程:手把手教你制作专业级视频字幕 还在为视频字幕制作而烦恼吗?手动输入字幕耗时耗力,而市面上大多数自动字幕工具要么准确率低,要么操作复杂。
语音音频人工智能手把手教你搭建AI数字人视频生成器:SadTalker从零部署到实战应用
手把手教你搭建AI数字人视频生成器:SadTalker从零部署到实战应用 想要将静态照片变成会说话的动态视频吗?🤔 SadTalker作为一款优秀的音频驱动单
人工智能AI 应用深度学习计算机视觉语音数字人媒体生成LaWGPT完整部署教程:手把手教你搭建法律大模型
LaWGPT完整部署教程:手把手教你搭建法律大模型 想要拥有一个专属的法律AI助手吗?LaWGPT作为基于中文法律知识的开源大语言模型,能够为你提供专业的法律咨
人工智能大模型微调预训练NLP
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考