☰
手把手教你在 TongFlow 上搭建数字人口播工作流:从文案到对口型视频的完整教程
2026/10/16 2:13:00 网站建设 项目流程

【免费下载链接】tongflow

Modality-First GenAI Platform

项目地址:https://gitcode.com/gh_mirrors/to/tongflow
点击查看免费下载

今天带你用开源平台 TongFlow 搭建一条数字人口播工作流:在画布上把几个节点拖拽连线,就能从一句主题自动生成口型同步的口播视频,全程无需剪辑软件。下面按「认识平台 → 安装配置 → 搭节点 → 选插件 → 运行排错」五步走,零基础也能完成。

一、为什么 TongFlow 适合做数字人口播?

TongFlow 是一个「Modality-First(模态优先)」的开源 AIGC 工作流平台:文字、图像、音频、视频都被当作材料,通过「添加、转换、组合、拆分」四种节点连接起来。每一步的产出都留在画布上,可以直接喂给下一个节点继续加工。

对数字人口播场景来说,正好可以拆成两条支线再汇合:

支线节点链产出
🔊 声音线主题文本 → 生成文案 → 合成语音口播配音音频
🎨 形象线人物描述 → 生成图片数字人形象图
🎬 汇合线音频 + 图片 → 对口型口播视频

核心思路:先确定「每一步做什么」(能力),再决定「交给哪个模型做」(插件)。换插件时,画布结构原样保留。

二、快速安装 TongFlow

TongFlow 有三种用法,共用同一个开源内核:

  1. 云版:安装桌面版(macOS / Windows),登录即可开始创作,插件与执行由云端托管;
  2. 自托管:用 Docker 或从源代码启动,完全本地、无需账号;
  3. 与 Agent 一起构建:在支持 MCP 的 Agent 里直接生成工作流。

这里以 Docker 自托管为例,一条命令启动:

docker run -d -p 127.0.0.1:3000:3000 \ -v tongflow-data:/data -v tongflow-plugins:/plugins \ ghcr.io/tong-io/tongflow:latest

启动后浏览器打开http://localhost:3000,画布即刻就绪。更多方式见 docs/README_ZH.md。

装好「数字人工作流」需要做的 3 件事

  1. 安装插件:打开右上角「积木」图标的插件管理器,按需安装(后文第五节有清单),装完即生效,无需重启;
  2. 配置凭据:打开右上角「齿轮」图标的 Settings,填入插件需要的环境变量(如MODAL_TOKEN_ID/MODAL_TOKEN_SECRET,用于运行 GPU 插件,每月有免费 GPU 额度可用);
  3. 试运行:画布预载了一条示例工作流,可先跑通熟悉节点操作。官方示例文件可参考 public/example.json。

三、工作流设计:先搭节点,再填内容

建议在「创作模式」下按下面的链路摆放节点:

添加文本(主题) → 文本生成(写文案) → 生成语音(口播音频) ↘ 添加文本(人物描述) → 生成图片(数字人) → 语音+图生视频(对口型) → 成片

每条连线的含义都写在节点的输入端口上(文本 / 图片 / 音频),按类型连线即可,连错会直接提示。

四、手把手教程:从文案到对口型视频

步骤 1:用「添加文本」节点写主题

添加一个文本节点,输入一句话主题,例如:「介绍本周新品咖啡豆的 3 个卖点,时长 30 秒左右」。

步骤 2:用「文本生成」节点产出文案

添加文本生成节点,把主题文本连进来,提示词可写成「根据主题写一段口播文案,口语化、有节奏感」。运行后得到正式文案——这就是数字人要说的台词。

步骤 3:用语音合成节点生成口播音频

把文案连到语音合成节点。TongFlow 提供三种音色方式(节点界面见 text-audio-gen-speech 相关实现):

  • 预设音色:直接选现成音色,最快;
  • 音色克隆:上传一段 ≥3 秒的参考音频,克隆相似音色,适合固定「主播」;
  • 描述音色:用文字描述,例如「温柔甜美的女声,语速稍慢」。

💡 想带情绪的口播?可选支持情感控制的 TTS 插件,同一句文案能生成「兴奋」「舒缓」等不同语气。

步骤 4:用「文本生成图片」节点生成数字人形象

再加一个文本节点写人物描述,例如:「一位 25 岁左右的青年女性主播,半身正脸,面带微笑注视镜头,纯色浅灰背景,写实风格」。把它连到文本生成图片节点,得到数字人形象图。

💡 提示:描述里强调「正脸、注视镜头、半身」,口型区域更完整,后续对口型效果更自然。

步骤 5:用「语音+图生视频」节点完成对口型

添加「语音图片生成视频」节点(音频 + 图片 → 视频,正是 README 中级 Demo 的最后一环),把第 3 步的音频和第 4 步的图片分别连到两个输入端,运行即可得到口型同步的口播视频(节点源码:speech-image-gen-video.tsx)。

两个「备选口型节点」按需选用:

节点输入适用场景
视频对口型音频 + 视频已有真人出镜视频,想换配音重对口型(audio-video-lip-sync.tsx)
视频配音对口型视频 + 台词文本插件自动合成语音并对口型,省去独立 TTS 一步(speech-video-gen-video.tsx)

「视频对口型」节点还提供可选的场景描述框:描述画面与说话人即可(如「一位女性对着镜头说话」),不要把台词全文写进去——口型与配音由音频轨决定。官方提示:音频时长宜与参考视频接近,输出默认 720p。

五、对口型工作流插件选择指南

每个节点背后由插件驱动,同一能力可换不同实现。按本工作流五个环节给出常见选择:

环节插件说明
生成文案tongflow-api-openai / tongflow-api-gemini / tongflow-router-openrouter 等任选一个你已有 Key 的 API 或路由插件
合成语音tongflow-modal-qwen3ttsQwen3 文本转语音
合成语音(带情绪)tongflow-modal-indextts2情感可控、支持零样本音色克隆
生成图片tongflow-modal-z-imageZ-Image 文生图
对口型tongflow-modal-infinitetalkInfiniteTalk 音频驱动口型同步(音频 + 图片/视频 → 数字人视频)
对口型(备选)tongflow-modal-longcat-avatarLongCat-Video-Avatar:人像 + 语音 → 口型同步视频,最长 60 秒

带 Modal 前缀的 GPU 插件跑在云端 GPU 上(每月有免费额度),在 Settings 里配好MODAL_TOKEN_ID/MODAL_TOKEN_SECRET即可。完整插件目录与自定义插件开发文档见 docs/plugins.md;每个能力的输入输出契约定义在 ABI 中:packages/tongflow/abi/tongflow.abi.json。

六、运行数字人口播工作流:单步执行 vs 一键执行

  • 单步执行:创作模式下逐个节点点「执行」,适合调试——比如先只跑 TTS 听音色,不满意换插件重跑,其余节点不受影响;
  • 一键执行:切换到「执行模式」点运行按钮,整条链路自动依次执行,执行前会展示预估费用与用时;
  • 继续加工:成片仍是一「材料」——可以接着连「视频高清放大」节点提分辨率,或「视频拼接」把多段口播接成一条长视频,工作流结构不用动。

七、常见问题速查

现象解决
节点提示「该节点尚未安装可用插件」到插件管理器安装对应环节插件,再重新选择实现
提示「未检测到 Modal 部署」确认已配置 Modal Token 且本机可执行python -m modal,弹窗中可一键部署
口型不同步 / 嘴部不自然让音频时长与参考画面接近;形象图用正脸半身;必要时加长音频或换备选插件
想要固定「主播」形象用同一张人物图反复喂给口型节点,或使用音色克隆固定声音
想复现别人的工作流菜单「导入 JSON」,直接载入导出的.json工作流文件

写在最后

回顾一下这条数字人口播工作流:主题 → 文案 → 配音 → 形象 → 对口型,五个节点、两次连线,从一句话到成片。TongFlow 的「材料即节点」设计让每一步都能单独调参、随时换模型,这正是自己搭数字人产线的乐趣所在。

延伸资料

  • 中文说明与 Demo 示例:docs/README_ZH.md
  • 插件开发文档:docs/plugins.md
  • 节点能力契约(ABI):packages/tongflow/abi/tongflow.abi.json
  • 口型节点实现:packages/tongflow/src/canvas/nodes/compose/audio-video-lip-sync.tsx
  • 画布中文文案:packages/tongflow/src/canvas/i18n/messages/zh.json

【免费下载链接】tongflow

Modality-First GenAI Platform

项目地址:https://gitcode.com/gh_mirrors/to/tongflow
点击查看免费下载

相关推荐

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询