Gemini语音合成模型实战：自定义声音与多角色对话API调用指南
2026/11/2 16:26:42
想把一段视频自动做成中文解说，开源工具按用法分四类：本地网页界面、桌面应用、命令行，以及装进编程 Agent 的 skill。分好类，再核对四件事：工具靠什么看懂视频，模型和配音调用谁、怎么付费，能不能导出剪映草稿继续改，许可证允不允许你的用法。
利益相关：本文作者参与维护 video-recap-skills，它也在对比之列。所有项目按同一组标准列出，事实取自各项目的仓库、README 和 LICENSE，截至 2026-10-31。星标数和更新日期会变，引用前请回仓库核对。表中“未说明”指 README 没写，不代表没有这项能力。
一、总表
| 项目（GitHub 路径） | 用法 | 许可证 | 星标 / 最近推送 | 怎么看懂视频 | 剪映草稿 | 模型从哪来 |
|---|---|---|---|---|---|---|
| NarratoAI（linyqh/NarratoAI） | 本地网页界面，有 Windows / macOS 整合包和 Docker | MIT | 11,643 / 10-24 | 抽帧给视觉模型，Fun-ASR 转字幕 | 支持 | OpenAI 兼容接口，自配云端 key |
| JJYB_AI_VideoAutoCut（jianjieyiban/JJYB_AI_VideoAutoCut） | Windows 桌面应用 | 作者自定个人使用许可，未授权禁止商用 | 1,175 / 10-18 | TransNetV2 或 OpenCV 切镜头，可选视觉模型，faster-whisper 或 FunASR 转写 | 支持 | 自配多家视觉模型 |
| movie-narrator（zcbacxc/movie-narrator） | 命令行（PyPI），另有网页界面包 | AGPL-3.0 | 1,149 / 09-16 | 先按 TMDB（公开电影资料库）的影片资料写稿配音，再做场景检测和片段匹配 | 未说明 | 默认本地 Ollama，也支持智谱、百炼、硅基流动等 |
| dramaxis（Agions/dramaxis） | 桌面应用（Tauri） | MIT | 449 / 10-27 | FFmpeg 场景检测加多模态关键帧，本地 Whisper 提字幕 | 支持 | 列出 11 家，含 Ollama、LM Studio |
| superAIAutoCutVideo（xiaohu2206/superAIAutoCutVideo） | 桌面应用（Tauri + FastAPI） | MIT | 209 / 04-19 | FunASR 字幕加 moondream 看帧；短剧解说目前只用字幕 | 支持 | OpenRouter 等聚合接口 |
| 解说猫 JSM（UUUBBB/JSM） | Windows 桌面程序 | 仓库未声明 | 69 / 07-02 | 视觉模型分析场景和角色，TransNet 切镜头（用 GPU） | 支持，另可导出 Premiere XML | 自配；更新日志提到激活码 |
| narrator-ai-cli-skill（NarratorAI-Studio） | Agent skill + 命令行，调用商业平台 | 客户端 MIT | 3,080 / 07-05 | 在平台服务端完成，方式未说明 | 未说明 | 向厂商申请 key，按积分扣费 |
| video-recap-skills（zenstory-ai，本文作者参与） | Agent skill，适配 Claude Code、Codex、OpenCode 等 | MIT | 598 / 10-30 | 场景检测加抽帧，小米 MiMo 做语音识别和画面理解 | 支持（可选） | 识别和配音需 MiMo key，按量付费；写稿用 Agent 自己的模型 |
只想把外语片翻译成中文配音、不改剪辑结构的，看 pyvideotrans、YouDub-webui 这类视频翻译工具更直接。解说要重写文案、挑片段、重新剪，是另一类任务。
二、按你的情况选
要图形界面，装好就用。先看 NarratoAI：星标最多，有整合包，不强制要显卡，配音可选项多。只用 Windows 的可以再看 JJYB_AI_VideoAutoCut 和解说猫 JSM。前者把镜头时长装不下配音的情况处理得很明确，会拒绝生成，不靠定格凑时长，但未经授权不能商用；后者要激活码，也没声明许可证。superAIAutoCutVideo 半年没更新，README 自述还不稳定。
模型尽量在本机跑。看 dramaxis 和 movie-narrator，两者都能接 Ollama。movie-narrator 先按公开影片资料写稿再匹配画面，适合有 TMDB 条目的电影；注意它是 AGPL-3.0，默认的 Edge-TTS 音色仅限非商用。
已经在用编程 Agent。narrator-ai-cli-skill 和 video-recap-skills 走的是两条路。前者是商业平台的客户端，写稿、合成都在服务端，平台自带影片和音色素材，按积分付费。后者在本机用 ffmpeg 剪辑渲染，只有识别、画面理解和配音调用 MiMo；每一拍旁白记录取自哪段素材的哪一秒、依据是语音还是画面，方便事后核对。
三、动手前用一段熟悉的片子试跑
README 很少说明工具怎样防止模型补出画面里没有的情节，这一点只能自己测。挑一段你看过很多遍的 3 到 5 分钟片段，跑出解说稿后逐句做三件事：
- 圈出动机、身份和结果类的词，比如“偷走”“早有预谋”“终于认错”，每个都回到原片找对应的画面或对白。找不到的，就是模型补的。
- 只读描述动作的句子，看它们是否准确。人物拿起一个箱子，稿子写“拿走了箱子”还算贴近，写“偷走了箱子”就越界了。
- 核对字幕里的人名和关键词。自动转写常把同音人名写错，错的人名会一路带进后面的解说。
举个原创的例子：画面里一个人在下雨时把工具箱从露天桌挪到棚下，后来被问起时说了位置。好的解说写“他把箱子挪到棚下，事后说明了位置”；越界的写成“他趁乱拿走箱子，被发现后谎称避雨”。三项核对做完，基本能看出一个工具写稿的分寸。
四、再核对三件事
- 能否商用。MIT 项目（NarratoAI、dramaxis、superAIAutoCutVideo、video-recap-skills）对工具本身限制最少；JJYB_AI_VideoAutoCut 未授权禁止商用；AGPL 的 movie-narrator 以服务形式提供修改版要公开源码；JSM 未声明许可证。配音音色的许可要单独看，影视素材本身的版权和平台规则也与工具许可证无关。
- 费用花在哪。工具免费，钱花在视觉模型、语音识别和配音调用上，片子越长、抽帧越密越贵。README 给出实测数字的很少，video-recap-skills 自报一条完整视频约 1.3 元。最可靠的估算方式，是用自己常做的片长跑一条看账单。
- 剪映草稿。自动成片很少一次到位，能导出剪映草稿就能在剪映里接着调片段、字幕和配音。表里标“支持”的有六个项目。
常见问题
需要显卡吗？
多数不需要，画面理解和配音走云端接口。要显卡的是本地部分，比如 JSM 的镜头检测，以及 IndexTTS 这类本地配音模型（8GB 以上显存）。
能直接生成可以发布的成片吗？
能出成片，但建议导出剪映草稿再过一遍，尤其是字幕人名和解说里的判断性措辞。
video-recap-skills 的安装方法和流程说明见仓库：https://github.com/zenstory-ai/video-recap-skills