【免费下载链接】Breeze-TTS-2
Breeze TTS 2 是一款面向实时交互的开源权重文本转语音(Text-to-Speech)模型。本指南带你完成 Breeze TTS 2 部署全流程:Docker 镜像构建、A100 / H100 GPU 适配,以及 eager 与 fast 两条推理路径的显存需求解析,帮你在 12GB~80GB 显存的显卡上快速选对配置。
📌 模型概览与硬件门槛
Breeze TTS 2 在 Artificial Analysis TTS 排行榜中位列开源权重模型第一,支持三大核心能力:
| 能力 | 说明 |
|---|---|
| 🎙️ Voice Clone(声音克隆) | 用参考音频 + 准确文字稿复刻音色、节奏与情绪 |
| 🎨 Voice Design(声音设计) | 仅凭自然语言描述"造"一个声音,无需参考音频 |
| 🎛️ Voice Direction(声音执导) | 保留参考音色,同时用指令控制语气、语速、情绪 |
关键规格(来自 config.json):
- 总参数约 34.7 亿(bfloat16),权重大小约 6.5GB,见 model.safetensors.index.json
- 骨架为 Qwen3 1B(28 层),音频端基于 Mimi Codec,采样率24kHz
- 中英双语,支持
(laugh)、[叹气]等声音事件内联标记 - 性能基准(NVIDIA H100 快速路径):首包延迟< 40ms(TTFA),实时率0.32(约 3.1 倍实时)
⚠️License 提醒:推理代码为 Apache 2.0,但模型权重与自部署产物仅限研究与非商业用途,详见 LICENSE。
📥 一键下载模型检查点
Breeze TTS 2 的模型检查点即本仓库,克隆即可:
git clone https://gitcode.com/hf_mirrors/BreezeBlue/Breeze-TTS-2检查点内已包含全部推理组件,目录结构如下:
- model-00001-of-00002.safetensors、model-00002-of-00002.safetensors:主模型权重(分片存储)
- config.json:模型结构与超参数
- generation_config.json:采样参数(temperature 0.9)
- audio_tokenizer/:音频分词器(Mimi 编解码器)权重与配置
- README.md:官方完整文档
官方 PyTorch 推理代码仓库breeze-tts(含infer.py、requirements.txt与docker/build.sh)需另行获取,克隆后建议与本检查点放在同级目录:
python -m pip install -r requirements.txt🐳 Docker 镜像构建:H100 默认,A100 需改架构
官方提供了经过实测的 CUDA 环境,在推理代码仓库中构建镜像:
# 默认目标:H100 / Hopper 架构(sm90) bash docker/build.sh # A100 / Ampere 架构(sm80):指定 Flash Attention 编译架构 FLASH_ATTN_CUDA_ARCHS=80 bash docker/build.sh💡为什么 A100 必须加FLASH_ATTN_CUDA_ARCHS=80?默认镜像里的 Flash Attention 内核只编译了 sm90(H100)。A100 属于 Ampere(sm80),若不加该环境变量,运行时会出现 Flash Attention 内核不匹配的报错;指定后会在镜像构建阶段为 sm80 重新编译内核,镜像体积略增、耗时稍长。
| GPU | 架构 | 构建命令 |
|---|---|---|
| H100 (SXM/PCIe) | Hopper / sm90 | bash docker/build.sh |
| A100 (SXM/PCIe) | Ampere / sm80 | FLASH_ATTN_CUDA_ARCHS=80 bash docker/build.sh |
💾 显存需求全解析:12GB 还是 24GB?
Breeze TTS 2 提供两条推理路径,显存占用差异明显:
| 推理模式 | 显存占用 | 最低推荐显存 | 特点 |
|---|---|---|---|
| Eager(默认) | ≈ 7.7 GiB | 12 GB | 启动快、零冷启动开销,日常够用 |
--fast-all(快速路径) | ≈ 14.4 GiB | 24 GB | 启用 CUDA Graph 全阶段加速,延迟/吞吐最优 |
常见 GPU 选型建议:
| 显卡 | 显存 | 推荐用法 |
|---|---|---|
| H100 | 80GB | 官方性能基准设备,eager / fast 全开,多并发从容 |
| A100 | 40/80GB | eager / fast 均流畅,fast 路径显存余量充足 |
| RTX 4090 / 3090 | 24GB | eager 很宽裕;fast 路径(14.4GiB)可行 |
| RTX 3060 | 12GB | 仅建议 eager(7.7GiB),官方最低配置 |
📎选型口诀:只跑默认 eager 选 12GB 卡;追求 40ms 级低延迟的 fast 路径直接上 24GB 起。
🚀 部署后快速验证(3 条命令)
1)声音克隆(中文)——参考音频需为干净人声,并配准确文字稿:
python infer.py ../breeze-tts-2 \ --ref-audio reference_zh.wav \ --ref-text "这是中文参考音频的准确文字稿。" \ --text "[叹气] 没想到过了这么久,你还记得我的声音。" \ --output outputs/voice_clone_zh.wav2)声音设计——无参考音频,纯描述生成声音(--cfg-scale 4可强化指令遵循):
python infer.py ../breeze-tts-2 \ --text "[笑] 欢迎来到今晚的故事时间,让我们一起开始吧。" \ --instruction "一位温柔自信的年轻女性,声音清晰,语气亲切,表达轻快而富有感染力。" \ --cfg-scale 4 \ --output outputs/voice_design_zh.wav3)启动流式 API——输出单声道 24kHz 16-bit PCM 流,可挂--fast-all启用快速路径:
python -m breeze_infer.api ../breeze-tts-2 --host 0.0.0.0 --port 7860快速路径可按阶段独立开关(--fast-text-encoder、--fast-backbone-prefill、--fast-codec等),一般只需整体使用--fast-all;各阶段参数主要用于性能剖析与调试。
❓ 常见问题 FAQ
Q:为什么 12GB 显卡跑不了--fast-all?fast 路径需要约 14.4 GiB,而 12GB 显卡实际可用显存约 11.2 GiB,必然 OOM。此时请回退到默认 eager 模式(≈7.7 GiB)。
Q:A100 上运行报 Flash Attention 相关错误?默认镜像只含 sm90 内核,请用FLASH_ATTN_CUDA_ARCHS=80 bash docker/build.sh重新构建。
Q:部署出来的音频能商用吗?不能。权重与自部署产物受 BreezeBlue 研究与非商业许可证约束(见 LICENSE);商用需通过官方托管平台或 API,订阅不赋予自托管产物的商业权利。
Q:必须用 Docker 吗?不是。Linux + Python 3.10+ + CUDA GPU 环境下,直接pip install -r requirements.txt亦可;Docker 的优势是复现官方实测环境,省去依赖排坑。
✅ 小结
- H100:默认镜像直接构建,fast 路径体验完整(TTFA < 40ms)
- A100:加
FLASH_ATTN_CUDA_ARCHS=80构建 sm80 镜像 - 显存:eager ≈ 7.7 GiB(12GB 起);fast ≈ 14.4 GiB(24GB 起)
- 检查点:本仓库克隆即用,代码为 Apache 2.0、权重限研究与非商业用途
【免费下载链接】Breeze-TTS-2
相关推荐
几张显卡才够?InternVL3.5-241B-A28B-Pretrained显存需求与8卡A100部署配置实战
几张显卡才够?InternVL3.5 241B A28B Pretrained显存需求与8卡A100部署配置实战 InternVL3.5 241B A28B P
8倍提速+20倍显存优化:FlashAttention在A100/H100上的CUDA部署指南
8倍提速+20倍显存优化:FlashAttention在A100/H100上的CUDA部署指南 你是否在训练长文本模型时遇到过内存溢出?是否因注意力计算速度慢而
人工智能大模型算子库深度学习Zipkin Docker 镜像完全指南:生产镜像、docker-compose 部署与配置实战
Zipkin Docker 镜像完全指南:生产镜像、docker compose 部署与配置实战 导读 本文以 Zipkin 仓库 docker/README.
可观测性后端微服务
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考