Wan 视频生成提速指南:LightVAE 轻量 VAE 模型怎么选、怎么配
【免费下载链接】Autoencoders项目地址: https://ai.gitcode.com/hf_mirrors/lightx2v/Autoencoders
跑 Wan 2.1 / Wan 2.2 做视频生成,最吃显存的环节往往不是采样,而是最后一步 VAE 解码。这个仓库就是专为 Wan 准备的一套“轻量视频 VAE”权重:换上 LightTAE 后,解码显存从 12.35 GB 降到 0.41 GB,耗时从 3.13 秒缩到 0.09 秒(5 秒 81 帧视频,H100 实测)。
这个仓库到底给你什么
VAE(变分自编码器)负责把视频压缩成隐表示、再解压回真实像素,相当于视频生成流水线里“解压缩”的最后一步——主干模型决定画面内容,VAE 决定还原得顺不顺、省不省。官方 VAE 质量最高但代价大:解码显存能吃到 12 GB 级别,耗时也是秒级起步。
仓库里一共 7 个权重、四条产品线:
- 官方版
Wan2.1_VAE/Wan2.2_VAE:质量天花板,适合成片输出和当对比基准 lightvaew2_1(LightVAE 系):在官方架构上剪掉 75% 参数再蒸馏训练,和官方同款因果 3D 卷积,质量接近官方、显存约省一半lighttaew2_1/lighttaew2_2(LightTAE 系):在开源 TAE 基础上蒸馏而来,显存约 0.4 GB,解码 0.25 秒内完成,质量明显好于开源原版- 开源小模型
taew2_1/taew2_2:作基准对照用
每个权重都同时提供 .pth 和 .safetensors 两种格式,加载工具支持哪种就用哪种。
上手之前:30 秒确认能不能跑
- 需要 CUDA 显卡;官方数据为 H100 实测,消费级显卡数值以项目实际表现为准
- 本仓库只有权重,你需要已有 LightX2V 主仓库或 ComfyUI 环境来加载它
- 如果主干模型已经快把显存吃满,换 LightTAE 能直接省掉整个解码段的显存(Wan2.2 约 12 GB)
5 步接入
git clone https://gitcode.com/hf_mirrors/lightx2v/Autoencoders,把权重放到固定目录- 按主干版本选文件:Wan2.1 主干配
lighttaew2_1.pth,Wan2.2 配lighttaew2_2.pth - 在 LightX2V 的配置 json 里填三键:
"use_tae": true、"need_scaled": true、"tae_path": ".../lighttaew2_1.pth";LightVAE 系则改用"use_lightvae": true加vae_path - 正式接入前,先用 LightX2V 仓库里的
vid_recon.py脚本跑一次“编码再解码”,肉眼验收重建质量 - ComfyUI 用户安装 ComfyUI-LightVAE 插件,指向同一套权重即可
三种场景怎么选
| 用途 | 推荐权重 | Wan2.1 解码 | Wan2.2 解码 | 解码显存 |
|---|---|---|---|---|
| 要最高质量成片 | Wan2.1_VAE/Wan2.2_VAE | 5.46 s | 3.13 s | 10–12 GB |
| 日常生产,最佳平衡 | lightvaew2_1 | 2.07 s | — | 约 5.6 GB |
| 快速迭代 / 显存紧张 | lighttaew2_1/lighttaew2_2 | 0.25 s | 0.09 s | 约 0.4 GB |
数据来自官方实测:5 秒 81 帧视频、BF16 精度、H100。图生视频场景里首帧编码(encode)一端的节省幅度同量级。
容易踩的 4 个坑
- 版本串用:Wan2.1 系 VAE 只能配 Wan2.1 主干,2.2 配 2.2。混用会报错或出图异常,换之前先对版本号。
- 找不到
lightvaew2_2:LightVAE 系目前只有 Wan2.1 版本,Wan2.2 请用lighttaew2_2。 - 漏掉
need_scaled:LightTAE 系配置里必须带"need_scaled": true,否则重建结果会不对。 - “接近官方”不等于“官方”:正式交付前建议用官方 VAE 抽测一遍同提示词,差异很小但不为零。
获取方式
直接克隆权重仓库:
git clone https://gitcode.com/hf_mirrors/lightx2v/Autoencoders所有权重都在仓库根目录,没有额外目录结构,克隆后把路径指向对应文件即可。
- 文中实测数据均为 5 秒 81 帧视频、BF16 精度下的 VAE 单环节耗时,更换分辨率或帧数后请以自己机器复测为准。
- VAE 只影响编码/解码环节,不改变主干的采样步数,整片生成耗时以实际运行为准。
【免费下载链接】Autoencoders项目地址: https://ai.gitcode.com/hf_mirrors/lightx2v/Autoencoders
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考