如何在 ComfyUI 中 3 步换装 texture-fix-vae-for-qwen-image-2.1:新手零门槛完整教程
Texture-Fix-VAE-for-Qwen-Image-2.1 是基于 Qwen-Image-2.1 官方 VAE 微调而来的「纹理修复版」VAE 权重,能显著减少出图中的棋盘格伪影(checkerboard artifacts),并彻底解决 fp16 精度下解码出现 NaN 坏点的问题。本文带你用3 步在 ComfyUI 中完成 VAE 换装,全程无需写代码,新手也能零门槛上手。
🪄 换装前先了解:它修复了什么问题
这个 VAE 与官方 Qwen-Image-2.1 的 VAE 接口完全一致,属于即插即用的替换款,主要解决了两个痛点:
| 问题 | 官方 VAE | texture-fix-vae-for-qwen-image-2.1 |
|---|---|---|
| 棋盘格伪影 | 细节区域容易出现 | 通过对抗损失(GAN loss)微调,纹理更干净 |
| fp16 下解码 NaN | 大面积紫红色坏点(75/185 测试样本触发) | 0个触发,激活幅值从 ~3.5M 压到 ~1.3k |
它的感知质量指标 rFID 从 3.38 提升到2.07,肉眼观感更接近「真实照片」。
📥 第 1 步:下载权重文件到 ComfyUI 目录
只需下载一个文件:texture_fix_vae_for_qwen_image_2.1_bf16.safetensors(bf16 精度),把它放到:
ComfyUI/models/vae/💡 提示:如果 ComfyUI 的模型管理器支持远程仓库,也可以直接从本仓库拉取该文件,无需手动复制。
🔗 第 2 步:在 Load VAE 节点中替换官方 VAE
- 打开你的 Qwen-Image-2.1 工作流,找到Load VAE节点;
- 下拉列表中选择
texture_fix_vae_for_qwen_image_2.1_bf16.safetensors; - 它原本连着的
qwen_image_2.1_vae_bf16.safetensors不再需要选择。
其余节点(KSampler、VAEDecode、VAEEncode 等)完全不用改,这就是「换装」的全部操作。
🚀 第 3 步:运行出图并验收效果
直接排队运行工作流即可。如果你是fp16 用户,启动 ComfyUI 时加上参数:
python main.py --fp16-vae换装后该参数可以安全开启,不会再出现紫红色 NaN 坏点。下面这张图就是 fp16 场景下修复前后的直观对比(紫红色区域 = NaN 像素):
👀 效果对比:纹理修复前后肉眼可见
同一张山地野花照片的 latent(来自 pnw_meadow_stream_2048.latent.pt),分别用两个 VAE 解码后放大。左侧为官方 VAE,右侧为 texture-fix 版本:
| 官方 VAE 解码(花卉局部) | texture-fix VAE 解码(花卉局部) |
|---|---|
| 官方 VAE 解码(岩石局部) | texture-fix VAE 解码(岩石局部) |
|---|---|
放大越明显:官方版的岩石表面布满颗粒状的棋盘格,换装后纹理平滑且细节依旧锐利。
📊 客观指标(COCO / DIV2K 测试集)
| 指标 | 官方 VAE (bf16) | texture-fix (bf16) | texture-fix (fp16) |
|---|---|---|---|
| rFID ↓ | 3.38 | 2.07 | 2.06 |
| PSNR ↑ | 33.29 | 32.73 | 32.79 |
| LPIPS ↓ | 0.0357 | 0.0384 | 0.0380 |
简单理解:感知质量(rFID)明显变好,像素级重建精度(PSNR/LPIPS)略降但几乎无感——这正是对抗损失微调的取舍方向,也更符合人眼观感。
❓ 常见问题 FAQ
Q1:换装后显存/速度会变吗?不会。模型结构与官方 VAE 完全一致(可参考 config.json),只是权重被微调过,显存占用和速度基本不变。
Q2:能用在 LoRA 训练 / 图生图(VAEEncode)吗?可以。Encoder 同步做了权重缩放,编码路径同样可用,工作流中凡是需要 VAE 的节点都可以直接指向它。
Q3:出图风格和原来一样吗?一样。它不改变模型「画什么」,只改善「怎么解码」,所以出图风格、构图完全一致,只是纹理更干净。
Q4:想自己复现 fp16 NaN 对比实验?仓库提供了可视化脚本 fp16_demo.py,运行它即可复现 README 中的紫红色坏点对比图。
Q5:可以商用吗?注意查看 LICENSE:本项目基于 Qwen-Image-2.1,遵循 Qwen RESEARCH LICENSE,仅限非商业/研究用途。
📁 仓库文件速查
| 文件 | 说明 |
|---|---|
| texture_fix_vae_for_qwen_image_2.1_bf16.safetensors | ComfyUI 直接使用的 bf16 权重 |
| diffusion_pytorch_model.safetensors | Diffusers 格式的权重 |
| config.json | VAE 结构配置(64 通道 latent、16x 空间下采样) |
| fp16_demo.py | fp16 NaN 对比复现脚本 |
| README.md | 完整项目说明与指标详情 |
🎉 到这里就完成了:下载 → 换 Load VAE → 出图,3 步搞定。现在你 ComfyUI 里生成的 Qwen-Image-2.1 图片,将拥有更干净的纹理和更稳定的 fp16 解码。
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考