☰
如何在 ComfyUI 中 3 步换装 texture-fix-vae-for-qwen-image-2.1:新手零门槛完整教程
2026/11/3 10:29:07 网站建设 项目流程

如何在 ComfyUI 中 3 步换装 texture-fix-vae-for-qwen-image-2.1:新手零门槛完整教程

Texture-Fix-VAE-for-Qwen-Image-2.1 是基于 Qwen-Image-2.1 官方 VAE 微调而来的「纹理修复版」VAE 权重,能显著减少出图中的棋盘格伪影(checkerboard artifacts),并彻底解决 fp16 精度下解码出现 NaN 坏点的问题。本文带你用3 步在 ComfyUI 中完成 VAE 换装,全程无需写代码,新手也能零门槛上手。

🪄 换装前先了解:它修复了什么问题

这个 VAE 与官方 Qwen-Image-2.1 的 VAE 接口完全一致,属于即插即用的替换款,主要解决了两个痛点:

问题官方 VAEtexture-fix-vae-for-qwen-image-2.1
棋盘格伪影细节区域容易出现通过对抗损失(GAN loss)微调,纹理更干净
fp16 下解码 NaN大面积紫红色坏点(75/185 测试样本触发)0个触发,激活幅值从 ~3.5M 压到 ~1.3k

它的感知质量指标 rFID 从 3.38 提升到2.07,肉眼观感更接近「真实照片」。

📥 第 1 步:下载权重文件到 ComfyUI 目录

只需下载一个文件:texture_fix_vae_for_qwen_image_2.1_bf16.safetensors(bf16 精度),把它放到:

ComfyUI/models/vae/

💡 提示:如果 ComfyUI 的模型管理器支持远程仓库,也可以直接从本仓库拉取该文件,无需手动复制。

🔗 第 2 步:在 Load VAE 节点中替换官方 VAE

  1. 打开你的 Qwen-Image-2.1 工作流,找到Load VAE节点;
  2. 下拉列表中选择texture_fix_vae_for_qwen_image_2.1_bf16.safetensors;
  3. 它原本连着的qwen_image_2.1_vae_bf16.safetensors不再需要选择。

其余节点(KSampler、VAEDecode、VAEEncode 等)完全不用改,这就是「换装」的全部操作。

🚀 第 3 步:运行出图并验收效果

直接排队运行工作流即可。如果你是fp16 用户,启动 ComfyUI 时加上参数:

python main.py --fp16-vae

换装后该参数可以安全开启,不会再出现紫红色 NaN 坏点。下面这张图就是 fp16 场景下修复前后的直观对比(紫红色区域 = NaN 像素):

👀 效果对比:纹理修复前后肉眼可见

同一张山地野花照片的 latent(来自 pnw_meadow_stream_2048.latent.pt),分别用两个 VAE 解码后放大。左侧为官方 VAE,右侧为 texture-fix 版本:

官方 VAE 解码(花卉局部)texture-fix VAE 解码(花卉局部)
官方 VAE 解码(岩石局部)texture-fix VAE 解码(岩石局部)

放大越明显:官方版的岩石表面布满颗粒状的棋盘格,换装后纹理平滑且细节依旧锐利。

📊 客观指标(COCO / DIV2K 测试集)

指标官方 VAE (bf16)texture-fix (bf16)texture-fix (fp16)
rFID ↓3.382.072.06
PSNR ↑33.2932.7332.79
LPIPS ↓0.03570.03840.0380

简单理解:感知质量(rFID)明显变好,像素级重建精度(PSNR/LPIPS)略降但几乎无感——这正是对抗损失微调的取舍方向,也更符合人眼观感。

❓ 常见问题 FAQ

Q1:换装后显存/速度会变吗?不会。模型结构与官方 VAE 完全一致(可参考 config.json),只是权重被微调过,显存占用和速度基本不变。

Q2:能用在 LoRA 训练 / 图生图(VAEEncode)吗?可以。Encoder 同步做了权重缩放,编码路径同样可用,工作流中凡是需要 VAE 的节点都可以直接指向它。

Q3:出图风格和原来一样吗?一样。它不改变模型「画什么」,只改善「怎么解码」,所以出图风格、构图完全一致,只是纹理更干净。

Q4:想自己复现 fp16 NaN 对比实验?仓库提供了可视化脚本 fp16_demo.py,运行它即可复现 README 中的紫红色坏点对比图。

Q5:可以商用吗?注意查看 LICENSE:本项目基于 Qwen-Image-2.1,遵循 Qwen RESEARCH LICENSE,仅限非商业/研究用途。

📁 仓库文件速查

文件说明
texture_fix_vae_for_qwen_image_2.1_bf16.safetensorsComfyUI 直接使用的 bf16 权重
diffusion_pytorch_model.safetensorsDiffusers 格式的权重
config.jsonVAE 结构配置(64 通道 latent、16x 空间下采样)
fp16_demo.pyfp16 NaN 对比复现脚本
README.md完整项目说明与指标详情

🎉 到这里就完成了:下载 → 换 Load VAE → 出图,3 步搞定。现在你 ComfyUI 里生成的 Qwen-Image-2.1 图片,将拥有更干净的纹理和更稳定的 fp16 解码。

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询