企业官网建设流程全解析

1. 背景：为什么 2026 年的图像生成绕不开 Stable Diffusion

过去五年，图像生成经历了三次范式跃迁：GAN 时代（2014-2021）用判别器对抗生成器，秒级出图但训练不稳、模式坍塌严重、多样性差；自回归/Token 时代（2021-2023）用 VQGAN + Transformer 把图像当作序列生成，质量高但分辨率受限、采样慢；扩散模型时代（2020 至今）则把生成问题重新定义为「从噪声中逐步去噪」，一举解决了前两代的质量、多样性与可控性问题。

Stable Diffusion（下称 SD）是扩散模型走向工业化的标志性开源项目。它由 CompVis（慕尼黑大学）、Stability AI 与 Runway 合作于 2022 年发布，核心是把扩散过程从像素空间搬到潜空间（Latent Space），用 VAE 把 512x512 的 RGB 图像压缩成 64x64 的 latent 再扩散，训练与推理成本直接下降一个数量级。此后 SD 1.5（2022）、SDXL（2023）、SD 3 / FLUX（2024 之后）不断迭代，开源生态形成了diffusers（Hugging Face 官方推理库）、ComfyUI（节点式工作流）、WebUI（一键式界面）三大事实标准。

对开发者而言，SD 的意义不只是"能生成好看的图"，而是它把一套完整的生成系统拆成了可替换的独立模块：文本编码器（CLIP）、扩散主干（UNet/DiT）、图像解码器（VAE）、采样器（Scheduler）、条件控制（ControlNet/LoRA/Inpainting）。你可以像搭积木一样换掉其中任何一块，这也是它能从"玩具"变成"生产基础设施"的根本原因。

本文的场景主线选在电商营销图批量生成：从提示词管理、GPU 批量推理、自动审图到对象存储分发，覆盖一条完整的生成管线。这也是刻意与历史高频的"工业数采"以及近期"短视频、城市交通、家庭相册"等场景错开，让读者看到同一类推理工程能力在不同业务中的复用方式。

2. 核心概念速览：扩散、潜空间、调度器、采样器、CFG

2.1 扩散过程：前向加噪，反向去噪

扩散模型的思想非常朴素：既然把一张干净图片"逐步加噪到纯噪声"是容易的，那么反过来"从纯噪声逐步去噪到干净图片"就是生成。

• 前向过程（Forward / Diffusion）：给定真实图像 x0，按噪声调度 βt 逐步叠加高斯噪声，得到 x1, x2, ..., xT。当 T 足够大（如 1000 步）时，xT 近似标准高斯噪声。前向过程有闭式解：xt = √(ᾱt)·x0 + √(1-ᾱt)·ε，其中 ᾱt = Π(1-βi)。这意味着任意时刻 t 的带噪图像都可以直接从 x0 一步算出来，不需要真的迭代加噪，这是训练高效的关键。
• 反向过程（Reverse / Denoising）：训练一个神经网络 εθ(xt, t) 预测"当前噪声里叠加的噪声 ε 是什么"。推理时从纯噪声 xT 出发，按调度器给出的每一步去噪公式迭代 T 步（通常 20-50 步），得到 x0 的近似，再经 VAE 解码成图像。

2.2 潜空间（Latent Space）：为什么 SD 能跑在消费级显卡上

直接对 512x512x3 的像素做扩散，每一步都要处理约 78 万维的向量，训练代价巨大。SD 的做法是先用一个预训练 VAE 编码器把图像压缩 8 倍：512x512 → 64x64 latent（通道数 4）。扩散模型只在 64x64x4 的低维空间里干活，计算量缩小约 64 倍。生成结束后再用 VAE 解码器把 latent 还原成图像。

VAE 的编码器不是简单的下采样，而是经过 KL 正则与感知损失训练的"图像语义压缩器"——它保留的正是对视觉质量最重要的低频结构与全局语义，丢掉的则是高频细节噪声。这也解释了为什么 latent 上做扩散既能大幅提速，又不明显损失质量。

2.3 噪声调度（Noise Schedule）

前向过程中每一步加多少噪声，由调度决定。常见调度：

• Linear（SD1.x 默认）：β 从 0.00085 线性升到 0.012，简单直接。
• Scaled Linear（SDXL 默认）：对线性调度做幂次缩放，更适配 1024 分辨率。
• Cosine：噪声变化更平滑，训练更稳。

调度只影响训练时"采样哪些 t、加多少噪声"，推理时由采样器决定如何去噪，两者通过扩散模型的"一步公式"衔接。

2.4 采样器（Scheduler）与步数

训练时网络只需要学会预测 ε，但推理时"每步去多少噪声"有多种策略，这就是采样器：

一个重要的工程认知：步数不是越多越好。对 DPM++ 2M Karras 这类采样器，15-25 步已经收敛，步数再多只是增加耗时，并不线性提升质量；而 Euler a 这类随机采样器步数太少会引入噪声伪影。

2.5 无分类器引导（CFG，Classifier-Free Guidance）

纯扩散模型对提示词的跟随度不高。CFG 的思想是：同时预测"有条件去噪"和"无条件去噪"（或无提示词去噪），然后把两者按权重拉开：

ε_final = ε_uncond + guidance_scale × (ε_cond - ε_uncond)

• guidance_scale（CFG）越大，图像越贴合提示词，但过大会饱和、过曝、出现伪影（常见 7-9，7.5 是 WebUI 默认）。
• 代价是每一步要做两次网络前向（有条件 + 无条件），推理耗时约增加一倍。工程上用"两步合一"的 batch 技巧解决，见第 4 章示例 4。

2.6 负面提示词（Negative Prompt）

与 CFG 配套的概念。把"不希望出现的内容"（如模糊、畸形、水印）作为无条件条件，让引导方向同时远离负面描述：

ε_final = ε_neg + guidance_scale × (ε_pos - ε_neg)

工程经验：负面提示词对稳定画质收益显著，生产中应沉淀为"负面词模板"统一管理，而不是让每个调用方自由发挥。

3. API 说明：diffusers 全家桶与关键参数

Hugging Face 的 diffusers 库是 SD 系模型事实上的官方推理接口。核心抽象是Pipeline：把 Text Encoder、Scheduler、UNet、VAE 组装成一条"文本/图像 → 图像"的完整流水线。

3.1 核心 Pipeline 一览

3.2 from_pretrained 关键参数

pipe = StableDiffusionPipeline.from_pretrained( "runwayml/stable-diffusion-v1-5", torch_dtype=torch.float16, # 半精度，显存与速度的关键开关 variant="fp16", # 加载 fp16 权重仓库变体（部分模型需要） safety_checker=None, # 关闭内置安全检测（合规场景请勿关闭，见第 8 章） requires_safety_checker=False, cache_dir="./model_cache", # 模型缓存目录，生产必须显式指定 local_files_only=False, # 离线部署设为 True )

3.3 推理调用参数

image = pipe( prompt="a professional product photo of a wireless mechanical keyboard, studio lighting, white background", negative_prompt="blurry, low quality, watermark, deformed", num_inference_steps=25, # 采样步数 guidance_scale=7.5, # CFG 强度 width=512, height=512, # 必须为 8 的倍数（latent 下采样 8 倍） generator=torch.Generator(device="cuda").manual_seed(42), # 可复现 num_images_per_prompt=4, # 一次生成多张，batch 内部推理 ).images

3.4 显存与速度优化开关

pipe.enable_attention_slicing() # 注意力切分：显存不足时启用，小幅降速 pipe.enable_vae_slicing() # VAE 切分：降低解码峰值显存 pipe.enable_vae_tiling() # VAE 分块：1024+ 高分辨率必备 pipe.enable_xformers_memory_efficient_attention() # 需安装 xformers pipe.unet = torch.compile(pipe.unet, mode="reduce-overhead") # PyTorch 2.x 编译加速 pipe.to("cuda")

3.5 采样器替换

from diffusers import DPMSolverMultistepScheduler pipe.scheduler = DPMSolverMultistepScheduler.from_config( pipe.scheduler.config, use_karras_sigmas=True )

3.6 LoRA 加载

pipe.load_lora_weights("./lora_ckpt", weight_name="product_style.safetensors") pipe.fuse_lora(lora_scale=0.8) # 融合权重，fuse 后无需每次推理都带 scale

3.7 ControlNet

from diffusers import ControlNetModel, StableDiffusionControlNetPipeline controlnet = ControlNetModel.from_pretrained("lllyasviel/sd-controlnet-canny", torch_dtype=torch.float16) pipe = StableDiffusionControlNetPipeline.from_pretrained( "runwayml/stable-diffusion-v1-5", controlnet=controlnet, torch_dtype=torch.float16 ) # 推理时传入 control_image（预处理后的条件图）与 controlnet_conditioning_scale

3.8 命令行生态

• huggingface_hub：hf_hub_download 下载模型、snapshot_download 全量缓存、HfApi 管理仓库。
• ComfyUI：节点式工作流，适合研究级多模型串联；生产服务化仍以 diffusers 为主。
• 加速后端：optimum + ONNX Runtime、OpenVINO（CPU 场景）、TensorRT（NVIDIA 极致延迟）。

4. 详细使用：8 组可运行示例

以下示例均假设 pip install diffusers transformers accelerate safetensors torch 已安装，使用 CUDA GPU。为节省篇幅，环境检查代码仅在第一例展示。

示例 1：最小文生图闭环

import torch from diffusers import StableDiffusionPipeline pipe = StableDiffusionPipeline.from_pretrained( "runwayml/stable-diffusion-v1-5", torch_dtype=torch.float16, safety_checker=None, requires_safety_checker=False, ).to("cuda") prompt = "a minimal white ceramic mug on a wooden desk, soft window light, product photography" image = pipe( prompt, negative_prompt="blurry, low quality", num_inference_steps=25, guidance_scale=7.5, generator=torch.Generator(device="cuda").manual_seed(2026), ).images[0] image.save("output/mug.png")

要点：seed 固定 + fp16 + 显式 negative_prompt，这是后续所有示例的"最小正确姿势"。

示例 2：种子复现与批量多样性控制

def generate_with_seed(prompt: str, seed: int) -> None: g = torch.Generator(device="cuda").manual_seed(seed) img = pipe(prompt, num_inference_steps=25, generator=g).images[0] img.save(f"output/seed_{seed}.png") # 同一 seed 永远得到同一张图（同一设备+同一模型版本+同一采样器） generate_with_seed(prompt, 42) generate_with_seed(prompt, 42) # 结果一致 # 批量多样本：固定 base_seed，每张 +1，保证一次任务的批次内可追溯 for i in range(6): generate_with_seed(prompt, base_seed=1000 + i)

工程要点：种子是生成业务的主键。线上任务必须把"模型版本 + 采样器 + 步数 + CFG + seed + 提示词"整体记录，否则无法复盘。

示例 3：图生图（img2img）—— 让 AI 修改已有设计稿

from PIL import Image from diffusers import StableDiffusionImg2ImgPipeline pipe = StableDiffusionImg2ImgPipeline.from_pretrained( "runwayml/stable-diffusion-v1-5", torch_dtype=torch.float16 ).to("cuda") init = Image.open("design_v1.png").convert("RGB").resize((512, 512)) prompt = "redesign this product packaging, modern minimal style, golden accent" img = pipe( prompt=prompt, image=init, strength=0.65, # 保留原图程度：0 完全重画，1 完全不管原图 num_inference_steps=30, # 实际有效步数 = steps × strength guidance_scale=7.0, ).images[0] img.save("output/design_v2.png")

要点：strength 是图生图最关键的参数。0.6-0.8 适合"改风格保留构图"，0.3-0.5 适合"微调细节"，过高会丢失原图主体。

示例 4：局部重绘（Inpainting）—— 只改产品图的背景

import numpy as np from PIL import Image, ImageDraw from diffusers import StableDiffusionInpaintPipeline pipe = StableDiffusionInpaintPipeline.from_pretrained( "runwayml/stable-diffusion-inpainting", torch_dtype=torch.float16 ).to("cuda") image = Image.open("product.png").convert("RGB").resize((512, 512)) # 用 mask 标记要重绘的区域（白色=重绘，黑色=保留） mask = Image.new("L", (512, 512), 0) draw = ImageDraw.Draw(mask) draw.rectangle([50, 300, 462, 512], fill=255) # 重绘底部背景区域 img = pipe( prompt="white marble table surface, studio lighting, reflection", image=image, mask_image=mask, strength=0.85, # 重绘区域通常要更高 strength num_inference_steps=30, ).images[0] img.save("output/product_on_marble.png")

要点：mask 边界过渡越柔和，重绘接缝越自然；生产上可用边缘羽化（GaussianBlur）预处理 mask。

示例 5：ControlNet Canny —— 用线稿锁定构图

import cv2 import numpy as np from diffusers import ControlNetModel, StableDiffusionControlNetPipeline controlnet = ControlNetModel.from_pretrained( "lllyasviel/sd-controlnet-canny", torch_dtype=torch.float16 ) pipe = StableDiffusionControlNetPipeline.from_pretrained( "runwayml/stable-diffusion-v1-5", controlnet=controlnet, torch_dtype=torch.float16, ).to("cuda") # 预处理：从参考图提取 Canny 边缘作为条件 ref = cv2.imread("sketch.png") gray = cv2.cvtColor(ref, cv2.COLOR_BGR2GRAY) edges = cv2.Canny(gray, 50, 150) # 阈值过低→噪声边，过高→断线 cond = cv2.cvtColor(edges, cv2.COLOR_GRAY2RGB) img = pipe( prompt="a sleek electric scooter, product photography, bright showroom", negative_prompt="blurry, deformed, extra limbs", image=Image.fromarray(cond), controlnet_conditioning_scale=0.8, # 结构约束强度 num_inference_steps=25, ).images[0] img.save("output/scooter_ctrl.png")

要点：Canny 阈值直接影响生成结构质量。ControlNet 是"构图可控"的核心手段，比提示词控图稳定一个数量级。

示例 6：LoRA —— 注入品牌风格而不重新训练

pipe = StableDiffusionPipeline.from_pretrained( "runwayml/stable-diffusion-v1-5", torch_dtype=torch.float16 ).to("cuda") pipe.load_lora_weights( "./lora_ckpt/", weight_name="minimal_product_style.safetensors" ) pipe.fuse_lora(lora_scale=0.8) # 0.5~0.9 常用；>1 会过拟合崩图 img = pipe( prompt="a portable bluetooth speaker, <style-minimal>", # 触发词来自 LoRA 训练配置 num_inference_steps=25, ).images[0] img.save("output/speaker_lora.png")

要点：LoRA 训练成本极低（单张消费卡 1-2 小时、数据集 50-200 张），是"为业务定制风格"的最优解，远优于全量微调。

示例 7：多采样器对比与参数收敛实验

from diffusers import ( DPMSolverMultistepScheduler, EulerAncestralDiscreteScheduler, DDIMScheduler, UniPCMultistepScheduler, ) prompt = "a professional product shot of a titanium water bottle, minimalist, grey background" for name, scheduler in [ ("ddim", DDIMScheduler.from_config(pipe.scheduler.config)), ("dpmpp2m", DPMSolverMultistepScheduler.from_config(pipe.scheduler.config, use_karras_sigmas=True)), ("euler_a", EulerAncestralDiscreteScheduler.from_config(pipe.scheduler.config)), ("unipc", UniPCMultistepScheduler.from_config(pipe.scheduler.config)), ]: pipe.scheduler = scheduler for steps in (15, 25, 40): img = pipe(prompt, num_inference_steps=steps, generator=torch.Generator(device="cuda").manual_seed(7)).images[0] img.save(f"output/cmp_{name}_{steps}.png")

建议产出：一张"采样器 × 步数 × 单张耗时"的实验表，作为生产默认参数的决策依据（不要拍脑袋定参数）。

示例 8：生产级批量任务骨架（含安全护栏与结果落盘）

import json, hashlib import torch from PIL import Image from diffusers import StableDiffusionPipeline pipe = StableDiffusionPipeline.from_pretrained( "runwayml/stable-diffusion-v1-5", torch_dtype=torch.float16 ).to("cuda") pipe.enable_attention_slicing() pipe.enable_vae_tiling() TASKS = [ {"prompt": "wireless earbuds product photo, white background", "seed": 1001, "steps": 25}, {"prompt": "smart watch product photo, studio light", "seed": 1002, "steps": 25}, ] def run_task(task: dict): prompt = task["prompt"] seed = task["seed"] g = torch.Generator(device="cuda").manual_seed(seed) imgs = pipe( prompt, negative_prompt="blurry, low quality, watermark, deformed", num_inference_steps=task.get("steps", 25), guidance_scale=task.get("cfg", 7.5), num_images_per_prompt=task.get("n", 1), generator=g, ).images for i, img in enumerate(imgs): # 文件名带上内容哈希，天然去重 + 可追溯 blob = img.tobytes() digest = hashlib.sha256(blob).hexdigest()[:12] path = f"output/task_{seed}_{i}_{digest}.png" img.save(path) yield {"path": path, "seed": seed, "prompt": prompt, "hash": digest} for task in TASKS: for meta in run_task(task): print(json.dumps(meta, ensure_ascii=False))

要点：批量任务必须做到可复现（seed+参数落库）、可追溯（内容哈希命名）、可恢复（幂等，重跑不重复占库）。

5. 底层实现剖析

5.1 DDPM：训练目标与采样公式

训练时，对每个样本 x0 随机取时间步 t ∈ [1, T]，采样噪声 ε ~ N(0, I)，构造 xt = √(ᾱt)x0 + √(1-ᾱt)ε，让网络 εθ(xt, t) 回归 ε，损失为均方误差：

L = E[ || ε - εθ( √ᾱt·x0 + √(1-ᾱt)·ε, t ) ||² ]

推理时，从 xT ~ N(0, I) 出发，按以下迭代（DDPM 形式）：

xt-1 = 1/√αt · ( xt - (1-αt)/√(1-ᾱt) · εθ(xt, t) ) + σt·z

其中 αt = 1 - βt。DDIM 将其改造为确定性采样（去掉随机项），从而可以用更少的步数并保持可复现。DPM-Solver 则利用扩散 ODE 的高阶解析解，一步跨多个时间步，20 步即达到 DDIM 100 步的质量。

5.2 潜空间里的 UNet

SD1.x 的 UNet 约 860M 参数，结构分三阶段：

• Down block：逐步下采样（分辨率减半、通道翻倍），提取高层语义。
• Mid block：最低分辨率处的注意力骨干，负责全局上下文融合。
• Up block：逐步上采样并通过 skip connection 拼接对应下采样特征，恢复细节。

关键设计：每一层都注入两个条件——时间步嵌入（timestep embedding，告诉网络"现在是第几步去噪"）和文本条件（CLIP 文本嵌入经 cross-attention 注入）。Cross-attention 是提示词"控制生成内容"的物理位置：文本 token 作为 Query 之外的 Key/Value，决定每个像素区域"看哪些词"。

5.3 CLIP 文本编码器：77 个 token 的魔法与限制

SD1.x 使用 OpenAI CLIP ViT-L/14 的文本编码器，最大序列长度 77 token（BPE 分词）。CLIP 在 4 亿图文对上做了对比学习，文本嵌入空间与图像语义对齐，因此"a red car"的嵌入能让 UNet 生成红色汽车。SDXL 升级为双编码器（OpenCLIP ViT-bigG + CLIP ViT-L），并提升 token 上限，文本理解能力显著增强。

工程上必须记住：CLIP 是英文训练的，直接写中文提示词效果很差。生产系统要做"中文 → 英文"提示词翻译/扩写层，或用 SDXL 这类多语言改进版。

5.4 VAE：图像的压缩与还原

VAE 编码器把 512x512x3 图像压成 64x64x4 的 latent（每像素 4 通道），解码器反向还原。训练目标包含重建损失 + KL 正则。SD 推理时，生成完毕的 latent 必须经 VAE 解码回像素域。

VAE 是 SD 管线里最容易"偷走显存"的一环：解码 1024x1024 图像时峰值显存很高。enable_vae_tiling() 把它分成 64x64 的 tile 逐个解码，大幅降低峰值占用，代价是极小的时间开销。

5.5 CFG 的数学形态与"两步合一"

无分类器引导在推理时要求：ε_uncond = εθ(xt, t, ∅) 和 ε_cond = εθ(xt, t, prompt)。朴素实现是两次前向。工程技巧是把无条件与有条件拼成一个 batch（batch_size=2 的输入），一次前向同时得到两个结果，GPU 利用率和耗时都接近单次前向。diffusers 内部正是这样实现的，这也是为什么"prompt 为空时 CFG 不起作用"。

5.6 LoRA 与 ControlNet 的实现本质

• LoRA（低秩适配）：冻结原权重 W，训练低秩分解 ΔW = B·A（A: d×r, B: r×d，r 常取 4-128）。推理时 W' = W + scale·B·A。因为 r ≪ d，可训练参数量骤降 90%+，且 ΔW 可以随时卸载——一个底座模型可以挂无数个 LoRA 而互不干扰。fuse_lora() 则是把 ΔW 提前合入 W，省去推理时的矩阵乘法开销。
• ControlNet：复制 UNet 一半的权重作为可训练分支，用zero convolution（初始化为 0 的 1x1 卷积）接入主干，保证训练初期不影响原模型行为，从而在稳定底座上学会"按结构条件生成"。

5.7 安全护栏：内置 Safety Checker

diffusers 的 SafetyChecker 基于 CLIP 对生成图做 NSFW 打分，超过阈值即替换为纯黑图。它是规则层兜底，不是万能的——生产合规必须叠加提示词过滤（Denylist/Allowlist）、图片审核 API、人工抽检三重防线（见第 8 章）。

6. 常错点 26 坑

输入与配置类

1. 分辨率不是 8 的倍数：latent 下采样 8 倍，512x513 会报错或产生黑边。所有尺寸必须是 8 的倍数（512/576/640/768/1024 等）。
2. 中文提示词直接喂 CLIP：CLIP 是英文训练的，中文词往往被拆成无意义 token，生成质量崩坏。务必先翻译/扩写。
3. 提示词超过 77 token 被静默截断：SD1.x 只取前 77 token，超长提示词后段直接丢弃且不报错。要么精简，要么用 SDXL 或 token 重组技巧。
4. 忘写 negative_prompt：CFG 会向"无提示词方向"引导，空白负面词往往导致模糊、伪影、水印残留。生产必须挂负面词模板。
5. CFG 一刀切 7.5：不同模型/采样器最佳 CFG 不同。SDXL 常用 5-7，ControlNet 场景可降至 4-6。做小规模参数扫描再定默认值。
6. 步数拍脑袋：Euler a 30 步与 DPM++ 25 步效果可能相同，但耗时不同。用第 4 章示例 7 的方法做实验表。
7. seed 相同却结果不同：换了设备（CUDA/CPU）、PyTorch 版本、采样器、模型权重（含 LoRA 融合）都会改变结果。种子复现只在"同一环境快照"内成立。
8. batch 里共享同一 generator：num_images_per_prompt=4 时若复用同一个 generator，可能生成高度相似的四张图。需要多样性时按 batch_seed + i 分别构造 generator。

显存与性能类

1. 忘开 fp16 直接 OOM：CPU 推理 SD1.5 一张 512 图可能 10 分钟+；fp16 + CUDA 通常 3-5 秒。检查 torch_dtype=torch.float16 是否真的生效。
2. SD1.x VAE 半精度问题：旧版 SD1.5 的 fp16 VAE 解码会出现黑图/色斑，需单独加载 fp16-fix VAE 或 vae 显式指定。SDXL 及新版已修复。
3. 1024+ 图不用 vae_tiling：解码大图峰值显存暴涨，黑屏 OOM 后还以为是生成失败。先 enable_vae_tiling()。
4. xformers 与 torch.compile 混用冲突：两者都做注意力优化，同时开可能报错或互相抵消。先测 torch.compile（PyTorch 2.x 原生），不行再 xformers。
5. 每次推理都 from_pretrained 重新加载模型：模型加载占秒级/十几秒，务必进程内常驻。服务化时用单例 worker 持有 pipe。
6. attention_slicing 当作默认开启：它降低显存但增加耗时，只有 OOM 时才需要开，显存够用就不要开。

模型与权重类

1. 模型来源不明、safetensors vs bin 混用：尽量用 .safetensors（无 pickle 反序列化风险），用 HF 官方或可信镜像，校验 sha256。
2. LoRA 权重过高崩图：lora_scale > 1.0 常见于过度追求风格，反而过拟合崩坏。0.5-0.9 起步，逐档看效果。
3. LoRA 触发词缺失：LoRA 训练时的触发词（如 <style-minimal>）不在提示词里，LoRA 效果几乎不生效。
4. ControlNet 前处理与训练不一致：Canny 阈值、姿态骨骼提取、深度图生成器若不与训练数据预处理一致，控制力断崖下跌。
5. ControlNet 忘调 controlnet_conditioning_scale：默认 1.0 可能过强，结构生硬；0.6-0.9 更自然。多个 ControlNet 时各自 scale 需要平衡。
6. 加载未对齐的 VAE/UNet/TextEncoder 组合：SDXL base 与 refiner、不同出处的 LoRA 混用会导致色调偏移或崩溃。锁定"模型仓库 + variant + revision"三元组。

流程与合规类

1. 图生图 strength 理解反了：strength 越大越偏离原图。把"保留原图"意图直接等同于"strength 小"才正确。
2. Inpainting mask 边缘生硬：不做羽化时重绘边界可见。用 ImageFilter.GaussianBlur(3) 预处理 mask。
3. 安全护栏只在推理时开：内置 SafetyChecker 会拖慢推理且误杀率不低。正确姿势：推理关闭（提速）+ 独立审核管线（CLIP NSFW + 图片审核 API + 人工抽检）在落盘前拦截。
4. 无合规 Denylist 提示词过滤：生成系统直接接受用户输入，等于把自己变成不合规内容工厂。提示词入口必须有 Denylist/Allowlist 与次数限流。
5. 版权与肖像红线：提示词里出现品牌名、名人、受版权保护角色时，生成物可能侵权。平台需在 ToS 层面明确责任边界并做关键词预警。
6. 不做参数与产物台账：任务只有图没有记录，出问题无法复盘（哪版模型、哪个 seed、哪条提示词）。生产必须把"任务 ID ↔ 模型版本 ↔ 参数快照 ↔ 产物哈希"落库。

7. 性能优化清单 12 条

实践基线（SD1.5，单张 512，fp16，RTX 3090）：DPM++ 25 步约 2-4 秒/张；batch=8 时吞吐可达 3-5 张/秒；SDXL 1024 约 6-10 秒/张，batch 后 2-3 张/秒。

8. 工程落地建议：电商营销图批量生成平台

8.1 业务背景与架构

电商运营每天要产出数百张产品图（白底图、场景图、促销海报、A/B 测试变体）。人工拍摄成本高、周期长；用 SD 批量生成可以做到"提示词模板 + 批量推理 + 自动审图 + 一键分发"。

8.2 关键设计决策

• 提示词即资产：建立"品类 × 风格 × 背景 × 光线"的模板库，翻译成英文并做负面词拼接，提示词模板本身版本化管理（git）。
• 任务幂等：任务 ID = 哈希(prompt + 参数 + seed)，队列消费前查台账，重复任务直接返回既有产物。
• 生成与审核分离：推理 worker 只负责出图；审核服务做 NSFW 拦截（CLIP SafetyChecker + 图片审核 API 双通道）+ 清晰度/重复度过滤 + 人工抽检队列。合规不合规，由审核层负责，不在生成层砍速度。
• 成本治理：按任务类型设定步数/尺寸上限；低优先级任务（探索性风格测试）用低并发，高优任务（已确认模板）全速批量。
• 灰度与回滚：模型仓库按版本发布（v1.5-fp16-2026Q1），线上参数快照随任务落库，回滚 = 切模型版本 + 重放 seed。

8.3 五条工程红线

1. 合规护栏强制：提示词 Denylist + 产物审核 + 人工抽检三重防线，缺一不可。
2. 参数可复现：模型版本 + 采样器 + 步数 + CFG + seed 全量落库，缺一项即视为"不可复盘任务"。
3. 资源池隔离：生成任务按优先级分流，GPU 显存按 worker 配额，禁止单进程无限 batch。
4. 结果可追溯：产物以内容哈希命名并关联任务 ID，删除、分发、投诉均可回溯。
5. 成本可观测：单张成本（GPU 时长 × 单价）按任务类型记账，超预算自动熔断。

9. 总结五要点

1. 扩散模型把生成问题变成去噪问题：前向加噪有闭式解、训练目标就是一个 MSE 回归；推理是一步一步"从噪声里捞图像"，采样器决定怎么捞最快最稳。
2. 潜空间是 SD 能落地的根：VAE 压缩 8 倍让扩散在 64x64 latent 上进行，消费级显卡跑得动；理解 latent 就理解了为什么尺寸要 8 的倍数、为什么 VAE 是显存瓶颈。
3. 可控性来自条件注入：文本（CLIP cross-attention）、结构（ControlNet）、风格（LoRA）、局部（Inpainting）四类条件覆盖了绝大多数生产需求；工程上组合使用比单一手段强得多。
4. 参数不是玄学，是实验：采样器 × 步数 × CFG × seed 组合要用实验表收敛，种子是生成业务的主键。
5. 生成系统的合规与工程化比模型更重要：护栏、台账、幂等、灰度、成本五件事决定一个生成服务能不能长期运行。

10. FAQ 10 条速查

Q1：没有 NVIDIA GPU 能跑吗？能。CPU 用 OpenVINO 后端可以跑通，但单张 512 图可能需 30-60 秒；云 GPU 或 Mac M 系列（MPS 后端）是更实际的选择。

Q2：SD 1.5、SDXL、SD 3 / FLUX 怎么选？画质与文本理解：FLUX/SD3 > SDXL > SD1.5；资源占用与生态成熟度：SD1.5（LoRA/ControlNet 最全）> SDXL > FLUX/SD3。业务先用 SD1.5 跑通流程，再逐步迁移高画质模型。

Q3：为什么我生成的图总是糊？优先查：是否 fp16（不是则快不了也糊不了但慢）、CFG 是否过高（>12 会过曝）、步数是否太少（Euler a <15 步）、负面词是否缺失。

Q4：如何让多张图风格一致？同 seed + 同参数 + 同 LoRA + 同模型版本，可复现一致；要变体就 seed 偏移但保留其他条件。ControlNet 锁定构图是更强的一致性手段。

Q5：提示词越长越好吗？不是。SD1.x 只吃前 77 token，冗长提示词会稀释关键语义。把最核心的对象、风格、光线放在最前面。

Q6：为什么同一 seed 在同事电脑上结果不同？CUDA/CPU 后端、PyTorch 版本、模型权重差异都会改变浮点运算路径。跨环境复现需要锁定环境快照（Docker 镜像 + 权重 sha256）。

Q7：如何防止生成违规内容？三层：提示词入口 Denylist/Allowlist；产物侧 CLIP NSFW + 审核 API；人工抽检。不要把安全寄托在单个模型上。

Q8：LoRA 需要多少数据训练？风格类 50-200 张即可出可用效果，人物/物体类建议 300+ 张且多角度。数据集质量（干净、无遮挡、主题一致）比数量更重要。

Q9：图生图和局部重绘的区别？图生图整图重绘（strength 控制保留度）；局部重绘只改 mask 标记区域，其余像素原样保留。改背景用 Inpainting，改整体风格用 img2img。

Q10：批量生成怎么避免重复和成本失控？任务幂等（seed+参数哈希判重）、批次去重（内容哈希命名）、每任务成本记账与熔断、优先级分流。把"生成"当数据库写操作来设计，而不是当成碰运气的黑盒。