企业官网建设流程全解析

让图像模型动起来：用 AnimateDiff 把一条提示词变成 16 帧动画

【免费下载链接】AnimateDiffOfficial implementation of AnimateDiff.项目地址: https://gitcode.com/gh_mirrors/an/AnimateDiff

AnimateDiff 解决的问题很直接：手里有个会出图的 Stable Diffusion 模型，想让它输出连贯动画，又不想从头训一个视频模型。它的做法是给 U-Net 挂上一个独立的 Motion Module，用少量新增参数补上时间维度的信息，让原本逐帧独立的采样结果在时间轴上连贯起来。适合已经跑通过 SD 文生图、想给现有模型加动态效果的开发者，读完能拿到三样东西：模块怎么插、最小配置怎么写、镜头怎么控制。

插一个 Motion Module 为什么就能让模型动起来

Motion Module 是 AnimateDiff 的核心部件，可以把它理解成给一个只会画单张图的画师配了一只会"连续运镜"的手。技术上它是个 Temporal Transformer 分支，插进 U-Net 各分辨率层之间，在原有空间注意力之外补一层时间自注意力，让模型去噪时能"看到"同一序列里前后帧的关系。因为出口层做了零初始化，刚接上去时不会破坏原模型的输出，所以任意社区微调模型都能直接复用。v3 还额外加了一个 Domain Adapter（本质是 LoRA），先把静态帧里的风格属性吸收掉，好让运动模块专心建模运动本身。

三个模型组件分别往哪放

跑之前要把 AnimateDiff 需要的三块权重备齐，各自有固定目录。基础 Stable Diffusion V1.5 放models/StableDiffusion/，运动模块放models/Motion_Module/，想要特定画风再配一个社区 DreamBooth 或 LoRA 模型放models/DreamBooth_LoRA/。⚠️ 这一步的坑在于目录名必须和配置文件里写的一字不差，大小写或拼错一个字母，加载时都会直接报找不到文件。基础模型可以从对应模型仓库 clone，运动模块用仓库里的download_bashscripts/0-MotionModule.sh一键拉取，具体地址以脚本内容为准。

跑通一条动画的最小配置怎么搭

最省事的路径是先用现成的 prompt 配置跑通，再照着configs/prompts/里的格式改成自己的。一条命令就能触发：

python -m scripts.animate --config configs/prompts/v3/v3-1-T2V.yaml

跑完会在samples/目录下得到一个 GIF，打开就能看时间轴连不连贯。如果要用自己的提示词，就在本地新建一个 yaml（别动仓库里的文件），只改这几个关键字段：

- motion_module: "models/Motion_Module/v3_sd15_mm.ckpt" dreambooth_path: "models/DreamBooth_LoRA/your_model.safetensors" prompt: ["your positive prompt"] # 通常重复两次，对应首尾帧 n_prompt: ["worst quality, low quality"]

字段和可选写法，仓库configs/下的示例已经覆盖得很全，改完还是用上面那条命令触发即可。帧数建议保持 16 帧、分辨率 512，和训练设定对齐时质量最稳。

想控镜头或不想写代码怎么办

镜头怎么动，v2 里是拿 MotionLoRA 解决的：ZoomIn、PanLeft、TiltUp 这些基本运镜各对应一个约 74MB 的小模型，在配置里加一段motion_module_lora_configs指向对应 ckpt 就能切换运镜方向，不用重新训练。想要更自由的控制，v3 走 SparseCtrl 路线，能直接吃 RGB 参考图或手绘草图当条件输入，把"按参考图动起来"和"草图转动画"都覆盖了。如果连代码都不想碰，AnimateDiff 自带一个 Gradio demo：

python app.py

默认在浏览器打开 localhost:7860，下拉选运动模块、填提示词、点 Generate 就能看到结果。

真要做定制风格，训练入口在train.py，流程细节见 训练与推理文档。

最实际的起步方式，是先挑一个你已经在用的社区图像模型，配上 v3 的运动模块和一张参考图走 SparseCtrl 路线，看单张图怎么动。跑通之后，再往 MotionLoRA 和草图控制上叠，把手感慢慢调到想要的镜头语言。

【免费下载链接】AnimateDiffOfficial implementation of AnimateDiff.项目地址: https://gitcode.com/gh_mirrors/an/AnimateDiff