从24GB显卡到云端:用AI Toolkit十分钟跑通FLUX LoRA训练
【免费下载链接】ai-toolkitThe ultimate training toolkit for finetuning diffusion models项目地址: https://gitcode.com/GitHub_Trending/ai/ai-toolkit
想给自己的角色训一个LoRA,却被一屏幕的YAML参数劝退?其实 AI Toolkit LoRA 训练没想象中可怕:克隆仓库、打开网页界面、传图、填触发词,它就开始跑了。FLUX、SDXL、Qwen-Image、Wan视频模型,30多个主流扩散模型都在支持列表里。你只需要准备一文件夹图片和一张显卡。
先别急着碰参数,看看它到底能做什么。
能训哪些模型?一张清单看懂
- 图像模型:FLUX.1/FLUX.2、SDXL、SD 1.5、Qwen-Image、HiDream、OmniGen2 等 30 多个,挑一个就能训 LoRA;
- 指令编辑模型:FLUX.1-Kontext、Qwen-Image-Edit,能练"听指令改图"的能力;
- 视频模型:Wan 2.1/2.2、LTX-2、MiniMax,图生视频的 LoRA 也支持;
- 音频模型:Ace-Step,音乐生成同样可以微调。✨
这些模型都支持 8bit 量化和多分辨率分桶,不同尺寸的图片丢进同一个文件夹就行,系统自动帮你缩放归类。
三步跑起来:从克隆到打开界面
第一步,装环境和依赖。你只需复制下面这段命令,它会把 Python 环境、PyTorch、全部依赖一次装好:
git clone https://gitcode.com/GitHub_Trending/ai/ai-toolkit cd ai-toolkit python3 -m venv venv && source venv/bin/activate pip3 install torch torchvision torchaudio pip3 install -r requirements.txt第二步,启动 Web 界面(需要 Node.js 20 以上)。界面只负责"启动和盯梢任务",任务跑起来后关掉它也不影响训练:
cd ui npm run build_and_start第三步,浏览器打开localhost:8675,选模型、上传你的图片、填上触发词,点开始,第一个 LoRA 就上路了。🛠️
不同显卡选哪份配置?别猜了,看这里
配置文件都在示例目录里,每行都带注释,复制一份改改就能用。三种常见场景:
| 你的情况 | 推荐配置 | 一句话说明 |
|---|---|---|
| 24GB 显卡,追求最好画质 | FLUX.1-dev 训练配置 | 8bit 量化+梯度检查点已配好,24GB 稳稳跑 |
| 想商用、推理快 | FLUX.1-schnell 配置 | Apache 2.0 许可,商用也安心 |
| 想试试视频 LoRA | Wan 2.1 1B 配置 | 参数量小、显存压力低,适合首次尝试 |
改完存到 config 目录,用python run.py 你的配置.yml启动,输出文件夹里会自动出现检查点和每隔 250 步的采样图,进度一目了然。
让训练效果再进一步:几个关键开关
显存爆掉:示例配置里quantize: true默认就是开的,这是 8bit 混合精度;再配合gradient_checkpointing,24GB 显卡跑 FLUX 毫无压力。实在 OOM,就取消注释low_vram,慢一点但更稳。
触发词怎么写:填到trigger_word里,建议用 "p3r5on" 这种不易和现有词撞车的写法。系统会自动把它追加到每张图的描述里,不用你手动改文本。
配文太麻烦:每张图旁边放一个同名.txt,写一句描述就够;再懒一点,直接用界面里的 AI 自动配文功能,整批图它替你搞定。💡
你的第一步从这里开始
别再被参数吓住了:把 24GB 那份示例配置复制出来,改掉模型路径和图片文件夹,就能跑通你的第一个 AI Toolkit LoRA 训练任务。先跑通,再谈完美,剩下的细节都可以慢慢调。随时欢迎上手试试 🚀
【免费下载链接】ai-toolkitThe ultimate training toolkit for finetuning diffusion models项目地址: https://gitcode.com/GitHub_Trending/ai/ai-toolkit
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考