企业官网建设流程全解析

• 桌面应用
• 本地部署
• 人工智能
• AI 应用

Sakura Launcher GUI 是一款面向本地 LLM 推理的图形化模型启动器，基于 llama.cpp 实现，可一键启动 Sakura 系列模型（如 GalTransl、sakura-14b）的推理服务。本文聚焦它的高级设置面板，手把手讲透上下文长度（-c）、并行数（-np）、Flash Attention（-fa）三大核心参数，外加自动配置与性能测试技巧，帮你用最少显存跑出最大吞吐。

技巧一：展开高级设置面板，找到全部隐藏参数

默认情况下，「启动」页面只展示模型、显卡、上下文长度等基础选项。点击顶部的高级设置按钮，即可展开完整配置区（此实现位于 src/section_run_server.py）：

• 启用 Flash Attention -fa：加速注意力计算、降低显存占用
• 启用 --no-mmap：让模型权重完整载入显存，减少磁盘换页
• 配置预设选择：一键保存/加载整套参数
• 主机地址 --host / 端口 --port / GPU层数 -ngl：控制服务监听与显卡分层
• 自定义命令模板：通过%cmd%、%cmd_raw%注入额外参数

💡 在设置页面勾选「记住高级设置状态」后，下次打开程序会自动展开面板。

技巧二：上下文长度 -c 怎么填不爆显存

上下文长度决定了模型能"记住"多少前后文，输入范围是256 ~ 131072（步进 256）。界面上同时提供对数滑块和数字框，拖动滑块时程序会实时换算为真实 token 数（见 src/section_run_server.py）。

不同场景有最低要求：

上下文越长，KV Cache 占用的显存越大。如果显存吃紧，先降-c，再考虑降并行数。若你希望跳过程序的每线程上下文检查，可在设置页勾选「关闭每线程上下文长度检查」（src/section_settings.py）。

技巧三：并行数 -np 与总上下文的分配关系

「并发数量 -np」范围是1 ~ 32，代表同时处理请求的工作线程数。关键点在于：总上下文会平均分配给每个线程。比如总上下文 24576、并行 16，每个线程实际只有 1536，界面会实时显示「每个工作线程的上下文大小」（计算逻辑见 src/section_run_server.py）。

配置口诀：

• 先定"每个线程需要多少上下文"（参考上表 512/1536）
• 再选并行数，让总上下文 ÷ np不低于该值
• 吞吐不够时再逐步加大np

多开线程本质是用显存换吞吐，12G 显存跑 14B 模型时通常把np控制在 8~16 比较稳妥。

技巧四：Flash Attention 与 --no-mmap 的开关策略

这两个复选框在高级面板中默认勾选（src/section_run_server.py）：

• Flash Attention（-fa）：减少注意力矩阵的显存开销并提升速度，显存越紧张越该保持开启
• --no-mmap：禁止 llama.cpp 用内存映射读取权重，适合显存足以装下整个模型的场景，能避免运行时磁盘 IO 拖慢首 token

经验法则：显存放得下模型 → 两个都勾；显存不够 → 保持-fa勾选，可尝试取消--no-mmap让部分权重回退到内存映射，缓解显存压力。同时留意高级面板中的GPU层数 -ngl（默认 200 即全部上卡），显存不足时向下调，把部分层留给 CPU。

技巧五：自动配置 + 配置预设 + 性能测试三步走

🚀自动配置：选好模型和显卡后点「自动配置」，程序会读取当前显存，按"每线程至少 1536 上下文"的原则从 16 往下遍历并行数，自动填好-c和-np（推荐算法见 src/sakura.py）。注意自动配置仅支持「下载」页中的 Sakura 官方模型。

💾配置预设：调好参数后在「配置预设选择」里填个名字点「保存」，模型、显卡、上下文、并行数、fa 开关、host/port 等整组参数都会被存下来，换模型秒切（保存字段完整清单见 src/section_run_server.py）。预设还能在设置页的「编辑预设」中上移、下移、删除。

📊性能测试：点「性能测试」会运行 llama-batched-bench，默认参数为 Prompt 数量 768、生成文本 384、并行 Prompt 数量1,2,4,8,16。重点看最终的S_TG（每秒生成 token 数），选它最大的并行档位，就是你显存下的最优-np。

📖 完整参数说明可查阅随仓库提供的 Sakura Launcher GUI 用户手册.md，配合本文的 5 大技巧，基本可以覆盖所有本地部署场景。

• 桌面应用
• 本地部署
• 人工智能
• AI 应用