企业官网建设流程全解析

8GB 显存跑 125B MoE 本地大模型：Strata 在 Windows 上的安装与接入

【免费下载链接】StrataQwen3.8-Flash-Next on any consumer hardware: one-click install for Windows / Linux. Strata inference engine, OpenAI/Anthropic API on localhost, optional image input.项目地址: https://gitcode.com/gh_mirrors/strata11/Strata

Strata 让普通 Windows 游戏电脑跑起 125B MoE 本地大模型：双击 START-HERE.bat，引擎安装、模型下载、本地 API 服务全自动完成，浏览器打开 127.0.0.1:8080 即可对话。

🖥️ 8GB 显存最低配置：你的电脑能不能跑 125B MoE

消费级显卡能装下 1250 亿参数，靠的是 Strata 引擎把工作拆开：GPU 负责每步计算，剩余显存做成专家缓存，装最常用的专家；内存固定存放全部 24,576 个专家，CPU 与 GPU 同时计算；28.8 GB 的 n-gram 查找表放在 SSD 上，每个 token 只读其中几行。MTP 草稿层先起草 3 个 token、一轮校验，平均每次校验产出 2.4-3.2 个 token，出字速度因此明显更高。

最低配置：

• 显卡：NVIDIA RTX 20/30/40/50 系列，8GB 显存起步；
• 内存：32 GB（只够装专家数减半的 Coder）；
• 硬盘：约 80 GB 空闲空间，SSD 强烈推荐；
• 驱动：NVIDIA 580 或更新版本。

推荐配置：

• 显卡：RTX 30/40/50 系列，12-24 GB 显存，显存每多 1 GB 约多缓存 700 个专家；
• 内存：64 GB；
• 硬盘：SSD。

模型尺寸按内存选：64 GB 选 IQ3_S，质量最高；48 GB 选 IQ2_XS，Q2_0 则最快；32 GB 选 Coder（IQ1_M，面向代码）。各尺寸下载体积与内存占用对比见 docs/MODELS.md。

从 git clone 到出字：START-HERE.bat 首次安装全程

克隆 Strata 源码

命令行执行git clone https://gitcode.com/gh_mirrors/strata11/Strata，下载压缩包解压也可以。目录里能看到 START-HERE.bat、setup.py、chat.py，这一步就算完成。

双击入口脚本跑首次安装

双击 START-HERE.bat。首次运行装完一切并启动模型；之后每次再运行直接启动，已下载的内容不会重复下载。脚本自动完成：

• 检查显卡、驱动、内存、CPU 与磁盘空间；
• 没有 Python 3.10+ 时，为当前用户账户安装 Python 3.12（无需管理员权限），并在项目内建 .venv 虚拟环境，不碰系统 Python；
• 下载预编译的 Strata 推理引擎，无需编译；
• 从 Hugging Face 下载约 70 GB 模型文件，支持断点续传，另含约 5 GB 的 MTP 草稿层。

最后它生成 run- .bat 并启动服务。判断成功的标准：浏览器自动打开http://127.0.0.1:8080，聊天页加载出来，Monitor 页面能看到 GPU 与内存的实时负载。注意首次启动要把几十 GB 数据载入内存，耗时几分钟，期间整台电脑可能明显变慢，属于正常现象。

首次运行的 4 个交互选项与默认建议

脚本会问 4 个问题，每个问题按 Enter 即接受推荐项：

1. 模型家族：原版 Qwen3.8-Flash-Next（另有 Swift 1.5 微调版）；
2. 尺寸：脚本按你的内存给推荐值，48 GB 对应 IQ2_XS，64 GB 对应 IQ3_S；
3. 上下文长度：选标注 "recommended for your GPU" 的那档（32K/64K/128K）；
4. 是否读图片：首次建议关，以后需要模型看图时再开，图像编码会额外占用显存。

实验性的速度投影（speed projection）默认关闭，新手不建议开。想跳过问答、直接按推荐值装完，可在命令里追加--yes。

跑起来之后：浏览器、终端与 OpenAI 兼容接口接入

• 浏览器：直接打开http://127.0.0.1:8080，聊天页与 Monitor 监控页都在里面；
• 终端聊天：项目目录里运行.venv\Scripts\python chat.py；
• 接入你自己的应用：OpenAI 兼容 base URL 填http://127.0.0.1:8080/v1（任意 API key 可用），同一服务也提供 Anthropic 风格接口；
• 局域网/手机访问：运行START-HERE.bat --setup --host 0.0.0.0 --api-key <你的密钥>，同网络其他设备即可调用。

想加第二个模型或改上下文，双击 SETUP.bat（等价于START-HERE.bat --setup），已下载内容不会重复下载。有多张 NVIDIA 显卡时，启动会询问是否多卡共享一个模型，也可用--gpus 0,2手动指定，细节见 docs/MULTI_GPU.md。

速度量级（RTX 5070 12 GB + 64 GB 内存的实测值，见 docs/DETAILS.md）：Q2_0 出字 87.3 tokens/s（1K 上下文）到 60.3 tokens/s（262K 上下文），IQ2_XS 为 79.6-52.8 tokens/s，4K 提示词读取约 1,256 tokens/s。

🔧 本地大模型装出问题？先看这里

Q：首次启动很久，鼠标转圈A：正常，正在把几十 GB 专家数据载入内存，首次最慢。超过 10 分钟就关闭浏览器等占内存的程序后重跑。

Q：下载中断了A：再次双击 START-HERE.bat，已完成的步骤会复用，自动续传。

Q：提示 NVIDIA 驱动太旧A：CUDA 13 引擎要求驱动 580 以上。更新驱动、重启电脑，再运行脚本。

Q：8080 端口被占用A：通常表示 Strata 已经在运行，找到对应窗口即可。确要并行两个实例时用--port 8081。

Q：很慢，硬盘灯一直闪A：内存装不下，专家在从 SSD 读。关闭其他程序，或换更小尺寸（Q2_0/IQ2_XS）、降低上下文。

仍解决不了，查 docs/TROUBLESHOOTING.md 和项目文件夹里的启动日志。

一台 8GB 显存的游戏 PC 配上 64 GB 内存，就能拥有出字约 50-90 tokens/s 的 125B MoE 本地大模型：免费、开源、完全离线，数据不出你这台机器。

【免费下载链接】StrataQwen3.8-Flash-Next on any consumer hardware: one-click install for Windows / Linux. Strata inference engine, OpenAI/Anthropic API on localhost, optional image input.项目地址: https://gitcode.com/gh_mirrors/strata11/Strata