【免费下载链接】local-studio
Control panel for VLLM, Sglang, llama.cpp, exllamav3
Local Studio 是一款本地优先(local-first)的macOS 桌面应用控制面板,用于在自有机上运行和管理大模型:它统一托管 vLLM、SGLang、llama.cpp 与 MLX 等推理后端,一条命令完成模型下载、引擎安装、模型启动,并实时查看 GPU/内存状态、用量统计,同时对外提供 OpenAI 兼容 API 代理。对新手来说,它是"下载 → 安装 → 向导选模型 → 看到第一个 token"的全流程图形化工具,全程几乎不需要碰命令行。
一、Local Studio 是什么?
可以把 Local Studio 理解为一台"本地大模型工作站"的驾驶舱,它由两个模块组成(详见 README.md):
| 模块 | 作用 |
|---|---|
| controller/ | Bun/Hono 后端进程,负责模型生命周期(启动/驱逐/配方)、模型下载、OpenAI 兼容代理、GPU 指标、日志与用量 |
| frontend/ | Next.js + React 界面与 Electron 桌面外壳,包含状态页/、工作台/agent、配置页/configure、用量页/usage |
在 macOS 上,桌面应用通过MLX 后端利用 Apple Silicon 的统一内存跑模型,无需 NVIDIA 显卡;同一套界面也支持把界面指向远程 GPU 主机上的 controller。
二、开始之前:确认你的 Mac 硬件环境
🍎 桌面版发布包目前面向Apple Silicon(M 系列芯片)的 Mac。MLX 走统一内存,内存越大能跑的模型越大,参考 shared/model-recommendations.json 中的实测目录,常见组合如下:
| 模型(MLX 版) | 文件大小 | 建议统一内存 |
|---|---|---|
| LFM2.5-8B-A1B(4bit) | 约 5 GB | 36 GB+(M4 Max 起步) |
| Nemotron-3-Nano-30B-A3B(8bit) | 约 31 GB | 64 GB+(M4 Pro/M5 Pro) |
| Nemotron-3-Ultra-550B(MLX) | 约 336 GB | 512 GB(M3 Ultra Mac Studio) |
16GB 内存的入门款 Mac 也完全可用,选择 8B 及以下、4bit 量化的模型即可,下载体积仅几个 GB。
三、步骤 1:下载并安装 Local Studio DMG
📥一键安装步骤
- 到官方 Releases 页面下载最新的macOS (Apple Silicon) DMG(文件名为
Local-Studio-arm64.dmg)。该发布包经过签名与公证(notarized),后续还会从 Releases 自动更新。 - 双击挂载 DMG,把Local Studio图标拖入
Applications(应用程序)文件夹。 - 在启动台或"应用程序"中打开Local Studio,首次运行如遇 macOS 安全提示,选择"打开"即可——它是已公证的 App,能通过 Gatekeeper 校验。
如果你偏好脚本安装,仓库自带 scripts/install-desktop-app.sh,它会下载最新稳定版 DMG、执行codesign --verify与spctl公证校验后再装入/Applications,并为旧版本自动建立可回滚的备份归档。
四、步骤 2:首次启动向导——设置模型目录与硬件确认
🚀 首次启动应用会自动跳转到/setup向导(逻辑见 use-first-run-redirect.ts:机器上没有任何已保存的配方就强制进入向导)。整个向导只分 3 步,对应源码 setup-view.tsx 中的三个界面:
Step 1 of 3 — Station(站点):
- 顶部自动显示本机摘要:系统、CPU 架构、GPU 数量、内存大小(如
macOS · arm64 · 1 GPU · 64 GB); - 唯一需要你动手的,是确认模型权重存放目录(默认
/models),点"Continue"保存。
Step 2 of 3 — Model(选模型):
- 界面会按"在你的这类硬件上实测过"的预设排序推荐模型,并直接标出实测生成速度(tokens/s);
- 不选预设也可以手动输入任意模型 ID;Apple Silicon 机器会自动把可选后端锁定为MLX(见 step-hardware.tsx)。
五、步骤 3:下载、启动服务、拿到第一个 token
Bring-up 界面把"下载 → 服务 → 首 token"做成了一个实时清单,三行状态会自动逐条打勾(见 step-bringup.tsx):
- Download:进度条实时刷新,支持暂停/继续/取消;
- Serve with MLX:自动安装引擎、创建配方并启动模型服务进程;
- First tokens:点"Send test request"发起一次内置基准测试,通过后即可直接进入Chat 对话页或Dashboard 状态页。
看到回答逐字刷出来,就恭喜你了——你的本地大模型已经跑起来了 ✅
六、跑通之后:把本地模型接入你自己的程序
Controller 默认监听127.0.0.1:8080,并暴露 OpenAI 兼容接口(API 一览见 controller/README.md)。任意使用 OpenAI SDK 的程序,把 Base URL 指向本地即可:
OPENAI_BASE_URL=http://127.0.0.1:8080/v1另外,它同样透传 Anthropic Messages API(ANTHROPIC_BASE_URL=http://127.0.0.1:8080),用量页/usage可以查看每个模型的推理消耗与会话统计。
七、常见问题速查
| 问题 | 解决方法 |
|---|---|
| 提示"无法连接 controller" | 应用内直接点"Install local controller"一键本机安装,自动注册为 macOS launchd 常驻用户服务,登录自启(入口见 setup-view.tsx,安装逻辑在 controller-deploy.ts) |
| 想手动重装/升级 | 重新跑 scripts/install-desktop-app.sh,旧版本会被打包到~/Library/Application Support/Local Studio Installer/Rollbacks便于回滚 |
| 想跑 NVIDIA 显卡主机上的模型 | 用 vLLM/SGLang 后端在 GPU 主机部署 controller,再把本应用指向远程地址即可 |
| 更多模型怎么选 | 查阅 docs/models-catalog.md 模型目录与硬件匹配表 |
八、进阶:从源码运行(给开发者)
如果想参与开发或定制,可克隆仓库后按 README.md 的 Quick Start 操作:
git clone https://gitcode.com/gh_mirrors/vl/local-studio cd local-studio npm run doctor # 校验工具链:Bun 1.3.14+、Node 22.19+、Python 3.10+ npm run setup # 安装全部工作区依赖bun --cwd controller run dev # 终端 1:启动 controller(127.0.0.1:8080) npm run dev # 终端 2:启动前端,打开 localhost:3000/setupnpm run desktop:dist # 构建并打包 macOS 桌面应用(DMG + 更新包)小结
3 步回顾:① 下载 DMG 拖入 Applications → ② 跟随向导设置模型目录并选择适配内存的 MLX 模型 → ③ 等待清单三行打勾,进入 Chat 页。从此你的 Mac 就是一台离线可用的大模型服务器,并且随时能以127.0.0.1:8080/v1的 OpenAI 兼容接口服务其他程序。🎉
【免费下载链接】local-studio
Control panel for VLLM, Sglang, llama.cpp, exllamav3
相关推荐
2024最新Neutrino安装教程:从零基础到启动第一个项目只需5分钟
2024最新Neutrino安装教程:从零基础到启动第一个项目只需5分钟 Neutrino是一款能够帮助开发者零配置创建和构建现代JavaScript项目的强大
Hypit 安装教程:一条命令装好 Skill,跑通第一个视频只需 3 个步骤
Hypit 安装教程:一条命令装好 Skill,跑通第一个视频只需 3 个步骤 Hypit 是一个开源的 AI 视频克隆工具,它给 Claude Code、Co
人工智能AI 应用AI 技能音视频媒体生成DLSS Swapper 完整指南:3 步搞定游戏中 DLSS/FSR/XeSS 版本更换
DLSS Swapper 完整指南:3 步搞定游戏中 DLSS/FSR/XeSS 版本更换 新装的游戏刚开几小时,你才发现它的 DLSS 还是两年前的老版本——
桌面应用
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考