企业官网建设流程全解析

《开源大模型食用指南》：LM Studio 本地部署调用 gpt-oss-20b 全流程——模型下载、OpenAI 兼容 API 与 MCP 工具调用实战

【免费下载链接】self-llm《开源大模型食用指南》针对中国宝宝量身打造的基于Linux环境快速微调（全参数/Lora）、部署国内外开源大模型（LLM）/多模态大模型（MLLM）教程项目地址: https://gitcode.com/datawhalechina/self-llm

本篇指南以 gpt-oss-20b 为例，完整讲解如何在个人电脑上通过 LM Studio 完成大模型的本地部署与调用：从安装客户端、在线/离线获取模型，到界面与终端双通道对话，再到以 OpenAI 兼容接口进行 Python 编程调用，最后通过 MCP 协议为模型挂载外部工具，让模型真正"动手干活"。读完本文，你将掌握一套不依赖云服务、可在离线环境复用的本地 LLM 落地路径。

为什么选择 LM Studio 在本地运行 gpt-oss-20b

在本地运行大型语言模型（LLMs）已经成为许多开发者和爱好者的热门选择，它带来了隐私性、定制化和离线使用的可能性。虽然像 Ollama 这样的工具提供了强大的命令行界面来管理和运行本地模型，但 LM Studio 则为追求更图形化、更直观交互体验的用户提供了一个极具吸引力的替代方案。

与 Ollama 相比，LM Studio 拥有：

• 更丰富的用户界面：模型搜索、下载、加载、对话、服务启动全部可视化完成，无需记忆命令；
• 同样强大的模型生态支持：可以直接拉取主流开源模型仓库中的模型，并自动按硬件情况推荐合适的量化版本；
• 更易于上手的交互体验：适合零基础用户从安装到对话"一条龙"走完；
• 出色的离线可用性：非常适合在无网络环境下部署和使用大模型，是一个出色的本地 LLM 应用产品。

而在本仓库的 gpt-oss 模型目录 中，vLLM 部署文档 对 gpt-oss 系列模型给出了明确的定位：GPT-OSS 是 OpenAI 推出的开源大语言模型系列，包含 gpt-oss-120b 与 gpt-oss-20b 两个版本，均采用 MoE（Mixture-of-Experts）Transformer 架构，支持 128K 上下文长度，采用 Apache 2.0 许可协议。其中gpt-oss-20b在常见基准测试中表现接近 OpenAI o3-mini，且可在仅配备 16GB 内存的边缘设备上运行，是设备端应用、本地推理和快速迭代的理想选择；两个模型在工具使用、少样本函数调用、CoT 推理等能力上表现突出。这正与 LM Studio 的本地部署场景高度契合——用消费级硬件就能把具备强工具调用能力的 MoE 模型跑在桌面上。

本教程将带你逐步走完以下流程：

1. 下载与安装：快速获取并安装 LM Studio 应用程序；
2. 模型下载（在线）：在 LM Studio 界面内搜索、选择并下载模型，以 gpt-oss-20b 为例；
3. 模型安装（离线）：针对网络不佳或希望手动管理模型文件的用户，展示如何从魔搭社区等来源获取模型文件并放入 LM Studio 模型库；
4. 模型测试：通过 LM Studio 内建的聊天界面与 gpt-oss-20b 交互；
5. 本地 API 调用：启动 LM Studio 本地服务器，使用 Python 与 OpenAI 库通过 API 调用已加载的 gpt-oss-20b，实现程序化交互；
6. MCP 工具调用：利用 LM Studio 的 MCP 客户端能力为模型挂接外部工具，让模型完成真实任务。

安装 LM Studio

LM Studio 适用于 Windows、macOS 和 Linux 三大平台，前往官方网站的 Download 页面选择适合你系统的安装包下载即可。下载后按安装向导逐步操作（Linux 用户注意执行权限与依赖），完成安装后首次启动会引导初始化模型存储目录。

安装完成并启动后，建议先确认模型的存储路径与本地服务开关的位置，后续下载模型和开启 API 服务都会用到这些入口。

下载 gpt-oss-20b 模型：在线与命令行两种方式

方式一：界面内搜索下载（在线）

打开 LM Studio 后，通过界面左下角的放大镜进入模型搜索页，输入gpt-oss-20b即可看到对应模型卡片。LM Studio 会根据你电脑的硬件配置给出兼容性提示，选择适配自己显卡/内存的版本后，点击下载按钮即可。以 gpt-oss-20b 为例，模型体积约十余 GB，下载完成后会自动出现在本地模型库中。

方式二：命令行下载（lms CLI）

LM Studio 从 0.3 版本起提供lms命令行工具，可在系统终端（Windows 为 CMD/PowerShell，macOS 为终端）中直接拉取模型，适合脚本化或远程服务器场景：

# 下载 20B 版本 lms get openai/gpt-oss-20b # 或者下载 120B 全尺寸版本（需要更大显存） lms get openai/gpt-oss-120b

硬件参考：根据仓库中 vLLM 部署文档 的说明，gpt-oss-20b 仅需约 16GB 内存/显存即可运行，可在消费级设备上流畅使用；gpt-oss-120b 则建议在显存 ≥60GB 的环境（如单张 H100 或多 GPU 设置）下运行。请据此选择下载的模型规模与量化等级。

方式三：离线安装（网络不佳时的备选方案）

如果网络环境不佳、在线下载速度缓慢，可以改用"下载模型文件 + 手动放置"的离线安装方式：从魔搭社区等模型仓库获取 gpt-oss-20b 对应的 GGUF 量化文件，下载后放入 LM Studio 的模型存储目录中（Windows 下通常为~/.lmstudio/models/下的"组织名/模型名"目录结构），然后回到 LM Studio 界面刷新即可看到该模型。仓库中 03-Qwen3-7B-Instruct Windows LMStudio 部署.md 的"离线安装"小节以 Qwen3-8B 为例完整演示了"定位模型存储地址 → 创建模型目录 → 放入下载文件 → 刷新识别"的流程，可作同类参考。离线安装时请依据自己显卡显存选择合适量化档位（如 Q8/Q4/Q3），避免显存不足或精度损失过大。

运行模型并开始对话

界面聊天：加载模型即聊

模型下载完成后，点击左侧"对话"标签页，在顶部选择并加载openai/gpt-oss-20b模型，即可直接在聊天界面中与模型交互。

终端聊天：lms chat

除了界面聊天，lms命令行同样支持直接对话（首次使用前请先启动 LM Studio 并完成初始化，后续命令才能正常连接本地运行时）：

lms chat openai/gpt-oss-20b

该命令会启动一个交互式终端会话，适合在 SSH 或无图形界面的服务器环境中使用。

通过本地 API 以 OpenAI 兼容方式调用 gpt-oss-20b

LM Studio 内置本地推理服务器，提供与 OpenAI 完全兼容的 REST API，这意味着现有的 OpenAI SDK 代码几乎可以零改动地指向本地模型。

开启本地服务

在 LM Studio 的开发者/服务器页面中选择已加载的 gpt-oss-20b 模型，点击启动（Serve），服务默认监听http://localhost:1234。启动后右侧会展示服务状态与可用端点，例如：

• GET /v1/models：查询当前可用的模型列表；
• POST /v1/chat/completions：对话补全接口；
• POST /v1/completions：文本补全接口。

Python 脚本调用

准备 Python 环境并安装 OpenAI 库（pip install openai），然后运行以下脚本：

from openai import OpenAI client = OpenAI( base_url="http://localhost:1234/v1", # LM Studio 本地服务地址 api_key="not-needed" # LM Studio 本地服务不校验 API Key，任意字符串即可 ) result = client.chat.completions.create( model="openai/gpt-oss-20b", # 使用本地加载的模型 messages=[ {"role": "system", "content": "You are a helpful assistant."}, {"role": "user", "content": "Explain what MXFP4 quantization is."} ] ) print(result.choices[0].message.content)

几点说明：

• base_url指向本地1234端口的/v1路径，与 OpenAI API 的请求结构完全一致；
• model字段填写 LM Studio 中加载的模型标识openai/gpt-oss-20b；
• 由于是本地服务，api_key不会被校验，填入任意字符串即可；
• 若需要局域网内其他机器访问，可在 LM Studio 设置中开启"在本地网络提供服务"选项，并将base_url中的localhost替换为服务器局域网 IP。

值得注意的是，gpt-oss-20b 本身支持reasoning_effort等生成参数调节推理深度。仓库中 EvalScope 评测文档 展示了通过extra_body: {"reasoning_effort": "high"}开启高推理水平的方式，在本地 API 调用中同样可以传入类似参数来控制模型思考的投入程度。

与 vLLM 服务化部署的定位差异

LM Studio 面向的是个人桌面与离线场景，开箱即用、界面友好；若你需要更高吞吐的服务化部署（如并发压测、生产环境），仓库 vLLM 部署文档 提供了完整的 vLLM 启动方案（vllm serve openai/gpt-oss-20b即可拉起 OpenAI 兼容服务），而 EvalScope 评测文档 则演示了如何基于该服务进行推理速度与并发性能测试。两者定位互补：桌面交互与离线演示选 LM Studio，规模化服务与性能评测选 vLLM + EvalScope。

通过 MCP 为 gpt-oss-20b 扩展工具能力

大模型的价值不止于"聊天"，更在于"干活"。LM Studio 本身就是一个 MCP（Model Context Protocol）客户端，这意味着你可以将 MCP 服务器接入 LM Studio，为 gpt-oss 模型提供外部工具，让模型自主决定何时调用工具来完成真实任务。

MCP 配置入口

LM Studio 的 MCP 服务器配置保存在~/.lmstudio/mcp.json中，通过编辑该文件即可注册自定义 MCP 服务器。除此之外，更灵活的方案是直接使用 LM Studio 官方 SDK 在 Python/TypeScript 代码中完成工具调用与本地函数执行，SDK 提供 Python 与 TypeScript 两个版本。核心是.act()调用：它允许你向 gpt-oss 提供工具列表，模型会在"调用工具"与"推理"之间自主切换，直到完成你的任务。

安装 SDK

使用 pip 或 uv 均可安装 Python 版 SDK：

pip install lmstudio

uv pip install lmstudio

在 Python 脚本中让模型调用工具

下面这个完整示例为 gpt-oss-20b 提供了"在本地文件系统创建文件"的单一工具，并实现了带流式输出的终端对话循环。你可以以此为起点，扩展任意数量的工具：

import readline # 启用输入行编辑功能，支持历史记录和快捷键 from pathlib import Path import lmstudio as lms # 定义一个可以被模型调用的工具函数，让AI助手能够创建文件 # 工具函数本质上就是普通的Python函数，可以实现任何功能 def create_file(name: str, content: str): """创建指定名称和内容的文件。 Args: name: 文件名（支持相对路径和绝对路径） content: 文件内容 Returns: 操作结果的描述信息 """ dest_path = Path(name) if dest_path.exists(): return "错误：文件已存在，无法覆盖。" try: dest_path.write_text(content, encoding="utf-8") except Exception as exc: return f"错误：文件创建失败 - {exc!r}" return f"文件 '{name}' 创建成功。" def print_fragment(fragment, round_index=0): """实时打印模型生成的文本片段，实现流式输出效果。 Args: fragment: 包含生成内容的片段对象 round_index: 轮次索引（.act()方法会自动传递此参数） Note: 设置默认参数使得此回调函数同时兼容 .complete() 和 .respond() 方法 """ print(fragment.content, end="", flush=True) # 初始化模型和聊天会话 model = lms.llm("openai/gpt-oss-20b") # 加载OpenAI GPT-OSS 20B模型 chat = lms.Chat("你是一个运行在用户计算机上的智能助手，可以帮助用户完成各种任务。") # 主交互循环 while True: try: user_input = input("用户（直接回车退出）: ") except EOFError: # 处理Ctrl+D等终端输入结束信号 print() break if not user_input.strip(): # 用户输入为空时退出程序 break # 将用户消息添加到聊天历史 chat.add_user_message(user_input) print("助手: ", end="", flush=True) # 调用模型进行推理，支持工具调用和流式输出 model.act( chat, # 聊天上下文 [create_file], # 可用的工具函数列表 on_message=chat.append, # 将完整响应添加到聊天历史 on_prediction_fragment=print_fragment, # 流式输出回调 ) print() # 换行分隔每轮对话

这段代码的核心机制可以拆解为三层：

1. 工具定义即普通函数：create_file就是一个普通 Python 函数，带类型注解与清晰的 docstring——SDK 会据此把函数签名与描述序列化为模型可理解的工具定义，模型"看到"的是"有什么工具、参数是什么、干什么用"；
2. .act()是工具调用循环的驱动器：model.act(chat, [create_file], ...)将聊天上下文与工具列表交给模型，模型在"生成回复"与"发起工具调用"之间自主迭代，直到得出最终答案；on_message=chat.append保证每一轮中间结果都回写进聊天历史，维持多轮上下文；
3. 流式输出回调：print_fragment被逐片段调用，实现打字机式的实时打印效果。

运行该脚本后，你可以直接对模型下达"请帮我创建一个名为 hello.txt、内容为 Hello gpt-oss 的文件"之类的指令，模型会调用create_file工具并汇报执行结果。借助 MCP 协议，这套模式可以无限扩展——连接文件系统、数据库、网络请求、代码执行器等外部能力，这正是 gpt-oss 系列模型"工具使用、少样本函数调用"强项的落地体现。

小结

至此，你已经走完了 gpt-oss-20b 本地部署调用的完整链路：

• 安装：跨平台安装 LM Studio，获得图形化的本地 LLM 管理体验；
• 取模型：界面搜索、lms get命令行、离线文件放置三种方式任选；
• 对话：界面聊天或lms chat终端会话双通道交互；
• 编程调用：启动本地 OpenAI 兼容服务，Python + OpenAI 库一行切换即可对接；
• 工具化：通过 MCP 与 lmstudio SDK 的.act()机制，让模型自主调用外部工具完成任务。

对于追求服务化高并发部署与性能评测的读者，可继续阅读本仓库 gpt-oss 模型目录 下的 vLLM 部署教程、EvalScope 并发与基准测试，以及 LoRA 微调、DPO 微调 等进阶内容，形成从部署、评测到微调的完整技术栈。

【免费下载链接】self-llm《开源大模型食用指南》针对中国宝宝量身打造的基于Linux环境快速微调（全参数/Lora）、部署国内外开源大模型（LLM）/多模态大模型（MLLM）教程项目地址: https://gitcode.com/datawhalechina/self-llm