企业官网建设流程全解析

在电脑上跑 MiniCPM5：选对版本，用三道题判断好不好用

码狸 / CodeTanuki · AI 辅助创作

想在自己电脑上用 AI，打开下载页，却看到 GGUF、MLX、BF16：到底该下哪个？

MiniCPM5-2B 已提供这些版本。第一次上手，可以沿着这条路线走：选运行工具 → 下载对应模型 → 用自己的任务验收。

01 / 选版本，看你已经在用什么

用Ollama、llama.cpp 或 LM Studio，选 GGUF。Windows 和 Mac 用户都可以走这条路线。

用 M 系列 Mac，而且已有 MLX 环境，选MLX 4-bit。只有一台 Mac，并不意味着必须换成 MLX。

已在使用 Transformers、vLLM 等推理环境，再看 BF16 主仓库。只想先聊起来，可以从现成运行工具开始。

GGUF 里，Q4_K_M 下载约1.56 GB，Q8_0 约 2.68 GB，F16 约 5.04 GB。首次尝试可先选 Q4_K_M，减少下载与权重占用。

但别按文件大小给电脑算内存。

运行时还要放下上下文缓存、计算缓冲，并给其他程序留空间。对话越长，上下文带来的内存需求越高。

先从短对话开始，确认运行顺畅，再逐步增加材料长度。

02 / 用 Ollama 启动，卡住就分步排查

从 Ollama 官网下载安装包，安装并启动应用。新开终端，Windows 可用 PowerShell。

输入这条命令，确认安装可用：

ollama --version

然后下载并运行模型：

ollama run hf.co/openbmb/MiniCPM5-2B-GGUF:Q4_K_M

首次需要联网下载。进入输入提示后，发一句“请用中文介绍你自己”，检查是否能正常回复。

遇到问题，先定位卡在哪一层：

• 命令找不到：检查 Ollama 是否安装完成，再重开终端。
• 文件下不来：核对仓库地址和网络，按下载报错处理。
• 加载失败或响应慢：查看报错与可用内存，检查上下文设置；另开终端运行ollama ps，查看模型的 CPU/GPU 分配和上下文。

03 / 能聊天以后，测三件真正有用的事

每题新开一段对话，避免上一题干扰下一题。

① 信息能不能抽准？

把下面这段发给模型：

会议从周二改到周四15:00，地点B203。只输出JSON，字段为day、time、room，不要补充其他内容。

检查它有没有保留“周四、15:00、B203”，以及是否只输出了 JSON。接表格或自动化流程时，多出一段解释也可能影响后续处理。

② 缺信息时会不会编？

资料：甲产品价格199元。仅根据资料回答：保修几年？没有信息就回答“资料未提供”。

正确的处理是回答“资料未提供”。如果它补出了一个保修年限，就要留意它在资料问答中的可靠性。

③ 能不能处理你的材料？

拿一段不含隐私的工作材料，先写下三个必须保留的事实，再让模型概括。

逐项核对：事实有没有丢、内容有没有改错、等待时间能否接受。文字流畅只是其中一项。

三题过后，再选最常用的一类任务，多换几份材料重复检查。返工越少，越值得把它留进日常流程。

如果下一步想接 Agent，还需要应用程序执行模型提出的工具调用，并把结果交回模型；可先把上面的单项任务跑稳，再增加自动执行环节。

先让小模型稳定做好一件事，再给它更多工作。

谢谢你读到这里

如果这篇帮你选对了版本、少走了弯路，欢迎点赞、收藏，也可以分享给正在尝试本地 AI 的朋友。

点赞 · 收藏 · 评论

你最想让本地 AI 帮你做什么？欢迎在评论区聊聊，我们一起把 AI 用得更顺手。