企业官网建设流程全解析

把三台闲置设备拼成 AI 推理集群：Exo 环境配置到出字的完整路径

【免费下载链接】exoRun frontier AI locally.项目地址: https://gitcode.com/GitHub_Trending/exo8/exo

Exo 是一个把闲置设备拼成 AI 推理集群的开源项目：零配置组网、内存聚合，单机装不下的模型可以拆到多台一起跑。本文带你走完 Exo 安装路径与 Python 3.12+（当前锁定 3.13）的依赖问题。

先看你的设备够不够

唯一的硬门槛是总内存：把集群里所有设备的内存加起来，要大于模型文件体积。下面以 Llama-3.1 8B 为例：

软件侧一句话记住：Python 3.12+（当前 pyproject.toml 实际锁定 3.13），macOS（Apple Silicon）体验最好，Linux 可用但目前仅 CPU。

上限的话，4 台 M3 Ultra Mac Studio 能跑 235B 参数的模型：

🚀 五分钟把环境搭起来

第一步，拿到代码：

git clone https://gitcode.com/GitHub_Trending/exo8/exo cd exo

第二步，一条命令装完。项目用 uv（快速的 Python 依赖管理工具）管理依赖，不用手动建虚拟环境：

just build-dashboard uv sync

前者构建 Web 面板（相当于手动执行cd dashboard && npm install && npm run build），后者创建虚拟环境并装完全部 Python 依赖。装上的是 aiohttp（异步 HTTP 框架）、transformers（模型推理库）、pydantic（数据校验库）这几个核心件，完整清单见 pyproject.toml。没有 just 工具就直接手敲上面两条命令，效果一样。

第三步，验证跑通：

uv run exo

进程起来不报错后，浏览器打开 http://localhost:52415，面板能加载就算环境就绪。

装不上？八成是这几个原因

先别急着慌，报错基本逃不出三类：

版本不匹配—— pyproject.toml 把 Python 锁在 3.13，版本太老会装不上。最短修复：

uv python install 3.13 && uv sync

网络与证书受限—— 从 Hugging Face 拉模型超时，或 macOS 报 SSL 错误。设置国内镜像后重启：

export HF_ENDPOINT=https://hf-mirror.com

内存与权限不足—— 模型加载报内存不够，或 52413~52415 端口被占用。清出内存、减少节点数，或换端口：

uv run exo --api-port 52416

装完能干什么

最小可用案例就三件事：

1. 启动集群：

uv run exo

2. 打开面板开聊：http://localhost:52415，选个模型就能对话。面板前端代码在 dashboard/src/。
3. 直接调 API（兼容 OpenAI 格式）：

curl -N http://localhost:52415/v1/chat/completions \ -H 'Content-Type: application/json' \ -d '{"model":"mlx-community/Llama-3.2-1B-Instruct-4bit","messages":[{"role":"user","content":"什么是 Exo？"}],"stream":true}'

面板的集群视图长这样：

高级配置（RDMA（低延迟跨机通信）组网、张量并行、环境变量）看官方 README。

组网跑通后，每加一台设备，内存池就再大一圈。环境变量与 API 细节见 README.md，推理引擎实现见 src/exo/worker/engines/。

【免费下载链接】exoRun frontier AI locally.项目地址: https://gitcode.com/GitHub_Trending/exo8/exo