企业官网建设流程全解析

一台游戏本、一块4060显卡，就能跑通先进的35B参数大模型。当本地推理速度达到28 token/s时，你会发现——真正的AI学习，其实从第一步就开始了。

很多人在学习使用大模型的时候总是会陷入需要买电脑的误区，随便一搜索下，显卡的价格已经高的离谱了，动辄2~3万，根本不划算。我也挣扎了很久，总算找到一个可行的方法。其实很多人都陷入了一个误区，不一定只有高配的电脑才能玩大模型和agent。真正的AI学习，不是从搭建集群开始的，而是从你的第一台电脑、你的第一个模型开始的。

我用一台普通游戏本，RTX 4060笔记本，8GB显存，跑起了Qwen3.6-35B-A3B——一个35B参数的先进大模型。推理速度达到28 token/s。

这不是什么黑科技，这是LLaMA.cpp + KV Cache技术的力量。

让我告诉你怎么做。

一、8G显存跑35B大模型：技术原理与步骤

为什么8GB显存能跑35B模型？

传统认知中，35B参数模型需要约70GB的显存（FP16精度）。但关键在于：

• 量化（Quantization）

：把FP16量化到INT8甚至INT4，显存需求降至约18GB

• KV Cache技术

：LLaMA.cpp的turboquant方案支持统一KV Cache + 磁盘缓存，大幅降低长上下文显存占用

• 混合精度

：关键层用高精度，其余用低精度

这就是为什么8GB显存也能跑35B模型——量化+KV Cache+磁盘缓存三重优化。

步骤一：安装LLaMA.cpp（turboquant版）

# 1. 克隆代码库 git clone https://github.com/TheTom/llama-cpp-turboquant.git cd llama-cpp-turboquant # 2. 安装CMake # 从 https://cmake.org/download/ 下载 cmake-4.3.2-windows-x86_64.msi # 安装Visual Studio 2022 Build Tools # https://visualstudio.microsoft.com/zh-hans/downloads/ # 3. 编译（需要CUDA 13） cd /d D:/llama/llama-cpp-turboquant rmdir /s /q build cmake -B build -DGGML_CUDA=ON -DCMAKE_CUDA_ARCHITECTURES=89 cmake --build build --config Release -j

编译成功后的文件在D:/llama/llama-cpp-turboquant/build/bin/Release

步骤二：下载模型

# 使用魔塔空间下载（推荐） modelscope download --model mudler/Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled-APEX-MTP-Compact-GGUF --local_dir D:/llama/models

步骤三：启动服务（将以下内容写入一个bat文件，双击执行即可）

@echo off setlocal enabledelayedexpansion :: ===== 请根据实际路径修改以下三个变量 ===== set LLAMA_CPP_DIR=D:/llama/llama-cpp-turboquant/build/bin/Release set MODEL_FILE=D:/llama/models/Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled-APEX-MTP-I-Compact.gguf set MMPROJ_FILE=D:/llama/models/mmproj-BF16.gguf :: ===== 服务参数 ===== set NGLS=99 set CTX_SIZE=4096 set NP=1 set CTK_TYPE=q4_0 set CTV_TYPE=tq3_0 set SPEC_TYPE=draft-mtp set DRAFT_N_MAX=2 :: ===== 启动服务 ===== echo Starting llama-server with Qwen3.6-35B-A3B-MTP... "%LLAMA_CPP_DIR%/llama-server.exe" ^ -m "%MODEL_FILE%" ^ --mmproj "%MMPROJ_FILE%" ^ -c 131072 ^ -np 1 ^ -fa on ^ --embeddings ^ --pooling mean ^ --cache-type-k q8_0 ^ --cache-type-v q8_0 ^ --ctx-checkpoints 64 ^ --checkpoint-every-n-tokens 2048 ^ --cache-prompt ^ --cache-reuse 1 ^ --no-mmap ^ --mlock ^ --kv-unified ^ --cache-ram 8192 ^ --poll 100 ^ --no-perf ^ --no-cache-idle-slots ^ --sleep-idle-seconds -1 ^ --keep -1 ^ -dev CUDA0 ^ --host 0.0.0.0 ^ --port 8080 ^ -b 2048 ^ --ubatch-size 2048 ^ --threads 12 ^ --threads-batch 6 ^ --log-file "llama_server_$(date +%Y%m%d_%H%M%S)-045.log" ^ --reasoning off ^ --metrics echo Server stopped. pause

关键优化参数：

• --cache-ram 8192

：8GB显存缓存，配合磁盘缓存

• --kv-unified

：统一KV Cache

• --checkpoint-every-n-tokens

：定期保存检查点，支持断点续传

• --cache-reuse 1

：复用缓存，减少重复计算

二、WSL + Hermes Agent：让AI为你工作

模型跑起来了，接下来就是让它为你服务了。

我选择在Windows环境下使用WSL（Windows Subsystem for Linux）部署Hermes Agent，原因很简单：

为什么选择WSL + Hermes Agent？

1. 低门槛

：Windows用户无需安装Linux，一条命令搞定

2. 无缝衔接

：Windows的文件系统直接访问WSL中的模型和配置

3. 生态兼容

：Hermes Agent支持企业微信、Telegram等多平台消息集成

4. 功能强大

：定时任务、代码执行、浏览器自动化、文件操作——一个Agent全搞定

部署步骤

# 1. 安装WSL（如果还没装） wsl --install # 2. 在WSL中克隆Hermes Agent（这一步需要魔法） git clone https://github.com/nousresearch/hermes-agent.git cd hermes-agent # 3. 安装依赖 pip install -r requirements.txt # 4. 配置LLaMA.cpp API端点 # 编辑config.yaml，设置API地址指向你的llama-server

配置完成后，Hermes Agent就能通过API调用你的本地35B模型——不需要任何云端服务，完全离线运行。

实际效果

在我的笔记本上，Hermes Agent通过本地35B模型完成：

• ✅ 联网搜索与知识获取
• ✅ 代码编写与调试
• ✅ 定时任务调度
• ✅ 企业微信消息收发
• ✅ ANSYS仿真脚本生成

全部在本地完成，响应速度28 token/s。另外，这篇文章就是使用这套组合生成的！

三、结语：AI学习的第一步

很多人认为，玩AI需要昂贵的GPU、专业的知识、庞大的团队。

但事实是：真正的AI学习，从你的第一台电脑开始。

8GB显存 → 35B模型 → 28 token/s → 24/7在线Agent

这不是什么遥不可及的未来，这是今天就能做到的事。

所以，别再等"更好的设备"、"更好的时机"了。

打开WSL，下载模型，启动Hermes Agent。

你的AI学习之旅，从这一刻就开始了。

完整命令参考：

• 克隆turboquant：git clone https://github.com/TheTom/llama-cpp-turboquant.git
• 编译：cmake -B build -DGGML_CUDA=ON -DCMAKE_CUDA_ARCHITECTURES=89 && cmake --build build --config Release -j
• 下载模型：modelscope download --model mudler/Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled-APEX-MTP-Compact-GGUF --local_dir D:/llama/models
• 启动服务：见上文bat脚本

如果你也尝试过本地部署大模型，欢迎在评论区分享你的配置和体验。

想入门 AI 大模型却找不到清晰方向？备考大厂 AI 岗还在四处搜集零散资料？别再浪费时间啦！2025 年AI 大模型全套学习资料已整理完毕，从学习路线到面试真题，从工具教程到行业报告，一站式覆盖你的所有需求，现在全部免费分享！

👇👇扫码免费领取全部内容👇👇

​

一、学习必备：100+本大模型电子书+26 份行业报告 + 600+ 套技术PPT，帮你看透 AI 趋势

想了解大模型的行业动态、商业落地案例？大模型电子书？这份资料帮你站在 “行业高度” 学 AI：

1. 100+本大模型方向电子书

2. 26 份行业研究报告：覆盖多领域实践与趋势

报告包含阿里、DeepSeek 等权威机构发布的核心内容，涵盖：

• 职业趋势：《AI + 职业趋势报告》《中国 AI 人才粮仓模型解析》；
• 商业落地：《生成式 AI 商业落地白皮书》《AI Agent 应用落地技术白皮书》；
• 领域细分：《AGI 在金融领域的应用报告》《AI GC 实践案例集》；
• 行业监测：《2024 年中国大模型季度监测报告》《2025 年中国技术市场发展趋势》。

3. 600+套技术大会 PPT：听行业大咖讲实战

PPT 整理自 2024-2025 年热门技术大会，包含百度、腾讯、字节等企业的一线实践：

• 安全方向：《端侧大模型的安全建设》《大模型驱动安全升级（腾讯代码安全实践）》；
• 产品与创新：《大模型产品如何创新与创收》《AI 时代的新范式：构建 AI 产品》；
• 多模态与 Agent：《Step-Video 开源模型（视频生成进展）》《Agentic RAG 的现在与未来》；
• 工程落地：《从原型到生产：AgentOps 加速字节 AI 应用落地》《智能代码助手 CodeFuse 的架构设计》。

二、求职必看：大厂 AI 岗面试 “弹药库”，300 + 真题 + 107 道面经直接抱走

想冲字节、腾讯、阿里、蔚来等大厂 AI 岗？这份面试资料帮你提前 “押题”，拒绝临场慌！

1. 107 道大厂面经：覆盖 Prompt、RAG、大模型应用工程师等热门岗位

面经整理自 2021-2025 年真实面试场景，包含 TPlink、字节、腾讯、蔚来、虾皮、中兴、科大讯飞、京东等企业的高频考题，每道题都附带思路解析：

2. 102 道 AI 大模型真题：直击大模型核心考点

针对大模型专属考题，从概念到实践全面覆盖，帮你理清底层逻辑：

3. 97 道 LLMs 真题：聚焦大型语言模型高频问题

专门拆解 LLMs 的核心痛点与解决方案，比如让很多人头疼的 “复读机问题”：

三、路线必明： AI 大模型学习路线图，1 张图理清核心内容

刚接触 AI 大模型，不知道该从哪学起？这份「AI大模型 学习路线图」直接帮你划重点，不用再盲目摸索！

路线图涵盖 5 大核心板块，从基础到进阶层层递进：一步步带你从入门到进阶，从理论到实战。

L1阶段:启航篇丨极速破界AI新时代

L1阶段：了解大模型的基础知识，以及大模型在各个行业的应用和分析，学习理解大模型的核心原理、关键技术以及大模型应用场景。

L2阶段：攻坚篇丨RAG开发实战工坊

L2阶段：AI大模型RAG应用开发工程，主要学习RAG检索增强生成：包括Naive RAG、Advanced-RAG以及RAG性能评估，还有GraphRAG在内的多个RAG热门项目的分析。

L3阶段：跃迁篇丨Agent智能体架构设计

L3阶段：大模型Agent应用架构进阶实现，主要学习LangChain、 LIamaIndex框架，也会学习到AutoGPT、 MetaGPT等多Agent系统，打造Agent智能体。

L4阶段：精进篇丨模型微调与私有化部署

L4阶段：大模型的微调和私有化部署，更加深入的探讨Transformer架构，学习大模型的微调技术，利用DeepSpeed、Lamam Factory等工具快速进行模型微调，并通过Ollama、vLLM等推理部署框架，实现模型的快速部署。

L5阶段：专题集丨特训篇 【录播课】

四、资料领取：全套内容免费抱走，学 AI 不用再找第二份

不管你是 0 基础想入门 AI 大模型，还是有基础想冲刺大厂、了解行业趋势，这份资料都能满足你！
现在只需按照提示操作，就能免费领取：

👇👇扫码免费领取全部内容👇👇

​

2025 年想抓住 AI 大模型的风口？别犹豫，这份免费资料就是你的 “起跑线”！