企业官网建设流程全解析

本文提供了一条针对程序员转战大模型应用开发的系统学习路线。路线从Python基础和工程基础开始，逐步深入到Prompt工程、AI应用开发、LangChain与AI框架、RAG、Agent、MCP、多模态和AI Infra等领域。文章强调先就业后深入的学习方法，帮助程序员快速掌握大模型应用开发的核心技能，并提供了丰富的项目和职业方向建议。

适合读者：已经会编程，想系统转向 LLM 应用开发、RAG、Agent、MCP、A2A、多模态和 AI Infra 的程序员。

这份路线不是“名词百科”，而是一条工程学习路径。目标是让你知道：先学什么，为什么学，学到什么程度能做项目，什么时候再进入更难的模型原理、微调和推理优化。

先看总路线

推荐顺序：

Python ↓ FastAPI / Git / Docker ↓ Prompt Engineering ↓ OpenAI API / Claude / Gemini / Qwen 等模型 API ↓ AI ChatBot / AI 总结 / AI 写作助手 ↓ LangChain / LlamaIndex / Workflow ↓ RAG ↓ Agent / Tool Calling / Memory / Workflow ↓ MCP ↓ 多模态 / GUI Agent / Computer Use ↓ A2A / Multi-Agent / Distributed Agent ↓ PyTorch / LoRA / QLoRA / PEFT ↓ AI Infra / vLLM / Kubernetes / GPU 推理优化

大白话理解：

• Prompt：你学会和模型沟通。
• RAG：你让模型会查企业私有知识。
• Tool Calling：你让模型能调用函数、数据库、API。
• Agent：你让模型能规划、调用工具、观察结果、继续执行。
• MCP：你用标准协议把工具接给模型。
• A2A：你用标准协议让 Agent 和 Agent 协作。
• 多模态：你让 Agent 能看图、听音频、读文档、操作屏幕。
• AI Infra：你让模型服务跑得稳、快、省。

为什么按这个顺序学

很多程序员一上来想学 Transformer、PyTorch、微调、CUDA。不是不对，而是投入产出比不高。对多数转型者来说，企业最先需要的是：

1. 能把模型 API 接进业务系统。

2. 能做企业知识库、文档问答、客服助手。

3. 能做 Agent 工作流和工具调用。

4. 能把 MCP / 多模态 / 权限 / 日志 / 部署做成生产系统。

所以路线应该先就业、后深入：

先就业能力：Prompt + API + RAG + Agent 项目 再核心能力：MCP + Workflow + Memory + 多模态 再高级能力：A2A + 分布式 Agent + AI Infra 再算法能力：PyTorch + 微调 + 模型训练原理

第一阶段：AI 与大模型认知（1 周）

1. 1 什么是大模型

学习内容

• GPT / Claude / Gemini / DeepSeek / Qwen / Llama 等模型家族
• Transformer
• Token
• Embedding
• Attention
• Context Window
• Prompt 与 Completion / Response

为什么要学

这一步不是让你推公式，而是让你建立“模型到底在干什么”的基本心智。否则后面看到 Token 成本、上下文长度、RAG、向量数据库、KV Cache，会全部混在一起。

大白话解释

Token 可以理解为模型读写文本时的“最小记账单位”。它不完全等于中文的一个字，也不完全等于英文的一个单词。模型不是按“句子”理解世界，而是把输入拆成 token，再预测下一个 token。

Embedding 是把文字变成一串数字。比如“猫”和“猫咪”变成的向量距离会比较近，“猫”和“挖掘机”的距离通常会远一些。RAG 的语义搜索就靠这个。

Context Window 是模型一次能看到的上下文窗口。它像会议桌：桌子越大，能摊开的资料越多；但桌子再大，也不能无限堆资料，而且堆太多会变贵、变慢、变乱。

原理图

用户问题 ↓ 拆成 Token ↓ 模型基于上下文预测下一个 Token ↓ 不断生成 Token ↓ 形成答案

最小示例

如果你输入：

请把“用户登录失败”改写成更正式的错误提示。

模型不是“真的理解”你公司的登录系统，而是根据训练中学到的语言规律和当前上下文，生成类似：

登录失败，请检查账号、密码或验证码后重试。

学习验收

你应该能解释清楚：

• Token 为什么会影响成本？
• Embedding 为什么能做搜索？
• Context Window 为什么不是越大越好？
• 大模型为什么会一本正经地编错内容？

1. 2 当前主流模型生态

学习内容

• OpenAI GPT 系列
• Anthropic Claude 系列
• Google Gemini 系列
• DeepSeek
• Qwen
• Llama
• 开源模型与闭源模型的差异

为什么要学

AI 工程师不是只会调一个模型，而是要知道不同模型的适用场景：

• 闭源 API：上手快、能力强、维护成本低。
• 开源模型：可私有化、可定制、对合规更友好，但运维成本更高。

示例：如何选模型

注意

模型生态变化很快。学习时不要死背型号，要掌握评估方法：准确率、延迟、成本、上下文长度、工具调用能力、多模态能力、合规与部署方式。

1. 3 AI 行业岗位方向

学习内容

• LLM 应用开发工程师
• RAG 工程师
• Agent 工程师
• AI Infra 工程师
• 大模型算法 / 微调工程师

大白话解释

• LLM 应用工程师：把模型接到产品里。
• RAG 工程师：让模型会查公司文档。
• Agent 工程师：让模型会调用工具、执行任务。
• AI Infra 工程师：让模型服务稳定、可观测、可扩展。
• 算法 / 微调工程师：训练或定制模型。

推荐定位

对大多数程序员，优先路线是：

LLM 应用工程师 → RAG 工程师 → Agent 工程师 → AI Infra / 多模态 Agent

第二阶段：Python 与工程基础（2～4 周）

2. 1 Python 基础

学习内容

• 函数、类、模块
• async / await
• requests / httpx
• typing / pydantic
• json
• 文件读写
• 环境变量

为什么要学

AI 生态大量工具都优先支持 Python，例如 LangChain、LlamaIndex、FastAPI、PyTorch、Transformers、向量数据库 SDK 等。

最小示例：读取环境变量并请求 API

import os import httpx api_key = os.getenv("OPENAI_API_KEY") async def call_api(): async with httpx.AsyncClient(timeout=30) as client: response = await client.get( "https://api.example.com/health", headers={"Authorization": f"Bearer {api_key}"}, ) return response.json()

大白话解释

AI 应用本质上仍然是后端工程：接收请求、调用模型、处理工具、保存状态、返回结果。Python 只是这个生态里最顺手的胶水语言。

2. 2 FastAPI

学习内容

• REST API
• 路由
• Pydantic 数据模型
• Streaming / SSE
• 文件上传
• 中间件

为什么要学

很多 AI 产品都需要把模型能力封装成服务：前端传问题，后端调用模型，模型边生成边返回给前端。

最小示例：AI 服务接口骨架

from fastapi import FastAPI from pydantic import BaseModel app = FastAPI() class ChatRequest(BaseModel): message: str @app.post("/chat") async def chat(req: ChatRequest): return {"answer": f"收到：{req.message}"}

学习验收

你能完成：

• 一个/chat接口。
• 一个/upload文件上传接口。
• 一个 SSE 流式输出接口。
• 用 Docker 启动服务。

2. 3 Git / GitHub

学习内容

• branch
• commit
• PR
• code review
• README
• issue

为什么要学

AI 项目同样是软件项目。没有 Git 协作能力，后续做 Agent 工程、RAG 项目、模型服务都会很难维护。

学习验收

你应该能维护一个作品集仓库，包括：

• 清晰 README。
• 安装步骤。
• 环境变量说明。
• 示例截图。
• 架构图。

2. 4 Linux / Docker

学习内容

• Linux 基础命令
• Dockerfile
• docker-compose
• 日志查看
• 端口映射
• 镜像构建

为什么要学

AI 应用最终要部署。模型 API、向量数据库、Redis、Postgres、任务队列，经常需要容器化编排。

示例架构

Browser ↓ FastAPI AI Server ↓ ↓ LLM API Vector DB ↓ ↓ Logs Redis / Postgres

第三阶段：Prompt Engineering（1～2 周）

3. 1 Prompt 基础

学习内容

• Role Prompt
• Few-shot
• Chain-of-Thought 的使用边界
• ReAct 思想
• 约束输出
• 错误示例与反例

为什么要学

Prompt 是 AI 应用的第一层控制面。虽然 2026 年以后“只会 Prompt”不够，但不会 Prompt，后面的 RAG、Agent、工具调用都很难做好。

大白话解释

Prompt 不是“玄学咒语”，更像给实习生写任务说明：背景、目标、输入、输出格式、限制、例子、验收标准越清楚，结果越稳定。

示例：差 Prompt 与好 Prompt

差 Prompt：

帮我总结一下。

好 Prompt：

你是资深技术编辑。请把下面材料总结成面向后端工程师的学习笔记。 要求： 1. **先给 5 条结论。** 2. **再按“背景、核心概念、工程实践、常见误区”组织。** 3. **不要编造材料中没有的信息。** 4. **如果信息不足，请标注“资料未提供”。**

3. 2 Structured Output

学习内容

• JSON 输出
• JSON Schema
• Pydantic / Zod
• 结构化解析
• 错误处理与重试

官方事实

OpenAI 官方文档说明：Structured Outputs 可以让模型输出遵循你提供的 JSON Schema；JSON mode 只保证有效 JSON，不保证符合具体 schema。能用 Structured Outputs 时优先使用它。

大白话解释

普通回答像一段话，程序很难稳定读取；结构化输出像表单，每个字段都有名字和类型，后端才能放心处理。

示例：需求提取 Schema

{ "type": "object", "properties": { "feature": { "type": "string" }, "user_role": { "type": "string" }, "acceptance_criteria": { "type": "array", "items": { "type": "string" } } }, "required": ["feature", "user_role", "acceptance_criteria"], "additionalProperties": false }

学习验收

你能把一段用户需求解析成稳定 JSON，并在字段缺失时让程序报错或重试。

3. 3 OpenAI API / 模型 API

学习内容

• Chat / Responses API
• Streaming
• Tool Calling
• 图片输入
• 音频输入输出
• 错误处理
• 速率限制

最小工程图

Frontend ↓ HTTP Backend ↓ Model API LLM ↓ stream tokens Backend ↓ SSE/WebSocket Frontend

第四阶段：AI 应用开发（2～3 周）

4. 1 AI ChatBot

学习内容

• 对话历史
• 上下文裁剪
• 用户会话
• 系统提示词
• 安全与拒答

大白话解释

ChatBot 不是把所有历史一股脑塞给模型。你需要决定：哪些历史重要、哪些可以摘要、哪些必须丢弃。

示例：上下文管理

用户第 1 轮：介绍项目背景 用户第 2 轮：提出问题 用户第 3 轮：补充约束 发送给模型时： - 保留当前问题 - 保留关键约束 - 摘要早期背景 - 丢弃寒暄和重复内容

4. 2 AI Web 应用

学习内容

• 前后端联调
• SSE / WebSocket
• Token Streaming
• 取消生成
• 重试
• 用户反馈

示例：为什么需要流式输出

如果一次性等模型生成完再返回，用户可能等 20 秒。流式输出可以让用户 1 秒内看到第一个字，体验差别巨大。

非流式：用户等待 → 等待 → 等待 → 一次性显示 流式：用户等待 → 逐字/逐段显示 → 可随时停止

4. 3 项目实践

初级项目

1. AI 翻译

2. AI 总结

3. AI 写作助手

4. 会议纪要生成器

学习验收

每个项目至少包含：

• 后端 API。
• 前端页面。
• 模型调用。
• 错误处理。
• README。
• 部署方式。

第五阶段：LangChain 与 AI 框架（2～3 周）

5. 1 LangChain

学习内容

• PromptTemplate
• Chain
• Tool
• Memory
• Callback / Streaming

为什么要学

LangChain 把 Prompt、模型、工具、检索、Agent 组织成可复用组件。它不是必须，但能帮你理解 AI 应用工程的通用抽象。

大白话解释

你可以把 LangChain 理解成“AI 应用的 Spring / Django 式工具箱”：不一定每个项目都必须用，但它定义了很多行业通用说法。

5. 2 LlamaIndex

学习内容

• 文档加载
• 索引
• Query Engine
• Retrieval
• Node / Chunk

为什么要学

LlamaIndex 更偏数据和文档索引，适合学习 RAG 的数据管道。

5. 3 Workflow

学习内容

• 工作流编排
• 状态流转
• 分支
• 重试
• 人工确认

示例：AI 审批工作流

用户提交报销单 ↓ 文档识别 Agent 提取金额和发票 ↓ 规则校验 Tool 检查金额 ↓ 财务 Agent 判断风险 ↓ 需要人工确认？ ├─ 是：发送审批任务 └─ 否：自动归档

第六阶段：RAG（核心阶段，1～2 个月）

6. 1 Embedding

官方事实

OpenAI 官方文档把 embedding 定义为浮点数向量；两个向量之间的距离可衡量文本相关性。常见用途包括搜索、聚类、推荐、异常检测、分类等。

大白话解释

Embedding 就是给文字办一张“语义身份证”。意思相近的文本，身份证号码在向量空间里更接近。

RAG 基本流程图

离线阶段： 文档 → 切块 → Embedding → 向量数据库 在线阶段： 用户问题 → Embedding → 相似度检索 → 取回片段 → 拼进 Prompt → 模型回答

6. 2 向量数据库

学习内容

• Chroma
• Milvus
• Qdrant
• FAISS
• pgvector

怎么选

6. 3 文档处理

学习内容

• Chunk
• Overlap
• Semantic Chunk
• Markdown / PDF / Word 解析
• 表格处理
• 元数据

大白话解释

RAG 不是把整个 PDF 塞给模型，而是先把资料切成模型容易使用的小片段。切太大，检索不准；切太小，语义不完整。

示例

原文：一份 80 页制度文档 错误切法：每 1000 字硬切，标题和正文断开 更好切法：按标题层级切，保留章节路径、页码、来源

6. 4 检索优化

学习内容

• Hybrid Search
• BM25
• Rerank
• Query Rewrite
• Metadata Filter
• Answer with citations

大白话解释

向量检索擅长找“意思相近”，BM25 擅长找“关键词精确命中”。企业搜索常常要两者结合。

用户问：“年假结转规则是什么？” 向量搜索：找到“休假管理制度”相关片段 BM25：精确命中“年假”“结转” Rerank：重新排序，选最可靠片段

6. 5 RAG 项目

推荐项目

1. 企业知识库

2. PDF 问答

3. AI 客服

4. 研发规范问答

5. 合同条款检索助手

学习验收

一个合格 RAG 项目要有：

• 文档导入。
• 切块策略。
• 向量化。
• 检索。
• Rerank 或至少重排策略。
• 引用来源。
• 无答案时拒答。
• 评测集。

第七阶段：Agent（核心方向，1～2 个月）

7. 1 Tool Calling

官方事实

OpenAI 官方文档把 Tool Calling 描述为模型访问外部功能和数据的方式。典型流程是：应用把可调用工具发给模型，模型返回工具调用请求，应用执行代码，再把工具结果返回给模型，模型生成最终回答。

大白话解释

模型本身不会真的查数据库。它只是说：“我想调用get_order_status(order_id=123)”。真正执行函数的是你的程序。

Tool Calling 流程图

用户：查一下订单 123 ↓ 模型：我要调用 get_order_status({order_id: "123"}) ↓ 你的后端：执行数据库查询 ↓ 你的后端：把查询结果交回模型 ↓ 模型：组织自然语言回答用户

最小工具定义示例

{ "type": "function", "name": "get_order_status", "description": "查询订单当前状态", "parameters": { "type": "object", "properties": { "order_id": { "type": "string", "description": "订单编号" } }, "required": ["order_id"], "additionalProperties": false }, "strict": true }

7. 2 Agent Framework

学习内容

• LangGraph
• CrewAI
• AutoGen
• OpenAI Agents SDK / 各厂商 Agent SDK

大白话解释

Agent 不是“模型变聪明了”，而是你给它搭了一个循环：计划、调用工具、观察结果、继续计划，直到任务完成或需要人类介入。

Plan → Act → Observe → Decide → Act → Observe → Final

7. 3 Agent Workflow

学习内容

• Planner
• Executor
• Router
• Coordinator
• Human-in-the-loop
• Guardrails

示例：代码修复 Agent

用户：修复测试失败 ↓ Planner：分析失败原因 ↓ Executor：读取文件、修改代码 ↓ Tool：运行测试 ↓ 如果失败：继续分析 ↓ 如果通过：总结修改

7. 4 Memory 系统

学习内容

• Short-term Memory
• Long-term Memory
• Vector Memory
• Profile Memory
• Episodic Memory

大白话解释

Memory 不是“把所有聊天记录存起来”。真正有用的记忆是经过筛选、结构化、可检索、可更新的。

短期记忆：本次对话里的上下文 长期记忆：用户偏好、项目规则、长期事实 向量记忆：用语义搜索找相关历史

7. 5 Multi-Agent

学习内容

• 多 Agent 协作
• Agent Routing
• 专家 Agent
• 角色分工
• 结果合并

示例

总控 Agent ├─ 需求分析 Agent ├─ 架构设计 Agent ├─ 代码实现 Agent ├─ 测试 Agent └─ 文档 Agent

第八阶段：MCP（2026 核心技术）

8. 1 MCP 是什么

官方事实

Model Context Protocol 官方文档将 MCP 定义为连接 AI 应用与外部系统的开源标准。它让 AI 应用连接数据源、工具和工作流。官方也使用“AI 应用的 USB-C”这个类比。

MCP 最新规范说明：MCP 使用 JSON-RPC 2.0 消息，在 Host、Client、Server 之间通信；Server 可以提供 Resources、Prompts、Tools；Client 侧还可能提供 Sampling、Roots、Elicitation 等能力。

大白话解释

以前每个 AI 应用都要单独接数据库、GitHub、Slack、浏览器。MCP 试图把这些外部能力标准化：只要工具按 MCP Server 暴露，支持 MCP 的客户端就能接入。

MCP 架构图

LLM Host（Claude Desktop / VS Code / Cursor / ChatGPT 等） ↓ MCP Client（宿主应用内的连接器） ↓ JSON-RPC 2.0 MCP Server（暴露工具、资源、提示词） ├─ Tools：可执行函数 ├─ Resources：可读取上下文/数据 └─ Prompts：可复用提示模板/工作流

8. 2 MCP 解决什么问题

旧方式

ChatGPT → MySQL：单独写连接 ChatGPT → GitHub：单独写连接 ChatGPT → Slack：单独写连接 ChatGPT → Notion：单独写连接

MCP 方式

AI 应用 ↓ MCP Client ↓ 多个 MCP Server ├─ MySQL Server ├─ GitHub Server ├─ Slack Server └─ Notion Server

学习重点

MCP 本质上不是替代 Tool Calling，而是把 Tool Calling、资源读取、提示模板等能力做成跨客户端的协议。

8. 3 MCP 学习顺序

第一阶段：Tool Calling

必须先懂：

• Function Calling
• JSON Schema
• Tool Registry
• Structured Output

原因：MCP 的工具能力，本质上仍然需要清晰描述工具名称、参数、返回结果和安全边界。

第二阶段：MCP Server

学习：

• Server 生命周期
• Tools
• Resources
• Prompts
• 权限与日志

第三阶段：MCP Client

学习：

• Claude Desktop
• Cursor
• VS Code MCP
• Claude Code
• ChatGPT / OpenAI ecosystem 中的 MCP 支持

第四阶段：MCP Gateway

学习：

• 权限控制
• 多租户
• Tool Routing
• 审计日志
• Agent Memory

企业级 MCP 图

AI Client ↓ MCP Gateway ├─ 鉴权 / 授权 ├─ 工具路由 ├─ 审计日志 ├─ 限流 └─ 多租户隔离 ↓ 多个 MCP Server

8. 4 MCP 适合谁

第九阶段：A2A（Agent2Agent）

9. 1 A2A 是什么

官方事实

A2A 官方规范将 Agent2Agent Protocol 定义为开放标准，用于促进独立、可能不透明的 AI Agent 系统之间通信和互操作。它让 Agent 能发现彼此能力、协商交互模态、管理协作任务，并在不暴露内部状态、记忆或工具实现的情况下安全交换信息。

Google 发布 A2A 时强调：A2A 与 MCP 互补；MCP 为 Agent 提供工具和上下文，A2A 让 Agent 彼此协作。

大白话解释

MCP 是 Agent 调工具；A2A 是 Agent 调 Agent。

MCP：Agent → Tool A2A：Agent → Agent

9. 2 A2A 和 MCP 的区别

示例

MCP 场景：

AI 助手 → MCP GitHub Server → 查询 PR AI 助手 → MCP Database Server → 查询订单

A2A 场景：

总控 Agent ↓ 财务 Agent：核对报销规则 ↓ 法务 Agent：检查合同风险 ↓ 审批 Agent：发起审批任务

9. 3 A2A 核心概念

Agent Card

Agent Card 是 Agent 的“数字名片”，描述身份、能力、技能、服务端点和认证要求。客户端通过它判断这个 Agent 能不能完成任务。

Task

Task 是 A2A 的核心工作单元。任务有状态，例如 submitted、working、completed、failed、canceled、input_required、auth_required 等。

Message / Part / Artifact

• Message：一次通信。
• Part：Message 或 Artifact 里的最小内容单元，可以是文本、文件引用、结构化数据。
• Artifact：任务产物，例如报告、图片、结构化数据。

A2A 任务生命周期图

Client Agent ↓ Send Message Remote Agent ↓ 返回 Message 或创建 Task ↓ Task: submitted → working → input_required/auth_required? → completed/failed/canceled/rejected ↓ 输出 Artifact

9. 4 A2A 学习顺序

1. Multi-Agent 基础：Planner、Executor、Router、Coordinator。

2. Agent Memory：Shared Memory、Long-term Memory、Vector Memory。

3. Agent Workflow：LangGraph、CrewAI、AutoGen。

4. A2A Protocol：Agent Card、Task、Capability Discovery、Streaming、Async Task。

5. 分布式 Agent 系统：Event Bus、Kafka、Redis Streams、Ray。

6. 5 当前行业判断

A2A 的方向很重要，但生产普及程度仍在早期演进中。学习时不要只背概念，应该先掌握 Multi-Agent、任务状态、异步通信、权限和可观测性，再看协议细节。

第十阶段：多模态（未来核心）

10. 1 Vision

官方事实

OpenAI 文档说明，具备视觉能力的模型可以处理图片输入并分析图像；图片可以通过 URL、Base64 data URL 或文件 ID 传入。视觉模型可理解对象、形状、颜色、纹理和图中文字，但也有局限，例如小字、旋转文本、精确空间定位、计数、专业医疗图像等。

学习内容

• GPT-4o / GPT-5 系列 Vision
• Gemini Vision
• Qwen-VL
• 图片理解
• OCR
• 图表分析
• UI 识别

大白话解释

Vision 不是“模型有眼睛”，而是你把图片编码给模型，模型从视觉特征里生成文本理解。它能描述图表、截图、票据，但不应该盲信，特别是计数、坐标、医疗影像和小字。

10. 2 OCR 与文档理解

学习内容

• OCR
• 表格识别
• PDF 解析
• 版面分析
• 文档结构化

示例

发票图片 ↓ OCR 提取文字 ↓ 结构化模型抽取：金额、日期、税号、购买方、销售方 ↓ 规则校验 ↓ 进入报销流程

10. 3 Voice

官方事实

OpenAI 音频文档将音频应用拆成音频输入、音频输出、文本转录、文本提示等模态。常见任务包括 speech-to-text、text-to-speech、speech-to-speech、speech translation。实时语音场景通常需要低延迟流式连接。

学习内容

• Whisper / Speech-to-text
• TTS
• Realtime Voice Agent
• 语音打断
• 低延迟交互

大白话解释

语音 Agent 不只是“录音转文字再回答”。好的语音 Agent 要处理实时性、打断、噪音、转写错误、语气和工具调用。

10. 4 Video

学习内容

• Video Caption
• Frame Sampling
• Temporal Understanding
• 视频摘要
• 事件检测

大白话解释

视频理解通常不是把每一帧都喂给模型，而是抽关键帧、提字幕、结合时间线，再让模型理解发生了什么。

10. 5 GUI Agent / Computer Use

官方事实

OpenAI Computer Use 文档说明：Computer use 让模型通过用户界面操作软件。模型可以查看截图，返回点击、输入、滚动、截图请求等结构化 UI 动作，由你的运行环境执行。官方也强调应使用隔离浏览器或虚拟机，对高风险动作保留人工确认，并把网页、PDF、邮件等第三方内容视为不可信输入。

学习内容

• Computer Use
• Browser Use
• UI Grounding
• Screenshot Agent
• Playwright / Selenium
• 安全沙箱
• 人工确认

GUI Agent 循环图

用户目标 ↓ 模型请求截图 ↓ 运行环境返回截图 ↓ 模型输出动作：click / type / scroll / wait ↓ 运行环境执行动作 ↓ 再次截图 ↓ 重复直到完成或需要人类确认

为什么重要

人类使用软件主要靠界面：看屏幕、点按钮、填表格、读 Excel、看监控。未来 Agent 如果不能操作 GUI，就很难覆盖真实办公场景。

第十一阶段：模型原理（后学）

11. 1 Transformer

学习内容

• Self-Attention
• Multi-head Attention
• Feed Forward
• LayerNorm
• Residual

大白话解释

Attention 解决的是“当前词应该关注上下文里的哪些词”。比如“苹果发布新手机”和“我吃了一个苹果”，同样是“苹果”，上下文不同，语义不同。

输入句子：我把苹果放进购物袋 模型在理解“苹果”时，会关注： - 放进 - 购物袋 这些词帮助判断它更像水果，而不是公司。

11. 2 模型结构

学习内容

• Decoder-only
• Position Encoding
• KV Cache
• MoE
• 上下文长度

大白话解释

KV Cache 是推理加速的关键之一。模型生成第 100 个 token 时，不应该每次都从头重复计算前 99 个 token 的全部中间结果，于是缓存一部分注意力计算结果。

11. 3 RLHF

学习内容

• SFT
• Reward Model
• PPO / DPO 等对齐方法
• 人类偏好数据

注意

转型初期不需要深入训练公式，但要知道：模型“更听话”通常来自后训练和对齐，不只是预训练语料。

第十二阶段：PyTorch 与微调（1～2 个月）

12. 1 PyTorch 基础

学习内容

• Tensor
• Autograd
• Dataset
• DataLoader
• Module

大白话解释

Tensor 是多维数组，Autograd 自动帮你算梯度。训练模型就是：预测、算损失、反向传播、更新参数，循环很多次。

12. 2 模型训练

学习内容

• Forward
• Loss
• Backward
• Optimizer
• Learning Rate
• Batch

最小训练循环

for batch in dataloader: optimizer.zero_grad() output = model(batch["input"]) loss = loss_fn(output, batch["label"]) loss.backward() optimizer.step()

12. 3 微调

学习内容

• LoRA
• QLoRA
• PEFT
• SFT 数据构造
• 评测

大白话解释

全量微调像“重装修整栋楼”，LoRA 像“在关键位置加可替换模块”。它减少训练参数和显存需求，让普通团队更容易做模型定制。

什么时候需要微调

优先级建议：

Prompt 优化 → RAG → 工具调用 → 评测集 → 必要时微调

不要一遇到回答不好就微调。很多问题是检索、提示词、数据质量或产品流程的问题。

第十三阶段：推理优化与 AI Infra（高薪方向）

13. 1 推理框架

学习内容

• vLLM
• Ollama
• TensorRT-LLM
• SGLang
• OpenAI-compatible API

为什么要学

当企业开始私有化模型或高并发调用模型，核心问题会变成：吞吐、延迟、显存、成本、扩缩容和稳定性。

13. 2 GPU 与 CUDA

学习内容

• CUDA 基础概念
• 显存管理
• Batch
• KV Cache
• 量化
• 并行策略

大白话解释

GPU 很贵。AI Infra 的很多优化，本质是让 GPU 少空转、少重复计算、少浪费显存。

13. 3 Kubernetes / Ray / 分布式部署

学习内容

• K8s
• Ray
• 服务发现
• 自动扩缩容
• 灰度发布
• 可观测性

生产架构图

Client ↓ API Gateway ↓ AI Gateway / Router ├─ 权限 / 限流 / 审计 ├─ 模型路由 ├─ 缓存 └─ 监控 ↓ Model Serving Cluster ├─ vLLM / SGLang ├─ GPU Nodes └─ Logs / Metrics / Traces

第十四阶段：必须做的项目（最重要）

初级项目

1. AI ChatBot

目标：掌握模型 API、上下文管理、流式输出。

2. AI 翻译

目标：掌握 Prompt、术语表、输出格式控制。

3. AI 总结

目标：掌握长文本分段、摘要合并、引用来源。

中级项目

1. 企业知识库

目标：掌握 RAG 全流程。

必须包含：

• 文档上传。
• 切块。
• 向量化。
• 检索。
• 引用来源。
• 无答案拒答。

2. AI 客服

目标：掌握 RAG + Tool Calling。

示例流程：

用户问订单 ↓ RAG 查政策 ↓ Tool 查订单状态 ↓ 模型组织回答 ↓ 必要时转人工

3. AI 文档问答

目标：掌握 PDF / Word / 表格解析和问答。

高级项目

1. 多 Agent 系统

目标：掌握 Planner、Executor、Router、Coordinator。

2. AI 工作流平台

目标：掌握状态机、人机协作、审计日志、失败重试。

3. GUI Agent

目标：掌握截图理解、UI 动作执行、安全确认。

4. MCP 工具生态

目标：实现 MCP Server / Client / Gateway 的工程闭环。

第十五阶段：最终职业方向

AI 应用工程师

核心能力

• Prompt
• 模型 API
• Structured Output
• Streaming
• FastAPI
• 前后端联调

作品集

• AI ChatBot
• AI 写作助手
• AI 总结工具

RAG 工程师

核心能力

• Embedding
• 向量数据库
• 文档解析
• 检索优化
• Rerank
• 评测

作品集

• 企业知识库
• PDF 问答
• 合同检索助手

Agent 工程师

核心能力

• Tool Calling
• Agent Workflow
• Memory
• MCP
• 多 Agent
• Human-in-the-loop

作品集

• 自动代码修复 Agent
• AI 工作流助手
• MCP 工具 Server

AI Infra 工程师

核心能力

• vLLM / SGLang
• GPU 推理优化
• Kubernetes
• 监控与日志
• AI Gateway

作品集

• 私有模型推理服务
• OpenAI-compatible Gateway
• 模型路由与限流系统

大模型算法 / 微调工程师

核心能力

• Transformer
• PyTorch
• LoRA / QLoRA
• 数据构造
• 评测

作品集

• 领域模型微调
• 指令数据集构造
• 模型评测报告

MCP / A2A / 多模态：单独强化路线

MCP 强化路线

Function Calling ↓ JSON Schema / Structured Output ↓ LangChain Tool ↓ MCP Server ↓ MCP Client ↓ MCP Gateway ↓ 权限 / 审计 / 多租户 / Tool Routing

A2A 强化路线

Multi-Agent 基础 ↓ Agent Memory ↓ Agent Workflow ↓ A2A Agent Card / Task / Artifact ↓ Streaming / Async / Push Notification ↓ 分布式 Agent 系统

多模态强化路线

Vision API ↓ OCR / 文档理解 ↓ Speech-to-text / TTS ↓ Video Understanding ↓ GUI Agent / Computer Use ↓ 多模态 Agent 工作流

现实学习节奏建议

0～3 个月：先就业

重点：

• Python
• FastAPI
• Prompt
• 模型 API
• AI 小项目
• RAG 入门

目标：能做出可展示作品。

3～6 个月：进入核心工程

重点：

• LangChain / LlamaIndex
• RAG 优化
• Tool Calling
• Agent Workflow
• MCP Server
• 多模态入门

目标：能做企业级 AI 应用原型。

6～12 个月：形成差异化

重点：

• Agent 平台
• MCP Gateway
• GUI Agent
• A2A
• AI Infra
• 微调基础

目标：能做生产系统设计，而不是只会 Demo。

常见误区

误区 1：一开始就学训练大模型

训练大模型需要大量算力、数据和团队工程。转型初期更应该先学应用、RAG、Agent、MCP。

误区 2：以为 RAG 就是向量数据库

向量数据库只是 RAG 的一部分。文档解析、切块、检索策略、rerank、引用、评测同样重要。

误区 3：以为 Agent 就是多写几个 Prompt

Agent 的核心是工具、状态、循环、权限、失败处理和可观测性。

误区 4：以为 MCP 会替代所有框架

MCP 是协议，不是业务框架。它解决工具和上下文连接标准化，不负责替你设计业务流程。

误区 5：以为 A2A 已经全面生产落地

A2A 方向重要，但生态仍在快速发展。学习时要关注官方规范和版本变化，避免照搬过时草案。

学习检查清单

入门合格

• 能用 Python 调模型 API。
• 能做一个流式 AI ChatBot。
• 能解释 Token、Embedding、Context Window。
• 能写结构化输出 Schema。

就业合格

• 能做企业知识库 RAG。
• 能处理 PDF / Markdown / Word 文档。
• 能做 Tool Calling。
• 能写 FastAPI 后端。
• 能 Docker 部署。

Agent 合格

• 能设计 Planner / Executor / Router。
• 能实现工具注册和调用。
• 能处理工具失败和重试。
• 能设计 Memory。
• 能接入 MCP Server。

高级合格

• 能设计 MCP Gateway。

• 能解释 A2A Agent Card / Task / Artifact。

• 能做多模态输入处理。

• 能设计 GUI Agent 安全边界。

• 能部署基本模型推理服务。

  最后

2026 年一晃已经过半，AI 大模型的热潮不仅没有降温，反而持续升温！

金融行业用大模型做风控、医疗依靠 AI 解析影像，电商、制造、教育各行各业，都在把 AI 融入日常业务。曾经热闹的 “百模大战”，早就告别单纯比拼模型参数，正式进入落地应用时代。

现在企业疯狂紧缺一类人才：懂业务、懂 AI、能做出可上线项目的大模型开发工程师，岗位缺口大，薪资待遇十分可观。

风口再好，不如手握高薪 offer 实在。行情火热，普通人、程序员该怎样从零入门大模型，抓住这波机会？

今天整理好【2026 最新版】AI 大模型全套免费学习资源，覆盖零基础入门、项目实战、理论知识、大厂面试，从基础一路进阶。所有资料分类归档，没有多余杂料，无套路免费分享给想要入局 AI 赛道的程序员与零基础小白！

👇👇扫码免费领取全部内容👇👇

1、大模型系统化完整学习路线

2、大模型经典书籍&文档

3、AI 大模型最新行业研究报告

4、企业级实战项目 + 完整配套源码

5、大厂大模型面试真题汇总

6、这些资料真的有用吗？

这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理，现任上海殷泊信息科技CEO，其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证，服务航天科工、国家电网等1000+企业，以第一作者在IEEE Transactions发表论文50+篇，获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的技术人员，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】