企业官网建设流程全解析

上个月底我盯着后台的 Token 用量曲线，半天没说话。GPT-6 ultra 确实强，强到我把所有任务都往里塞，塞到月度消耗直接爆表，还没算并发重试和上下文反复计费。后来我意识到问题不是"这个模型太烧钱"，而是我让一个顶级专家把前台、资料员、校对、秘书的活全包了，按专家时薪付所有人的工资。于是我用两周时间给它配了一个 AI 团队——前台分诊、资料整理、审核校对、记忆管家各司其职，只有真正需要顶级推理的活才交到它手里。整套架构跑下来，Token 消耗降了六到七成，输出质量不降反稳。这篇就把这套"配团队"的打法完整拆给你，适合被长上下文账单吓到的人、跑批量任务的开发者、以及所有想在多 Agent 架构里控制预算的团队。

1. 先算一笔账：GPT-6 ultra 的烧钱逻辑到底在哪

1.1 一次让我肉疼的文档重构

起因是一个老项目的重构。我把十几个源码文件整包丢给 GPT-6 ultra，让它输出模块拆分方案。单次调用光是输入上下文就接近 4 万 Token，输出只有一千多 Token，成本大头几乎全压在输入上。更难受的是，我在追问"第二版方案"的时候，整包文件又完整计费了一次——模型并没有缓存上一轮的阅读结果。

这个场景太典型了。大部分人在用旗舰模型时有个习惯：把原始材料一股脑倒进去，让模型"通读全文"。对模型来说，这确实能提升回答质量，但对账单来说是灾难。大模型计费是输入加输出双向计费，长上下文场景下输入占绝对大头，而输入里的绝大多数内容，模型读完也就用到了几句话。

我自己做过统计，一周之内所有直接丢给旗舰模型的请求，真正被模型"有效利用"的输入 Token 大概只有三成。剩下七成是背景铺垫、重复文件、日志片段、来回修改时重发的旧消息。说白了，你一直在用专家号挂普通号，专家却把时间花在读化验单而不是诊断上。

1.2 为什么长上下文的成本会"超线性"地涨

很多人的直觉是"上下文长一倍，价格贵一倍"，但实际不是。Transformer 的注意力机制里，每个 Token 都要跟上下文里的所有 Token 做一次关系计算，上下文窗口翻倍，计算量和显存占用增长远不止翻倍。服务商为了支撑超长上下文，还需要为每个请求预留更大的 KV Cache 资源，这部分成本自然转嫁到调用价格上。

更深一层的问题是，长上下文会放大"重试成本"。一次 4 万 Token 的请求因为输出 JSON 格式崩了要重来，第二次又得完整付一遍 4 万 Token 的输入费用。我在做 Agent 工具调用时经常遇到这种状况：模型本身没答错，但工具返回的字段格式不对，于是整个请求重跑，Token 双倍流失。

所以结论很直接：不是模型单价让你破产，是"让模型读太多它不该读的东西"让你破产。与其想怎么砍单价，不如先想怎么砍阅读量。

1.3 裸用和配团队的成本对照

我按一个月的实际负载算了笔账：假设有 1000 个任务，每个任务平均输入 12000 Token、输出 2000 Token。价格不需要精确到小数，按照旗舰模型输入和输出约为入门模型几十倍的价差来估就够说明问题了。

这个表里最关键的数字不是"大模型调用降了 80%"，而是"输入总量降了 80%"。因为长上下文场景里输入是花钱大户，砍输入比砍输出有效得多。实测下来，我的整体成本不是降到 80%，而是降到 30% 左右，原因就是大部分任务压根没走到旗舰模型那一步。

2. 所谓"AI 团队"，本质是一套任务分层的路由架构

2.1 别把 Agent 当噱头：组织分工就是 Token 经济学

很多人听到"给大模型配团队"觉得花哨，但拆开看，它就是一个公司最常见的运转方式。公司里最贵的专家不会自己收发快递、整理档案、检查错别字，这些杂活由前台、助理、校对分担，专家只做核心判断和最终拍板。

套到 AI 系统上就是五类角色：前台分诊员负责判断请求难度，资料整理员负责压缩信息，主力专家只做复杂推理，审核校对负责格式和一致性检查，记忆管家负责存历史摘要。每个角色背后可以是一个独立模型实例，也可以是一段带工具调用的流程封装。重点是：让信息按照难度分级流动，而不是所有请求都涌向同一扇门。

这套架构的第一价值是省钱，第二价值是可观测。每一个环节消耗多少 Token、输出了什么，全部有日志可查。裸用旗舰模型的时候你根本不知道钱花哪了，配了团队之后，每个角色的账单都摊在桌面上，哪块浪费一眼就能看出来。

2.2 先分诊再决策，少付大量"冤枉钱"

路由分诊是整个架构的核心。我把它做成一个独立的分类层，先把请求分成四类：简单查询、结构化生成、复杂推理、长文档处理。前两类走廉价快的模型，第三类才升级给 GPT-6 ultra，第四类先经资料整理员压缩再交给旗舰模型。

这里有一个特别重要的工程细节：分诊不能只看关键词，要看置信度。如果路由模型对小模型能不能答好没有把握，应该直接升级而不是硬答。我踩过的坑是刚开始把置信度阈值设得太高，结果大量稍微沾点边的请求全涌向旗舰模型，省了个寂寞；后来把阈值调得太低，小模型硬答胡话，用户不满意又重跑大模型，反而更费 Token。

最终折中的方案是分级处理：置信度低于 0.7 直接升级，0.7 到 0.85 之间先让小模型出草稿，再由旗舰模型做简短的修正性审阅，0.85 以上完全交给小模型。这个参数没有绝对标准，跟你的数据分布有关，但思路是通用的——给每个档位都标好"代价边界"。

2.3 路由模型也要选会"思考"的

早期我做路由只用一个简单分类模型，后来发现效果不好。原因很简单：有些请求表面上像简单问题，实际暗含多步推理。比如"把这个函数改成异步，并保证调用方不改动"，分类器可能打成代码生成，但实际需要理解调用链，属于复杂推理。

后来我参考了 DeepSeek 公开的智能体训练新方法——用更细粒度的思维链数据去蒸馏轻量模型，让它在做路由和工具调用之前先"想一小步"。这种做法让路由模型不再是一个僵硬的打标签机器，而是会基于"我能不能搞定"来做决策，决策准确率明显提升。

工程上的选型建议是：路由和分诊模型至少要具备基础的工具调用能力，而不是纯文本分类。现在很多 API 通道都提供便宜的"工具调用版"模型，你完全可以用同一个工具链去接不同模型。比如把 Codex 类的编程 Agent 接到千问这类支持 Token Plan 计费的 API 上，工具链不用改，底层推理通道换成性价比更高的模型，跑批量的辅助编程任务非常划算。

3. 我的手搓配置：五个角色怎么搭、怎么调度

3.1 角色卡和选型方向

每个角色的模型选型不需要一步到位，关键是明确"它需要多强的智力、要付出多少 Token"。我整理了一张配置表，覆盖选型和定位：

这里我想强调一下"资料整理员"的设计。它的职责不是总结，而是提炼出后续推理真正需要的"材料包"。比如代码重构场景里，它要把十几个文件转成三类信息：对外接口清单、关键函数依赖图、需要修改的代码段定位。旗舰模型拿到这份材料包，就不用再通读全文，直接基于结构化的依赖关系做方案设计。这一步把输入从几万 Token 压到几千，质量反而更高，因为模型不会被无关代码干扰。

3.2 核心调度流程的伪代码

整个团队的调度逻辑不复杂，核心就三段：分类、升级、交付。下面是我在项目里的简化实现：

def dispatch(request): # 第一层：分诊 route, confidence = classifier.analyze(request) # 第二层：根据置信度决定走哪条通道 if confidence >= 0.85 and route in ("simple", "structured"): return cheap_model.generate(request) if route == "complex": materials = document_prep.pack(request) # 资料整理员压缩上下文 return gpt_ultra.generate(request, materials=materials) if confidence >= 0.7: draft = cheap_model.generate(request) return gpt_ultra.review(request, draft=draft) # 旗舰做审阅修改 # 第三层：拿不准就直接升级 materials = document_prep.pack(request) return gpt_ultra.generate(request, materials=materials)

所有中间产物必须走结构化 JSON 传递，比如{"type": "material_pack", "version": "1.2", "files": [...], "summary": "..."}。这么做有两个好处：一是下游模型不需要"重新转述"资料，直接从字段里取，省 Token；二是出了问题能精准定位是哪个环节丢的信息。我见过很多团队在 Agent 里传纯文本字符串，模型 A 的输出格式稍微变一变，模型 B 就懵了，最后只能靠重试兜底，消耗全部白付。

3.3 提示词设计：只让大模型看"必须看"的

配了团队之后，GPT-6 ultra 看到的输入结构跟以前完全不同。我现在给它的每条请求最多包含三部分：系统角色定义任务边界和输出格式，用户消息放压缩后的材料包，工作区放需要它直接操作的结构化数据。整包原始文档严格禁止直接传入，所有背景材料必须先经过资料整理员。

比如在编程辅助场景，给 Codex 这类编程 Agent 的提示词不应该带整个仓库。正确的做法是先用工具抽取符号表、改动点、类图摘要，组成一个轻量"任务包"。我在实践里用的模板大概是：

你是本次重构任务的评审专家。以下是本次任务的完整材料包，请基于该材料包给出方案，不要自行扩散范围。 【目标】将模块 A 的异步化改造扩展至全部调用方 【接口清单】{由资料整理员生成} 【依赖关系】{由资料整理员生成} 【约束条件】1. 不改变对外行为 2. 兼容旧配置项 【输出格式】改造步骤、风险点、验证清单，三部分，使用 Markdown

这个模板的核心思路是"用结构化约束代替全文阅读"。你只需要在提示词里声明"不要扩散范围"，模型就不会像以前那样把无关代码也纳入思考，实际上也减少了它输出冗余内容的概率。上下文短了、任务边界清晰了，输出质量反而稳定。

4. 生产环境里最容易翻车的三件事：上下文、配额、凭证

4.1 上下文管理：别让"记忆"把 Token 吃光

多 Agent 跑起来之后，最大的隐性消耗不在单次请求，而在"对话历史"。如果每个 Agent 都把之前的完整对话带进下一轮，上下文会指数膨胀。我采用的方案是滑动窗口加历史摘要：每四轮对话就把前面的内容压缩成摘要，存入记忆管家；新请求只带摘要加最近两轮原始对话。

这里有个容易翻车的细节：摘要压缩一定会丢细节。模型在上一轮引用过的文件路径、关键数值、ID，摘要里必须原样保留，不能改成"某个文件""配置项二"。我给记忆管家加了一层"强制保留规则"——凡是模型回答里出现过的路径、数字、标识符，压缩时必须原样放进摘要字段。没有这条规则，后来审核逻辑会莫名出错，查半天才发现是摘要把关键 ID 模糊化了。

工具调用的记录也要单独管理。Agent 调用工具时，工具返回的长文本不应该一直留在上下文里。我的做法是工具结果只保留最近三条，更早的调用记录转成一行摘要存到向量库。对模型来说，它不需要记得上次搜索的完整结果，只需要知道"上次已经搜过这个关键词，结论是 X"，这就足够支撑连贯性了。

4.2 配额与限流：没有预算的 Agent 会失控

给每个 Agent 设独立配额是血的教训。我遇到过子 Agent 在死循环里反复请求外部接口，几分钟内把当日预算打光的状况。它本身没有恶意，只是路由逻辑里"工具调用失败就重试"写得比较激进，失败一次重试一次，每次重试都要重新调用主模型，Token 就飞速消失了。

现在的做法是三段式限制：每个角色单独设单请求 Token 上限，避免一次请求把预算吃穿；每个角色设每分钟请求数上限，控制并发；全局设日熔断线，达到预警线自动降级——把所有流量切到廉价模型，人工介入后再恢复。

roles: classifier: budget_per_request: 800 rps_limit: 10 document_prep: budget_per_request: 4000 rps_limit: 5 gpt_ultra: budget_per_request: 16000 daily_cap: 400000 fallback_mode: when_daily_cap_reached: route_to_cheap_models

这套配置还能帮你做成本审计。每个角色每天花了多少、集中在哪个时段、哪些请求类型在消耗预算，全都有记录。裸用时代你只能看着总账单后悔，配了团队之后你能精确到"昨天资料整理员在压缩一份 3 万行的日志文件上花了 8000 Token，而这份文件最后只用到了其中两行"——这种浪费马上能纠正。

4.3 凭证集中管理：Token 失效为什么会拖垮整个任务队列

多 Agent 系统里还有一个被低估的坑：外部服务的登录态和 API 凭证失效。很多人在本地跑 Agent 时，把 key 直接写在配置里，觉得能用就行。但放到生产环境，只要有一个 Agent 的凭证过期，错误信息就会变成一串让人摸不着头脑的报错：sign-in could not be completed、token exchange failed、token endpoint returned 403 forbidden。

这类报错本质上不是模型能力问题，而是认证链路断了。排查链路通常是：登录态过期，API 网关拒绝请求，Agent 收到 403 后重试，重试触发频率限制，然后整个任务队列开始连锁失败。如果你在每个 Agent 里手动塞 key，还得逐个排查到底是谁的凭证先过期，非常被动。

我的方案是做一个集中的凭证服务：所有 Agent 启动时从凭证服务拉取 access token，不在本地代码里落任何密钥。凭证服务负责管理刷新逻辑——access token 时效短，刷新 token 时效长，用定时任务提前续签，避免在请求高峰期集中过期。所有对外请求统一走重试组件，重试采用退避加抖动策略，防止多个 Agent 同时重试把网关打死。

这里点一下 JWT 续签的通用机制：只要你的认证体系用的是 JWT，就需要把"刷新"和"重试"做成两个独立环节，刷新逻辑与具体业务解耦。刷新失败的告警也要单独拉出来，不要混在普通业务日志里。一次刷新失败会拖垮一整批任务，它不是普通故障，是全局故障。

4.4 两种极端省钱路线：本地小模型和 Token Plan

如果预算压力还是大，还有两条路可以进一步压缩成本。第一条是本地部署轻量模型做高频低难度任务。社区里已经有人在 6GB 显存的环境里用 bonsai27b 加 ninfer 推理引擎跑起"闪电侠"方案，本地跑模型 Token 不花钱，输出速度还很快。我把前台分诊员和资料整理员的一部分高频任务迁到本地之后，API 账单又降了一截。

第二条是订阅制的 Token Plan。对于编程辅助这种有固定工作量的场景，把 Codex 这类编程 Agent 接到千问的 Token Plan API 上，用固定订阅额度换批量用量，比按次计费稳定得多。你就把它理解成"包月流量包"和"按流量计费"的区别，跑量大、频率高、单次消耗可控的任务，包月必然更划算。实测下来，只要一个月的调用次数超过一定阈值，Token Plan 的边际成本优势就很明显。

不过要提醒一句：本地部署不是没有代价。它需要你花时间维护推理服务，小模型的输出质量也明显弱于旗舰。我的建议是"能用规则、Medium 模型解决的就别上大模型，能本地跑的就别走 API，只有真正需要顶级理解力的推理才值得花旗舰价格"。

5. 实测两周：数据对比和踩坑清单

5.1 三个真实任务的 Token 消耗对比

我把这套架构放到真实工作流里跑了两周，挑三个有代表性的任务做了对比。周报生成是典型的高频低难度任务，代码重构是中频高难度，长文档问答则是长上下文消耗的大户。

长文档问答是收益最大的场景。以前让 GPT-6 ultra 直接读完整份合同再回答，每次输入都上万；现在资料整理员先把合同里的条款、金额、日期、义务边界抽成结构化材料包，旗舰模型只需要基于材料包做判断。回答的准确率没有下降，反而因为不被无关段落干扰，关键条款的把握更准了。

5.2 踩坑清单：那些文档里不会写的教训

第一坑是置信度阈值。我一开始设 0.9，结果大量边界请求全涌向旗舰模型，只省了两成；后来改 0.6，小模型开始乱答，用户跑回来重问，反而更费。最后的 0.75 也不是一次调出来的，是跑了三天数据后根据路由准确率曲线定的。建议你把每一次路由结果都打日志，跑一周再回头调参，别拍脑袋。

第二坑是中间产物的格式漂移。模型偶尔会在输出的 JSON 前后加 Markdown 代码块标记，导致下游解析失败。我加了两道防线：解析时先剥离代码块标记，再加 JSON Schema 校验，校验不过就走一次单步重试。这里别省重试的钱，格式问题重试一次就能解决，比让它带错跑完全程划算。

第三坑是并发限流。多 Agent 并行调用同一个 API 时，经常触发供应商的频率限制。我给每个角色加了令牌桶，限制同时进行的请求数，另外把全局并发上限设成 API 限流阈值的 70%，留出缓冲。否则一旦触发限流，重试风暴会让情况更糟。

第四坑是缓存过度激进。有一版我把所有历史对话都压成摘要，结果模型在回答里引用过的具体路径被压缩成了"某个路径"，导致审核环节逻辑对不上。之后我加了强制保留规则，凡是引用过的具体标识符一律原样保留，宁可多花几百 Token 也不丢关键信息。

5.3 什么场景不适合这套玩法

配团队不是万灵药，有些场景强行套这套架构反而亏 Token。一类是"一次性简单问答"——用户就问一句"现在几点"，你让分诊、路由、审核全跑一遍，三份 Token 全花了，直接问旗舰模型反而便宜。第二类是延迟极度敏感的交互场景，路由和并行处理增加的延迟不可忽略，实时对话里体验会打折扣。第三类是创意写作，比如让大模型写一篇风格化小说，压缩上下文会砍掉风格细节，这时候你需要的恰恰是"全文阅读"的能力，省 Token 没有意义。

判断标准其实就一条：任务里有多少信息是"必须完整保留"的。必须完整保留的就别压缩，可以结构化的才值得走团队分工。想清楚这条边界，这套架构才不会变成为了省钱而省钱的过度设计。

我在实际跑这套系统的时候，最大的感受不是钱省了多少，而是重新拿回了对 Token 的掌控感。以前每个月底看账单像开盲盒，现在每个角色花在哪、该不该花，全都有日志可查。一个小技巧分享给你：把所有 Agent 的输入输出打上日志，每周花十分钟扫一遍，你会惊讶地发现有大量 Token 在做无效加班——某些资料整理员在压缩根本用不到的日志，某些路由规则把本该升级的请求压在了小模型上。这些浪费不看日志你永远发现不了，看了之后，每一轮优化都是实打实的省钱。