企业官网建设流程全解析

TokenHub 是一款开源的企业级 AI 网关，为团队提供统一的模型接入与治理层。本文给出一份可落地的 TokenHub 企业 AI Token 成本优化清单：通过提示词缓存、多级配额和智能路由三大杠杆，让每一笔 AI 花费可控、可追踪、可归因。

为什么企业 AI Token 账单总失控？

当每个团队、每个应用各自直连不同的模型供应商时，成本问题几乎必然出现：

• 没人知道谁在花钱：Token 消耗分散在几十个 API Key 里，财务对账靠猜；
• 重复输入反复付费：相同的系统提示词、代码上下文每次都按全价输入计费；
• 请求总走最贵的线路：默认路由把简单任务也送去了最贵的模型。

TokenHub 的做法是在所有模型调用之前加一层治理：缓存把重复输入变便宜，配额把花费上限提前锁死，路由把请求送向性价比最高的模型和线路。下面按这三个方向逐一拆解。

一、提示词缓存优化：把重复输入的价格降一个量级

1. 配置缓存读取价与缓存写入价

各家供应商的缓存读取（Cache Read）价格通常是普通输入的 1/10 甚至更低。TokenHub 的模型目录支持为每个模型单独配置这两项价格，成本估算会据此精确拆分：

关键规则（详见 billing-pricing.md）：

配置完成后，用量记录会在总成本之外单独暴露input_cost_usd、cache_read_cost_usd、cache_write_cost_usd、output_cost_usd四个字段，报表可以直接回答"缓存到底省了多少钱"。

2. 开启缓存亲和路由，让缓存真正被命中

缓存是"账号 + 上游模型"维度的隔离的——同一次会话如果被打散到不同账号，前缀缓存就会反复失效。TokenHub 提供无状态的缓存亲和（cache locality）路由：同一会话通过一致性评分自动收敛到同一个账号与模型组合上，提升上游前缀缓存复用率，而不会把绑定关系落库。实现可参考 cache_locality.go。

还有一个容易被忽略的开关：系统提示词转换策略。Claude Code 类客户端会在 system 开头插入一段每次变化的归因文本块，它会破坏原本稳定的提示词前缀。TokenHub 可为每个 Provider 设置system_prompt_transform_policy: strip，自动移除该块，直接提高上游前缀缓存命中率（详见 administrator-guide.md 的"系统提示词转换处理"一节）。

💡检查点：在请求日志里确认cachedToken 占比是否在持续上升——这是缓存优化是否生效的最直接信号。

二、配额与预算优化：让每一分钱都有归属

1. 多级额度策略：从全局到单个 Key 层层设防

TokenHub 的配额系统支持五个作用域，取其中最严格的值生效：

全局 → 团队 → 项目 → API Key → 用户聚合

每个作用域都可以独立设置：

• RPM / TPM：每分钟请求数与 Token 数（请求结束按实际用量结算，失败自动返还预留量）；
• 日 / 月请求数、日 / 月 Token、日 / 月成本：硬性花费上限；
• 最大并发：防止单个 Key 突发流量挤垮整体容量。

超限时网关在调用 Provider 之前就直接返回429（错误码api_key_rpm_exceeded/api_key_tpm_exceeded），一分钱都不花在上游。配额按quota_timezone（IANA 时区，如Asia/Shanghai）的本地零点重置，国内团队建议一开始就配置好，避免账单周期和财务周期错位。

2. 用量看板：按部门、项目、Key 复盘成本

"用量"页面提供当天的 Token、请求数、估算成本、缓存读，并可按 Token 类型、模型、项目、API Key 拆分；长期报表支持部门对比与个人排行，是额度复盘和成本归因的主战场：

对于需要把数据接入自动化分析脚本的场景，不要直接复用管理员账号或模型 Key——应创建独立的tha_前缀分析凭证，可限制到单个项目并可单独吊销，权限设计见 agent-token-cost-api.md。

💡检查点：给每个 Key 设置"归属用户"，用量会固化到实际使用人；后续转移归属或删除 Key 都不会改写历史归因。

三、路由优化：把请求送到最划算的模型和线路

1. 六种路由策略怎么选？

TokenHub 在"路由策略"中为每个对外模型提供一套策略体系，覆盖省钱场景的核心是cost（成本优先）与adaptive（自适应）：

2. 用项目作用域隔离贵线路

私有项目只需要内部模型时，把内部 Provider 线路设为include并选中这些项目，外部 Provider 线路设为exclude选中同一批项目——私有流量只会命中内部线路，安全失败而不会静默跨界到昂贵的外部 Provider。

3. 智能选模：Jev 语义路由

如果同一个对外模型名背后挂了"便宜小模型 + 昂贵推理模型"两条线路，可以让 TokenHub 调用 Jev 分类器对最近一条用户任务做分类，按适用条件自动选择候选模型：简单提取走小模型，复杂分析才用推理模型。超时、不可用或置信度不足时自动回退默认模型，不影响可用性。完整配置与回退规则见 semantic-routing.md。

4. 故障转移：避免"无效重试"烧掉 Token

上游失败时，TokenHub 会先做错误分类再决定是否换线路：格式错误（400/422）直接返回、不换 Provider——因为换任何供应商都是错的；凭据被拒、限流、上游故障才触发故障转移并计入该账号的失败计数。连续失败的账号资源会自动摘除进入冷却，冷却期后半开试探、试探成功即自动恢复，全程无需人工介入。这套机制保证失败的请求不会被重复计费到错误的线路上。

四、成本可观测：从估算到对账

省下来的钱要"看得见"才算数。TokenHub 提供三层对账能力：

1. 请求级：每条用量记录固化 Provider 真实成本与对外计费价的拆分，请求日志详情可直接下钻；
2. 链路级：开启 OTLP 链路导出后，每次故障转移在 Langfuse 中呈现两个候选及各自消耗的 Token 与成本——指标只告诉你延迟升高了，链路能告诉你是哪个账号服务了这次请求、花了多少钱；
3. 账单级：外部账单连接器支持阿里云、NewAPI、OneAPI 兼容日志源，定时同步后可建立成本对账规则，按明细/小时/天/月粒度与 TokenHub 用量比较，输出已匹配、仅一侧存在、金额不一致四类结果并可导出 CSV。

落地清单：7 步把降本流程跑起来

完成这套配置后，你可以随时回答三个问题：谁花了多少钱（归因）、为什么花（路由与缓存明细）、还差多少到上限（配额水位）——这正是企业 AI 成本治理从"月底看账单"走向"实时可控"的分水岭。

延伸阅读

• 管理员指南：模型路由与成本治理全解
• 计费与分时段定价详解
• Jev 智能路由策略
• 普通用户 API 接入指南
• Agent Token 成本 API 指南
• 项目总览 README