Headroom:AI 智能体的上下文压缩层
Headroom 是专为 AI 智能体设计的上下文压缩层,可减少 60 - 95% 的 token 使用量。它提供了库、代理、MCP 等多种形式,包含 6 种算法,采用本地优先策略,支持可逆压缩。
功能特性
1.多形式支持
-库形式:可在 Python 或 TypeScript 中使用 `compress(messages)` 函数,能嵌入到任何应用中。
-代理形式:运行 `headroom proxy --port 8787`,无需更改代码,支持任何语言。
-智能体包装:通过一条命令 `headroom wrap claude|codex|cursor|aider|copilot` 对智能体进行包装。
-MCP 服务器:提供 `headroom_compress`、`headroom_retrieve`、`headroom_stats` 等功能,供任何 MCP 客户端使用。
2.跨智能体内存:在 Claude、Codex、Gemini 等智能体间共享存储,自动去重。
3.失败学习:`headroom learn` 可挖掘失败会话,将修正内容写入 CLAUDE.md / AGENTS.md。
4.可逆压缩(CCR):原始内容不会被删除,LLM 可按需检索。
工作原理
智能体或应用(如 Claude Code、Cursor、Codex、LangChain 等)产生的提示、工具输出、日志、RAG 结果和文件等内容,会先经过 Headroom 处理。Headroom 本地运行,确保数据安全,其内部包含多个组件:
-CacheAligner:稳定前缀,使提供商的 KV 缓存能够命中。
-ContentRouter:检测内容类型,选择合适的压缩器。
-SmartCrusher:用于压缩 JSON 数据。
-CodeCompressor:基于 AST 对 Python、JS、Go、Rust、Java、C++ 等代码进行压缩。
-Kompress - base:基于 HuggingFace 模型,对文本进行压缩。
-CCR:本地存储原始内容,LLM 可按需调用 `headroom_retrieve` 进行检索。
处理后的压缩提示和检索工具将传递给 LLM 提供商(如 Anthropic、OpenAI、Bedrock 等)。
快速开始
1.安装
- Python:`pip install "headroom - ai[all]"`
- Node / TypeScript:`npm install headroom - ai`
2.选择模式
- 包装编码智能体:`headroom wrap claude`
- 代理模式:`headroom proxy --port 8787`
- 库模式:`from headroom import compress`
3.查看节省效果:`headroom stats`
实际效果
-节省 token:在实际智能体工作负载中,如代码搜索、SRE 事件调试、GitHub 问题分类、代码库探索等场景,可大幅减少 token 使用量,最高节省 92%。
-保持准确性:在标准基准测试中,如 GSM8K、TruthfulQA、SQuAD v2 等,能保持较高的准确性。
智能体兼容性
支持多种智能体,如 Claude Code、Codex、Cursor、Aider、Copilot CLI、OpenClaw 等。通过 `headroom proxy` 可兼容任何 OpenAI 兼容的客户端,MCP 原生支持 `headroom mcp install`。
使用场景
-适合使用的场景:日常运行 AI 编码智能体,希望在不更改代码的情况下节省成本;跨多个智能体工作,需要共享内存;需要可逆压缩,确保原始内容可随时检索。
-不适合使用的场景:仅使用单一提供商的原生压缩功能,且不需要跨智能体内存;在沙盒环境中,无法运行本地进程。
集成方式
可集成到各种技术栈中,包括 Python 应用、TypeScript 应用、Anthropic / OpenAI SDK、Vercel AI SDK、LiteLLM、LangChain、Agno、Strands、ASGI 应用、多智能体共享上下文等。
内部组件
-SmartCrusher:通用 JSON 压缩器,支持数组、嵌套对象和混合类型。
-CodeCompressor:基于 AST 对多种编程语言代码进行压缩。
-Kompress - base:HuggingFace 模型,基于智能体轨迹训练。
-图像压缩:通过训练的 ML 路由器实现 40 - 90% 的压缩率。
-CacheAligner:稳定前缀,提高 Anthropic/OpenAI KV 缓存命中率。
-IntelligentContext:基于分数的上下文适配,学习重要性。
-CCR:可逆压缩,LLM 可按需检索原始内容。
-跨智能体内存:共享存储,自动去重。
-SharedContext:在多智能体工作流中传递压缩上下文。
-headroom learn:基于插件挖掘 Claude、Codex、Gemini 的失败会话。
安装方式
- Python:`pip install "headroom - ai[all]"`
- TypeScript / Node:`npm install headroom - ai`
- Docker:`docker pull ghcr.io/chopratejas/headroom:latest`
文档与社区
提供详细的文档,包括快速入门、架构、代理、压缩原理、MCP 工具、CCR 可逆压缩、内存缓存优化、失败学习、基准测试、配置、限制等内容。社区方面,可通过 Discord 交流问题、反馈和经验,Kompress - base 模型可在 HuggingFace 上查看。
贡献与许可
欢迎贡献代码,可克隆仓库 `git clone https://github.com/chopratejas/headroom.git` 并进行开发。项目采用 Apache 2.0 许可。Headroom 究竟还会在 AI 领域带来哪些惊喜呢?