2026/10/20 5:36:17
网站建设
项目流程
CSA2(Compressed Sparse Attention 2,第二代压缩稀疏注意力)
目录
- CSA2(Compressed Sparse Attention 2,第二代压缩稀疏注意力)
- 一、 `8192 个 tokens` 和 `2048 个 tokens` 到底是什么?
- 1. `8192 个 tokens` 是什么?—— 【初赛入围池(粗筛候选池K c o a r s e K_{coarse}Kcoarse)】
- 2. `2048 个 tokens` 是什么?—— 【决赛圈名单(最终参与计算的 Top-KK f i n e K_{fine}Kfine)】
- 用“招聘简历”打个比方,一秒秒懂:
- 二、 模型需要重新训练吗?
- 1. 为什么不能“免训练(Training-free)”直接用?
- 2. 怎么训练?一定要从零开始(From Scratch)花几千万美元重训吗?
- 3. 对你们做应用(如工单系统)意味着什么?
- 一、 出发点是什么?(为什么要发明 CSA2?)
- 痛点 1:层与层之间的“记忆高度雷同”(空间浪费)
- 痛点 2:“找重点(建索引)”本身的开销随长度爆炸(时间浪费)
- 二、 实现原理与运行逻辑(它是怎么运转的?)
- 1. 跨层三态分工:把模型层分成 3 种角色
- 2. Hierarchical Sparse Indexer(分层漏斗索引器)
- 三、 CSA2 的核心优点(收益有多大?)
- 四、 CSA2 的核心缺点与潜在风险(代价是什么?)
- 缺点 1:“一锤定音”导致的级联漏检(Cascade Recall Drop)
- 缺点 2:`Reuse` 层丧失了“视角切换(Attention Shift)”能力
- 缺点 3:不能即插即用,训练与算子工程复杂度极高
- 五、 怎么解决这些缺点?(工程与算法补救之道)
![]()
一、8192 个 tokens和2048 个 tokens到底是什么?
在理解这两个数字之前,先明确一个概念:1 个 Token 大约等于 0.7 个中文字(或半个英文单词)。
假设你现在喂给大模型一篇超长的历史工单合集或技术手册,总长度是128K(约 13 万个 Token,相当于一本 10 万字的小说)。
当大模型要回答你的问题、往外吐下一个字时,它需要回头去这 13 万个 Token 里找线索。如果把 13 万个 Token 全算一遍,显卡就累死了。于是CSA2 的漏斗机制分两步走:
1.8192 个 tokens是什么?—— 【初赛入围池(粗筛候选池K c o a r s e K_{coarse}