企业官网建设流程全解析

Tied-Depth Language Models: Depth Scaling, Free Early Exit, and a Fundamental Trade-off

草稿 v2 | 2026-09-29 | 基于 DEQ-LM v1→v11 十一个版本、7.27M/23M 两个规模、约 18 小时 GPU 实验

摘要

权重绑定迭代块（同一 Transformer 块反复应用 k 次）承诺"测试时深度缩放"与"按输入自适应计算"。我们在 23M 语言模型上系统验证了这些承诺，得到一个此前未被报道的基本权衡：

单深度训练使模型呈现强深度缩放（k=1→30: NLL 6.27→4.36），但任何置信度早退都灾难性失败（中间深度"自信但错误"）；
多深度监督使早退完全免费（k=1 退出仅损 0.04 NLL），但深度缩放消失（k=1 即达近最优）。
两者不可兼得，且该定律跨规模（7M→23M）成立。

进一步：(a) 等参数 2×2 对照（{绑定,纯堆}×{全反传,phantom}）给出干净的因果分解——绑定架构三连胜（PT 与 SFT 的全部三项指标均小幅优于纯堆层，推翻 ALBERT"共享=负债"在本设定的适用），而 1 步 Phantom 反向在短视界（1000 步）看似无损、长视界（39,695 步）欠拟合 +1.36 NLL，尽管它省 46% 显存；(b) 我们发现既有 30M 基准的后缀评测位置61.6% 是 padding——按真实 token 重排后，冠军模型（NLL 2.78）实际垫底（7.17），而被判"发散垃圾"的模型（15.2）实际第二（4.10）；© 绑定块从不收敛到不动点，残差范数作为不确定性探针仅有弱信号（r=+0.27~0.39）。最终最优 23M 模型为 v11（绑定+全反传 PT+SFT：含pad 1.155 / 真实 2.915），生成质量定性最优。

1. 引言

深度自适应计算的经典路线有三：ACT（Graves 2016）、Universal Transformer（Dehghani 2019）、DEQ（Bai 2019）。它们共同假设：更多迭代 → 更好质量，且模型应学会"简单输入少想"。我们在一个小而完整的 LM 测试床（minimind，vocab 23005，7M/23M，全量 PT 39,695 步）上重新审视这些假设，发现：

1. 深度缩放是真的——但它是训练机制的产物（§4.1）
2. 免费早退是可以的——但代价是深度价值（§4.2）
3. 两者在两个规模上均不可兼得（§4.3, 定律）
4. 评测基准本身可能被 padding 主导（§5）
5. 绑定架构无罪且小幅占优；Phantom 是长程负债（§5.5, 2×2 因果分解）

2. 架构（三明治）

emb+pos → LN → 2×标准层 → [权重绑定块 ×k, z ← z + α·Block(z)] → 2×标准层 → LN → head Block = pre-norm causal attention + SwiGLU, α 可学习标量 (sigmoid 参数化, init 0.1)

7.27M (d128) / 23.05M (d320)。训练默认 k=30（单深度）；多深度变体在 k∈{1,2,4,8,16,30} 全部施加监督。

3. 反向传播：1 步 Phantom

前向 no_grad 迭代 k 次至 z*；反向梯度仅穿过一步图 z₁=z₀+α·f(z₀)。短视界实测（23M, B=32, L=256, k=30, 1000 步）：

普通反传显存随 k 线性增长，Phantom 恒定；k 越大优势越大。

⚠ 长视界警告（§5.5 2×2 的关键教训）：上述 1000 步结论是视界假象。在完整 39,695 步 PT 上，同架构下 phantom 比全反传差+1.36 NLL（3.867 vs 2.508）——1 步梯度近似在早期足够、长程严重欠拟合。本文 v7/v8（phantom 训练）与 v10/v11（全反传训练）的全部差距来源于此。近似梯度的显存优势必须在完整训练视界上验证质量。

4. 核心发现：权衡定律

4.1 深度缩放存在（单深度训练）

• 深度单调换质量，随规模增强（每个 k 点 23M 均优于 7M）
• 但长训练+Phantom 将深度依赖推向极端：k<16 接近随机（NLL≈10=ln|V|），轨迹只在第 30 步"落地"

4.2 事后置信度早退失败；多深度监督使其免费

事后 maxprob 早退（v3，未训练早退）：

逐位置早退全面劣于统一深度：中间深度的 logits自信但错误——max-softmax 概率在 k≈8 饱和，而预测质量到 k≈30 才到位。“输出置信 ≠ 输出质量”。

多深度监督（v4/v6，k∈{1,2,4,8,16,30} 全部算 loss）：

4.3 权衡定律

深度缩放与免费早退不可兼得。
深度缩放只在模型被允许（仅在最深处监督）依赖深度时出现；被强制在所有深度都好之后，一次迭代即可达到近最优——说明迭代的"深度"并不携带一步无法携带的信息，此前测得的深度缩放是计算路由的伪影而非信息的串行精化。

该定律在 7M 与 23M 上一致成立（v3↔v4, v5↔v6 对照），且多深度监督不损失质量上限（4.251 两边一致；7M 上甚至略升 4.36→4.34）。

对文献的含义：任何报告权重绑定深度缩放的工作若未含多深度对照，其深度缩放主张不成立；任何报告 ACT/早退的工作若未含单深度对照，则未展示其放弃的深度价值。

5. 基准的 padding 主导问题

既有 30M 对比基准（suffix NLL：预测 x[193:256]）中，61.6% 的评测位置是 padding（token 0）。含 pad 与仅真实 token 的排名完全反转：

• CEDLR 的训练目标含 pad 后缀 → 学会大量预测 token 0 → 含 pad 口径虚高
• Meta-ASH 与 DEQ-LM 以 ignore_index=0 训练 → pad 位置未定义（NLL 15+）→ 含 pad 口径被冤枉
• SFT（在含 pad 目标上微调）使 Meta-ASH 真实 token NLL 从 4.10 退化到 4.73（灾难性遗忘文本、学会 pad）

教训：序列填充占评测位置 >5% 时必须报告掩码口径，否则基准测的是填充预测器。（协议差异已注明：CEDLR 为 192 前缀+SWA-32 窗解码，DEQ-LM/Meta 为全因果注意力，任务难度不完全等价。）

5.5 等参数纯 Transformer 对照（关键控制实验，v9）

设置：5 层普通 Transformer（无绑定块），23.05M 参数精确对齐v8，同数据、同 PT 39,695 步、同 SFT 28,304 步、同评测。

v9 对照的初步结论（后被 v10/v11 修正，见下方 2×2）：

1. 纯堆层在两个口径上大幅领先 phantom 训练的绑定模型（真实 token 2.536 vs 3.867）——初步指向"绑定是负债"，与 ALBERT 一致
2. v8 的"双指标冠军"确认为缺少等参数对照的假象（其优势来自全注意力协议与训练充分度）
3. 但该结论混淆了"绑定"与"phantom"两个变量——v7/v8 都是 phantom 训练的，归因不干净，需要 2×2 分解

2×2 分解（绑定 vs 纯堆 × Phantom vs 全反传，39,695 步，真实 token NLL）

分解结论（三段式反转的最终版）：

1. 绑定无罪且小幅占优：tied+全反传 (2.508) 略优于纯堆 (2.536)——三明治设计下跨层共享不损失质量（区别于 ALBERT 单体共享的负债结论，可能因三明治保留异构外层+绑定块仅占中层）
2. Phantom 是真凶：tied+phantom (3.867) 比 tied+全反传 (2.508) 差+1.36 NLL——1 步梯度近似在短视界（1000 步 memtest 差距仅 0.03）看似无损，长程训练严重欠拟合
3. v8/v7 的全部劣势来自训练方法而非架构；v8 对 CEDLR 的胜利则来自全注意力协议而非绑定

2×5.5 多明治扩展（v12/v13）：循环内多样性检验

如果单段循环的优势瓶颈是"一个函数重复 30 次缺乏多样性"，则把循环拆成多个不同函数应更好。

结构（参数均精确对齐 23.05M，全反传 39,695 步）：

结论：

1. 多样性收益在 3 段达峰后回落——v14 (4 段) 甚至差于 v10 (1 段)。两个归因（混淆已注明）：① v14 无后桥 std（输出侧异构层比第 4 个循环函数重要）；② 每段仅 7-8 次迭代不足——v14 末段 α 膨胀到 0.261（其他段 0.07-0.15），被迫迈大步补偿，循环语义退化为普通层
2. 最优配置是三段×10（v13）：多样性 × 每段足够迭代的平衡点
3. α 角色分化：v12 (0.057/0.092)，v13 (0.059/0.072/0.126)——循环自发学出"精化型/中间型/主力型"分工
4. 排序逻辑最终版：有效深度（~33 层）是主菜，循环内多样性是调料（适量即止，3 种最佳），输出侧异构桥不可省
5. SFT 后优势保持：v13+SFT (1.1429/2.8802) 双指标胜 v11 (1.155/2.915) 与 v9S (1.167/2.940)——多明治三段是全流程双指标冠军

v11（v10 + SFT，28,304 步全反传）将绑定优势锁定为三连胜（同参数同协议同评测）：

幅度小（0.01-0.03 NLL）但三处方向一致——三明治绑定共享在等参数下是小幅一致净赢。另：SFT 使真实 token 从 2.51→2.91 退化（v10→v11，v9 同样 2.54→2.94）——网格 SFT 数据本身携带 ~0.4 真实 token 代价（换取 pad 能力），且污染生成（§6.5：v9-SFT 会 pad 刷屏，v10 纯 PT 生成最流畅且从不输出 pad）。

方法论教训（普适）：①近似梯度的显存优势必须在完整训练视界上验证质量，短程 memtest 会严重误导；②归因需要 2×2——没有 v9 会错误归功于绑定，没有 v10 会错误归罪于绑定。

6.5 定性生成对比（2×2 结论的定性印证）

同提示同采样（top-k=50, top-p=0.9, rep=1.2, T=1.0）。

第一轮（v9/v10/v8）：

第二轮（v13/v13S/v10 参照）：

• v13 PT 是全项目最佳生成器：最在题、最具体、语码切换最自然——与 NLL 排名一致
• 双重确认"SFT 伤开放域生成"：v13S 与 v9S 均跑偏/乱码——网格 SFT 数据换 pad 能力的 ~0.4 真实 token 代价在生成端定性可见；纯 PT 模型（v10/v13）从不输出 pad 且生成更稳
• v8 的 phantom 欠拟合 (+1.36 NLL) 在生成中定性可见
• 事实性错误仍存在（23M PT 模型的预期水平）

6. 负结果与诚实边界

7. 相关工作

• ACT(Graves 2016)：训练 halting；本文证明事后置信 halt 不可行，支持其"必须训练"立场
• Universal Transformer(Dehghani 2019)：报告深度缩放，无多深度对照——按 §4.3 其主张存疑
• DEQ(Bai 2019)、Phantom Gradient (Geng 2021)：本文 phantom 实测 −46% 显存与其承诺一致
• ALBERT(Lan 2020)：跨层参数共享损失性能；本文三明治缓解
• 早期退出（CALM, Bert-shallow-deep 等）：层间异构退出；本文为同块迭代退出，权衡或更本质

8. 局限

• 23M/minimind 规模；定律在 ≥1B 上未验证（但 7M→23M 方向一致）
• 多深度监督只测了均匀 6 点；curriculum 或加权变体可能部分恢复两者
• k=30 上限；更大 K 下定律外推未验证
• §5 跨模型比较含架构性协议差异（窗注意力 vs 全注意力）

9. 结论

绑定迭代块的语言模型存在一个此前未明的基本权衡：深度缩放与免费早退互为代价，因为深度缩放本身是训练伪影。等参数 2×2 对照链（v7/v9/v10，由 v11 收尾）给出了干净的因果分解与最终裁决：绑定架构无罪且小幅占优——v10（tied+全反传）PT 真实 token 2.508 胜纯堆 v9 的 2.536；v11（v10+SFT）三连胜（1.155/2.915）；1 步 Phantom 是唯一的真凶（+1.36 NLL 长程负债，短程 memtest 无损是视界假象）。在此基础上，多明治扩展（v12/v13）证明循环内函数多样性带来持续递减但未饱和的增益（0→1→2→3 个循环函数：2.536/2.508/2.4994/2.4922，α 自发分化为三种角色），v13S（三段循环 PT+SFT，1.1429/2.8802）成为全流程双指标冠军。基准评测必须掩码 padding——否则排名反转（61.6% 位置是填充时，冠军与垫底互换）。

本文六条最终贡献：

1. 权衡定律：深度缩放 ↔ 免费早退不可兼得（跨规模）——UT/ACT 类工作的必要对照
2. 等参数 2×2：三明治绑定共享三连胜异构堆叠（区别于 ALBERT 单体共享的负债结论）
3. Phantom 长程警告：−46% 显存的代价在 39,695 步才显现（+1.36 NLL）——近似梯度必须全视界验证
4. 基准方法论：padding 主导的排名反转——掩码口径必须成为标配
5. 多明治多样性定律：循环内函数数 0→1→2→3 单调改善（−0.028/−0.009/−0.007）并在 3 段达峰，第 4 段回落（v14 过碎 + 丢后桥）——三段×10 是甜点；循环 α 自发分化为精化/中间/主力角色，末段迭代不足时 α 膨胀退化
6. 最优 23M 全流程模型 v13S（三段多明治 [std][A×10][B×10][C×10][std]）：含pad 1.1429 / 真实 2.8802 双指标冠军；纯 PT 天花板 v13（2.4922）——均远超既有 CEDLR (7.17)/Meta (4.10)

附录 A：版本对照

附录 A2：终评矩阵（最终完整版，后缀 NLL 含pad / 真实token）

绑定架构三连胜（同参数同协议）：

• PT 真实 token: v10 (2.508) > v9 (2.536)
• SFT 含pad: v11 (1.155) > v9-SFT (1.167)
• SFT 真实 token: v11 (2.915) > v9-SFT (2.940)

幅度小（0.01-0.03 NLL）但三处方向一致——三明治绑定共享在等参数下是小幅净赢，区别于 ALBERT 单体共享的负债结论。

另：SFT 使真实 token 从 2.51→2.91 退化（v10→v11, v9 同样 2.54→2.94）——网格 SFT 数据本身携带 ~0.4 真实 token 代价（换取 pad 能力）。

附录 B：调试记录（三个架构级 bug）

1. h_deq 计算后被丢弃——DEQ 块完全旁路，k 扫描全同（最隐蔽）
2. α 参数化：sigmoid(0.1)=0.525 ≠ 0.1，须 logit 参数化
3. exact_k 循环计数写反

附录 C：复现

python deqlm_v3.py / deqlm_v4_multidepth.py # 7M 定律对照 python deqlm_v5_30m.py / deqlm_v6_30m_multidepth.py # 23M 定律对照 python phantom_memtest.py # 显存/质量 (短视界) python deqlm_v7_full.py && python deqlm7_vs_cedlr2.py # phantom 全量+跨模型掩码评测 python deqlm_v9_vanilla.py # 等参数纯堆对照 (PT+SFT) python deqlm_v10_tied_fullbp.py # 绑定+全反传 (2x2 完成) python deqlm_v11_sft.py # v10+SFT → 全流程冠军 python matrix30_masked.py / matrix30_final.py # 30M 全模型掩码矩阵 python gen_compare.py # 定性生成对比

https://github.com/dfytensor/OpenAshAnyWhere/blob/master/rubikgla