企业官网建设流程全解析

LingBot-Map双向scale帧是什么？为什么推理前需要8帧标定

【免费下载链接】lingbot-mapA feed-forward 3D foundation model for reconstructing scenes from streaming data项目地址: https://gitcode.com/GitHub_Trending/li/lingbot-map

LingBot-Map是一个流式 3D 重建基座模型：逐帧输入视频画面，实时输出相机位姿与 3D 点云。它最核心的机制就是双向 scale 帧（bidirectional scale frames）——推理开始前，先把前 8 帧作为一个整体做"双向注意力"处理，为整个序列标定出全局尺度，后续所有帧再在这个尺度基准上因果流式推理。本文带你读懂这套"8帧标定"的设计。

一、先搞清楚：scale 帧在重建中负责什么？

单目/视频 3D 重建有一个天生理亏：尺度不可观。模型只能告诉你"这栋楼相对那张桌子有多大"，却答不出"1 个单位等于多少米"——位姿、深度、点云都可能被整体放大或缩小。

流式推理还会带来第二个问题：逐帧因果推理时，每一帧只能看到"过去"，早期的位姿误差会像雪球一样越滚越大（漂移）。

LingBot-Map 的答案是：用序列最前面的若干帧做"标定锚"，这就是scale 帧（num_scale_frames，默认8）。

二、"双向"指的是双向注意力

推理分两个阶段（见 lingbot_map/models/gct_stream.py）：

• 阶段 1：scale 帧阶段——前 8 帧被当作一个 block 一次性送入模型（num_frame_per_block=scale_frames）。这 8 帧之间互相可见，是双向注意力：第 1 帧能"看到"第 8 帧，第 8 帧也能"看到"第 1 帧。
• 阶段 2：流式阶段——第 9 帧起逐帧推理，只能看过去（因果注意力 + KV cache），此时 KV cache 中已包含被标定的 scale 帧上下文。

对比一下就很直观：普通逐帧推理里每帧只能单向看前帧，8 帧 scale 阶段是整条序列里唯一一段"全知"窗口。

注意力掩码的实现就在 lingbot_map/layers/attention.py：前num_frame_for_scale帧之间被强制打开全连接（global attention for the first num_frame_for_scale frames），且所有后续帧都可以回头关注这 8 帧。

三、为什么 scale 帧要"常驻"KV cache？

在分页 KV cache 的内存管理里（lingbot_map/layers/flashinfer_cache.py），缓存页分两类：

普通帧的 KV 页 → 滑动窗口淘汰（默认只保留最近 64 帧，见 _kv_cache_sliding_window: 64） scale 帧的 KV 页 → 永不驱逐（never evicted）

这意味着：无论你推理到第 5 万帧，每一帧仍然可以"回头"关注最初的 8 帧。它们承担三重职责：

1. 全局尺度基准：所有深度/点云输出都与这个基准对齐，尺度不会中途漂移；
2. 锚点上下文（anchor context）：配合轨迹记忆抑制长序列累积漂移，25000 帧室内长序列（见 README.md 的 Featured 示例）能保持整体闭环；
3. 滑窗推理的衔接带：--mode windowed下，相邻窗口之间的重叠帧就是下一个窗口的 scale 帧，用双向注意力获得最高质量预测，保证跨窗口位姿对齐（lingbot_map/models/gct_stream_window_v2.py）。

window_size也是按"槽位"计的：128 个槽位里，前 8 个留给 scale 帧，剩下 120 个才是关键帧。

四、为什么恰好是 8 帧？

8 是标定质量与显存占用之间的平衡点，也是模型训练时的设定（配置见 benchmark/configs/methods/lingbot_map.yaml：_num_scale_frames: 8）。

五、8 帧标定不够用？显存吃紧可以调小

显存紧张时，README.md 给了一个明确的"急救"开关——把双向 scale 帧从 8 降到 2，直接压低初始 scale 阶段的激活峰值：

python demo.py --model_path /path/to/lingbot-map.pt \ --image_folder example/courthouse --mask_sky \ --num_scale_frames 2

⚠️ 代价是尺度标定变弱，长序列漂移可能更明显；短序列、显存吃紧场景下性价比最高。

其他两个值得了解的参数：

• --keyframe_interval：scale 帧之后每 N 帧取 1 帧作为关键帧存入 cache（非关键帧照常出预测），可把 cache 占用降到约 1/N，适合 >320 帧的长序列；
• --camera_num_iterations：相机头迭代精修次数，默认 4，调到 1 可提速但损失少量位姿精度。

六、想实测各阶段的耗时？

仓库提供了性能剖析脚本 gct_profile.py，它会单独打印Phase 1（8 个 scale 帧的双向阶段）耗时，以及流式阶段 10%/50%/90% 进度处的帧耗时与 FPS，很适合用来验证 scale 阶段在总耗时中的占比：

python gct_profile.py --backend flashinfer --dtype bf16 --compile

总结

理解了"先双向标定、再因果流式"这条主线，LingBot-Map 的流式重建框架（anchor context / pose-reference window / trajectory memory）基本就通透了 🗺️

【免费下载链接】lingbot-mapA feed-forward 3D foundation model for reconstructing scenes from streaming data项目地址: https://gitcode.com/GitHub_Trending/li/lingbot-map