企业官网建设流程全解析

1. 项目缘起：时序动作候选生成这个“老问题”为什么值得再谈

做视频理解这套方向的同行，对“时序动作检测”应该都不陌生。给定一段未裁剪的长视频，模型要做两件事：一是判断视频里有没有动作、动作的类别是什么，二是把动作发生的起止时间点找出来，输出[start, end, class]这样的结果。看起来和二维图像里的目标检测在逻辑上很像，但在时间轴上做检测，麻烦程度比大部分人预想得高不少。图像里的目标检测，空间边界是两维的，有相对成熟的锚点机制和回归收敛习惯。视频里的动作检测，时间边界是一维的，但动作的时长跨度极大——有的动作可能只有一两秒，比如“挥手”，有的动作能持续几十秒甚至几分钟，比如“做饭”这类复杂活动。时长差异大、边界模糊、上下文干扰多，这些问题叠在一起，让“如何快速、准确地把所有可能包含动作的片段先找出来”成了一条绕不开的必经之路。

这条必经之路，业内叫Temporal Action Proposal Generation，也就是时序动作候选片段生成。它的定位很有意思：不负责判断动作类别，只负责“我怀疑这里有个动作，位置大概是从哪儿到哪儿”，把高召回率的候选片段先捞出来，之后再由第二阶段的分类模型去做精细类别判断。整套思路在早期的视频理解文献里非常常见，现在很多端到端模型虽然把候选生成和分类合并到了一起，但无论是单阶段还是双阶段，边界质量、时间上下文、候选片段的多样性，依然是决定最终动作检测性能的上限因素。

BSN（Boundary-Sensitive Network）就是在这个背景下提出的。我第一次读到这篇工作是在某次组会，当时团队的几个同学正被动作检测数据集上的低召回率搞到头大——测试视频里的动作边界五花八门，有的动作开始得很突然，几乎没有任何前兆帧，有的动作结束得拖泥带水，中间连着大片时间上下文。当时我们试过几类主流方案，包括基于锚点密度采样生成的候选池，效果都不理想，核心矛盾在于：候选片段生成得再多、再密集，如果边界本身不准，后续分类怎么调都补不回来。BSN最打动我的地方，就是把“边界敏感”从一种直觉变成了一种可训练、可评估、可端到端优化的网络结构设计，而不是仅仅把边界当作后处理时的一个微调参数。这也是为什么这篇论文虽然发表已有几年，但其设计思路至今仍是很多新工作的比较基线，甚至不少单阶段模型也吸收了它的边界建模思想。

这篇文章不是论文翻译，我想从一个实践者的角度，把BSN里几个我认为最关键的机制拆开揉碎讲清楚，包括它为什么要绕过常规的锚点生成策略、三个核心模块各自解决什么问题、训练和推理过程中的那些容易踩坑的细节，以及用这套方法做实验时最常见的报错和效果瓶颈。无论你是刚入手视频动作检测，还是正在复现这篇论文准备做对比实验，我希望这篇内容能帮你少走几步弯路。

2. BSN的整体设计思路：把“边界”从配角变成主角

2.1 为什么常规的候选生成方案在时间轴上不灵

在进入BSN的结构拆解之前，先聊聊它想解决什么问题。此前的动作候选生成大致走两条线。第一条线是基于滑窗或锚点的思路：把时间轴划分成固定的窗口，或者预设一组不同长度的锚点区间，然后对每个窗口或锚点做二分类判断“这里有没有动作”。这种做法在图像目标检测里被验证得很充分，但挪到时间轴上有个天然的尴尬——动作的时间边界本身不存在“规则的网格属性”，一个动作可能从第3.5秒开始，到第11.7秒结束，如果你锚点的起点设计在整数秒上，再怎么微调回归头，初始位置的偏差都会给边界预测带来额外负担。第二条线是基于帧级特征直接回归边界，比如有的工作先对每一帧做动作性打分，再通过阈值筛选连续片段。这种做法对边界位置敏感，但往往会忽略片段内部的完整性——一个动作可能中间有若干帧的表现不那么“像动作”（因为遮挡、镜头切换、姿态变化），如果只依赖逐帧分数的一致性去拼片段，很容易把一个完整动作拦腰截断。

这两条线的共同病灶是：边界信息只是作为辅助信号存在，负责“分类”的模块和负责“定位”的模块没有在特征层面形成有效互动。BSN的出发点就是反其道而行之——在候选生成阶段就不遗余力地建模边界，把“动作开始的可能性”和“动作结束的可能性”分别作为显式预测目标，再结合片段内部的完整性信息，综合得到候选片段的质量评分。这样设计的好处用大白话说就是：先搞清楚“门”在哪里，再判断“门里面”值不值得进去，而不是先在房间里乱翻一气再回头找门。

2.2 三个核心模块的分工与协同

BSN的完整流程可以拆成三个关键部分：Base Module（基础特征编码模块）、TEM（Temporal Evaluation Module，时序评估模块）和PGM + PEM（Proposal Generation Module 与 Proposal Evaluation Module，候选生成模块与候选评估模块）。这三个模块不是简单的串联关系，而是各管一段、各司其职，又通过中间产物形成联结。我用一个日常的类比来帮助理解：你可以把一段视频想象成一条河流，动作片段就像河里的鱼群，你要做的是把鱼群可能出现的水域标记出来。

Base Module做的就是“绘制河床地形图”。原始视频帧先经过视觉特征提取器（比如在图像分类任务上预训练好的网络）得到每帧的视觉特征序列，然后Base Module用一维时序卷积对这些特征序列做编码和降维，把原始的高维特征压缩成更紧凑、更有时序上下文信息的表示。这个模块本身结构不复杂，但它的输出质量直接决定了后面TEM能“看清”什么。实际复现中，Base Module的卷积核大小、层数、输出维度这些设置都会影响最终结果，后面我会专门说。

TEM做的是“标记鱼群的起止水域”。它接收Base Module输出的特征序列，分别预测每个时间位置作为动作起点和终点的概率。这里有两个值得注意的设计选择：一是预测头分成两个独立的分支，一个专门预测start概率，一个专门预测end概率，而不是共享一个多头输出。原因在于，动作开始时刻的视觉模式和动作结束时刻的视觉模式通常不共享太多语义信息——开始往往伴随姿态变化、目标出现或者运动启动，结束往往伴随动作完成、目标消失或者运动停止，两个任务的特征依赖差异不小，参数独立能减少相互干扰。二是TEM的输出不是逐帧的离散标签，而是连续的概率曲线，这为后续PGM生成候选提供了“软性”信息。

PGM和PEM做的是“整理鱼群分布图”。PGM根据TEM输出的start/end概率曲线，通过预定义的规则组合生成一批候选片段（每个候选有起止时间），然后为每个候选采样一组特征点（包含起点附近、终点附近、内部均匀采样），拼接成该候选的特征描述。PEM负责对每个候选片段预测一个置信度分数，用于衡量“这个候选是高质量动作片段的可能性”。这里有一个关键细节：PEM不直接回归边界的偏移，而是对候选整体打分，原因是候选的边界已经由TEM的概率曲线在生成时确定了，PEM的核心职责是在候选集合中做排序，优先保留那些既有清晰边界又有完整内部结构的片段。

这三个模块的分工如果概括成一句话就是：Base Module负责把视觉信号整理成可用的特征，TEM负责在时间轴上画出边界概率，PGM和PEM负责把这些边界概率转变成有序的候选集合。整个设计把“边界敏感”贯穿到了从特征编码到候选排序的每一个层面，这是BSN区别于同期工作的核心特质。

3. 核心细节拆解：边界概率建模与候选片段生成的实现要点

3.1 TEM的训练目标：两个二分类任务的细节把控

TEM在实现上就是一个带Sigmoid输出的时序卷积网络。输入是Base Module输出的特征序列，输出是两条长度和输入一致的概率曲线：p_start和p_end。训练时的标签构造是整个BSN工程里最考验细节的地方之一，因为动作边界在数据集中标注得再准，也不可能精确到某一帧，所以需要构造一个“软标签”机制。

具体做法是：对每个标注的动作片段[gs_start, gs_end]，将其开始和结束位置分别扩展一个半衰期窗口（通常用控制参数sigma调节窗口大小）。在这个窗口内，标签不是简单地从0跳到1，而是根据距离标注边界的帧数，按指数衰减或高斯衰减赋值——离真实边界越近，标签值越接近1，越远越接近0。这个设计的直觉是：视频里动作的开始往往不是一刀切的，可能存在几帧的过渡期，模型如果能把边界位置预测的“峰”对准真实边界，但稍微有一点偏移，不应该被当作严重错误惩罚。我见过一些初复现的同学把标签直接设成0/1硬标签，训练出来的TEM预测曲线毛刺很多，候选边界抖动明显，这就是标签构造不合理导致的。

TEM的损失函数是两个分支各自计算二值交叉熵再相加。这里有一个常见的困惑：为什么不直接用一个多任务损失共享特征？BSN的选择是让两个分支完全独立，只有输入特征共享，中间参数各自独立。我在实际实验中对比过共享参数的变体，独立参数在THUMOS这类边界相对清晰的基准上，AR@AN能高出1到2个点。原因不复杂——共享参数会迫使模型找到一个“同时适合预测start和end”的特征表示，但如果start和end的视觉模式确实有偏，这种妥协反而会拖累边界定位的精度。

3.2 从概率曲线到候选片段：PGM里的边界匹配策略

TEM输出概率曲线之后，PGM要做的事是从这两条曲线上“组装”出候选片段。这部分的实现思路很直接：设定一组阈值（通常是多个不同阈值，比如从0.1到0.9间隔采样），对start概率曲线和end概率曲线分别做阈值筛选。凡是连续高于阈值的区域，取区域内概率最大值的位置作为一个边界点；然后对每个start候选点和end候选点做组合，凡是满足end > start且长度在预设范围内的组合，就构成一个候选片段。

但这里如果只做简单的阈值筛选，会出现候选过多、冗余严重的问题。BSN在生成候选后通常会做一个基于非极大值抑制（NMS）的整理操作，按照候选片段的得分（可以先用TEM的概率值做一个粗略打分，也可以在PEM输出后做）进行排序，去除那些与更高分候选重叠度过高的片段。实际实现时，NMS的时间窗口大小和重叠阈值是效果敏感的参数，太小容易把相邻的片段误伤，太大会留下大量高度重叠的候选，加重后续PEM的计算负担。我在调参时习惯把重叠阈值的搜索范围设定在0.5到0.9之间，在THUMOS14上用0.7附近的值能得到召回率和候选数量比较理想的平衡点。

PGM的另一个关键环节是候选片段的特征采样。对每个候选片段，BSN并不是直接把片段内的所有帧特征拼接起来，而是以边界为锚点做稀疏采样：在起点附近采样几个点、终点附近采样几个点、中间均匀采样几个点。这个采样策略非常贴合“边界敏感”的定位——中间采样的点用来捕捉片段内部的时序结构，边界附近的点用来强化边界上下文。我在初版复现时偷懒直接做了均匀采样，结果PEM的排序性能明显下降，后来按论文里推荐的采样方案重做才恢复。这说明采样密度和位置分布并不是无所谓的实现细节，它们直接关系到PEM看到的特征是不是足够有区分度。

3.3 PEM的排序学习：候选评估与置信度预测

PEM的输入是PGM为每个候选生成的固定维度特征向量，输出是一个标量置信度。训练标签的构造同样有讲究：论文中采用按候选片段与真实动作片段的时间交并比（tIoU，即时间轴上的IoU）来定义正负样本，并且不采用硬切0/1标签，而是把标签设为tIoU值本身。也就是说，如果某个候选与真实动作片段的tIoU为0.6，它的回归目标就是0.6，而不是简单归为正样本。这个设计让PEM学到的不只是“有没有动作”的分类信息，而是“边界匹配质量如何”的排序信息。

PEM常用的训练损失是平滑L1损失或二元交叉熵，前者对接近0或1的极端tIoU值更鲁棒。推理阶段，PEM输出的置信度会与TEM的边界概率得分做融合，得到每个候选片段的最终排名分数。融合方式在不同实现里略有差异，常见的是将PEM的置信度与上下边界概率均值相乘或加权求和。这部分微调空间很大，我建议做实验时把融合权重也纳入超参数搜索范围，而不是直接照搬默认值。

4. 实操过程：从环境准备到训练推理的完整闭环

4.1 数据准备与特征提取

BSN的整个流程是建立在“预提取帧级特征”这个前提上的，训练和推理阶段都需要先对视频做视觉特征提取。早期的工作普遍使用在ImageNet或Kinetics上预训练好的双流网络或3D卷积网络，比如I3D、P3D，对视频按均匀帧率采样后提取RGB和光流特征，然后保存成npy或h5文件。这里需要特别留意的是帧率的一致性问题：不同视频原始帧率不同，采样时必须统一到一个固定帧率，否则后面的时间戳换算会全乱套。我在第一次做THUMOS14实验时，就因为测试视频帧率不统一，导致候选边界可视化后偏移明显，当时排查了很久，最后发现是采样时没有做帧率对齐。

特征提取的另一个坑是光流文件的存取。光流特征在视觉动作识别里非常有效，但计算耗时高、存储量大，很多复现实验为了省事直接只用RGB特征。BSN原论文里两个特征都用上了，我个人建议如果计算资源允许，尽量按原配置提取双流特征，因为TEM对动作边界的敏感度高度依赖运动信息，纯RGB特征在边界模糊的动作上会明显吃力。如果资源确实有限，可以考虑用后来RGB特征质量更高的预训练模型（比如VideoMAE之类的自监督特征）做替代，效果上会有一定补偿。

4.2 训练流程的配置建议

整个训练过程分为两步：先训练TEM，再训练PEM。TEM训练时，输入是Base Module输出的特征序列，输出是start/end概率曲线。训练集构造需要注意一个细节：长视频会被切成多个片段，每个片段独立做标签，片段之间要有少量重叠，避免动作边界正好落在切分点附近导致标签信息被截断。我通常让片段与片段之间有约10%的重叠，能有效减少边界处的预测抖动。

训练TEM的推荐超参数：

• 优化器：Adam，初始学习率1e-3左右
• 批大小：在显存允许范围内尽量大，我常用32或64
• 训练轮数：30到50轮，早停法观察验证集AR指标
• 时序卷积核大小：Base Module的时序卷积核通常设为3或5，过大的卷积核会把边界信号“抹平”

PEM训练的关键点在于样本组织。PGM生成完毕后，所有候选片段都带有与真实动作的tIoU标签以及采样好的特征向量。PEM的输入特征维度在所有候选上必须一致，因此采样点的数量在实现中要锁死。训练时以tIoU值作为回归标签，用平滑L1损失，学习率可以设低一些，比如1e-4到3e-4，因为PEM的优化空间比TEM小，过大的学习率容易导致排序分数震荡。

训练过程中的可视化检查很重要，不要只盯着loss曲线。我习惯每过几个epoch就把TEM输出的概率曲线和真实边界叠在一张图上看几段验证视频，确认概率曲线的峰值位置是否和真实边界基本对齐。如果发现曲线峰值偏移明显，多半是标签构造的窗口参数不合适或者Base Module特征质量不足，要先排查，不要急着调学习率。

4.3 推理阶段与评估指标

推理阶段，Base Module和TEM对整段视频做前向计算，得到全片长度上的start/end概率曲线；PGM在曲线上生成候选；PEM对每个候选打分；最后做NMS和分数融合，输出排序后的候选集。评估指标上，BSN用的主要是AR@AN（Average Recall at Average Number of proposals per video）和AUC（Area Under the AR-AN curve），这两个指标既衡量召回率，也控制候选数量对性能的影响——单纯生成一大堆候选会拉高召回，但候选数太多对后续分类阶段的效率不友好，所以必须在“候选少而精”和“候选多而全”之间找平衡。

效果合格的参考线：在THUMOS14上，BSN结构完整复现后AUC通常能到60%以上，如果只跑RGB特征可能会低三到五个点，不用慌张，这属于预期范围内。如果明显低于这个水平，优先检查TEM标签构造和候选生成的阈值设置，而不是怀疑网络结构有问题。

5. 常见问题与排查技巧实录

5.1 问题一：TEM预测的边界概率曲线峰值不集中，呈扁平状

这是最常遇到的现象。概率曲线不是尖锐的峰，而是一大片平坦的高值区域，导致PGM生成的候选开始和结束位置很多都落在扩展开的“疑似区域”，边界准确性大打折扣。排查顺序：

1. 检查Base Module输出的特征粒度。如果特征序列经过过多降采样或池化，时间分辨率太低，边界细节已经丢失，TEM再努力也预测不出尖锐的峰。尝试减少时序池化层数或增加Base Module的输出通道数。
2. 检查标签构造中的窗口参数。如果窗口过大，标签在边界附近衰减太慢，模型没有动力去“追”更精确的边界。把窗口调小一些，重新训练几轮观察。
3. 检查是否同时训练了start和end分支，确认两个分支的梯度回传没有互相干扰。可以在训练早期冻结一个分支，只训练另一个，观察是否有所改善。

5.2 问题二：PGM生成的候选大量重叠，NMS之后候选数量仍失控

出现这个现象，通常是因为TEM概率曲线的“峰”太多太密。视觉上表现为start概率曲线上有大量局部极大值，模型对动作开始时刻的“过度敏感”。一个有效的缓解办法是：在TEM输出后，先做一个轻量的一维平滑操作（比如高斯平滑或滑动平均），把高频抖动滤掉，再做阈值筛选。这样能大幅减少无效的局部峰值。另外可以上调NMS的重叠阈值和候选上限，控制最终候选集合规模。

5.3 问题三：PEM的排序分数分布过于集中在某个区间

如果PEM对所有候选的置信度都集中在0.8到0.95之间，说明模型没有很好地区分正负样本。检查训练标签的构造：如果tIoU小于0.5的候选也被赋予了接近0的平滑标签，模型学到的排序信号会很弱。建议在PEM训练时对低tIoU候选做硬标签置0处理（比如tIoU小于0.3的直接设0），对高tIoU候选保留软标签，这种混合策略在多个数据集上都有正向效果。

另外，PEM训练时正负样本不平衡也是排名质量低的重要原因。候选集合里高质量的片段永远是少数，大多数候选都是低tIoU的。在训练时可以对负样本做降采样，或者对正样本做加权，让模型不会把预测值整体拉向低分区间。

5.4 问题四：同一个超参数换数据集后效果大幅下降

BSN里很多参数（包括TEM标签窗口、候选长度范围、NMS重叠阈值）都具有数据集相关性。THUMOS14上的动作时长集中在中短片段，ActivityNet的动作则时长跨度极大，后者需要把候选长度范围上限调大，NMS阈值也要相应调整。我的经验是：拿到一个新数据集时，不要直接沿用论文给出的默认参数，先统计一下数据集里动作片段的时长分布，再反向设定候选长度范围，这个步骤能省下大量调参时间。

6. 延伸思考与技术演进

BSN提出之后，围绕它的边界建模思想出现了一批后续工作。一类是在PGM后引入更精细的边界回归模块，比如对每个候选片段的start和end分别做偏移预测，而不是让边界完全由TEM概率曲线决定；另一类是把边界敏感的建模思想引入端到端的单阶段检测框架，让网络直接输出边界而不再依赖中间候选生成。从实验效果看，这些演进在各自基准上都有提升，但没有一个完全否定BSN式“边界概率显式建模”的核心思路——这本身就说明了它的strong baseline地位。

对我个人来说，BSN里最值得反复琢磨的其实不是某个模块的精确结构，而是它对问题的定义方式：它把一个模糊的“动作候选生成”问题，拆解成了“边界在哪里”“边界之间是否构成完整动作”这两个子问题，并且每个子问题都对应了可监督的学习目标和相对独立的评估方式。这种问题分解的能力，比单纯套用某个网络结构更能迁移到其他时序建模任务上。

如果你在做视频动作检测方向的实验，BSN是一个值得花时间吃透的baseline。建议复现时不要只跑通代码，而是把每个模块的输出都可视化出来看一遍，理解TEM为什么对边界比锚点类方法更敏感、PGM的采样策略如何影响PEM的排序、候选融合权重如何改变最终AUC表现。这些理解会在你做后续改进时变成真正的直觉，而不只是拿着别人的代码改改参数。