企业官网建设流程全解析

ms-eff-gcvit-deepfake-b0-kodf 是一个面向 deepfake 检测（AI 换脸识别）的轻量模型，采用 MS-EffGCViT（Multi-Scale Efficient Global Context Vision Transformer）架构：EfficientNet 骨干 + 双窗口注意力。b0 版本仅 8.7M 参数、0.87G FLOPs，在 KoDF 数据集上 AUC 达 0.9792。作为架构拆解系列的第二篇，本文聚焦其核心机制——Local 与 Global 双窗口注意力如何让模型同时"看清局部纹理"又"理解全局结构"。

🧩 为什么 deepfake 检测需要"长短程"信息

Deepfake 的伪造痕迹分布在两个尺度上：

• 短程（局部）痕迹：皮肤纹理异常、融合边界接缝、牙齿/睫毛不协调——只有盯着小区域看才能发现；
• 长程（全局）痕迹：光照与阴影不匹配、人脸与背景结构错位、整体偏色——必须"看全图"才能判断。

如果像标准 ViT 那样对全图做自注意力，计算复杂度会随 token 数呈 O(N²) 增长；而且纯 ViT 缺乏空间归纳偏置，需要海量数据。MS-EffGCViT 的思路是：让 EfficientNet 骨干承担低层特征提取，注意力只作用在骨干输出的特征图上，并且按窗口切块计算，把复杂度限制在窗口尺寸之内（README.md）。在此之上，两类注意力分工协作。

🖼️ 双窗口注意力流水线：一图看懂

左半部分（蓝色虚线框）是Local Window Attention流水线，右半部分（红色虚线框）是Global Window Attention流水线。两类注意力的设计动机完整阐述于 README.md。

🔬 Local Window Attention：线性复杂度的短程细节捕获器

Local 分支是标准的"窗口自注意力"：特征图被切成小窗口（b0 的 Local 分支窗口为7×7与14×14），Query / Key / Value 全部来自同一窗口内的特征（经 MLP 投影生成），随后做多头注意力、Concat、线性 Projection，最后通过 Window Reverse 还原回原特征图位置。

关键收益：注意力只在每个小窗口内部计算，复杂度相对图像尺寸呈线性增长（只与窗口大小成正比），而非全图 O(N²)。这正是 b0 版本能以 0.87G FLOPs 做到近实时推理的关键，用于高效捕获局部纹理与精确空间细节（README.md）。

🌍 Global Window Attention：用全局 Query"看全图"

Global 分支是 MS-EffGCViT 的灵魂，也是它区别于 Swin Transformer 的最大不同：

• Swin 的做法：通过移动窗口位置（shifted window）让信息间接流动，较为迂回；
• MS-EffGCViT 的做法：直接生成一组Global Query，让它与所有局部窗口的 Key / Value做注意力交互（README.md）。

直观理解：每个局部窗口的自身特征保持为 Key / Value，同时有一组"全局视角"的 Query 把它们统统读一遍。结果是每个局部区域都被注入了全局上下文——某块皮肤不仅知道"我长什么样"，还知道"我相对整张脸、与背景的光照是否一致"。这正是识别光照不一致这类长程痕迹所需要的能力。

在 b0 版本中，Global 分支配置为h_windows=7、h_heads=4、特征维度 256（config.json）。

⚖️ 长短程信息如何交互与融合？

两类注意力并非串联在同一位置，而是分别嵌入骨干网络的多尺度双分支：

两条分支的输出最终融合后做综合判断：Local 分支回答"有没有细微痕迹"，Global 分支回答"整体结构是否合理"，两者共同投票输出质假概率（README.md）。这也是 MS-EffGCViT 名字中"Multi-Scale（多尺度）"的由来。

📊 b0 双窗口注意力参数速查表

提取自 config.json，b0 版本两个分支的核心超参数对比：

b0 / b5 两套规格的默认超参数集中在 configuration_ms_eff_gcvit.py 中定义。对比可见：b5（384×384 输入，窗口 12/24，最多 16 头）用更大的窗口与头数换取保真度，参数量升至 50.3M，适合企业级精度场景。

🧭 在仓库中快速定位

• 双窗口注意力机制详解与示意图：README.md
• 模型装配与分类 forward（单 logit 扩展为 real/fake 双 logits）：modeling_ms_eff_gcvit.py
• 图像推理流水线（YOLO 人脸检测裁剪 → 归一化 → 推理）：pipeline_ms_eff_gcvit.py，人脸检测权重为 yolov8n-face.pt
• 视频帧级打分聚合（conf/mean/vote三种模式）：pipeline_video_ms_eff_gcvit.py

💡 小结

• Local Window Attention在每个窗口内计算 Q/K/V，以线性复杂度捕获短程痕迹（纹理、接缝）；
• Global Window Attention用 Global Query 读取全部局部窗口的 K/V，把长程上下文（光照、结构）注入每个局部区域；
• 长短程信息通过多尺度双分支（L-GCViT + H-GCViT）汇合融合，让模型兼具"微观观察"与"宏观判断"能力——这正是它仅用 8.7M 参数就能在 KoDF 数据集取得 0.9792 AUC 的核心原因。

下一篇预告：多尺度特征融合细节与帧级推理的工程实践。