企业官网建设流程全解析

第五章：卷积神经网络(CNN)：从LeNet到ConvNeXt的演进

学习目标

深入理解卷积神经网络的基本原理与核心设计思想，掌握CNN架构演进的关键突破点，能够分析不同CNN变体的适用场景，并具备根据任务需求选择或设计合适CNN架构的能力。

一、卷积神经网络的基石：核心思想与基本组件

1.1 卷积操作的本质：从全连接到局部连接

传统神经网络的局限性

• 全连接网络：每个神经元与上一层的所有神经元相连
• 参数爆炸：对于图像数据（如224×224×3 = 150,528像素），单层全连接就需要数亿参数
• 平移不变性缺失：相同特征出现在不同位置需要重新学习

卷积的核心创新

1. 局部连接（局部感受野）

   • 每个神经元仅连接输入区域的局部
   • 生物启发：视觉皮层神经元仅处理视野的局部区域
   • 数学表达：yi,j=∑m=0k−1∑n=0k−1wm,n⋅xi+m,j+n+by_{i,j} = \sum_{m=0}^{k-1} \sum_{n=0}^{k-1} w_{m,n} \cdot x_{i+m,j+n} + byi,j​=∑m=0k−1​∑n=0k−1​wm,n​⋅xi+m,j+n​+b

2. 权值共享（卷积核）

   • 同一卷积核在输入的不同位置使用相同的权重
   • 显著减少参数：从百万级降至百级
   • 实现平移等变性：无论特征出现在何处，使用相同检测器

3. 多通道设计

   • 输入：彩色图像有RGB三个通道
   • 输出：每个卷积核生成一个特征图，多个卷积核形成多通道特征
   • 三维卷积核：处理多通道输入，融合跨通道信息

1.2 卷积网络的基本架构组件

卷积层（Convolution Layer）

# 卷积操作的核心参数kernel_size=3# 卷积核大小，常用3×3, 5×5, 7×7stride=1# 滑动步长，控制输出尺寸padding='same'# 填充方式，保持空间尺寸或减小filters=64# 卷积核数量，决定输出通道数

池化层（Pooling Layer）

• 最大池化：提取最显著特征，增强平移不变性
• 平均池化：平滑特征，减少噪声影响
• 全局池化：将特征图压缩为标量，替代全连接层

激活函数

• ReLU（Rectified Linear Unit）：f(x)=max(0,x)f(x) = max(0, x)f(x)=max(0,x)
  • 优点：计算简单，缓解梯度消失，加速收敛
  • 缺点：神经元"死亡"问题（负值完全抑制）
• 变种：LeakyReLU、PReLU、ELU、GELU

归一化层

• 批归一化（BatchNorm）：对小批量数据标准化，稳定训练
• 层归一化（LayerNorm）：对单个样本所有特征标准化，适用于RNN
• 实例归一化（InstanceNorm）：风格迁移任务常用

二、CNN演进里程碑：从开创到成熟

2.1 开创期：LeNet-5（1998）——卷积网络的雏形