CNN 系列 (一) 详解 卷积层 和 池化层

CNN能够处理多维度样本，其基础是卷积和池化操作，它们以滑动窗口的形式在数据上进行。滑动窗口在众多领域广泛应用，CNN中的卷积窗口则有二维和一维之分。理解一维滑动窗口尤为关键，例如，PyTorch为我们提供了针对不同维度的卷积函数。

一维滑动窗口如同一个指针，从向量首端开始，每次移动固定步长，捕获一段子向量，直至无法继续。如向量[1.1, 2.2, 3.3, 4.4, 5.5]，窗口大小为3，我们能得到3个子向量：[1.1, 2.2, 3.3], [2.2, 3.3, 4.4], [3.3, 4.4, 5.5]。在word2vec的skip-gram和CBOW模型中，滑窗操作会选择指针右侧的元素作为背景词，背景词数量会根据上下文灵活调整。

设计CNN时，子向量数量必须与向量维度相匹配，这就需要通过填充（padding）来调整边界。常见的填充模式包括valid padding（无填充）、same padding（等距填充）和full padding（最大化子向量数量），每种方式都有其独特的用途。

步长(stride)允许指针跳跃式移动，如向量[1.1, 2.2, 3.3, 4.4, 5.5]，窗口3，步长2，会生成2个子向量。向量长度、窗口大小和步长共同决定了子向量的总数。

理解向量的子向量生成规律至关重要：长度7的向量产生3个子向量，遵循的索引规律可以通过公式来描述。在实际操作中，要考虑步长对索引的影响，通过调整指针位置来简化计算。

当向量维度是子向量数的倍数，考虑填充后，我们通常有： 。值得注意的是，same和full padding通常不与stride同时使用。

空洞卷积（dilation）通过增加指针的跳步，扩展子向量的覆盖范围。以滑动步长记为 ，取元素的方式为 。让我们通过实例来深入理解。

卷积层在图像处理中扮演着关键角色，它将二维输入映射为全连接层，但计算复杂度更高。为了保持位置敏感性，理想情况下，图像中的像素块无论位置如何变化，特征向量应保持不变，即具有平移不变性。

卷积层本质上是互相关运算的等价实现，直观地说，就是窗口点乘。在图像分析中，每个二维滑动窗口被称为感受野，它在特征图中形成了接收场。互相关操作处理单通道图片矩阵，通过窗口滑动、点乘和排列生成特征图矩阵，保持子向量维度的一致性。

在多通道图片中，每个通道独立处理后合并。通过多个卷积核的多次互相关运算，形成多通道特征图矩阵，构建出三维张量网络。卷积层作为全连接层的变体，它处理的是二维输入和输出，通过叠加卷积层构建出复杂的神经网络结构。

卷积层的核心是感受野，每个kernel对应一个线性函数，输出通道数代表函数的多样性。每个感受野都是张量，每个自变量对应一个线性函数。卷积层参数的数量与kernel尺寸成正比，之后通常需要接上激活层。它们捕捉局部位置信息，虽具有平移不变性，但在旋转和缩放方面则有所欠缺。特殊的卷积类型如1x1 Conv、基于patch的Conv和分组卷积，它们通过减小参数和计算量，提供了不同的功能。池化层则通过单一值来概括一组数据，常用的方法有平均池化和最大池化，它们分别反映了局部和全局的信息。

池化层同样采用二维滑动窗口，参数包括kernel、stride和padding。最大池化通常填充值为0，平均池化则通过count_include_pad来决定是否包含填充。池化窗口的大小不必与感受野一致，PyTorch提供了额外的处理方式。池化层不涉及多通道融合，通道数保持不变。经典设计中，池化层通常在卷积层之后进行下采样，最大池化是最常见的选择，全局平均池化则常用于全连接层之前。池化的作用主要在于缓解位置敏感性，但其解释往往不够深入。接下来的文章将继续探讨CNN的更多内容，如卷积的可视化、经典网络结构以及目标检测技术等。