卷积、Sigmoid 函数、ReLU 激活函数

卷积（Convolution）

在深度学习中，卷积通常指的是卷积层（Convolutional Layer）中的运算过程，它是卷积神经网络（CNN）的核心组成部分。卷积运算包括以下几个关键步骤：

1. 滤波器（Filter）或卷积核（Kernel）：这是一个小的矩阵，它在输入数据上滑动（或卷积），并在每个位置上应用点积运算。

2. 局部感受野：每个滤波器只关注输入数据的一个局部区域，这使得网络能够捕捉局部特征。

3. 权重共享：同一个滤波器的权重在整个输入数据上是共享的，这减少了模型的参数数量，提高了训练效率。

4. 空间不变性：由于权重共享，卷积层能够检测到在整个输入数据中出现的特征，而不管它们的位置如何。

5. 多个滤波器：通常在卷积层中有多个滤波器，每个滤波器可以捕捉不同类型的特征，输出的多个特征图（Feature Map）可以组合起来形成下一层的输入。

卷积运算的数学表达式通常为：

其中，f是输入函数，g是卷积核函数，∗表示卷积运算，n是位置指标。

Sigmoid 函数

Sigmoid 函数是一种激活函数，它在神经网络的神经元中使用，用于引入非线性。Sigmoid 函数的数学表达式为：​ Sigmoid 函数的输出范围在 0 到 1 之间，它将输入值压缩到这个范围内。这使得 Sigmoid 函数在二分类问题中特别有用，因为它可以被解释为概率输出。

Sigmoid 函数的特点包括：

1. 非线性：它将输入的任意实数值映射到 (0,1) 区间，为神经网络提供非线性建模能力。
2. 平滑：Sigmoid 函数的导数是它自己，这使得在反向传播过程中梯度下降是平滑的。
3. 梯度消失问题：当输入值非常大或非常小的时候，Sigmoid 函数的梯度接近于 0，这可能导致在神经网络的深层中出现梯度消失问题。

在实际应用中，卷积层通常跟随着激活函数，如 Sigmoid 或 ReLU（Rectified Linear Unit），以增加网络的非线性表达能力。然而，由于 Sigmoid 函数的梯度消失问题，ReLU 及其变种在现代深度学习网络中更受欢迎。

ReLU激活函数

ReLU激活函数是一种引入非线性的机制，它定义为： ReLU(x)=max⁡(0,x) 这意味着当输入x为正时，ReLU函数输出x；当x为负时，输出0。ReLU函数的一些关键特性包括：

1. 非线性：ReLU提供了非线性激活，这对于学习复杂的函数映射是必要的。
2. 计算简单：ReLU的计算比其他激活函数（如Sigmoid或Tanh）更简单，这使得它在训练深度网络时更加高效。
3. 稀疏激活：由于负值会被置为0，ReLU在激活时会产生稀疏的输出，这有助于减少计算量并提高泛化能力。
4. 死亡ReLU问题：如果ReLU的输入持续为负，那么梯度也会持续为0，导致该神经元不再更新（即“死亡”）。这个问题可以通过使用变体如Leaky ReLU或Parametric ReLU来缓解。

卷积和ReLU的结合使用

在卷积神经网络中，卷积层通常与ReLU激活函数结合使用。这种结合的使用方式如下：

1. 卷积层提取特征：卷积层扫描输入数据，提取局部特征并生成特征图。
2. 批量归一化：有时在卷积层和ReLU激活函数之间使用批量归一化（Batch Normalization）来稳定训练过程。
3. 应用ReLU激活函数：ReLU函数应用于卷积层的输出，引入非线性，使得网络可以学习更复杂的特征组合。
4. 池化层：在卷积和ReLU之后，通常会有一个池化层（如最大池化），它用于降低特征图的空间维度，提高特征的不变性，并减少参数数量。

这种卷积+ReLU的模式在卷积神经网络中非常常见，因为它能够有效地提取特征并增加网络的深度和复杂性，同时避免了梯度消失问题，使得深层网络的训练成为可能。