在机器学习,尤其是深度学习领域,正向传递(Forward Pass)和反向传递(Backward Pass)是神经网络训练过程中的两个核心步骤。它们共同构成了训练神经网络的基础框架,通常与梯度下降算法结合使用。
1. 正向传递(Forward Pass)
正向传递是指输入数据通过神经网络的前向传播过程,从输入层经过隐藏层最终到达输出层,计算网络的预测结果。具体步骤如下:
- 输入数据:将训练数据(例如图像、文本等)输入到神经网络的第一层(输入层)。
- 逐层计算:数据通过每一层的神经元,经过加权求和和激活函数的处理,逐层传递。
- 输出结果:最终在输出层得到网络的预测值(例如分类标签、回归值等)。
- 计算损失:将网络的预测值与真实标签进行比较,使用损失函数(如均方误差、交叉熵等)计算误差。
正向传递的目的是计算网络的输出和损失,这是后续反向传递的基础。
2. 反向传递(Backward Pass / Backpropagation)
反向传递是指通过反向传播算法计算损失函数对网络参数的梯度,以便更新网络参数。具体步骤如下:
- 计算梯度:从输出层开始,逐层计算损失函数对每一层参数的偏导数(梯度)。这涉及到链式法则的应用。
- 反向传播梯度:将梯度从输出层传递回输入层,计算每一层的权重和偏置的梯度。
- 更新参数:使用梯度下降(或其变体,如Adam、RMSProp等)根据计算出的梯度更新网络的参数(权重和偏置)。
反向传递的目的是优化网络参数,使得损失函数最小化,从而提高网络的预测性能。
3. 正向传递和反向传递的关系
- 正向传递是计算网络的输出和损失,为反向传递提供基础。
- 反向传递是计算梯度并更新参数,以优化网络性能。
- 两者交替进行:在训练过程中,每一轮迭代(epoch)通常包括一次正向传递和一次反向传递。
4. 简单示例
假设有一个简单的神经网络,输入为 x,输出为 y,损失函数为 L。
-
正向传递:
- 计算网络输出:y=f(x;θ),其中 θ 是网络参数。
- 计算损失:L=loss(y,ytrue)。
-
反向传递:
- 计算损失对参数的梯度:∂θ∂L。
- 更新参数:θ=θ−η⋅∂θ∂L,其中 η 是学习率。
总结
- 正向传递:数据从输入到输出,计算预测值和损失。
- 反向传递:从损失反向传播梯度,更新网络参数。
两者共同构成了神经网络训练的核心过程。