线性可分支持向量机的原理推导 9-19基于拉格朗日函数L(w,b,α) 对b求偏导 公式解析

本文是将文章《线性可分支持向量机的原理推导》中的公式单独拿出来做一个详细的解析，便于初学者更好的理解。

---

公式 9-19 是对拉格朗日函数 $L(\mathbf{w},b,\alpha )$ 中的偏导数进行求解，目的是找到拉格朗日函数对 $b$ 的极小值条件。这个步骤与公式 9-18 类似，是求解支持向量机中优化问题的一部分。公式 9-19 的表达式如下：
$$\frac{\partial L}{\partial b}=-\sum _{i=1}^N{\alpha }_i{y}_i=0$$

1. 公式 9-19 的含义

公式 9-19 表示对拉格朗日函数 $L(\mathbf{w},b,\alpha )$ 进行 $b$ 的偏导数，并将其设为 0。我们这样做是为了找到 $L(\mathbf{w},b,\alpha )$ 对 $b$ 的极值条件，也就是 $b$ 的最优解。

• $\frac{\partial L}{\partial b}$ 是拉格朗日函数对 $b$ 的偏导数。
• 我们令偏导数等于 0 是为了找到最优 $b$ 的条件，这是一个常见的优化步骤。

拉格朗日函数回顾

根据前面的推导，拉格朗日函数的形式为：
$$L(\mathbf{w},b,\alpha )=\frac{1}{2}\Vert \mathbf{w}{\Vert }^2-\sum _{i=1}^N{\alpha }_i\left(y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)-1\right)$$

其中：

• $\frac{1}{2}\Vert \mathbf{w}{\Vert }^2$ 是关于 $\mathbf{w}$ 的二次项。
• 约束项 ${\sum }_{i=1}^N{\alpha }_i\left(y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)-1\right)$ 是引入了拉格朗日乘子 ${\alpha }_i$ 的约束项。

2. 对 $b$ 求偏导数

在拉格朗日函数中，只有约束项中的 $b$ 与 $b$ 相关，因此我们只需要对该部分求偏导数。约束项的具体形式是：
$$-\sum _{i=1}^N{\alpha }_i\left(y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)-1\right)$$

将该表达式展开：
$$-\sum _{i=1}^N{\alpha }_i{y}_i{\mathbf{w}}^T{\mathbf{x}}_i-\sum _{i=1}^N{\alpha }_i{y}_{i}b+\sum _{i=1}^N{\alpha }_i$$

现在我们对 $b$ 求偏导数。因为 $b$ 只出现在第二项 ${\sum }_{i=1}^N{\alpha }_i{y}_{i}b$ 中，所以我们只需要对这一项求导。

对 $b$ 求导的结果是：
$$\frac{\partial }{\partial b}\left(-\sum _{i=1}^N{\alpha }_i{y}_{i}b\right)=-\sum _{i=1}^N{\alpha }_i{y}_i$$

3. 偏导数等于零的条件

为了找到最优 $b$，我们将偏导数设为零：
$$-\sum _{i=1}^N{\alpha }_i{y}_i=0$$

这就得到了公式 9-19 的结果：
$$\sum _{i=1}^N{\alpha }_i{y}_i=0$$

4. 公式 9-19 的作用

公式 9-19 的结果为我们提供了拉格朗日乘子 ${\alpha }_i$ 和标签 $y_i$ 的一个重要约束条件。这个条件表明，在最优解处，拉格朗日乘子 ${\alpha }_i$ 和样本标签 $y_i$ 的加权和为 0。

直观理解：

• 平衡分类误差：约束 ${\sum }_{i=1}^N{\alpha }_i{y}_i=0$ 表示在最优分类超平面处，正类和负类的分类误差达到某种平衡。这确保了正类和负类样本在支持向量机的优化中得到均衡处理。
• 支持向量：只有那些 ${\alpha }_i>0$ 的样本点对超平面的定义有影响，而它们的权重必须在正类和负类之间达到平衡。

5. 为什么这个条件重要？

这个条件 ${\sum }_{i=1}^N{\alpha }_i{y}_i=0$ 是支持向量机（SVM）对偶优化问题中的一个关键约束。它确保了分类器的正确性和分类边界的平衡性。在 SVM 的最终优化过程中，这个约束条件会作为优化的一个附加条件。

6. 后续步骤

公式 9-19 是拉格朗日对偶问题推导过程中的一部分。在得到关于 $\mathbf{w}$ 和 $b$ 的偏导数结果后，接下来的步骤是将这些结果带入拉格朗日对偶问题，并继续对拉格朗日乘子 ${\alpha }_i$ 进行优化。

总结

• 公式 9-19 是对拉格朗日函数 $L(\mathbf{w},b,\alpha )$ 对 $b$ 求偏导数的结果，并得到约束条件 ${\sum }_{i=1}^N{\alpha }_i{y}_i=0$。
• 这个条件确保了在最优分类超平面处，正类和负类样本的分类误差达到平衡。
• 在支持向量机的优化过程中，这个约束条件是求解拉格朗日对偶问题的关键一步。