线性可分支持向量机的原理推导 9-30最优法向量w 公式解析

本文是将文章《线性可分支持向量机的原理推导》中的公式单独拿出来做一个详细的解析，便于初学者更好的理解。

---

公式 9-30 为：
$$w^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i$$

1. 公式 9-30 的含义

公式 9-30 表示支持向量机的最优法向量 $w^{\ast }$ 是通过训练数据中的样本 $x_i$、类别标签 $y_i$ 和对应的拉格朗日乘子 ${\alpha }_i^{\ast }$ 的加权和来确定的。

• $w^{\ast }$：是分类超平面的最优法向量，它决定了分类超平面的方向。这个法向量通过优化过程计算出来，代表了分类器的边界。
• ${\alpha }_i^{\ast }$：是最优的拉格朗日乘子，对应第 $i$ 个样本点。它表示该样本点对分类器超平面构造的贡献程度。如果 ${\alpha }_i^{\ast }>0$，则该点是支持向量；如果 ${\alpha }_i^{\ast }=0$，则该点不会影响分类器的构造。
• $y_i$：是第 $i$ 个样本的类别标签，取值为 $+1$ 或 $-1$。
• $x_i$：是第 $i$ 个样本的特征向量。

2. 公式的推导

这个公式来源于拉格朗日优化问题的站点条件。站点条件的含义是，在最优解 $w^{\ast }$ 处，拉格朗日函数关于 $w$ 的偏导数应该为 0。

拉格朗日函数 $L(w,b,\alpha )$ 的定义为：
$$L(w,b,\alpha )=\frac{1}{2}\Vert w{\Vert }^2-\sum _{i=1}^N{\alpha }_i\left(y_i(w^T{x}_i+b)-1\right)$$

为了找到最优的法向量 $w^{\ast }$，我们对 $w$ 求偏导，并令其等于 0：
$$\frac{\partial L}{\partial w}=w-\sum _{i=1}^N{\alpha }_i{y}_i{x}_i=0$$

因此，得到最优法向量 $w^{\ast }$ 的表达式为：
$$w^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i$$

3. 公式的几何意义

几何上，公式 9-30 表示支持向量机中的分类超平面的法向量 $w^{\ast }$ 是由支持向量（那些 ${\alpha }_i^{\ast }>0$ 的点）加权构造而成的。

• 支持向量：这些点恰好位于分类超平面的边界上，并且它们的拉格朗日乘子 ${\alpha }_i^{\ast }>0$。这些支持向量决定了分类器的超平面，因为它们直接影响到法向量 $w^{\ast }$ 的值。
• 非支持向量：对于那些 ${\alpha }_i^{\ast }=0$ 的点，它们对分类器的超平面没有影响。这些点虽然被正确分类，但它们距离分类超平面较远，不影响超平面的形状和位置。

因此，公式 9-30 的几何意义是，支持向量机的法向量 $w^{\ast }$ 是通过这些位于边界上的支持向量确定的。它决定了分类器的方向和分类边界的形状。

4. 物理解释

从物理角度看，公式 9-30 说明了分类器如何通过训练数据中的支持向量来确定分类超平面的方向。

• 拉格朗日乘子 ${\alpha }_i^{\ast }$：表示每个样本点对分类器的影响力。如果 ${\alpha }_i^{\ast }>0$，说明该点是支持向量，对分类器有直接贡献；如果 ${\alpha }_i^{\ast }=0$，该点不影响分类超平面。
• 类别标签 $y_i$：帮助确定每个样本点对分类边界的影响方向。正类样本的标签 $y_i=+1$，而负类样本的标签 $y_i=-1$，从而影响它们对分类器的贡献方向。
• 特征向量 $x_i$：支持向量的位置决定了法向量 $w^{\ast }$ 的实际数值。不同的支持向量会对法向量 $w^{\ast }$ 的值产生不同的影响，最终决定分类边界的位置和方向。

5. 公式 9-30 在 SVM 中的作用

公式 9-30 是支持向量机优化过程中一个非常重要的步骤。它通过支持向量来确定分类超平面的法向量 $w^{\ast }$，这一法向量决定了分类器的方向和决策边界。

具体作用包括：

• 确定分类边界方向：通过公式 9-30，我们可以确定分类器超平面的法向量 $w^{\ast }$，从而决定分类边界的方向。
• 筛选支持向量：只有那些 ${\alpha }_i^{\ast }>0$ 的点对 $w^{\ast }$ 有贡献，这些点被称为支持向量。非支持向量不会影响分类器的构造。
• 优化问题的解：$w^{\ast }$ 是支持向量机优化问题的最优解之一，通过它我们能够构造出分类超平面。

6. 总结

公式 9-30 表示支持向量机中最优法向量 $w^{\ast }$ 的计算方法。通过公式 9-30，分类器的法向量是由支持向量的加权和组成的，这些支持向量决定了分类器的决策边界。通过优化拉格朗日乘子 ${\alpha }_i^{\ast }$，我们能够筛选出支持向量并构造出最优的法向量 $w^{\ast }$，进而定义分类超平面的方向和位置。