《近似线性可分支持向量机的原理推导》 目标函数 公式解析

本文是将文章《近似线性可分支持向量机的原理推导》中的公式单独拿出来做一个详细的解析，便于初学者更好的理解。

---

公式 9-38 解释：

$$\underset{w,b,\xi }{\min }\frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^N{\xi }_i$$

公式 9-38 是 近似线性可分支持向量机（SVM） 的目标函数。相比于线性可分的情况，这里的目标函数增加了一个对分类错误的惩罚项，使得支持向量机能够适应近似线性可分的数据。

1. 公式各部分的含义：

• $w$：权重向量，定义了分类超平面的方向。
• $b$：偏置项，控制超平面的位置。
• ${\xi }_i$：松弛变量，用于允许某些样本不严格满足硬间隔约束。它允许一些样本点距离分类边界更近，甚至被错误分类。
• $C$：惩罚系数，控制分类错误（即松弛变量 $\xi$）对目标函数的影响。
• $N$：样本数量。

2. 目标函数的结构：

公式 9-38 的目标函数由两部分组成：
$$\frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^N{\xi }_i$$

• 第一部分 $\frac{1}{2}\Vert w{\Vert }^2$：

  • 这一项是二次项，用于控制分类间隔的大小。SVM 的核心思想是找到能够最大化分类间隔的超平面，而 $\frac{1}{2}\Vert w{\Vert }^2$ 是用于衡量分类间隔大小的函数。
  • 最小化 $\Vert w{\Vert }^2$ 意味着最大化分类间隔。通过最小化这个项，模型会尝试找到一个尽量将正类与负类数据分开，并保持两类数据之间间隔最大化的超平面。

• 第二部分 $C{\sum }_{i=1}^N{\xi }_i$：

  • 这是惩罚项，用于控制误分类的数量。通过引入松弛变量 ${\xi }_i$，我们允许一些样本点不完全满足硬间隔约束。每个松弛变量 ${\xi }_i$ 表示第 $i$ 个样本点没有满足硬间隔条件的程度。
  • 惩罚系数 $C$ 是一个超参数，用来平衡分类间隔的大小和误分类的数量。它决定了模型对误分类样本的惩罚力度。更具体地说：
    • $C$ 值较大时，意味着对误分类的容忍度较低，模型会尽可能减少误分类的数量，即更注重模型的准确性。
    • $C$ 值较小时，模型会更加允许出现一些误分类，重点放在最大化分类间隔上，以提高模型的泛化能力。

3. 公式的直观理解：

公式 9-38 表示了软间隔支持向量机的目标，即在保证较大的分类间隔的同时，尽量减少分类错误。模型的目标是找到一个权重向量 $w$ 和偏置 $b$，使得这两部分的和尽量最小化。

• 第一部分 $\frac{1}{2}\Vert w{\Vert }^2$ 是原始硬间隔 SVM 的目标，旨在最大化分类间隔。
• 第二部分 $C{\sum }_{i=1}^N{\xi }_i$ 是针对分类错误的惩罚。通过引入惩罚项 $C$，我们允许某些样本违反硬间隔条件，但会对这些违反进行惩罚，目的是找到一个在准确性和泛化能力之间取得平衡的模型。

4. 松弛变量的作用：

松弛变量 ${\xi }_i$ 的作用是允许某些样本点不满足严格的分类间隔条件。

• 当 ${\xi }_i=0$：样本 $x_i$ 完全满足硬间隔条件，即它被正确分类并且与分类边界保持足够的距离。
• 当 $0<{\xi }_i\le 1$：样本 $x_i$ 被正确分类，但它靠近了超平面（即间隔小于 1）。
• 当 ${\xi }_i>1$：样本 $x_i$ 被错误分类，位于超平面的错误一侧。

总的来说，松弛变量允许一定的误分类，并通过惩罚项 $C{\sum }_{i=1}^N{\xi }_i$ 来控制这些误分类的影响。

5. 惩罚系数 $C$ 的作用：

• $C$ 值较大：模型会更加严格地分类，尽可能减少误分类。这时模型更加注重准确率，允许的误分类较少。

  • 缺点：过大的 $C$ 值可能导致模型过拟合，因为模型会尝试在训练集上过度拟合，减少误分类。

• $C$ 值较小：模型会允许更多的误分类，重点放在最大化分类间隔上。这时模型更倾向于增加泛化能力。

  • 缺点：过小的 $C$ 值可能导致模型欠拟合，因为模型允许较多的误分类。

在实际使用中，选择合适的 $C$ 值需要根据数据集的情况，通过交叉验证等方式进行调参。

6. 总结

• 公式 9-38 表示软间隔支持向量机的目标函数，它综合了两部分：

  1. 最大化分类间隔 $\frac{1}{2}\Vert w{\Vert }^2$。
  2. 最小化误分类惩罚 $C{\sum }_{i=1}^N{\xi }_i$，即尽量减少分类错误。

• 惩罚系数 $C$ 控制着这两者之间的平衡。较大的 $C$ 会更注重减少误分类，而较小的 $C$ 会更注重提高泛化能力。

通过这个目标函数，支持向量机能够在处理近似线性可分的数据时，找到一个权衡分类间隔和误分类的最佳解。