《近似线性可分支持向量机的原理推导》 9-50如何消除的约束μ_i ​

本文是将文章《近似线性可分支持向量机的原理推导》中的公式单独拿出来做一个详细的解析，便于初学者更好的理解。

---

在公式 9-49 和 9-50 中，“消除变量 ${\mu }_i$ 后”的过程涉及到利用 拉格朗日乘子约束条件 来简化约束。

背景

首先，我们从拉格朗日函数开始，并引入了拉格朗日乘子 ${\alpha }_i$ 和 ${\mu }_i$ 来处理约束条件。这里的拉格朗日函数 $L(w,b,\xi ,\alpha ,\mu )$ 包含了以下两个约束：

1. $y_i(w^T{x}_i+b)\ge 1-{\xi }_i$
2. ${\xi }_i\ge 0$

其中：

• ${\alpha }_i$ 是与第一个约束（即分类约束条件）相关的拉格朗日乘子。
• ${\mu }_i$ 是与第二个约束（即松弛变量非负性条件）相关的拉格朗日乘子。

根据拉格朗日对偶理论，最优解必须满足 Karush-Kuhn-Tucker（KKT）条件。KKT 条件中包含了互补松弛条件，即对于每个 $i$：
$${\mu }_i{\xi }_i=0$$

消除 ${\mu }_i$ 的过程

在公式 9-49 中，约束条件为：

1. ${\sum }_{i=1}^N{\alpha }_i{y}_i=0$
2. $C-{\alpha }_i-{\mu }_i=0$
3. ${\alpha }_i\ge 0$
4. ${\mu }_i\ge 0$

我们的目标是消除变量 ${\mu }_i$，从而得到仅依赖于 ${\alpha }_i$ 的约束。

使用第二个约束消除 ${\mu }_i$

在第 2 个约束条件中，$C-{\alpha }_i-{\mu }_i=0$，可以对其进行移项，得到：
$${\mu }_i=C-{\alpha }_i$$

然后，我们可以将这个表达式带入其他约束条件来消除 ${\mu }_i$。

代入 ${\mu }_i\ge 0$

根据第 4 个约束条件 ${\mu }_i\ge 0$，代入 ${\mu }_i=C-{\alpha }_i$ 后得到：
$$C-{\alpha }_i\ge 0$$

即：
$${\alpha }_i\le C$$

因此，我们现在得到了新的约束条件：
$$0\le {\alpha }_i\le C$$

结论

通过以上步骤，我们成功地消除了 ${\mu }_i$，并将约束条件简化为：
$$0\le {\alpha }_i\le C$$

所以，公式 9-50 中的约束条件：
$$0\le {\alpha }_i\le C$$
就是在消除变量 ${\mu }_i$ 后得到的简化结果。