4. 线性分类
4.1. 线性分类的典型模型
- 硬分类：输出结果只有0或1这种离散结果；
- 感知机
- 线性判别分析 Fisher
- 软分类：会输出0-1之间的值作为各个类别的概率；
- 概率生成模型：高斯判别分析GDA、朴素贝叶斯，主要建模的是 p ( x ⃗ , y ) p(\vec{x},y) p(x,y)
- 概率判别模型：逻辑回归，主要建模的是 p ( y ∣ x ⃗ ) p(y|\vec{x}) p(y∣x)
4.2. 感知机
4.2.1. 基本模型
模型：
f ( x ⃗ ^ ) = sign ( x ⃗ ^ T W ) , sign ( a ) = { 1 , a > 0 0 , a = 0 − 1 , a < 0 . (4.1) \begin{aligned} f(\hat{\vec{x}})=\text{sign}(\hat{\vec{x}}^TW),\\ \text{sign}(a)=\left\{\begin{matrix}1,&a>0\\0,&a=0\\-1,&a<0\end{matrix}.\right.\end{aligned}\tag{4.1} f(x^)=sign(x^TW),sign(a)=⎩ ⎨ ⎧1,0,−1,a>0a=0a<0.(4.1)
思想：错误驱动，先随机初始化一个 W W W，研究错误分类的样本来调整。
策略：使用错分类样本计算损失函数：
L ( W ) = ∑ x ⃗ ^ i ∈ D − y i ⋅ x ⃗ ^ i T W D = { x ⃗ ^ i } f ( x ⃗ ^ i ) ≠ y i . (4.2) \begin{aligned} \mathcal{L}(W)=\sum_{\hat{\vec{x}}_i\in D}-y_i\cdot \hat{\vec{x}}_i^TW\\ D=\{\hat{\vec{x}}_i\}_{f(\hat{\vec{x}}_i)\neq y_i}. \end{aligned}\tag{4.2} L(W)=x^i∈D∑−yi⋅x^iTWD={x^i}f(x^i)=yi.(4.2)
4.3. 线性判别分析 Fisher
4.3.1. 问题定义
对于一个二分类问题，将样本分为 X c 1 = { x ⃗ ^ i ∣ y i = + 1 } X_{c_1}=\left \{ \hat{\vec{x}}_i|y_i=+1 \right \} Xc1={x^i∣yi=+1} 和 X c 2 = { x ⃗ ^ i ∣ y i = − 1 } X_{c_2}=\left \{ \hat{\vec{x}}_i|y_i=-1 \right \} Xc2={x^i∣yi=−1}，这两组的样本数分别为 N 1 N_1 N1 和 N 2 N_2 N2， N 1 + N 2 = N N_1+N_2=N N1+N2=N.
寻找一个投影超平面 W W W，使所有样本点在这个平面的投影可以做到类内间距小，类间间距大。
4.3.2. 过程推导
样本 x ⃗ ^ i \hat{\vec{x}}_i x^i 在超平面 W W W 上的投影可以表示为 z = x ⃗ ^ T ⋅ W z=\hat{\vec{x}}^T\cdot W z=x^T⋅W，则对其求均值和方差：
z ˉ = 1 N ∑ i = 1 N z i = 1 N ∑ i = 1 N x ⃗ ^ i T ⋅ W S z = 1 N ∑ i = 1 N ( z i − z ˉ ) 2 = 1 N ∑ i = 1 N ( x ⃗ ^ i T ⋅ W − z ˉ ) 2 . (4.3) \begin{aligned} \bar{z}&=\frac{1}{N}\sum_{i=1}^Nz_i=\frac{1}{N}\sum_{i=1}^N\hat{\vec{x}}_i^T\cdot W\\ S_z&=\frac{1}{N}\sum_{i=1}^N(z_i-\bar{z})^2=\frac{1}{N}\sum_{i=1}^N(\hat{\vec{x}}_i^T\cdot W-\bar{z})^2. \end{aligned}\tag{4.3} zˉSz=N1i=1∑Nzi=N1i=1∑Nx^iT⋅W=N1i=1∑N(zi−zˉ)2=N1i=1∑N(x^iT⋅W−zˉ)2.(4.3)
基于上式分别对两类样本计算均值 z ˉ 1 \bar{z}_1 zˉ1 和 z ˉ 2 \bar{z}_2 zˉ2，以及方差 S z 1 S_{z_1} Sz1 和 S z 2 S_{z_2} Sz2. 为了尽可能类内间距小，类间间距大，将目标函数定义为
J ( W ) = ( z ˉ 1 − z ˉ 2 ) 2 S z 1 + S z 2 , (4.4) \mathcal{J}(W)=\frac{(\bar{z}_1-\bar{z}_2)^2}{S_{z_1}+S_{z_2}},\tag{4.4} J(W)=Sz1+Sz2(zˉ1−zˉ2)2,(4.4)
则模型转为优化问题：
W = arg max W J ( W ) , (4.5) W=\argmax_W\mathcal{J}(W),\tag{4.5} W=WargmaxJ(W),(4.5)
对目标函数进行化简：
( z ˉ 1 − z ˉ 2 ) 2 = ( 1 N 1 ∑ i = 1 N 1 x ⃗ ^ i T ⋅ W − 1 N 2 ∑ i = 1 N 2 x ⃗ ^ i T ⋅ W ) 2 = [ ( x ⃗ ˉ C 1 − x ⃗ ˉ C 2 ) T W ] 2 = W T ( x ⃗ ˉ C 1 − x ⃗ ˉ C 2 ) ( x ⃗ ˉ C 1 − x ⃗ ˉ C 2 ) T W (4.6) \begin{aligned} (\bar{z}_1-\bar{z}_2)^2&=(\frac{1}{N_1}\sum_{i=1}^{N_1}\hat{\vec{x}}_i^T\cdot W-\frac{1}{N_2}\sum_{i=1}^{N_2}\hat{\vec{x}}_i^T\cdot W)^2\\ &=[(\bar{\vec{x}}_{C_1}-\bar{\vec{x}}_{C_2})^TW]^2\\ &=W^T(\bar{\vec{x}}_{C_1}-\bar{\vec{x}}_{C_2})(\bar{\vec{x}}_{C_1}-\bar{\vec{x}}_{C_2})^TW \end{aligned}\tag{4.6} (zˉ1−zˉ2)2=(N11i=1∑N1x^iT⋅W−N21i=1∑N2x^iT⋅W)2=[(xˉC1−xˉC2)TW]2=WT(xˉC1−xˉC2)(xˉC1−xˉC2)TW(4.6)
S z 1 = 1 N 1 ∑ i = 1 N 1 ( x ⃗ ^ i T ⋅ W − z ˉ 1 ) 2 = 1 N 1 ∑ i = 1 N 1 W T ( x ⃗ i − x ⃗ ˉ C 1 ) ( x ⃗ i − x ⃗ ˉ C 1 ) T W = W T [ 1 N 1 ∑ i = 1 N 1 ( x ⃗ i − x ⃗ ˉ C 1 ) ( x ⃗ i − x ⃗ ˉ C 1 ) T ] W = W T S C 1 W , (4.7) \begin{aligned}S_{z_1}&=\frac{1}{N_1}\sum_{i=1}^{N_1}(\hat{\vec{x}}_i^T\cdot W-\bar{z}_1)^2\\&=\frac{1}{N_1}\sum_{i=1}^{N_1}W^T(\vec{x}_i-\bar{\vec{x}}_{C_1})(\vec{x}_i-\bar{\vec{x}}_{C_1})^TW\\ & =W^T\left [\frac{1}{N_1}\sum_{i=1}^{N_1}(\vec{x}_i-\bar{\vec{x}}_{C_1})(\vec{x}_i-\bar{\vec{x}}_{C_1})^T \right ]W\\ &=W^TS_{C_1}W,\end{aligned}\tag{4.7} Sz1=N11i=1∑N1(x^iT⋅W−zˉ1)2=N11i=1∑N1WT(xi−xˉC1)(xi−xˉC1)TW=WT[N11i=1∑N1(xi−xˉC1)(xi−xˉC1)T]W=WTSC1W,(4.7)
同理可得 S z 2 = W T S C 2 W S_{z_2}=W^TS_{C_2}W Sz2=WTSC2W. 所以目标函数化为
J ( W ) = ( z ˉ 1 − z ˉ 2 ) 2 S z 1 + S z 2 = W T ( x ⃗ ˉ C 1 − x ⃗ ˉ C 2 ) ( x ⃗ ˉ C 1 − x ⃗ ˉ C 2 ) T W W T ( S C 1 + S C 2 ) W (4.8) \begin{aligned} \mathcal{J}(W)&=\frac{(\bar{z}_1-\bar{z}_2)^2}{S_{z_1}+S_{z_2}}\\&=\frac{W^T(\bar{\vec{x}}_{C_1}-\bar{\vec{x}}_{C_2})(\bar{\vec{x}}_{C_1}-\bar{\vec{x}}_{C_2})^TW}{W^T(S_{C_1}+S_{C_2})W} \end{aligned}\tag{4.8} J(W)=Sz1+Sz2(zˉ1−zˉ2)2=WT(SC1+SC2)WWT(xˉC1−xˉC2)(xˉC1−xˉC2)TW(4.8)
再定义总类内方差 S w S_w Sw 和总类间方差 S b S_b Sb：
S w = S C 1 + S C 2 S b = ( x ⃗ ˉ C 1 − x ⃗ ˉ C 2 ) ( x ⃗ ˉ C 1 − x ⃗ ˉ C 2 ) T (4.9) \begin{aligned} S_w&=S_{C_1}+S_{C_2}\\ S_b&=(\bar{\vec{x}}_{C_1}-\bar{\vec{x}}_{C_2})(\bar{\vec{x}}_{C_1}-\bar{\vec{x}}_{C_2})^T \end{aligned}\tag{4.9} SwSb=SC1+SC2=(xˉC1−xˉC2)(xˉC1−xˉC2)T(4.9)
因此目标函数被表示为：
J ( W ) = W T S b W W T S w W , (4.10) \mathcal{J}(W)=\frac{W^TS_bW}{W^TS_wW},\tag{4.10} J(W)=WTSwWWTSbW,(4.10)
对目标函数求导得：
∂ J ( W ) ∂ W = 2 S b W ( W T S w W ) − 1 + W T S b W ⋅ ( − 1 ) ⋅ ( W T S w W ) − 2 ⋅ 2 S w W , (4.11) \begin{aligned}\frac{\partial \mathcal{J}(W)}{\partial W}&=2S_bW(W^TS_wW)^{-1}+\\&W^TS_bW\cdot(-1)\cdot (W^TS_wW)^{-2}\cdot2S_wW,\end{aligned}\tag{4.11} ∂W∂J(W)=2SbW(WTSwW)−1+WTSbW⋅(−1)⋅(WTSwW)−2⋅2SwW,(4.11)
令其为0可得
W = W T S w W W T S b W S w − 1 S b W = W T S w W W T S b W S w − 1 ( x ⃗ ˉ C 1 − x ⃗ ˉ C 2 ) ( x ⃗ ˉ C 1 − x ⃗ ˉ C 2 ) T W = W T S w W ⋅ ( x ⃗ ˉ C 1 − x ⃗ ˉ C 2 ) T W W T S b W S w − 1 ( x ⃗ ˉ C 1 − x ⃗ ˉ C 2 ) , (4.12) \begin{aligned}W&=\frac{W^TS_wW}{W^TS_bW}S_w^{-1}S_bW\\&=\frac{W^TS_wW}{W^TS_bW}S_w^{-1}(\bar{\vec{x}}_{C_1}-\bar{\vec{x}}_{C_2})(\bar{\vec{x}}_{C_1}-\bar{\vec{x}}_{C_2})^TW\\&=\frac{W^TS_wW\cdot (\bar{\vec{x}}_{C_1}-\bar{\vec{x}}_{C_2})^TW}{W^TS_bW}S_w^{-1}(\bar{\vec{x}}_{C_1}-\bar{\vec{x}}_{C_2}) ,\end{aligned}\tag{4.12} W=WTSbWWTSwWSw−1SbW=WTSbWWTSwWSw−1(xˉC1−xˉC2)(xˉC1−xˉC2)TW=WTSbWWTSwW⋅(xˉC1−xˉC2)TWSw−1(xˉC1−xˉC2),(4.12)
因为 W W W 是一个单位向量，所以我们只关心其方向而不关心其长度，所以最终得到：
W ∝ S w − 1 ( x ⃗ ˉ C 1 − x ⃗ ˉ C 2 ) . (4.13) \begin{aligned}W\propto S_w^{-1}(\bar{\vec{x}}_{C_1}-\bar{\vec{x}}_{C_2}). \end{aligned}\tag{4.13} W∝Sw−1(xˉC1−xˉC2).(4.13)
4.4. 逻辑回归
4.4.1. 基本思想
在线性回归中引入非线性激活函数，使其可以将回归结果映射为概率值，作为类别的概率。因此将这个模型看做一个条件概率分布的建模，输入 x ⃗ ^ \hat{\vec{x}} x^，通过建模 p ( y ∣ x ⃗ ^ ) p(y|\hat{\vec{x}}) p(y∣x^)，输出 y y y 的离散取值；
4.4.2. Sigmoid 激活函数
基本公式：
σ ( z ) = 1 1 + e − z (4.14) \sigma (z)=\frac{1}{1+e^{-z}}\tag{4.14} σ(z)=1+e−z1(4.14)
特殊取值：
- z → − ∞ z\rightarrow -\infty z→−∞ 时， lim σ ( z ) = 0 \lim \sigma (z)=0 limσ(z)=0；
- z = 0 z=0 z=0 时， σ ( z ) = 1 2 \sigma(z)=\frac{1}{2} σ(z)=21；
- z → ∞ z\rightarrow \infty z→∞ 时， lim σ ( z ) = 1 \lim \sigma (z)=1 limσ(z)=1.
函数图像：
4.4.3. 模型推导
根据条件概率建模的思想：
p 1 = p ( y = 1 ∣ x ⃗ ^ ) = σ ( x ⃗ ^ T W ) = 1 1 + e − x ⃗ ^ T W p 0 = p ( y = 0 ∣ x ⃗ ^ ) = 1 − σ ( x ⃗ ^ T W ) = e − x ⃗ ^ T W 1 + e − x ⃗ ^ T W , (4.15) \begin{aligned} p_1&=p(y=1|\hat{\vec{x}})=\sigma(\hat{\vec{x}}^TW)= \frac{1}{1+e^{-\hat{\vec{x}}^TW}}\\ p_0&=p(y=0|\hat{\vec{x}})=1-\sigma(\hat{\vec{x}}^TW)= \frac{e^{-\hat{\vec{x}}^TW}}{1+e^{-\hat{\vec{x}}^TW}}, \end{aligned}\tag{4.15} p1p0=p(y=1∣x^)=σ(x^TW)=1+e−x^TW1=p(y=0∣x^)=1−σ(x^TW)=1+e−x^TWe−x^TW,(4.15)
因此将整个模型写作
p ( y ∣ x ) = p 1 y ⋅ p 0 1 − y , (4.16) p(y|x)=p_1^y\cdot p_0^{1-y},\tag{4.16} p(y∣x)=p1y⋅p01−y,(4.16)
当 y = 0 y=0 y=0 时， p = p 0 p=p_0 p=p0，当 y = 1 y=1 y=1 时， p = p 1 p=p_1 p=p1.
用极大似然估计法求解模型：
W ^ = arg max W log p ( Y ∣ X ) = arg max W ∑ i = 1 N [ y i ⋅ log σ ( x ⃗ ^ T W ) + ( 1 − y i ) ⋅ log ( 1 − σ ( x ⃗ ^ T W ) ) ] , (4.17) \begin{aligned} \hat{W}&=\argmax_W\log p(Y|X)\\ &=\argmax_W\sum_{i=1}^N\left [ y_i\cdot \log\sigma(\hat{\vec{x}}^TW)+(1-y_i)\cdot \log(1-\sigma(\hat{\vec{x}}^TW)) \right ], \end{aligned}\tag{4.17} W^=Wargmaxlogp(Y∣X)=Wargmaxi=1∑N[yi⋅logσ(x^TW)+(1−yi)⋅log(1−σ(x^TW))],(4.17)
对其求梯度得
▽ grad W = ∑ i = 1 N [ y i ⋅ ( 1 − σ ( x ⃗ ^ T W ) ) ⋅ x ⃗ ^ − ( 1 − y i ) ⋅ σ ( x ⃗ ^ T W ) ⋅ x ⃗ ^ ] = ∑ i = 1 N [ y i − σ ( x ⃗ ^ T W ) ] ⋅ x ⃗ ^ , (4.18) \begin{aligned} \bigtriangledown \text{grad}_W &=\sum_{i=1}^N \left [y_i\cdot (1-\sigma(\hat{\vec{x}}^TW))\cdot\hat{\vec{x}} - (1-y_i)\cdot \sigma(\hat{\vec{x}}^TW)\cdot\hat{\vec{x}} \right ]\\ &=\sum_{i=1}^N \left [y_i-\sigma(\hat{\vec{x}}^TW) \right ]\cdot\hat{\vec{x}}, \end{aligned}\tag{4.18} ▽gradW=i=1∑N[yi⋅(1−σ(x^TW))⋅x^−(1−yi)⋅σ(x^TW)⋅x^]=i=1∑N[yi−σ(x^TW)]⋅x^,(4.18)
即可对模型进行迭代更新。
4.5. 高斯判别分析
4.5.1. 概率判别式模型与概率生成式模型的区别
概率判别式模型主要计算条件概率密度 p ( y ∣ x ⃗ ) p(y|\vec{x}) p(y∣x)，取令该概率最大的 y y y 为分类结果；
概率生成式模型并不需要计算具体的 p ( y ∣ x ⃗ ) p(y|\vec{x}) p(y∣x) 值，而是直接思考 p ( y = 1 ∣ x ⃗ ) p(y=1|\vec{x}) p(y=1∣x) 和 p ( y = 0 ∣ x ⃗ ) p(y=0|\vec{x}) p(y=0∣x) 的结果谁更大，根据贝叶斯公式 p ( y ∣ x ⃗ ) = p ( x ⃗ ∣ y ) ⋅ p ( y ) p ( x ⃗ ) p(y|\vec{x}) = \frac{p(\vec{x}|y)\cdot p(y)}{p(\vec{x})} p(y∣x)=p(x)p(x∣y)⋅p(y)，将目标函数变为：
y ^ = arg max y p ( y ∣ x ⃗ ) = arg max y p ( x ⃗ ∣ y ) ⋅ p ( y ) , (4.19) \begin{aligned} \hat{y}&=\argmax_y p(y|\vec{x})\\&=\argmax_y p(\vec{x}|y)\cdot p(y), \end{aligned}\tag{4.19} y^=yargmaxp(y∣x)=yargmaxp(x∣y)⋅p(y),(4.19)
其中若 p ( y = 1 ) = ϕ p(y=1)=\phi p(y=1)=ϕ，则 p ( y = 0 ) = 1 − ϕ p(y=0)=1-\phi p(y=0)=1−ϕ，可以将 p ( y ) p(y) p(y) 合并为 p ( y ) = ϕ y ⋅ ( 1 − ϕ ) 1 − y p(y)=\phi ^y\cdot (1-\phi)^{1-y} p(y)=ϕy⋅(1−ϕ)1−y.
4.5.2. 高斯概率假设
在高斯判别模型中，假设条件分布是遵从高斯概率分布的，即：
x ⃗ ∣ y = 0 ∼ N ( μ 1 , Σ ) x ⃗ ∣ y = 1 ∼ N ( μ 2 , Σ ) , (4.20) \begin{aligned} \vec{x}|y&=0\sim N(\mu_1, \Sigma)\\ \vec{x}|y&=1\sim N(\mu_2, \Sigma), \end{aligned}\tag{4.20} x∣yx∣y=0∼N(μ1,Σ)=1∼N(μ2,Σ),(4.20)
使用对数似然求解目标函数，可得
L ( θ ) = log ∏ i = 1 N p ( x ⃗ i , y i ) = ∑ i = 1 N [ log p ( x ⃗ i ∣ y i ) + log p ( y i ) ] = ∑ i = 1 N { y i ⋅ [ − 1 2 ( x ⃗ i − μ ⃗ 1 ) T Σ − 1 ( x ⃗ i − μ ⃗ 1 ) − p 2 log 2 π − − 1 2 log ∣ Σ ∣ ] + ( 1 − y i ) ⋅ [ − 1 2 ( x ⃗ i − μ ⃗ 2 ) T Σ − 1 ( x ⃗ i − μ ⃗ 2 ) − p 2 log 2 π − − 1 2 log ∣ Σ ∣ ] + y i ⋅ log ϕ + ( 1 − y i ) ⋅ log ( 1 − ϕ ) } . (4.21) \begin{aligned} \mathcal{L}(\theta)&=\log\prod_{i=1}^N p(\vec{x}_i,y_i)\\ &=\sum _{i=1}^N\left [\log p(\vec{x}_i|y_i)+\log p(y_i) \right ] \\ &=\sum _{i=1}^N\left \{ y_i\cdot \left [-\frac{1}{2}\left (\vec{x}_i-\vec{\mu}_1 \right )^T\Sigma^{-1} \left(\vec{x}_i-\vec{\mu}_1 \right )-\frac{p}{2}\log2\pi--\frac{1}{2}\log|\Sigma| \right ]+\right.\\ &\left (1-y_i \right )\cdot \left [-\frac{1}{2}\left (\vec{x}_i-\vec{\mu}_2 \right )^T\Sigma^{-1} \left(\vec{x}_i-\vec{\mu}_2 \right )-\frac{p}{2}\log2\pi--\frac{1}{2}\log|\Sigma| \right ] +\\&\left.y_i \cdot\log\phi + (1-y_i)\cdot\log(1-\phi)\right \} . \end{aligned}\tag{4.21} L(θ)=logi=1∏Np(xi,yi)=i=1∑N[logp(xi∣yi)+logp(yi)]=i=1∑N{yi⋅[−21(xi−μ1)TΣ−1(xi−μ1)−2plog2π−−21log∣Σ∣]+(1−yi)⋅[−21(xi−μ2)TΣ−1(xi−μ2)−2plog2π−−21log∣Σ∣]+yi⋅logϕ+(1−yi)⋅log(1−ϕ)}.(4.21)
4.5.3. 求解模型
首先求解参数 ϕ \phi ϕ，对目标函数求偏导：
∂ L ( θ ) ∂ ϕ = ∑ i = 1 N ( y i ϕ − 1 − y i 1 − ϕ ) , (4.22) \begin{aligned} \frac{\partial L(\theta)}{\partial \phi}=\sum_{i=1}^N\left (\frac{y_i}{\phi}-\frac{1-y_i}{1-\phi} \right ) , \end{aligned}\tag{4.22} ∂ϕ∂L(θ)=i=1∑N(ϕyi−1−ϕ1−yi),(4.22)
令其为0，求得
ϕ ^ = 1 N ∑ i = 1 N y i , (4.23) \hat{\phi}=\frac{1}{N}\sum_{i=1}^{N}y_i,\tag{4.23} ϕ^=N1i=1∑Nyi,(4.23)
也就是样本中各个标签出现的频率即为最优概率值。
再求解参数 μ ⃗ 1 \vec{\mu}_1 μ1，由于其他和 μ ⃗ 1 \vec{\mu}_1 μ1 无关的部分求偏导后都得0，所以从目标函数中单独取出和相关的部分，即
μ ⃗ ^ 1 = arg max μ ⃗ 1 ∑ i = 1 N y i ⋅ [ − 1 2 ( x ⃗ i − μ ⃗ 1 ) T Σ − 1 ( x ⃗ i − μ ⃗ 1 ) ] = arg max μ ⃗ 1 ∑ x i ⃗ ∈ C 1 [ − 1 2 ( x ⃗ i − μ ⃗ 1 ) T Σ − 1 ( x ⃗ i − μ ⃗ 1 ) ] , (4.22) \begin{aligned} \hat{\vec{\mu}}_1&=\argmax_{\vec{\mu}_1}\sum_{i=1}^Ny_i\cdot \left [-\frac{1}{2}\left (\vec{x}_i-\vec{\mu}_1 \right )^T\Sigma^{-1} \left(\vec{x}_i-\vec{\mu}_1 \right ) \right ]\\ &=\argmax_{\vec{\mu}_1}\sum_{\vec{x_i}\in C_1}\left [-\frac{1}{2}\left (\vec{x}_i-\vec{\mu}_1 \right )^T\Sigma^{-1} \left(\vec{x}_i-\vec{\mu}_1 \right ) \right ], \end{aligned}\tag{4.22} μ^1=μ1argmaxi=1∑Nyi⋅[−21(xi−μ1)TΣ−1(xi−μ1)]=μ1argmaxxi∈C1∑[−21(xi−μ1)TΣ−1(xi−μ1)],(4.22)
其中 C 1 = { x ⃗ i } y i = 1 C_1=\left \{ \vec{x}_i\right \}_{y_i=1} C1={xi}yi=1，因此求解方法等同于高维高斯分布的极大似然估计（见另一篇笔记 机器学习[白板推导]（一） 第2.2.2.节），结果为
μ ⃗ ^ 1 = ∑ i = 1 N y i ⋅ x ⃗ i N 1 = ∑ x ⃗ i ∈ C 1 x ⃗ i N 1 μ ⃗ ^ 2 = ∑ i = 1 N ( 1 − y i ) ⋅ x ⃗ i N 2 = ∑ x ⃗ i ∈ C 2 x ⃗ i N 2 , (4.23) \begin{aligned} \hat{\vec{\mu}}_1&=\frac{\sum_{i=1}^Ny_i\cdot \vec{x}_i}{N_1}=\frac{\sum_{\vec{x}_i\in C_1}\vec{x}_i}{N_1}\\ \hat{\vec{\mu}}_2&=\frac{\sum_{i=1}^N\left (1-y_i \right )\cdot \vec{x}_i}{N_2}=\frac{\sum_{\vec{x}_i\in C_2}\vec{x}_i}{N_2}, \end{aligned}\tag{4.23} μ^1μ^2=N1∑i=1Nyi⋅xi=N1∑xi∈C1xi=N2∑i=1N(1−yi)⋅xi=N2∑xi∈C2xi,(4.23)
最后求 Σ \Sigma Σ，同样取出目标函数中和其相关的部分，得：
Σ ^ = arg max Σ ∑ x ⃗ i ∈ C 1 [ − 1 2 ( x ⃗ i − μ ⃗ 1 ) T Σ − 1 ( x ⃗ i − μ ⃗ 1 ) ] + ∑ x ⃗ i ∈ C 2 [ − 1 2 ( x ⃗ i − μ ⃗ 2 ) T Σ − 1 ( x ⃗ i − μ ⃗ 2 ) ] − N 2 log ∣ Σ ∣ , (4.24) \begin{aligned} \hat{\Sigma}=&\argmax_{\Sigma}\sum_{\vec{x}_i\in C_1}\left [-\frac{1}{2}\left (\vec{x}_i-\vec{\mu}_1 \right )^T\Sigma^{-1} \left(\vec{x}_i-\vec{\mu}_1 \right ) \right ]\\ &+\sum_{\vec{x}_i\in C_2}\left [-\frac{1}{2}\left (\vec{x}_i-\vec{\mu}_2 \right )^T\Sigma^{-1} \left(\vec{x}_i-\vec{\mu}_2 \right ) \right ] - \frac{N}{2}\log |\Sigma| , \end{aligned}\tag{4.24} Σ^=Σargmaxxi∈C1∑[−21(xi−μ1)TΣ−1(xi−μ1)]+xi∈C2∑[−21(xi−μ2)TΣ−1(xi−μ2)]−2Nlog∣Σ∣,(4.24)
对其求偏导得
d L ( θ ) d Σ = − N 2 Σ − 1 + 1 2 ∑ x ⃗ i ∈ C 1 Σ − 1 ( x ⃗ i − μ ⃗ 1 ) ( x ⃗ i − μ ⃗ 1 ) T Σ − 1 + 1 2 ∑ x ⃗ i ∈ C 2 Σ − 1 ( x ⃗ i − μ ⃗ 2 ) ( x ⃗ i − μ ⃗ 2 ) T Σ − 1 , (4.25) \begin{aligned} \frac{d\mathcal{L}(\theta)}{d\Sigma} &=-\frac{N}{2}\Sigma ^{-1}+\frac{1}{2}\sum_{\vec{x}_i\in C_1}\Sigma^{-1}(\vec{x}_i-\vec{\mu}_1)(\vec{x}_i-\vec{\mu}_1)^T\Sigma^{-1}\\ &+\frac{1}{2}\sum_{\vec{x}_i\in C_2}\Sigma^{-1}(\vec{x}_i-\vec{\mu}_2)(\vec{x}_i-\vec{\mu}_2)^T\Sigma^{-1} , \end{aligned}\tag{4.25} dΣdL(θ)=−2NΣ−1+21xi∈C1∑Σ−1(xi−μ1)(xi−μ1)TΣ−1+21xi∈C2∑Σ−1(xi−μ2)(xi−μ2)TΣ−1,(4.25)
令其为0得
Σ ^ = 1 N [ ∑ x ⃗ i ∈ C 1 ( x ⃗ i − μ ⃗ 1 ) ( x ⃗ i − μ ⃗ 1 ) T + ∑ x ⃗ i ∈ C 2 ( x ⃗ i − μ ⃗ 2 ) ( x ⃗ i − μ ⃗ 2 ) T ] = N 1 ⋅ S 1 + N 2 ⋅ S 2 N , (4.26) \begin{aligned} \hat{\Sigma} &=\frac{1}{N}\left [\sum_{\vec{x}_i\in C_1}(\vec{x}_i-\vec{\mu}_1)(\vec{x}_i-\vec{\mu}_1)^T+\sum_{\vec{x}_i\in C_2}(\vec{x}_i-\vec{\mu}_2)(\vec{x}_i-\vec{\mu}_2)^T \right ]\\ &=\frac{N_1\cdot S_1+N_2\cdot S_2}{N} , \end{aligned}\tag{4.26} Σ^=N1 xi∈C1∑(xi−μ1)(xi−μ1)T+xi∈C2∑(xi−μ2)(xi−μ2)T =NN1⋅S1+N2⋅S2,(4.26)
其中 S 1 S_1 S1 和 S 2 S_2 S2 分别为两个类内样本方差。
4.6. 朴素贝叶斯 （Naive Bayes Classifier）
4.6.1. 基本思想
所有朴素贝叶斯家族的算法都是基于朴素贝叶斯假设，又叫条件随机场假设，即假设各个特征之间相互独立。朴素贝叶斯模型是最简单的概率图模型，模型方法和高斯判别分析较为接近，这里不做重复。
