线性代数|机器学习-P6正定和半正定矩阵

1. 正定矩阵的判定标准

目前我们有 5 种方法判断矩阵是否为正定矩阵：

• 所有的特征值大于零：${\lambda }_i>0$
• 对于所有的非零向量x，能量方程大于零,$x^{T}Sx>0$
• $S=A^{T}A$，当矩阵A列满秩
• 所有的顺序主子式均大于零,$D_i>0$
• 所有的主元均大于零,$Pivo{t}_i>0$

2. 非正定矩阵

• 假设我们有一个矩阵S，判断其是否为正定矩阵
  $$\begin{array}{c}S=\left[\begin{array}{cc}3& 4\\ & \\ 4& 5\end{array}\right]\to |S|=-1\to S非正定矩阵\end{array}$$
• 假设我们有一个矩阵S，判断其是否为正定矩阵
  $$\begin{array}{c}S=\left[\begin{array}{cc}3& 4\\ & \\ 4& \frac{16}{3}\end{array}\right]\to |S|=0\to S为半正定矩阵\end{array}$$

3. 能量方程

假设我们有如下能量方程，绘出其图像：
$$\begin{array}{c}S=f(x,y)=\left[\begin{array}{cc}x& y\end{array}\right]\left[\begin{array}{cc}3& 4\\ & \\ 4& 6\end{array}\right]\left[\begin{array}{c}x\\ \\ y\end{array}\right]=3x^2+8xy+6y^2\end{array}$$

• 函数的梯度表示如下：
  $$\begin{array}{c}\left[\begin{array}{c}\frac{\partial f(x,y)}{\partial x}\\ \\ \frac{\partial f(x,y)}{\partial y}\end{array}\right]=\left[\begin{array}{c}6x+8y\\ \\ 8x+12y\end{array}\right]\end{array}$$
  
• 深度学习梯度下降示意图
  如何通俗地解释梯度下降法
  我们通常情况下，损失函数会用二次型加上非线性函数，所以我们深度学习的主要目的是在损失函数图上通过梯度下降法来找到最小损失，具体解释看链接。

3. 正定方程

• 假设S,T均为正定矩阵，那S+T是否为正定矩阵呢？
  $$\begin{array}{c}{x}^{T}Sx>0,x^{T}Tx>0\to x^T(S+T)x=x^{T}Sx+x^{T}Tx>0\end{array}$$
  所以S+T为正定矩阵
• 假设S是正定矩阵，Q为正交矩阵，$Q^{T}Q=I$，请问$Q^{T}SQ$是否是正定矩阵？
  $$\begin{array}{c}{Q}^{T}SQ=Q^{-1}SQ=A\to A\sim S\to {\lambda }_A={\lambda }_S\to A为正定矩阵\end{array}$$
  $$\begin{array}{c}{Q}^{T}SQ\to x^T{Q}^{T}SQx=(Qx{)}^{T}S(Qx)>0\end{array}$$

4. 半正定矩阵

假设矩阵A表示如下：
$$\begin{array}{c}A=\left[\begin{array}{ccc}1& 1& 1\\ & & \\ 1& 1& 1\\ & & \\ 1& 1& 1\end{array}\right]\to rank(A)=1\to N(A)=3-1=2\end{array}$$

• 也就是说矩阵A有两个零向量，$A{x}_1=0x_1,A{x}_2=0x_2\to {\lambda }_1={\lambda }_2=0,{\lambda }_3=1+1+1-0=3$,所以矩阵A为半正定矩阵。
• 可以将矩阵分解如下：
  $$\begin{array}{c}A={\lambda }_1{q}_1{q}_1^T+{\lambda }_2{q}_2{q}_2^T+{\lambda }_3{q}_3{q}_3^T={\lambda }_3{q}_3{q}_3^T\end{array}$$
  $$\begin{array}{c}A=3\left[\begin{array}{c}\frac{1}{\sqrt{3}}\\ \\ \frac{1}{\sqrt{3}}\\ \\ \frac{1}{\sqrt{3}}\end{array}\right]\left[\begin{array}{ccc}\frac{1}{\sqrt{3}}& \frac{1}{\sqrt{3}}& \frac{1}{\sqrt{3}}\end{array}\right]\end{array}$$