《机器学习数学基础》补充资料：矩阵基本子空间

秩-零化度定理是线性代数中第一个基本定理，本文介绍的“矩阵基本子空间”，是第二定理。

定理2：矩阵基本子空间

对于 $m\times n$ 的矩阵 $A$ （仅讨论实数矩阵），用线性变换表示 $A:{\mathbb{R}}^n\to {\mathbb{R}}^m$，用如下符号表示不同空间：

• 列空间（column space）： C ( A ) = { A x ∣ x ∈ R n } C(\pmb{A})=\{\pmb{Ax}|\pmb{x}\in\mathbb{R}^n\} C(A)={Ax∣x∈Rn} ，即矩阵的值域（range）。将矩阵用列向量的方式表示 $A=\left[\begin{array}{ccc}{a}_1& \cdots & a_n\end{array}\right]$ ，其中 $a_j\in {\mathbb{R}}^m$ ，$C(A)$ 是列向量的线性组合。
• 零空间（nullspace）： N ( A ) = { x ∈ R n ∣ A x = 0 } N(\pmb{A})=\{\pmb{x}\in\mathbb{R}^n|\pmb{Ax}=\pmb{0}\} N(A)={x∈Rn∣Ax=0}
• 行空间（row space）：是转置矩阵 $A^{\text{T}}$ 的列空间，$C(A^{\text{T}})$

因为矩阵的行秩等于列秩，即 $\text{rank}A=\dim C(A)=\dim C(A^{\text{T}})$ ，于是“秩—零化度定理”可以写成：

$$n=\dim N(A)+\dim C(A^{\text{T}})$$
将原矩阵转置，即得：

$$m=\dim N(A^{\text{T}})+\dim C(A)$$

• 左零空间（left nullspace）：$N(A^T)$

$C(A^{\text{T}}),N(A)$ 是 ${\mathbb{R}}^n$ 的子空间，$C(A),N(A^{\text{T}})$ 是 ${\mathbb{R}}^m$ 的子空间。

秩—零化度定理已经说明了矩阵基本子空间的维数关系。

以上四个矩阵的基本子空间如下图所示：

在《机器学习数学基础》第 3 章 3.4 节“正交和投影”中，专门介绍了向量和向量空间的正交概念。此处就探讨矩阵的四个子空间的正交关系，这些关系就构成了线性代数的一个基本定理，即说明矩阵四个基本子空间的正交补的关系。

设 $S$ 和 $T$ 是向量空间 ${\mathbb{R}}^p$ 的两个子空间，若它们正交，记作 $S\perp T$ 。

在向量空间 ${\mathbb{R}}^p$ 中所有与 $S$ 正交的向量称为正交补（orthogonal complement），记作 $S^{\perp }$ 。

$p=\dim S+\dim S^{\perp }$ 且 S ∩ S ⊥ = { 0 } \pmb{S}\cap\pmb{S}^{\bot}=\{\pmb{0}\} S∩S⊥={0} 。

基本子空间的正交关系

• $N(A)=C(A^{\text{T}}{)}^{\perp }$

• $N(A^{\text{T}})=C(A{)}^{\perp }$

下图显示了四个基本子空间之间的正交关系：

证明

由矩阵 $A_{m\times n}$ 的零空间定义（参考文献 [4]）可知：

$$Ax=0⟹Ax=\left[\begin{array}{c}A的第1行(ro{w}_1)\\ ⋮\\ A的第m行(ro{w}_m)\end{array}\right]x=\left[\begin{array}{c}0\\ ⋮\\ 0\end{array}\right]$$
每个行向量与 $x$ 的内积都是 $0$ ，所以 $x$ 与所有行向量的线性组合正交，即 $N(A)\perp C(A^{\text{T}})$ 。

又因为 $n=\dim N(A)+\dim C(A^{\text{T}})$ ，

所以：$N(A)=C(A^{\text{T}}{)}^{\perp }$

同样思路，对 $A$ 转置，有：

$$A^{\text{T}}y=\left[\begin{array}{c}A的第1列(co{l}_1)\\ ⋮\\ A的第n列(co{l}_n)\end{array}\right]y=\left[\begin{array}{c}0\\ ⋮\\ 0\end{array}\right]$$
矩阵 $A$ 的每个列向量都与 $y$ 正交，即 $N(A^{\text{T}})=C(A{)}^{\perp }$ 。

为什么称为左零空间？

$A^{\text{T}}y=0$ ，左右都取转置，$y^{\text{T}}A=0^{\text{T}}$ ，$y^{\text{T}}$ 位于 $A$ 的左边，故称 $N(A^{\text{T}})$ 为左零空间。