[筆記][總結] MIT線性代數 Gilbert Strang 向量空間

作者水平有限，歡迎大家提出文中錯誤

向量空間

此處直接引用經典的八條定義：

設$V$是一個非空集合，其元素$x,y,z$被稱爲向量；$K$是一個數域，有元素$k,l,m$，$V$被稱爲一個向量空間或線性空間，當：

1. 在$V$中定義加法運算，當$x,y\in V$，有唯一的和$x+y\in V$，且加法滿足
   a) 結合律 $x+(y+z)=(z+y)+z$
   b) 交換律 $x+y=y+x$
   c) 存在零元$0$，使$x+0=x$
   d) 每個元素都存在負元素，即$\forall x \in V,\exists y \in V,x+y=0$，稱y爲x的負元素，記作$-x$
2. 在$V$中定義數乘運算，當$x\in V,k\in K$，有唯一的乘積$kv\in V$，且數乘運算滿足：
   e) 數因子分配律 $k(x+y)=kx+ky$
   f) 分配律 $(k+l)x=kx+lx$
   g) 結合律 $k(lx)=(kl)x$
   h) $1x=x$

線性子空間

設$S$是數域$K$上的線性空間$V$的一個非空子集，稱$S$爲$V$的一個線性空間，當

1. 如果$x,y\in S$，則$x+y\in S$（對加法封閉）
2. 如果$x\in S,k\in K$，則$kx\in S$（對數乘封閉）

若$S$和$W$是線性空間$V$的線性子空間，$S\cap W$也是$V$的線性子空間，但是$S\cup W$則不一定是$V$的線性子空間

四個基本子空間

$C(A):column\ space\ of \ A$

列向量張成的空間，$pivot\ columns$構成了$C(A)$的一組基

$dim\ C(A)=rank(A)=\#pivots\ of\ A$

$N(A):null\ space\ of \ A$

$Ax=0$的解空間是$\real^n$的一個線性子空間

證明
若有$v,w\in\real^n$，滿足$Av=0,Aw=0$，必有$c,d\in \real$，$A(cv+dw)=0$，證畢
如何求解$N(A)$，將在其他部分給出。

$N(A)$的一組基是矩陣方程$Ax=0$的一組最大線性無關特解
$dim\ N(A)=n-rank(A)=\#free\ variables\ of\ A$

$C(A^T):row\ space\ of \ A$

行向量張成的空間，$RREF$的前$r$行構成了$C(A^T)$的一組基，後面解釋含義
$dim\ C(A^T)=dim\ C(A)=rank\ A$

$N(A^T):left\ null\ space\ of \ A$

$dim\ N(A)=m-rank(A)$

要想求左零空間的基，先考慮行空間
以矩陣$A$爲例
$A= \left[ \begin{matrix} 1&2&3&1\\ 1&1&2&1\\ 1&2&3&1 \end{matrix} \right]$
化爲$RREF$
$R= \left[ \begin{matrix} 1&&1&1\\ &1&1&\\ &&& \end{matrix} \right]$
顯然$C(R)\not=C(A)$
但是，行變換對行空間不會有影響，因爲變換後的行也是原始行向量的線性組合，而行空間的一組基正是$R$的前$2$行$(rank\ A=2)$，而$A$的前$rank\ A$行卻不一定是行空間的一組基

接下來回到左零空間，左零空間是$A^Ty=0$的解空間，也是$y^TA=0$的解空間，可見左零空間中的一個元素$y$，是在矩陣$A$的左邊，故曰左零空間，構造左零空間矩陣$Y$，則$YA=O$

在上面的$A\rightarrow R$的過程中，用到了消元矩陣$E$，消元矩陣求解算法如下
構造矩陣$[A_{m*n}|I_{m*m}]$，執行$A\rightarrow R$同樣的行變換，化爲$[R_{m*n}|E_{m*m}]$
得到
$EA=R$
$\left[ \begin{matrix} -1&2&\\ 1&-1&\\ -1& &1 \end{matrix} \right] \left[ \begin{matrix} 1&2&3&1\\ 1&1&2&1\\ 1&2&3&1 \end{matrix} \right]= \left[ \begin{matrix} 1&&1&1\\ &1&1&\\ &&& \end{matrix} \right]$
$R$存在零行，對R進行分塊
$R= \left[ \begin{matrix} C\\ O\\ \end{matrix} \right]$
對$E$做同樣的分塊
$E= \left[ \begin{matrix} B\\ Y\\ \end{matrix} \right]$
可以得到
$BA=C$
$YA=O$
這裏的$Y$就是要求的左零空間矩陣 ，其行向量構成了左零空間的一組基

四個基本子空間的關係

根據零空間的定義$Ax=0$，可知
$row\ vector\ i\ \cdot\ x=0,i=1,2,...,n$
所以$N(A)\perp C(A^T)$，同理可得$N(A^T)\perp C(A)$

又因爲$dim\ N(A)=m-r$，$dim\ N(A^T)=n-r$，$dim\ C(A^T)=dim\ C(A)=r$

零空間和行空間互爲正交補，左零空間和列空間互爲正交補。

矩陣空間

所有$m*n$的矩陣，可以構成一個線性空間
以3*3矩陣空間$M$爲例
維度 $dim\ M=9$
子空間

1. $U=\{n*n\ upper\ triangular\ matrices\}$ $dim\ U=6$
2. $S=\{n*n\ symmetric\ matrices\}$ $dim\ U=6$
3. $D=\{n*n\ diagonal\ matrices\}$ $dim\ D=3$

$D=S\cap U$
但是$S\cup U$不是子空間，如果想構成子空間，需要補充一些元素形成線性空間
$S+U=any\ elements\ of\ S+any\ elements\ of\ U=all\ 3*3\ metrices$
$M=S+U$
可見$dim\ (S+U)+dim\ D=dim\ S+dim\ U$

維數公式

實際上對於線性空間$V$的兩個子空間$V_1,V_2$，其維度有關係
$dim\ V_1+dim\ V_2=dim\ V_1\cap V_2+dim\ V_1+V_2$
這個道理有點像有集合的基數公式，有集合$S1,S2$
$card(S_1)+card(S_2)=card(S_2\cup S_1)+card(S_2\cap S_1)$

嚴格的證明需要擴基定理