[筆記][總結] MIT線性代數 Gilbert Strang 線性變換和基變換

作者水平有限，歡迎大家提出文中錯誤

基本概念

基

設$V$是數域$K$上的線性空間，$x_1,x_2,\cdots,x_r \in V$，若$x_1,x_2,\cdots,x_r$可以

1. $x_1,x_2,\cdots,x_r$線性無關
2. $span\{x_1,x_2,\cdots,x_r\}=V$

稱$x_1,x_2,\cdots,x_r$是$V$的一組基

線性變換

如果數域$K$上有線性空間$V$的一個變換$T$具有下列性質：
$T(kx+ly)=kT(x)+lT(y),x,y\in V;k,l\in K$
則稱$T$是$V$的一個線性變換或線性算子

1. 投影變換是線性變換
2. 平移變換不是線性變換
3. $T(v)=\left| |v| \right|$不是線性變換
4. 以原點爲軸的旋轉是線性變換
5. 導數算符是一種線性算子

矩陣如何描述線性變換

座標與基

顯然$A(\cdot)$是一個線性變換
但是矩陣$A$如何描述一個變換呢？
$T(v)=Av$
矩陣$A_{m*n}$，描述了線性變換$T(*):\ \real^n\rightarrow\real^m$（只考慮矩陣右乘）

$T(v_1)$可以描述線性變換對向量$v_1$的操作
$T(v_2)$可以描述線性變換對向量$v_2$的操作
如果假設兩向量線性無關，那麼就可以知道$T$對$v_1$和$v_2$張成的整個空間的操作

所以我們如果有$T(v_1)\cdots T(v_n)$，$v_1\cdots v_n$構成了輸入空間$\mathbb R^n$的一組基。那麼整個線性變換就完全掌握了。

對於輸入空間中的任意一個向量均有
$v=c_1v_1+c_2v_2+\cdots+c_nv_n$

$T(v)=c_1T(v_1)+c_2T(v_2)+\cdots+c_nT(v_n)$
可見如果空間中的一組基被確定了，那麼向量$v$的表示也就被唯一確定了
$c_1\cdots c_n$被稱爲向量$v$在基$v_1\cdots v_n$下的座標值，座標來源於基，而線性變換和向量本身於座標無關

線性變換的矩陣表示

如果想通過矩陣確定一個線性變換，還缺什麼
選取輸入空間$\mathbb R^n$一組基$v_1\cdots v_n$，輸出空間$\mathbb R^m$的一組基$w_1\cdots w_m$
$T(v)=c_1T(v_1)+c_2T(v_2)+\cdots+c_nT(v_n)=$

$[T(v_1)\ T(v_2)\cdots T(v_n)] \left[ \begin{matrix} c_1\\ c_2\\ \vdots\\ c_n \end{matrix} \right]$
$[T(v_1)\ T(v_2)\cdots T(v_n)]$描述了這個線性變換

$T(v_i)$是輸出空間$\mathbb R^m$的一個向量，在基$w_1\cdots w_m$下它有一組座標值爲基$a_{1i}\cdots a_{mi}$

$[T(v_1)\ T(v_2)\cdots T(v_n)]=[w_1\ w_2\cdots w_m] \left[ \begin{matrix} a_{11}&a_{12}&\cdots &a_{1n}\\ a_{21}&a_{22}&\cdots &a_{2n}\\ \vdots&\vdots&\ddots &\vdots\\ a_{m1}&a_{m2}&\cdots &a_{mn}\\ \end{matrix} \right]$
假設輸出向量爲$w=T(v)$
$w=b_1w_1+b_2w_2+\cdots+b_mw_m=[w_1 w_2\cdots w_m] \left[ \begin{matrix} b_1\\ b_2\\ \vdots\\ b_m \end{matrix} \right]$
最後
$[w_1\ w_2\cdots w_m] \left[ \begin{matrix} a_{11}&a_{12}&\cdots &a_{1n}\\ a_{21}&a_{22}&\cdots &a_{2n}\\ \vdots&\vdots&\ddots &\vdots\\ a_{m1}&a_{m2}&\cdots &a_{mn}\\ \end{matrix} \right] \left[ \begin{matrix} c_1\\ c_2\\ \vdots\\ c_n \end{matrix} \right]= [w_1 w_2\cdots w_m] \left[ \begin{matrix} b_1\\ b_2\\ \vdots\\ b_m \end{matrix} \right]$

$\left[ \begin{matrix} a_{11}&a_{12}&\cdots &a_{1n}\\ a_{21}&a_{22}&\cdots &a_{2n}\\ \vdots&\vdots&\ddots &\vdots\\ a_{m1}&a_{m2}&\cdots &a_{mn}\\ \end{matrix} \right] \left[ \begin{matrix} c_1\\ c_2\\ \vdots\\ c_n \end{matrix} \right]= \left[ \begin{matrix} b_1\\ b_2\\ \vdots\\ b_m \end{matrix} \right]$
$Ac=b$
$A$在基$v_1\cdots v_n$和$w_1\cdots w_m$下描述了線性變換，$c$是向量$v$的座標，$b$是向量$w=T(v)$的座標。

總之，矩陣$A$的各列是輸入空間各基經過線性變換後，在輸出空間的一組基下的座標

線性變換的幾何圖像

接下來，看一下$\mathbb R^3$空間的變換，在$\mathbb R^3$空間放置一個單位立方體，觀察其在線性變化下的變化

恆等變換$I$

$\left[ \begin{matrix} 1&0&0\\ 0&1&0\\ 0&0&1 \end{matrix} \right]$
在恆等變換下，所有向量均映射到自身，單位立方體不變

拉伸/壓縮變換

$\left[ \begin{matrix} a&0&0\\ 0&1&0\\ 0&0&1 \end{matrix} \right]$

一維拉伸/壓縮變換對應的是行/列倍乘矩陣，可見當$0<a<1$的時候爲壓縮變換，$a$爲壓縮比；當$a>1$的時候，爲拉伸變換，$a$爲拉伸比。
而當$a<0$的時候，爲座標面的鏡像變換，和拉伸變換的合變換。

剪切變換$E$

$\left[ \begin{matrix} 1&0&0\\ 0&1&0\\ a&0&1 \end{matrix} \right]$

剪切變換對應的是行/列倍加矩陣

旋轉變換$R$

角速度在$x$軸方向的旋轉
$\left[ \begin{matrix} 1&0&0\\ 0&cos\theta & -sin\theta \\ 0&sin\theta &cos\theta \end{matrix} \right]$
右下角的二階子方陣爲二維的旋轉矩陣

角速度在$y$軸方向的旋轉
$\left[ \begin{matrix} cos\theta& 0&sin\theta\\ 0& 1& 0\\ -sin\theta &0&cos\theta \end{matrix} \right]$

角速度在$z$軸方向上的旋轉
$\left[ \begin{matrix} cos\theta& -sin\theta&0\\ sin\theta& cos\theta&0\\ 0&0&1 \end{matrix} \right]$

其他所有旋轉都可以由這三種旋轉組合生成

單位正交矩陣$R$

旋轉矩陣都是單位正交矩陣，但是除了單位正交矩陣，單位正交矩陣對應的線性變換還有恆等變換，鏡像變換。
正交矩陣則是個更大的家族，允許對向量的長度進行拉伸或壓縮。

投影矩陣

下面有向量場，是$z=x^2+y^2$的梯度場（將向量分佈於平面$z=x-y$上），如何把$\nabla z$投影到平面$z=x-y$上？


投影矩陣
$A(A^TA)^{-1}A^T$
下面的問題是如何確定$A$，$C(A)=\{v|v_3=v_1-v_2\}$
隨便找兩個平面上的不線性相關的向量，組成矩陣
$A= \left[ \begin{matrix} 1&0\\ 0&1\\ 1&-1 \end{matrix} \right]$
構造投影矩陣
$P=A(A^TA)^{-1}A^T= \left[ \begin{matrix} 2/3&1/3&1/3\\ 1/3&2/3&-1/3\\ 1/3&-1/3&2/3 \end{matrix} \right]$
$P$左乘向量場中各向量後

秩的含義

矩陣的秩在線性變換中代表着變換後的空間的維數，如上面的投影矩陣，秩爲2，而線性變換後的輸出空間也爲2（但是注意，輸出空間還在$\mathbb R^3$中）。

矩陣乘法的意義

矩陣乘法其實是依照一定次序的線性變換的合變換。

這樣的旋轉是怎麼生成的？
它是把立方體的空間對角線旋轉至與$z$軸重合，然後進行$z$軸的旋轉
首先，以$x$軸爲軸旋轉$45\degree$，將一條棱放在$xOz$做表面上

然後以$y$軸爲軸旋轉$-arctan(\frac{1}{\sqrt 2})\ rad$

然後乘以$z$軸的旋轉矩陣

如果上面的三個矩陣交換次序是無法得出一樣得結果的，這是從幾何意義上講爲什麼矩陣乘法不能交換次序。

逆變換與矩陣積的求逆法則

$A^{-1}A=I$，經過矩陣和其逆的共同作用，一切恢復了原樣（恆等變換），矩陣逆代表的是其逆變換

接着上面的例子，如果想將對角線恢復到原來的位置，但是保持旋轉，需要做什麼
記得最開始在施加旋轉效果之前，有兩個常旋轉矩陣，只需要按步驟依次將這兩個矩陣消除即可。
所以首先，以$y$軸爲軸旋轉$arctan(\frac{1}{\sqrt 2})\ rad$

然後以$x$軸爲軸旋轉$-45\degree$

$(AB)^{-1}=B^{-1}A^{-1}$
這個道理就像俄羅斯套娃，必須把外層的先打開，才能繼續打開裏面的

基變換

在本文開頭，已經知道一個線性變換隻有在基給定的情況下，矩陣才能描述一個線性變換，但是對於同一線性變換，不同基的形式之間有什麼聯繫？
先考慮一個向量$v$在不同的基下，座標之間有什麼聯繫

假設舊基爲$x_1\ x_2\cdots x_n$，這組基下$v$的座標爲$\alpha_1\ \alpha_2\cdots \alpha_n$，新基爲$y_1\ y_2\cdots y_n$，這組基下$v$的座標爲$\beta_1\ \beta_2\cdots \beta_n$
$v=\alpha_1x_1+\alpha_2x_2+\cdots+\alpha_nx_n=\beta_1y_1+\beta_2y_2+\cdots+\beta_ny_n$
$v=\left[x_1\ x_2\cdots x_n\right] \left[ \begin{matrix} \alpha_1\\ \alpha_2\\ \vdots\\ \alpha_n \end{matrix} \right]= \left[y_1\ y_2\cdots y_n\right] \left[ \begin{matrix} \beta_1\\ \beta_2\\ \vdots\\ \beta_n \end{matrix} \right]$
假設$y_i$的$x_1\ x_2\cdots x_n$線性表示爲
$y_i=w_{i1}x_i+w_{i2}x_i+\cdots +w_{in}x_i$
$[x_1\ x_2\cdots x_n] \left[ \begin{matrix} w_{11}&w_{12}&\cdots &w_{1n}\\ w_{21}&w_{22}&\cdots &w_{2n}\\ \vdots&\vdots&\ddots &\vdots\\ w_{n1}&w_{n2}&\cdots &w_{nn}\\ \end{matrix} \right]= [y_1 y_2\cdots y_n]$
$v=\left[x_1\ x_2\cdots x_n\right] \left[ \begin{matrix} \alpha_1\\ \alpha_2\\ \vdots\\ \alpha_n \end{matrix} \right]= [x_1\ x_2\cdots x_n] \left[ \begin{matrix} w_{11}&w_{12}&\cdots &w_{1n}\\ w_{21}&w_{22}&\cdots &w_{2n}\\ \vdots&\vdots&\ddots &\vdots\\ w_{n1}&w_{n2}&\cdots &w_{nn}\\ \end{matrix} \right] \left[ \begin{matrix} \beta_1\\ \beta_2\\ \vdots\\ \beta_n \end{matrix} \right]$
$\left[ \begin{matrix} \alpha_1\\ \alpha_2\\ \vdots\\ \alpha_n \end{matrix} \right]= \left[ \begin{matrix} w_{11}&w_{12}&\cdots &w_{1n}\\ w_{21}&w_{22}&\cdots &w_{2n}\\ \vdots&\vdots&\ddots &\vdots\\ w_{n1}&w_{n2}&\cdots &w_{nn}\\ \end{matrix} \right] \left[ \begin{matrix} \beta_1\\ \beta_2\\ \vdots\\ \beta_n \end{matrix} \right]$
$\alpha=W\beta$
綜上，如果新基等於舊基和舊基關係如下
$[y_1\ y_2\cdots y_n]=[x_1\ x_2\cdots x_n]W$
上式稱爲基變換

如果$v$
在基$y_1\ y_2\cdots y_n$的座標爲$\beta_1\ \beta_2\cdots \beta_n$，
在基$x_1\ x_2\cdots x_n$的座標爲$\alpha_1\ \alpha_2\cdots \alpha_n$

那麼兩組座標的關係是
$\alpha=W\beta$
或表示成
$[v]_x=W[v]_y$
稱爲座標變換，$W$稱爲過渡矩陣

再議相似性

回到本節最開始的問題，在不同的基下，相同線性變換的矩陣有什麼聯繫？
首先應該重申一下，相似矩陣是方陣中的概念
方陣就意味着輸入空間和輸出空間是同一個空間

有基變換
$[y_1\ y_2\cdots y_n]=[x_1\ x_2\cdots x_n]W$
向量$v$的座標變換爲
$\alpha=W\beta$
向量$T(v)$的座標變換爲
$\gamma=W\delta$
線性變換矩陣
$\left[ \begin{matrix} a_{11}&a_{12}&\cdots &a_{1n}\\ a_{21}&a_{22}&\cdots &a_{2n}\\ \vdots&\vdots&\ddots &\vdots\\ a_{n1}&a_{n2}&\cdots &a_{nn}\\ \end{matrix} \right] \left[ \begin{matrix} \alpha_1\\ \alpha_2\\ \vdots\\ \alpha_n \end{matrix} \right]= \left[ \begin{matrix} \gamma_1\\ \gamma_2\\ \vdots\\ \gamma_n \end{matrix} \right]$
什麼樣的矩陣$B$可以滿足
$B \left[ \begin{matrix} \beta_1\\ \beta_2\\ \vdots\\ \beta_n \end{matrix} \right]= \left[ \begin{matrix} \delta_1\\ \delta_2\\ \vdots\\ \delta_n \end{matrix} \right]$
$BW^{-1} \left[ \begin{matrix} \alpha_1\\ \alpha_2\\ \vdots\\ \alpha_n \end{matrix} \right]=W^{-1} \left[ \begin{matrix} \gamma_1\\ \gamma_2\\ \vdots\\ \gamma_n \end{matrix} \right]$
所以矩陣$A,B$的關係爲
$B=W^{-1}AW$
這正是相似矩陣的定義式

特徵基和對角化

可對角化的矩陣是相似於對角陣的矩陣
$\Lambda=S^{-1}AS$
如果以基變換的角度來審視對角化
$A$描述了某基下的線性變換，有特徵向量矩陣$S$，也是從現有基過渡到特徵基的過渡矩陣。
爲什麼要選取特徵基，線性變換在特徵基下可以表示成對角陣，其在多次線性變換後基不會偏離原來的方向，各座標之間不會相互耦合。
$\left[ \begin{matrix} 1.5&&\\ &2&\\ &&3\\ \end{matrix} \right]^a$