【線性代數公開課MIT Linear Algebra】 第四課 從矩陣消元到LU分解

本系列筆記爲方便日後自己查閱而寫，更多的是個人見解，也算一種學習的複習與總結，望善始善終吧~

矩陣的逆與轉置

---

爲什麼逆矩陣要反過來？這就像是…你先把鞋子脫了再脫襪子，那麼反過來不就是要先穿上襪子，再穿鞋子嗎？所以說，忘記書上的蠢例子吧。

一個顯而易見的性質，(AB)−1=(B−1A−1)
引出另外一個性質：(AB)T=BTAT

如上圖(AA−1)T=(A−1)TAT=IT=I
可知(AT)−1=(A−1)T

LU分解

---

其實，消元的目的只是爲了正確認識矩陣的概念，而LU分解是最基礎的矩陣分解。

還記得我們如何將一個矩陣化爲上三角（upper triangular）嗎？見下面的例子：

寫爲A=LU 的形式，則A=E−121U

注意到L 爲下三角矩陣(lower triangular)
有時候會寫成下面的形式，是L 和U 對角線上全爲1

中間的矩陣會是一個對角矩陣(diagonal matrix)，所以也叫LDU 分解
那麼爲什麼我們要寫成這種形式呢？我們知道EA=U 這裏的E 就是在學校的時候被老師各種折磨叫我們如何將矩陣化爲上三角、階梯矩陣等等諸如此類的東西，那麼爲什麼非要寫成A=E−1U=LU 呢？見例子：

看看E 和L 的差別，E 中的由於兩個矩陣相乘將二次的作用疊加到了最後的結果上，使得你無法輕易地通過觀察最終的E 瞭解中間的步驟，而反觀它的逆也就是L ，你可以很直觀的看出消元的步驟。

額外知識：讓我們試着考察一下LU 分解的複雜度，對於N∗N 矩陣，首先你需要把第2 N 行乘一個係數減去第一行，這裏我們將以此乘法以此減法當做一次操作，那麼很明顯需要∑1i=N−1i2=13N3

上面的情況都是在pivot不爲零的情況下進行的，當pivot等於0時，我們需要交換行來選擇新的pivot，用於交換行的矩陣稱爲permutation matrix(排列矩陣？)，我們很容易就可以列舉出在3*3的情況下的所有排列矩陣：

排列矩陣P 有一個很奇妙的性質： P−1=PT

PS：本文圖片皆來自公開課視頻截圖
PS2：LU分解在MATLAB中有現成的函數，找時間介紹其使用。