【線性代數公開課MIT Linear Algebra】 第二課 矩陣與高斯消元

本系列筆記爲方便日後自己查閱而寫，更多的是個人見解，也算一種學習的複習與總結，望善始善終吧~

1. Gauss Elimination 高斯消元

---

還是從線性方程組談起，對於以下方程組：

對其求解，我們使用高斯消元法：

想辦法消掉第二個與第三個方程中的x ，還有第三個方程的y ，使得第三個方程只留下一個未知數z ，代入第二個只有y 和z 的方程得到y ，再重複以上過程代入第一個方程得出x （從小到大數學老師教的方法，是的，這叫高斯消元法），這裏需要認識到的是——從矩陣角度來看，我們在求解Ax=b 。

那麼這個過程放在矩陣下看就是這樣

這裏我們的目的就是使得矩陣A成爲U這樣上三角upper triangular的形式。
每一步畫框的數即爲pivot（翻譯成”主元”還是”模板”？算了，隨意吧），我們每次都是根據選定的pivot來做運算使得pivot所在列下方的元素變爲0 ，運算的過程使用行運算。這裏行列式determinant的值爲1∗2∗5=10 。

當pivot的值爲0 時，我們可以交換兩行使得pivot不爲零。

那麼將矩陣化簡爲上三角形式的這個過程有什麼用處呢？試着把b 加到A 中，獲得增廣矩陣，對其重現剛纔的操作得到U 和c 。

寫回方程形式，很容易得出解：

2. 以矩陣運算來描述高斯消元

---

將剛纔高斯消元的步驟用矩陣運算的形式寫出來(對矩陣乘法有疑惑可以先看<3.新視角看矩陣乘法>)：

矩陣E∗矩陣A 代表的就是剛纔消元過程中的行運算，即行與行之間乘係數/相減這樣的操作可以寫成矩陣形式，這樣的矩陣我們稱之爲初等矩陣elementary matrix
同理：

E21，E32 這二個矩陣代表的就是剛纔消元的兩個階段：

用這個方法可以將剛纔高斯消元的每一步用矩陣運算的形式描述出來，這樣做的好處在於我們可以將這個過程寫成矩陣連乘的形式：

對於矩陣乘法，結合律有效：E32(E21A)=(E32E21)A=EA=U 這意味着問題變成了如何找到一個矩陣E 使得EA=U 矩陣E 就是一堆初等矩陣elementary matrix的積。

引申：我要如何才能由U 變回A 呢？由此引入矩陣的逆，即我們知道EA=U ，那麼有矩陣S 使得SU=A ，矩陣S 即爲矩陣E 的逆。

3. 新視角看矩陣乘法

---

對於矩陣乘法，學校裏都教過了，但這裏老師的方法略有不同：

從列向量column vector角度

首先我們將矩陣中的三列column看成是三個列向量column vector，矩陣乘法就可以被當做三個列向量分別乘以三個係數的和。

從行向量row vector角度

首先我們將矩陣中的三行row看成是三個行向量row vector，矩陣乘法就可以被當做三個行向量分別乘以三個係數的和。

從行向量和列向量角度觀察，我們可以更爲直觀的理解爲什麼行運算和列運算可以被寫爲矩陣乘法的形式

矩陣乘法表示實現行/列互換

當pivot爲0時，我們需要對行進行交換，這一個過程也可以用矩陣乘法描述：

Tip：
矩陣乘法適用於結合律不適用交換律

PS：另一位仁兄的筆記
http://blog.csdn.net/suqier1314520/article/details/10242429