線性代數學習筆記1

本人機器學習小白一枚，目前認識到數學對於理解算法和應用算法到特定的數據集上太重要了。很喜歡MIT的線性代數課程，以MIT課程的內容爲主，做一些學習總結。旨在於總結自己學過的知識、受到的啓發、加強自己的邏輯性和對內容的理解。非常感謝網絡上大牛們的MIT線性代數導論筆記，文末是鏈接。

1、線性方程
包含未知數x1,x2,...,xn 的一個線性方程是形如a1x1+a2x2+...+anxn=b 的方程，其中b 與係數a1,a2,...,an 是實數或複數，通常是已知數。下標n 是任意正整數，實際問題中通常是幾百，幾千或更大。
注：4x1−5x2=x1x2 和x2=2x1−−√−6 都不是線性方程，因爲包含x1x2 和x1−−√ 。
2、線性方程組
線性方程組是由一個或幾個包含相同變量x1,x2,...,xn 的線性方程組成的。方程組所有可能的解的集合稱爲線性方程組的解集。兩個線性方程組是等價的，當它們有相同的解集。
3、線性代數的基本問題就是解n個線性方程，n個未知數的方程組。
例如：包含兩個未知數的兩個方程組成的方程組

2x−y=0
−x+2y=3
求包含兩個未知數的兩個方程組成的方程組的解，等價於求兩條直線的交點。當然兩條直線不一定交於一個點，它們可能平行，也可能重合，重合的兩條直線上的每個點都是交點。
線性方程組的解有三種情況：無解、有唯一解、有無窮多解。
分別對應下圖

線性方程組的幾何圖像有兩種，分別是行圖像和列圖像。上面的圖像是行圖像，而需要重點理解的是列圖像。下面仔細解釋下兩種圖像。
首先，將上述方程組寫成矩陣形式，即把每一個變量的係數寫在對齊的一列中，就是

其中A=被稱爲係數矩陣（coefficient matrix）。未知數向量通常記爲x=，而等號右側的向量記爲b。線性方程組簡記爲Ax=b，A和b通常是已知數。
行圖像：一次取線性方程組的一行，也就是一個方程組，作圖於xy平面。

列圖像：在列圖像中，我們將係數矩陣A寫成列向量的形式，尋找列向量的線性組合（linear combination）係數x，y來構成向量b。

向量線性組合是貫穿本課程的重要概念。對於給定的向量c 和d 以及係數x 和y ，我們將xc+yd稱之爲c 和d 的一個線性組合。
從幾何上講，我們是尋找x 和y，使得兩者分別數乘對應的列向量之後相加得到向量。其幾何圖像如下圖。

想象一下如果任意取x,y，則得到的線性組合又是什麼？其結果就是以上兩個列向量的所有線性組合將會佈滿整個座標平面。

下面擴展到包含三個未知數的三個方程組成的方程組。

每一個方程都是三維空間內的一個平面，方程組的解爲三個平面的交點。從行圖像的角度來看，三元方程組是否有解意味着什麼？當方程所代表的三個平面相交於一點時方程有唯一解；三個平面中至少兩個平行則方程無解；平面的兩兩交線互相平行方程也無解；三個平面交於一條直線則方程有無窮多解。


如果改變等號右側的b 的數值，那麼對於行圖像而言三個平面都改變了，而對於列圖像而言，三個向量並沒有發生變化，只是需要尋找一個新的組合。
那麼問題來了，是否對於所有的b，方程Ax=b 都有解？
從列圖像上看，問題轉化爲“列向量的線性組合是否覆蓋整個三維空間？”
反例：若三個向量在同一平面內——比如“列3”恰好等於“1”加“列2”，而若b 不在該平面內，則三個列向量無論怎麼組合也得不到平面外的向量b。此時矩陣A 爲奇異陣或稱不可逆矩陣，因爲A的列向量是線性相關的。在矩陣A 不可逆條件下，不是所有的b 都能令方程Ax=b 有解。（線性相關性，可逆矩陣，奇異矩陣之後的章節會介紹）
對n 維情形則是，n 個列向量如果相互獨立——“線性無關”，則方程組有解。否則這n 個列向量起不到n 個的作用（即A的列向量是線性相關的），其線性組合無法充滿n 維空間，方程組未必有解。
4、矩陣與向量的乘法