【線性代數公開課MIT Linear Algebra】 第十六課 Ax=b的解、最小二乘法與矩陣

版權聲明：本文爲博主原創文章，未經博主允許不得轉載。 https://blog.csdn.net/a352611/article/details/49644833

本系列筆記爲方便日後自己查閱而寫，更多的是個人見解，也算一種學習的複習與總結，望善始善終吧~

基本子空間與投影矩陣

---

上一節課我們已經瞭解了投影矩陣 projection matrix, P=A(ATA)−1AT
結合我們過去學習到的四個基本子空間的內容，對於Pb 即b的投影：
- 若b在A的column space 則其投影爲其本身b
- 若b垂直於A的column space則其投影爲一個點，沒有長度，爲0

這是一張很重要的圖片，向量b 的投影在A 的column space，error vector的投影在left null space上，我們知道P ，可以將b 投影到p ，那麼一個什麼樣的投影矩陣把b 投影到了e ？因爲column space與left null space正交補，所以他們共同組成了整個空間，I 的column space就是整個空間，I−P 就是把b投影到e的矩陣，它和P 有意義的性質。

最小二乘 least square

---

繼續上一節課的內容，找到過三個點的直線就是解三個方程，但此方程無解，此時我們要找到最接近的解“最優解”，我們要使得解最優即誤差最小，定義誤差爲Ax−b=e 的模長的平方即∥Ax−b∥2=∥e∥2=e21+e22+e23
這裏使用平方的原因一是排除開根號帶來的非線性運算，一是方便利用偏導數求解最小值。所以這裏如果使用偏導數我們也能得到關於最優解的方程，用矩陣的方法求解
Ax^=Pb
得到的方程是一樣的，求解即可得出結果
我們腦海中要有兩張圖：

• 一個是我們要擬合的直線的那張圖，各個點在我們得到的直線上的投影爲p，偏差爲e。
• 另一個是之前我們的column space與left null space的圖，b向量的投影p向量在column space而e 向量在left null space，二者正交

---

證明ATA 可逆

求解ATAx^=ATb 時，方程有解的條件爲ATA 可逆，實際上只有當A 的column vector線性無關時可逆，求證：
要證明ATA 可逆，即證ATAx=0 時，x只能爲零向量
兩邊同乘xT 得
xTATAx=0
⇒(Ax)T(Ax)=0
⇒Ax=0 ，由於A中各列線性無關
⇒x=0

最後老師引入標準正交向量組：它們肯定線性無關

PS：另一位仁兄的筆記
http://blog.csdn.net/suqier1314520/article/details/13759193