MIT_Linear_Algebra_lec16: 投影矩陣和最小二乘

Lecture 16: Projection Matrix and Least Square

---

投影矩陣

據前幾講, $Pb = p, b = p + e$

• 其中$P$是投影矩陣，$b$是需要投影到列空間的向量，$p$是投影到列空間的向量。

容易得到，$p∈A$的列空間，$A$的零空間$⊥$A的列空間

• 若$Pb⊥A$的列空間，則$Pb = 0$
• 若$Pb$在A的列空間中，則$Pb = b$

最小二乘/線性迴歸

我們需要線性擬合一組數據，
a(x,y):
a1(1,1), a2(2,2) , a3(3,2)

在二維平面中，找到最優直線表達這組數據。

數學表示

• 如果直線能同時穿過三個點，那麼誤差就是零了。$\left\{\begin{array}{cc} C + D = 1 \\ C + 2D = 2 \\ C + 3D = 2 \\ \end{array}\right.$
  也就是上式得有解，但是很可惜無解，就相當於 最右邊一列 b 不在前兩列組成的 列空間 A 中。那麼我們只能 b 投影到 A 中。
• 退而，找到 $f(t) = C + Dt$，$s.t$ $minΣ(y - f(t))^2$
• 誤差 = $(C + D - 1)^2 + (C + 2D - 2)^2 + (C + 3D - 2)^2 = e_1^2 + e_2^2 + e_3^2 = ||Ax - b||^2$ ---- 求偏導
• 由前幾講，上式 和求 $A^TAx = A^Tb$ 中的 x = [C D] 是一樣的。 ---- 解方程

最小二乘前提

• A 各列線性無關，因爲這樣$AA^T$可逆，上面的方程纔有解

• 那麼爲什麼A各列線性無關，$AA^T$可逆呢？

  $A$ 和 $AA^T$ 的零空間是一樣的, 秩也一樣