MIT_Linear_Algebra_lec15：投影到子空間

Lecture 15: Projection onto Subspaces

---

投影

爲什麼投影

當 $Ax = b$ 無解（b不在A的列空間中）時，而 $Ax = p$ 有解 （其中p是b向A的列空間投影得到的向量）

---------- 就是說b不在A的列空間中，那麼我們就把b投影到A的列空間中

投影過程

一維情況

$b$ 投影到 $a$ 上， 在 $a$ 上的分量就是 $p$

1. $p$ 與 $a$ 同方向。
   $p = xa,x ∈ R$

2. 注意這裏有一個直角。根據直角可以得到$e$與$a$正交，由此可以得到x。

   $a^T(b -xa ) = 0$

   $∴x = a^Tb/ a^Ta，p = a(a^Tb/ a^Ta)$

   $p = Pb = (aa^T/a^Ta)b$

投影矩陣

$P$ 是投影矩陣，作用於 $b$ 上，讓 $Pb$ 成爲 $a$ 方向的投影, 即$xa = f(b) = Pb$。

性質

$P^T = P, P^2 = P（p再在a上的投影還是自己）$

二維情況

$A$ 的列空間是 $[a_1, a_2]$

1. $p = x_1a1 + x_2a2 = Ax$，p是在A的列空間中的。

2. $p與a_1,a_2正交$

   $a_1^T(b - Ax) = 0, a_2^T (b - Ax) = 0$
   $\left[ \begin{matrix} a_1^T \\ a_2^T \\ \end{matrix} \right] (b - Ax) = \left[ \begin{matrix} 0 \\ 0 \\ \end{matrix} \right]$

3. $A^T(b - Ax) = 0$

   $∴ x = (A^TA)^-1A^Tb, P = A(A^TA)^-1A^T$

   注意： $A^TA$不一定有逆矩陣，$A$不一定有逆矩陣;
   r($A^TA$) = r($A$),且零空間一致

性質 同上