MIT_Linear_Algebra_lec16: 投影矩阵和最小二乘

Lecture 16: Projection Matrix and Least Square

---

投影矩阵

据前几讲, $Pb = p, b = p + e$

• 其中$P$是投影矩阵，$b$是需要投影到列空间的向量，$p$是投影到列空间的向量。

容易得到，$p∈A$的列空间，$A$的零空间$⊥$A的列空间

• 若$Pb⊥A$的列空间，则$Pb = 0$
• 若$Pb$在A的列空间中，则$Pb = b$

最小二乘/线性回归

我们需要线性拟合一组数据，
a(x,y):
a1(1,1), a2(2,2) , a3(3,2)

在二维平面中，找到最优直线表达这组数据。

数学表示

• 如果直线能同时穿过三个点，那么误差就是零了。$\left\{\begin{array}{cc} C + D = 1 \\ C + 2D = 2 \\ C + 3D = 2 \\ \end{array}\right.$
  也就是上式得有解，但是很可惜无解，就相当于 最右边一列 b 不在前两列组成的 列空间 A 中。那么我们只能 b 投影到 A 中。
• 退而，找到 $f(t) = C + Dt$，$s.t$ $minΣ(y - f(t))^2$
• 误差 = $(C + D - 1)^2 + (C + 2D - 2)^2 + (C + 3D - 2)^2 = e_1^2 + e_2^2 + e_3^2 = ||Ax - b||^2$ ---- 求偏导
• 由前几讲，上式 和求 $A^TAx = A^Tb$ 中的 x = [C D] 是一样的。 ---- 解方程

最小二乘前提

• A 各列线性无关，因为这样$AA^T$可逆，上面的方程才有解

• 那么为什么A各列线性无关，$AA^T$可逆呢？

  $A$ 和 $AA^T$ 的零空间是一样的, 秩也一样