【线性代数公开课MIT Linear Algebra】 第十六课 Ax=b的解、最小二乘法与矩阵

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/a352611/article/details/49644833

本系列笔记为方便日后自己查阅而写，更多的是个人见解，也算一种学习的复习与总结，望善始善终吧~

基本子空间与投影矩阵

---

上一节课我们已经了解了投影矩阵 projection matrix, P=A(ATA)−1AT
结合我们过去学习到的四个基本子空间的内容，对于Pb 即b的投影：
- 若b在A的column space 则其投影为其本身b
- 若b垂直于A的column space则其投影为一个点，没有长度，为0

这是一张很重要的图片，向量b 的投影在A 的column space，error vector的投影在left null space上，我们知道P ，可以将b 投影到p ，那么一个什么样的投影矩阵把b 投影到了e ？因为column space与left null space正交补，所以他们共同组成了整个空间，I 的column space就是整个空间，I−P 就是把b投影到e的矩阵，它和P 有意义的性质。

最小二乘 least square

---

继续上一节课的内容，找到过三个点的直线就是解三个方程，但此方程无解，此时我们要找到最接近的解“最优解”，我们要使得解最优即误差最小，定义误差为Ax−b=e 的模长的平方即∥Ax−b∥2=∥e∥2=e21+e22+e23
这里使用平方的原因一是排除开根号带来的非线性运算，一是方便利用偏导数求解最小值。所以这里如果使用偏导数我们也能得到关于最优解的方程，用矩阵的方法求解
Ax^=Pb
得到的方程是一样的，求解即可得出结果
我们脑海中要有两张图：

• 一个是我们要拟合的直线的那张图，各个点在我们得到的直线上的投影为p，偏差为e。
• 另一个是之前我们的column space与left null space的图，b向量的投影p向量在column space而e 向量在left null space，二者正交

---

证明ATA 可逆

求解ATAx^=ATb 时，方程有解的条件为ATA 可逆，实际上只有当A 的column vector线性无关时可逆，求证：
要证明ATA 可逆，即证ATAx=0 时，x只能为零向量
两边同乘xT 得
xTATAx=0
⇒(Ax)T(Ax)=0
⇒Ax=0 ，由于A中各列线性无关
⇒x=0

最后老师引入标准正交向量组：它们肯定线性无关

PS：另一位仁兄的笔记
http://blog.csdn.net/suqier1314520/article/details/13759193