正交向量与子空间-线性代数课时14（MIT Linear Algebra , Gilbert Strang）

         这是Strang教授的第十四讲，讲解的内容是正交的概念、四个子空间的正交关系,并在四个子空间的正交关系上解释Ax=b的解在四个子空间的映射关系，更进一步理解Ax=b，另外稍微提及了当Ax=b无解的时候怎样求解？

正交概念

        两个向量v和w正交意思是向量v垂直于w，那么如何判断向量v和w正交呢？在几何上可以通过判断v和w的夹角为90°，那么在线性代数里是通过计算v和w的点积：

        两个向量正交 ： 

        那么为什么两个向量正交，它们的点积就为0呢？下面给出一个简单的证明：

        假设v和w是直角三角形的直角边，那么这个直角三角形的斜边向量是v+w，根据直角三角行的特点：直角边的平方之和等于斜边的平方有：

         

         

         

         

         得证。

         根据判断向量正交的条件，知道有个特别的向量，它与所有的向量都正交，这个向量就是0向量。

四个子空间的正交关系

        这里首先要给出一个定义，关于正交子空间。

        定义：两个子空间V和W,如果V中的每个向量v和W中的每个向量w都正交，就说V和W正交.

        四个基本子空间拥有很良好的正交性质，体现在：1.零空间与行空间是中的正交子空间；2.左零空间与列空间是中的正交子空间。下面给出零空间与行空间正交的推导，因为左零空间与列空间的推导完全一样，只是将A换成.推导：

        ，根据Ax=0知道A中所有行向量与x均正交，由于A的行空间是有row(1) ... row(m) 生成的，所以A行空间的所有向量均与x正交，所以A的行空间与零空间正交,得证。

正交补

        四个基本子空间的正交关系还不仅仅是正交子空间的关系，它们在维数上还存在恰好正确的关系：dim()+dim() = n,

dim()+dim()=m，他们不仅仅只是正交关系，他们是一组正交补。正交补的定义：

        定义：子空间V的正交补包含所有与子空间V正交的向量，记作.

        根据定义，就是,就。正交补的概念很重要，它表明中的任何一个向量x都可以拆分为互为正交补的来给你个子空间的向量之和。以Ax=b的解x为例，x是属于中的向量，x可以拆分为在行空间的分量和零空间中的分量之和，即,Ax=b可以做如下拆解：

        零空间分量：

        行空间分量：

        对于列空间确定的b，在行空间中有且只有1个通过矩阵A的左乘映射到列空间。证明：假设有另外的,那么有,那么在A的零空间中，又因为和在行空间中，所以又在A的行空间中，所以只能是0向量，所以，也就证明了对于确定的b，的唯一性。下面的图完全表达了Ax=b在A四个基本子空间中的映射关系：

                               

        看懂上面这幅图很重要。

当b不在A的列空间的时候，如何求解Ax=b

        当Ax=b无解的时候，如何求解Ax=b？这看起来是一个十分荒谬的问题，但实际上有很多实际应用都是求解这样的问题，比如我们对一个系统创建了一个线性模型，线性模型只有两个未知数也就是说n=2，而为了确定这个系统的数学模型我们做了100次实验得到100组实验结果，也就是说m=100，那么求解这个线性系统就是求解100个方程、2个未知数的方程的解，往往这样的Ax=b都是无解的。那这时候再数学上我们怎么办？这时候往往我们可以通过最小二乘的方法来求得最优解。看着上图，这种情况下b不在列空间中，而是在列空间和左零空间以外的区域，最小二乘的思想是将b分解成列空间中的向量p和做零空间中的向量e，将求解Ax=b变为求解Ax=p，而e是误差向量。

        下面各处最小二乘求解Ax=b的公式，在16讲中会讲解它是如何来的。最小二乘求解：

         最小二乘公式： 

         这里给出的的几个重要特点（证明在16讲）：1. ; 2.; 3.可逆当A的各列线性无关。

本课的内容对应《INTRODUCTION TO LINEAR ALGEBRA》4.1章节。