正交向量與子空間-線性代數課時14（MIT Linear Algebra , Gilbert Strang）

         這是Strang教授的第十四講，講解的內容是正交的概念、四個子空間的正交關係,並在四個子空間的正交關係上解釋Ax=b的解在四個子空間的映射關係，更進一步理解Ax=b，另外稍微提及了當Ax=b無解的時候怎樣求解？

正交概念

        兩個向量v和w正交意思是向量v垂直於w，那麼如何判斷向量v和w正交呢？在幾何上可以通過判斷v和w的夾角爲90°，那麼在線性代數裏是通過計算v和w的點積：

        兩個向量正交 ： 

        那麼爲什麼兩個向量正交，它們的點積就爲0呢？下面給出一個簡單的證明：

        假設v和w是直角三角形的直角邊，那麼這個直角三角形的斜邊向量是v+w，根據直角三角行的特點：直角邊的平方之和等於斜邊的平方有：

         

         

         

         

         得證。

         根據判斷向量正交的條件，知道有個特別的向量，它與所有的向量都正交，這個向量就是0向量。

四個子空間的正交關係

        這裏首先要給出一個定義，關於正交子空間。

        定義：兩個子空間V和W,如果V中的每個向量v和W中的每個向量w都正交，就說V和W正交.

        四個基本子空間擁有很良好的正交性質，體現在：1.零空間與行空間是中的正交子空間；2.左零空間與列空間是中的正交子空間。下面給出零空間與行空間正交的推導，因爲左零空間與列空間的推導完全一樣，只是將A換成.推導：

        ，根據Ax=0知道A中所有行向量與x均正交，由於A的行空間是有row(1) ... row(m) 生成的，所以A行空間的所有向量均與x正交，所以A的行空間與零空間正交,得證。

正交補

        四個基本子空間的正交關係還不僅僅是正交子空間的關係，它們在維數上還存在恰好正確的關係：dim()+dim() = n,

dim()+dim()=m，他們不僅僅只是正交關係，他們是一組正交補。正交補的定義：

        定義：子空間V的正交補包含所有與子空間V正交的向量，記作.

        根據定義，就是,就。正交補的概念很重要，它表明中的任何一個向量x都可以拆分爲互爲正交補的來給你個子空間的向量之和。以Ax=b的解x爲例，x是屬於中的向量，x可以拆分爲在行空間的分量和零空間中的分量之和，即,Ax=b可以做如下拆解：

        零空間分量：

        行空間分量：

        對於列空間確定的b，在行空間中有且只有1個通過矩陣A的左乘映射到列空間。證明：假設有另外的,那麼有,那麼在A的零空間中，又因爲和在行空間中，所以又在A的行空間中，所以只能是0向量，所以，也就證明了對於確定的b，的唯一性。下面的圖完全表達了Ax=b在A四個基本子空間中的映射關係：

                               

        看懂上面這幅圖很重要。

當b不在A的列空間的時候，如何求解Ax=b

        當Ax=b無解的時候，如何求解Ax=b？這看起來是一個十分荒謬的問題，但實際上有很多實際應用都是求解這樣的問題，比如我們對一個系統創建了一個線性模型，線性模型只有兩個未知數也就是說n=2，而爲了確定這個系統的數學模型我們做了100次實驗得到100組實驗結果，也就是說m=100，那麼求解這個線性系統就是求解100個方程、2個未知數的方程的解，往往這樣的Ax=b都是無解的。那這時候再數學上我們怎麼辦？這時候往往我們可以通過最小二乘的方法來求得最優解。看着上圖，這種情況下b不在列空間中，而是在列空間和左零空間以外的區域，最小二乘的思想是將b分解成列空間中的向量p和做零空間中的向量e，將求解Ax=b變爲求解Ax=p，而e是誤差向量。

        下面各處最小二乘求解Ax=b的公式，在16講中會講解它是如何來的。最小二乘求解：

         最小二乘公式： 

         這裏給出的的幾個重要特點（證明在16講）：1. ; 2.; 3.可逆當A的各列線性無關。

本課的內容對應《INTRODUCTION TO LINEAR ALGEBRA》4.1章節。