版權聲明：本文爲博主原創文章，未經博主允許不得轉載。 https://blog.csdn.net/a352611/article/details/49719679
本系列筆記爲方便日後自己查閱而寫，更多的是個人見解，也算一種學習的複習與總結，望善始善終吧~
1. 標準正交基與正交矩陣
標準正交向量組 orthonomal vectors
![這裏寫圖片描述]()
彼此正交orthogonal且模長norm爲1(normalized)
當做column vecor寫成矩陣形式：
![這裏寫圖片描述]()
對於這樣的矩陣，我們理所當然的要去觀察他的QTQ
![這裏寫圖片描述]()
這個式子對任意的Q 都成立，但我們更關注Q 爲方陣時的情況，因爲其有逆且由QTQ=I⇒Q−1=QT ，我們叫這種column vector爲標準正交向量組組成且爲方陣的矩陣爲正交矩陣orthogonal matrix。
注意：標準正交矩陣*orthogonormal matrix不一定是方陣，當它是方陣的時候，我們叫它正交矩陣* orthogonal matrix。
正交矩陣 orthogonal matrix
爲什麼我們如此關注標準正交矩陣orthogonormal matrix爲方陣的情形？聯繫我們之前學習的投影矩陣projection matrix，我們試着寫出要把投影到Q 的column space的投影陣：P=Q(QTQ)−1QT=QQT ，當Q 爲方陣時QQT=I 投影矩陣爲單位矩陣，而Q 非方陣時我們需要進行計算。
引入orthogonormal matrix的目的在於使得我們之前尋找Ax=b 最優解的過程變得更爲簡單，還記的求最優解就是求ATAx^=ATb 嗎？當A 爲標準正交矩陣orthogonormal matrix Q ，式子重寫爲QTQx^=QTb⇒x^=QTb 進而可以發現x^i=qTib 即x^ 的第i 個分量爲Q 的第i 個基向量乘以b
2. 格拉姆-施密特正交化 Graham-Schmidt
這是一種將矩陣轉化爲標準正交向量orthogonormal matrix的方法。按老師的說法Schmidt教我們如何將一個向量標準化normalized，而Graham教我們如何使得各個向量正交orthogonal。
施密特 Schmidt
![這裏寫圖片描述]()
格拉姆 Graham
下面就是轉化的過程，從兩個向量說起：
![這裏寫圖片描述]()
我們原始的兩個向量a,b 要轉化爲兩個正交的向量A,B ，我們可以選擇A=a 然後求解一個B ，回憶之前的內容，其實我們就是在求解在投影時產生的偏差向量error vector B=e=b−p=b−ATbATAA ，如果我們加入c 呢？其實我們做的就是重複剛纔的操作使得C 其與A，B 正交，故C=C−ATcATAA−BTcBTBB ，最後用施密特的方法normalized即可。
舉個例子：
![這裏寫圖片描述]()
將A 轉化爲Q ，可以發現其column space是相同的，只是我們將其標準正交化之後得到的基basics更好一些，因爲利用這些標準正交向量得到的標準正交矩陣有很好的性質，這可以方便我們計算。
3. QR分解
回憶我們之前的消元法，目的是使得A=LU ，而格拉姆-施密特的目的在於A=QR ，這裏的R 是一個上三角矩陣upper triangular matrix
![這裏寫圖片描述]()
理由是R 會是由這些元素組成(不明所以，估計要去看書或者下一節課看看是否有講解)，格拉姆-施密特的好處在於我們分解出來的q2,q3,...qn 都是與a 正交的，所以我們會得到上三角形式的R
PS：另一位仁兄的筆記 http://blog.csdn.net/suqier1314520/article/details/13769403
