MIT 18.06 linear algebra 第十七講筆記

MIT 18.06 linear algebra 第十七講筆記

---

第十七課課程要點：

• Orthogonal basis q1,q2....q3$q_1,q_2....q_3$
• Orthogonal matrix Q$Q$
• Gram-Schmidt A→Q$A\to Q$
• Orthogonal normal vector

---

標準正交向量q1,q2,....qn$q_1,q_2,....q_n$ ,{0ifi≠j1ifi=j$\{\begin{array}{l}0ifi\ne j\\ 1ifi=j\end{array}$ 。

一個由標準正交向量組成的矩陣Q$Q$ ,Q=⎡⎣⎢⎢⎢⋮q1⋮⋮q2⋮⋯⋯⋯⋮qn⋮⎤⎦⎥⎥⎥$Q=\left[\begin{array}{cccc}⋮& ⋮& \cdots & ⋮\\ q_1& q2& \cdots & q_n\\ ⋮& ⋮& \cdots & ⋮\end{array}\right]$ ，那麼容易證明QTQ=I$Q^{T}Q=I$ 。

如果Q$Q$ 是方陣，QTQ=I$Q^{T}Q=I$ 告訴我們QT=Q−1$Q^T=Q^{-1}$ 。因爲Q$Q$ 爲方陣且各列都是正交的，那麼意味着Q$Q$ 是可逆的，因此上述結論成立。

---

假設Q$Q$ 中的各個列都是標準正交的列向量，當有一個向量投影到Q$Q$ 的列空間上時，投影矩陣爲：P=Q(QTQ)−1QT=QQT$P=Q(Q^{T}Q{)}^{-1}{Q}^T=Q{Q}^T$ ，如果Q$Q$ 爲方陣的話，投影矩陣就是單位陣I$I$ 。因爲Q$Q$ 如果是方陣且各列是標準正交的，那麼Q$Q$ 可逆，且Q$Q$ 各列組成的列空間是整個空間，任何一個向量投影到這個空間，都等於向量自身，因此投影矩陣爲單位陣。

上面的投影矩陣依舊滿足P2=P$P^2=P$ 和PT=P$P^T=P$ 。

(QQT)(QQT)=Q(QTQ)QT=QIQT=QQT$(Q{Q}^T)(Q{Q}^T)=Q(Q^{T}Q)Q^T=QI{Q}^T=Q{Q}^T$ 。證明完畢。

在前面的課程中我們求解ATAx^=ATb$A^{T}A\hat{x}=A^{T}b$ ，現在變爲QTQx^=QTb$Q^{T}Q\hat{x}=Q^{T}b$ 。因而得出x^=ATb$\hat{x}=A^{T}b$ 。xi^=qTib$\widehat{x_i}=q_i^{T}b$ ，這說明了，如果是標準正交基，在第i$i$ 個基方向上的投影就等於qTib$q_i^{T}b$ 。

現在我們可以發現求解x^$\hat{x}$ 變得十分容易。這也爲後面將A$A$ 轉化爲標準正交矩陣埋下了伏筆。

---

將向量組標準正交化：

Gram-Schmidt發明了此套理論。

首先我們將向量a,b$a,b$ 轉化爲相互正交的向量A,B$A,B$ ,然後再將其標準化。

圖中先看向量a,b$a,b$ ,首先我們需要將其正交化，我們可以選擇a$a$ 的方向不變，a$a$ 也就變爲A。接下來我們需要將向量b$b$ 正交化，也就是轉化爲與a$a$ 垂直的方向。前面我們知道將向量b$b$ 投影到a$a$ 上時，b−p=e$b-p=e$ ，這個e$e$ 也就是垂直於a$a$ 的。b$b$ 也就轉化爲B$B$ ，B=b−p=b−ATbATAA$B=b-p=b-\frac{A^{T}b}{A^{T}A}A$ 。我們可以驗證一下，ATB=AT(b−ATbATAA)=0$A^{T}B=A^T(b-\frac{A^{T}b}{A^{T}A}A)=0$ 。再有一個向量c$c$ 時，正式我們需要將將與A,B$A,B$ 正交。C=c−ATcATAA−BTcBTBB$C=c-\frac{A^{T}c}{A^{T}A}A-\frac{B^{T}c}{B^{T}B}B$ 。這時我們再將A,B,C$A,B,C$ 標準化即可。A||A||,B||B||,C||C||$\frac{A}{||A||},\frac{B}{||B||},\frac{C}{||C||}$ 。

如果我們仔細思考一下可以發現，Q$Q$ 的列空間和A$A$ 的列空間是一樣的。只是用來表示這個空間的一組基不同而已，一組標準正交，另一組非標準正交而已。

前面的課程中我們通過消元法將矩陣變爲上三角矩陣。即A=LU$A=LU$ 。現在的矩陣Q$Q$ 也是通過變換而來的。A=QR$A=QR$ ,R=QTA$R=Q^{T}A$ ,繼而R=[qT1a1qT2a1qT1a2qT2a2]$R=\left[\begin{array}{cc}{q}_1^T{a}_1& q_1^{T}a2\\ q_2^T{a}_1& q_2^T{a}_2\end{array}\right]$ 。(這裏假設A=[a1,a2]$A=[a_1,a_2]$ ,Q=[q1,q2]$Q=[q_1,q_2]$ )因爲我們知道q2$q_2$ 的正交是以q1$q_1$ 爲基礎的因此qT2a1=0$q_2^{T}a1=0$ ,因此R$R$ 爲上三角矩陣。雖然這裏舉的例子A$A$ 和Q$Q$ 中都只有兩個向量，有更多向量的情形是類似的，qTiaj$q_i^T{a}_j$ 只有在j>i$j>i$ 的時候爲0。