清華大學公開課線性代數2——第6講：僞逆

此博客停止更新，遷移至SnailDove’s blog，查看本文請點擊此處

筆記源自：清華大學公開課：線性代數2——第6講：僞逆

提示：如果文中圖片看不清文字，請右鍵單擊鼠標，選擇在新窗口打開圖片，然後放大圖片（這邊上傳之前都是可以看清的，由於網頁正文部分大小固定，因此圖片被自動縮小以便適配網頁），截圖部分是課堂ppt老師隨手的板書。

目錄

引言

本文基礎：SVD分解原理

矩陣的奇異值分解可以理解成從Rn$R^n$ 到Rm$R^m$ 的線性變換在不同基底下矩陣表示，接下來利用矩陣的奇異值分解
來定義矩陣的僞逆，然後再利用矩陣的僞逆來討論線性方程組Ax＝b無解時的最小二乘解，線性代數的中心問題是
求解線性方程組Ax=b$Ax=b$ ，最簡單的情況是如果係數矩陣A是n階的可逆矩陣，那麼這時對於任意的n維向量b$b$ ，線性方程組Ax=b$Ax=b$ 有唯一的解，這個解是A−1b$A^{-1}b$ ，那這就啓發去對於不可逆的矩陣或者是對於Am×n$A_{m\times n}$ 的矩陣，我們來定義它的一個逆矩陣，那麼這時候逆矩陣我們叫做僞逆或者是叫廣義逆 。

定義

僞逆的定義來自於奇異值分解：

(1)若A$A$ 可逆，即r=m=n$r=m=n$ ，則：A−1=(UΣVT)−1=VΣ−1UT=A+$A^{-1}=(U\mathrm{\Sigma }{V}^T{)}^{-1}=V{\mathrm{\Sigma }}^{-1}{U}^T=A^{+}$ ，注意：由奇異值分解公式 AV=UΣ, (v1...vr)∈C(AT), (vr+1...vn)∈N(A), (u1...ur)∈C(A), (ur+1...um)∈N(AT)$AV=U\mathrm{\Sigma },(v_1...v_r)\in C(A^T),(v_{r+1}...v_n)\in N(A),(u_1...u_r)\in C(A),(u_{r+1}...u_m)\in N(A^T)$ 得：AV=UΣ:C(AT)→C(A)$AV=U\mathrm{\Sigma }:C(A^T)\to C(A)$ ，同理可得：A+UT=VΣ+:C(A)→C(AT)$A^{+}{U}^T=V{\mathrm{\Sigma }}^{+}:C(A)\to C(A^T)$

(2)AA+=(UΣm×nVT)(VΣ+n×mUT)=UΣm×nΣ+n×mUT=U(Ir000)m×mUT$A{A}^{+}=(U{\mathrm{\Sigma }}_{m\times n}{V}^T)(V{\mathrm{\Sigma }}_{n\times m}^{+}{U}^T)=U{\mathrm{\Sigma }}_{m\times n}{\mathrm{\Sigma }}_{n\times m}^{+}{U}^T=U{\left(\begin{array}{cc}{I}_r& 0\\ 0& 0\end{array}\right)}_{m\times m}{U}^T$ 得出以下3個性質：

• 對稱性：(AA+)T=AA+$(A{A}^{+}{)}^T=A{A}^{+}$
• AA+=u1uT1+...+uruTr,U=(u1,...ur,ur+1...,un)$A{A}^{+}=u_1{u}_1^T+...+u_r{u}_r^T,U=(u_1,...u_r,u_{r+1}...,u_n)$
• AA+=Rm$A{A}^{+}=R^m$ 到C(A)$C(A)$ 的正交投影矩陣，AA+|C(A)=id,AA+|N(AT)=0$A{A}^{+}{|}_{C(A)}=id,A{A}^{+}{|}_{N(A^T)}=0$
  
  • 證明1：AA+x=(u1uT1+...+uruTr)x=(uT1x)u1+...+(uTrx)ur$A{A}^{+}x=(u_1{u}_1^T+...+u_r{u}_r^T)x=(u_1^{T}x)u_1+...+(u_r^{T}x)u_r$ ，由奇異值svd分解得到V=(v1,...,vr)$V=(v_1,...,v_r)$ 是AT$A^T$ 列空間（即C(AT)$C(A^T)$ ）的單位正交特徵向量基，而U=(u1,...,ur)$U=(u_1,...,u_r)$ 是C(A)$C(A)$ 的單位正交特徵向量基，所以AA+$A{A}^{+}$ 是投影到C(A)$C(A)$ 的正交投影矩陣（即保留了C(A)$C(A)$ 的部分），因此AA+$A{A}^{+}$ 限制在C(A)$C(A)$ 的變換即變成了恆等變換。而U$U$ 中(ur+1...um)$(u_{r+1}...u_m)$ 和UT$U^T$ 中(ur+1...um)T$(u_{r+1}...u_m{)}^T$ 即屬於N(AT)$N(A^T)$ 的基乘以矩陣(Ir000)m×m${\left(\begin{array}{cc}{I}_r& 0\\ 0& 0\end{array}\right)}_{m\times m}$ 中右下角的0$0$ 相當於對屬於N(AT)$N(A^T)$ 的部分做了零變換。
  • 證明2：A+uj=1σjvj⇒AA+uj=A(1σjvj)=1σjAvj$A^{+}{u}_j=\frac{1}{{\sigma }_j}{v}_j\Rightarrow A{A}^{+}{u}_j=A(\frac{1}{{\sigma }_j}{v}_j)=\frac{1}{{\sigma }_j}A{v}_j$ 再根據奇異值分解中Avj=σuj,(1≤j≤r)$A{v}_j=\sigma u_j,(1\le j\le r)$ 得AA+uj=uj(1≤j≤r), AA+uj=0(r+1≤j≤m)$A{A}^{+}{u}_j=u_j(1\le j\le r),A{A}^{+}{u}_j=0(r+1\le j\le m)$
  • 驗證：(AA+)(AA+)=U(Ir000)m×mUTU(Ir000)m×mUT$(A{A}^{+})(A{A}^{+})=U{\left(\begin{array}{cc}{I}_r& 0\\ 0& 0\end{array}\right)}_{m\times m}{U}^{T}U{\left(\begin{array}{cc}{I}_r& 0\\ 0& 0\end{array}\right)}_{m\times m}{U}^T$ ，由於從svd分解知道U$U$ 是單位正交特徵向量基 ，因此：UT=U−1⇒(AA+)(AA+)=U(Ir000)m×mUT=AA+$U^T=U^{-1}\Rightarrow (A{A}^{+})(A{A}^{+})=U{\left(\begin{array}{cc}{I}_r& 0\\ 0& 0\end{array}\right)}_{m\times m}{U}^T=A{A}^{+}$ ，這正是投影的性質：多次投影結果還是第一次投影結果。
  • 結果：∀ p∈Rm,b=p+e,p∈C(A),e∈N(AT),AA+b=p$\mathrm{\forall }p\in R^m,b=p+e,p\in C(A),e\in N(A^T),A{A}^{+}b=p$

(3)A+A=(VΣ+n×mUT)(UΣm×nVT)=V(Ir000)n×nVT$A^{+}A=(V{\mathrm{\Sigma }}_{n\times m}^{+}{U}^T)(U{\mathrm{\Sigma }}_{m\times n}{V}^T)=V{\left(\begin{array}{cc}{I}_r& 0\\ 0& 0\end{array}\right)}_{n\times n}{V}^T$ 得到以下三個性質（證明同上）：

• (A+A)T=A+A$(A^{+}A{)}^T=A^{+}A$
• A+A=v1vT1+...+vrvTr$A^{+}A=v_1{v}_1^T+...+v_r{v}_r^T$
• A+A=Rn$A^{+}A=R^n$ 到C(AT)$C(A^T)$ 的正交投影矩陣（A+A|C(AT)=id,A+A|N(A)=0$A^{+}A{|}_{C(A^T)}=id,A^{+}A{|}_{N(A)}=0$ ）:
  
  • ∀ x∈Rn=C(AT)⨁N(A)), x=x1,r+xr+1,n, x1,r∈C(AT), xr+1,n∈N(AT),A+Ax=A+A(x1,...xr,xr+1,...xn)=x1,r$$\begin{gathered} \mathrm{\forall }x\in R^n=C(A^T)⨁N(A)),x=x_{1,r}+x_{r+1,n},x_{1,r}\in C(A^T),x_{r+1,n}\in N(A^T), \\ {A}^{+}Ax=A^{+}A(x_1,...x_r,x_{r+1},...x_n)=x_{1,r} \end{gathered}$$

爲什麼稱爲僞逆、左逆、右逆

例子

注：u1,u2,u3$u_1,u_2,u_3$ 是Rm$R^m$ 的一組基底那麼它是Av1σ1$\frac{A{v}_1}{{\sigma }_1}$ ，那麼很容易計算出來，是12√⎛⎝⎜110⎞⎠⎟$\frac{1}{\sqrt{2}}\left(\begin{array}{c}1\\ 1\\ 0\end{array}\right)$ 那u2$u_2$ 和u3$u_3$ 分別是0所對應的特徵向量，u2$u_2$ 和u3$u_3$ 可以看成是三維空間裏頭，u1$u_1$ 的正交補所給出來的單位正交的向量。

特例

Jordan標準形的僞逆

推導結論：J+n=JTn$J_n^{+}=J_n^T$ ，Jordan標準形的僞逆是它自己的轉置。

Moore-Penrose僞逆

E.H.Moore僞逆

Penrose僞逆

注：
1. A可以是mxn的複數矩陣，這樣的話(3)(4)裏面就變成共軛轉置。
2. Penrose僞逆與E.H.Moore僞逆定義是等價的。

(1)AXA=A⇒AXAX=AX⇒(AX)N=AX⇒AX$(1)AXA=A\Rightarrow AXAX=AX\Rightarrow (AX{)}^N=AX\Rightarrow AX$ 是冪等矩陣，投影矩陣
(2)XAX=X⇒XAXA=XA⇒(XA)N=XA⇒XA$(2)XAX=X\Rightarrow XAXA=XA\Rightarrow (XA{)}^N=XA\Rightarrow XA$ 是冪等矩陣，投影矩陣
(3)(AX)T=AX⇒AX$(3)(AX{)}^T=AX\Rightarrow AX$ 是對稱矩陣
(4)(XA)T=XA⇒XA$(4)(XA{)}^T=XA\Rightarrow XA$ 是對稱矩陣

通過奇異值分解得到的僞逆矩陣A+$A^{+}$ ，AA+:Rm→C(A)$A{A}^{+}:R^m\to C(A)$ ，A+A:Rn→C(AT)=C(A+)$A^{+}A:R^n\to C(A^T)=C(A^{+})$ ，前文已經證明兩者都是對稱的，所以符合Penrose對僞逆矩陣的定義。對於僞逆唯一性的證明上文圖片太小可以放大來看。

僞逆的應用之最小二乘法

引言

但是我們需要求e$e$ 即誤差最小的解！但是這時候Am×n$A_{m\times n}$ 不是列滿秩不存在逆矩陣，於是自然地想到利用僞逆求解。

僞逆求解正規方程——最佳最小二乘解

注：由於A+$A^{+}$ 來自於：A+UT=VΣ+, (v1...vr)∈C(AT), (vr+1...vn)∈N(A), (u1...ur)∈C(A), (ur+1...um)∈N(AT),Σ+=⎛⎝⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜1σ11σ2..1σr0⎞⎠⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟n×m⇒A+:C(A)→C(AT)$$\begin{gathered} A^{+}{U}^T=V{\mathrm{\Sigma }}^{+},(v_1...v_r)\in C(A^T),(v_{r+1}...v_n)\in N(A),(u_1...u_r)\in C(A),(u_{r+1}...u_m)\in N(A^T), \\ {\mathrm{\Sigma }}^{+}={\left(\begin{array}{c}\frac{1}{{\sigma }_1}\\ & \frac{1}{{\sigma }_2}\\ & & .\\ & & & .\\ & & & & \frac{1}{{\sigma }_r}\\ & & & & & 0\end{array}\right)}_{n\times m}\Rightarrow A^{+}:C(A)\to C(A^T) \end{gathered}$$ ，另外由於 ATAx=0,Ax=0$A^{T}Ax=0,Ax=0$ 同解所以零空間相同。

最佳最小二乘解的四個基本子空間