2 矩陣的分解

2. 矩陣的分解

矩陣分解 (decomposition, factorization)是將矩陣拆解爲數個矩陣的乘積或加和的過程，可分爲三角分解、滿秩分解、QR分解、Jordan分解、SVD（奇異值）分解和譜分解等，其中三角分解(LU分解)是高斯消元法的另一種表現形式，在本科的線性代數裏已經被我們用爛了，Jordan分解在上一章線性代數引論“求Jordan標準形”裏已經介紹。這一章只介紹QR分解、滿秩分解、SVD（奇異值）分解和譜分解。

2.1. QR分解

• 描述
  A=QR
  A是滿秩方陣，Q是正交矩陣，R是上三角陣，分解唯一
  A=UR(把正交矩陣換成酉矩陣也一樣)
  如果A只是列滿秩，(Am×n,n≤m , 秩爲n)那麼
  Am×n=Qm×nRn×n , Q只要滿足n個列向量標準正交即可，R還是上三角陣

• QR分解步驟

  1. 求r(A)判斷A是否滿秩
  2. 按列分塊A=(x1,x2,x3) ，正交化爲y1,y2,y3 , 單位化爲z1,z2,z3
  3. 令
     
     Q=(z1,z2,z3)
     
     
     R=⎛⎝⎜||y1||00(x2,z1)||y2||0(x3,z1)(x3,z2)||y3||⎞⎠⎟
  4. 最後，A=QR

• scipy代碼演示
  

2.2 滿秩分解

• 描述
  任一矩陣可分解爲一個列滿秩與行滿秩矩陣的乘積，但分解不唯一
  Am×n=Fm×rGr×n (A的秩爲r)

• 滿秩分解方法

  1. 經初等行變換化爲簡化階梯型
     
  2. 取H中是單位向量的列的序號，找出A中對應序號的列組成F
  3. 取H中的非0行（前r行）作爲G
  4. 最後，A=FG

2.3 奇異值分解

• 描述

  • 奇異值：復矩陣Arm×n (秩爲r)，AHA 有n個特徵值，按從大到小的順序排列，保證λ1≥λ2≥...≥λn ，有前r個爲正，後n-r個爲0，稱 σi=λi−−√ 爲A的奇異值，前r個σ1≥σ2≥...≥σr 爲正奇異值。
  • 奇異值分解：A=USVH
    Arm×n=Um×mSm×nVHn×n
    其中，U和V爲酉矩陣(見上一章)，S爲A的奇異值組成的對角陣，前r個爲正奇異值，後n-r個全爲0
    
    A=U(Sr000)VH

• 奇異值分解步驟：

  1. 計算AHA 的n個特徵值並按從大到小排序得到λi(i=1...n) , 取平方根得到奇異值σi
  2. 計算這n個特徵值λi 對應的特徵向量αi ，並schmidt正交化，得到標準正交特徵向量α1,α2,…αr,αr+1,…,αn 。令V1=(α1,…αr),V2=(αr+1,…,αn),V=(V1,V2) ;令Sr=diag(σ1,…σr)，(σ1≥σ2≥...≥σr)
  3. 計算U1=(β1,…βr)=AV1S−1r
  4. 求出N(AH) 的一組標準正交基βr+1,…βm (即求AH 齊次方程組的一組基礎解系，也需要schmidt正交化)。令U2=(βr+1,…βm),U=(U1,U2) , 則
     
     A=U(Sr000)VH

• scipy演示代碼
  

2.4 譜分解

• 描述
  N階方陣An×n 的n個特徵值稱爲A的譜（譜分解是對於單純矩陣而言的）

• 譜分解步驟：

  1. 以A的線性無關的特徵向量爲列組成矩陣P，將P按列分塊P=(X1,X2,…,Xn)
  2. 求P−1 , 將P−1 按行分塊 P−1=(Y1,Y2,…,Yn)T
  3. 則A的譜分解爲
     A=λ1X1Y1+λ2X2Y2+…+λkXkYk
     或
     A=λ1G1+λ2G2+…+λkGk
     其中，Gi=XiYi , 這裏的Gi 是冪等矩陣, 且有如下性質: Gi 兩兩正交，所有Gi 的和爲In

• 特殊情況
  若A是正規矩陣(AHA=AAH )，則上述的Gi 爲冪等厄米特陣，A酉相似於對角陣，那麼，將U按列分塊
  U=(X1,X2,…,Xn) , 取Gi=XiXHi 即可！

2.5 補充：冪等陣

• 描述
  冪等陣：A∈Cn×n , 若滿足A2=A , 則稱A爲冪等陣。

• A爲冪等陣的等價命題

  1. 與A相似的任意矩陣也是冪等陣；
  2. AH,AT,A∗，I−AH，I−AT 都是冪等陣
  3. Ak 是冪等陣, k∈N

• 冪等陣的主要性質：

  1. 冪等陣的特徵值只可能是0，1；
  2. 冪等陣可對角化；
  3. 冪等陣的跡等於冪等陣的秩，即tr(A)=rank(A)；
  4. 可逆的冪等陣爲I；
  5. 零方陣和單位矩陣都是冪等陣；
  6. 冪等陣A滿足：A(I-A)=(I-A)A=0；
  7. 冪等陣A有Ax=x的充要條件是x∈R(A)；
  8. A的核空間N(A)等於I-A的像空間R(I-A), 且N(I-A)=R(A)。　

• 冪等陣的運算：
  設 A1,A2 都是冪等陣

  1. A1+A2 爲冪等陣的充分必要條件爲：A1A2=A2A1=0 且有：
     R(A1+A2)=R(A1)⊕R(A2) ；(⊕表示直積)
     N(A1+A2)=N(A1)∩N(A2) ；
  2. A1−A2 爲冪等陣的充分必要條件爲：A1A2=A2A1=A2 且有：R(A1−A2)=R(A1)∩N(A2) ；
     N(A1−A2)=N(A1)⊕R(A2) ；
  3. 若A1A2=A2A1 ，則A1A2 爲冪等陣，且有：
     R(A1A2)=R(A1)∩R(A2) ；
     N(A1A2)=N(A1)+N(A2) 。