[筆記][總結] MIT線性代數 Gilbert Strang 矩陣分解

作者水平有限，歡迎大家提出文中錯誤

$PA_{n*n}=LU$

高斯消元法

我曾寫過一個使用高斯消元法求解行列式的C++程序，本小節直接引用這段代碼講解

[C++] 計算行列式的若干種方法

void GaussElimination2UTM(double* matrix, int dimension){
//注意cnt3一定要從矩陣最右側運算至左側，否則主元列對應元素歸零，運算就無法正常進行
	for(int cnt1=0; cnt1<dimension; cnt1++)
		for(int cnt2=cnt1+1; cnt2<dimension; cnt2++)
			for(int cnt3=dimension-1; cnt3>=cnt1; cnt3--)
				matrix[cnt2*dimension+cnt3] += 
					-1*matrix[cnt1*dimension+cnt3]*matrix[cnt2*dimension+cnt1]/matrix[cnt1*dimension+cnt1];
	return;
}

可見高斯消元法，就是從最上面的一行爲起點，以消去主元位置下所有非零值爲目的，對其下各行依次做乘加操作，直至獲得上三角陣$Upper\ Triangle\ Matrix$

消元矩陣 $Elimination\ matrices$

$E_{ij}= \left[ \begin{matrix} 1&&&& \\ &1&&&\\ &&\ddots\\ &&e_{ij}&1& \\ &&&&1\\ \end{matrix} \right]$
其作用是
$E_{ij}A= \left[ \begin{matrix} row\ 1(A)\\ row\ 2(A)\\ \vdots\\ row\ i(A)+e_{ij}\ row\ j(A)\\ \vdots\\ row\ m(A) \end{matrix} \right]$
消元矩陣是在單位陣基礎上，改變了對角線下某個元素爲非零值，若此位置是$row\ i,column\ j$，在$row\ i$基礎上加上了$e_{ij}$倍的$row\ j$

由消元矩陣的意義可知，消元矩陣的逆，使得多加上的一行，通過減法消除
$E_{ij}^{-1}= \left[ \begin{matrix} 1&&&& \\ &1&&&\\ &&\ddots\\ &&-e_{ij}&1& \\ &&&&1\\ \end{matrix} \right]$

通過高斯消元法求可逆陣的逆矩陣

通過高斯消元法，可以將可逆矩陣化爲單位矩陣，但是此時左乘的矩陣不僅僅是消元矩陣，而是涉及到所有初等行變換。如果將合作用依然寫作$E$
那麼有
$EA=I$
則
$E=A^{-1}$
如果同時對矩陣$A$和單位陣$I$做初等行變換，則可以構造增廣矩陣$[A|I]$
$E[A|I]=[I|A^{-1}]$

$A=LU$

存在一個總的消元矩陣$E$，使得$EA=U$
$E= E_{\psi \omega}\dots E_{\gamma \delta}E_{\alpha \beta}$
因子不能打亂順序
所求的$L=E^{-1}(Lower\ Triangular\ Matrices)$
L有一個很好的性質
$If\ no\ row\ exchanges,multipliers\ of\ elimination\ operations\ go\ directly\ into\ L.$
而原因其實十分簡單，這裏引用課本中的證明

當計算第$i$行的時候，這$i$行的內容已經和$U$一致，所以我們有第$i$行的消元步驟如下：
$row\ i(U)=row\ i(A)-l_{i1}row\ 1(U)-l_{i2}row\ 2(U)\cdots -l_{i(i-1)}row\ i-1(U)$
整理一下式子
$row\ i(A)=l_{i1}row\ 1(U)+l_{i2}row\ 2(U)\cdots +l_{i(i-1)}row\ i-1(U)+row\ i(U)$
將上式寫成矩陣形式
$A= \left[ \begin{matrix} 1&&&& \\ l_{21}&1&&&\\ \vdots&\vdots&\ddots\\ l_{(n-1)1}&l_{(n-1)2}& &1& \\ l_{n1}&l_{n2}&\cdots&l_{n(n-1)}&1\\ \end{matrix} \right]U$
$L= \left[ \begin{matrix} 1&&&& \\ l_{21}&1&&&\\ \vdots&\vdots&\ddots\\ l_{(n-1)1}&l_{(n-1)2}& &1& \\ l_{n1}&l_{n2}&\cdots&l_{n(n-1)}&1\\ \end{matrix} \right]$

置換矩陣 $Permutation\ matrices$

$P_{ij}= \left[ \begin{matrix} 1&&&& \\ &&&1&\\ &&\ddots\\ &1&&& \\ &&&&1\\ \end{matrix} \right]$
置換矩陣是在單位矩陣基礎上，對矩陣的第$i$行、第$j$行或（第$i$列、第$j$列）進行交換，可見n維置換矩陣有$n!$種，並且這些矩陣可以構成一個羣。

置換矩陣有如下性質：

1. $P^T=P^{-1}(orthogonal)$
2. $det\ P=-1$

從變換的意義上講，置換矩陣對應的是一種鏡像變換

何時需要置換矩陣

還是以[C++] 計算行列式的若干種方法講解
在高斯消元法求解上三角陣的時候，由於一個極小主元的出現，使得整個消元過程出現了極大誤差，原因是計算機中浮點數的精度是有限的，對於極小值，在計算機中精度的丟失是致命的。當我的程序引入了置換操作後，問題得以解決。










在代數上，置換操作是爲了解決消元過程中產生的主元爲零，使得消元無法繼續的問題，換句話說$P$使得矩陣$A$各行排列在合適的位置上，避免主元0的出現。

$PA=LDU$

LU分解還有一個更加平衡的形式，通過消元得到的上三角陣$U$，可以進一步把主元分離出來，構成$Diagonal\ Matrices$。
例如
$\left[ \begin{matrix} 2&1 \\ &3 \end{matrix} \right]= \left[ \begin{matrix} 2& \\ &3\\ \end{matrix} \right] \left[ \begin{matrix} 1&\frac{1}{2}\\ &1\\ \end{matrix} \right]$

秩一矩陣的分解$A=uv^T$

所有秩一矩陣都可以表示稱主行和主列的乘積
$\left[ \begin{matrix} 1&4&5 \\ 2&8&10 \end{matrix} \right]= \left[ \begin{matrix} 1\\ 2\\ \end{matrix} \right] \left[ \begin{matrix} 1&4&5\\ \end{matrix} \right]$
秩一矩陣就像構造其他矩陣的積木一樣，比如一個$5*17$的秩$4$矩陣，最少可以拆成$4$個秩一矩陣

$A=QR$

暫無

特徵值分解

假設$n$階方陣
$A$存在$n$個相互獨立的特徵向量，構造成特徵向量矩陣
$S=[x_1\ x_2\cdots x_n]$
將$A$左乘$S$
$AS=[\lambda_1x_1\ \lambda_2x_2\cdots\lambda_nx_n]$
分離特徵值和特徵向量
$AS=[x_1\ x_2\cdots x_n] \left[ \begin{matrix} \lambda_1&&&\\ &\lambda_2&&\\ &&\ddots&\\ &&&\lambda_n\\ \end{matrix} \right]=S\Lambda$
左乘$S^{-1}$
$A=S\Lambda S^{-1}$
詳見[筆記][總結] MIT線性代數 Gilbert Strang 矩陣運算

奇異值分解

奇異值分解$(Singular\ Value\ Decomposition)$
$A=U\Sigma V^T$
如果$A$是方陣，$U,V$都是標準正交矩陣，$\Sigma$是對角矩陣，但其實任意類型的矩陣都可以進行奇異值分解

奇異值分解的意義

$v_1\ v_2\cdots v_r$行空間的一組標準正交基，$u_1\ u_2\cdots u_r$是列空間的一組標準正交基，而且這組正交基的每一個基都滿足$\sigma_iu_i=Av_i(\sigma\ is\ a\ stretching\ factor)$，當然並不是行空間的任意一組正交基，都能在都左乘$A$後，仍然保持正交。這個不影響分解
$\sigma_iu_i=Av_i$可以表示成
$[u_1\ u_2\cdots u_r]_{m*r} \left[ \begin{matrix} \sigma_1&&&\\ &\sigma_2&&\\ &&\ddots&\\ &&&\sigma_r \end{matrix} \right]_{r*r}= A_{m*n} [v_1\ v_2\cdots v_r]_{n*r}$

但是這還不是奇異值分解的最終形式，因爲$N(A)$和$N(A^T)$的信息還是隱藏着

補充$v_{r+1}\cdots v_m$是零空間的一組標準正交基
補充$u_{r+1}\cdots u_n$是左零空間的一組標準正交基
$V= [v_1\ v_2\cdots v_r\ v_{r+1}\cdots\ v_n]_{n*n}=[V_{C(A^T)}\ V_{N(A)}]$

$U= [u_1\ u_2\cdots u_r\ u_{r+1}\cdots\ u_m]_{m*m}=[U_{C(A)}\ U_{N(A^T)}]$

$U$的列向量構成了$\mathbb R^m$的一組標準正交基
$V$的列向量構成了$\mathbb R^n$的一組標準正交基
$A_{m*n}[V_{C(A^T)n*r}\ V_{N(A)n*(n-r)}]_{n*n}= [U_{C(A)m*r}\ U_{N(A^T)m*(m-r)}]_{m*m} \left[ \begin{matrix} \Sigma_{r*r}&O_{r*(n-r)}\\ O_{(m-r)*r}&O_{(m-r)*(n-r)}\\ \end{matrix} \right]_{m*n}$
$A_{m*n}= [U_{C(A)m*r}\ U_{n(A^T)m*(m-r)}]_{m*m} \left[ \begin{matrix} \Sigma_{r*r}&O_{r*(n-r)}\\ O_{(m-r)*r}&O_{(m-r)*(n-r)}\\ \end{matrix} \right]_{m*n} \left[ \begin{matrix} V_{C(A^T)r*n}^T\\ V_{N(A)(n-r)*n}^T\\ \end{matrix} \right]$
其中上式包含
$A=U_{C(A)}\Sigma V_{C(A^T)}^T$

由於$U_{N(A^T)}$和$V_{N(A)}$的選取是任意的，所以矩陣$A$的奇異值分解不一定是唯一的，但是$A=U_{C(A)}\Sigma V_{C(A^T)}^T$是唯一的
最後，一般的奇異值分解爲
$A=U \left[ \begin{matrix} \Sigma&O\\ O&O\\ \end{matrix} \right] V^T$

方陣的奇異值分解

$A_{n*n}=U \left[ \begin{matrix} \Sigma_{r*r}&O_{r*(n-r)}\\ O_{(n-r)*r}&O_{(n-r)*(n-r)}\\ \end{matrix} \right] V$
對於方陣，$U,V$中間的矩陣一定是對角陣，在計算過程中，沒有必要把零值和非零值分開計算，零值直接視作零特徵值，不妨直接把中間的矩陣記作$\Sigma$

已經知道$A^TA$是對稱矩陣，如果已經知道了$A=U\Sigma V^T$
$A^TA=V\Sigma U^TU\Sigma V^T=V\Sigma^2 V^T$
式子中的$V$是奇異值分解裏的$V$

同樣的$AA^T$也是對稱矩陣
$AA^T=U\Sigma^2 U^T$
式子中的$U$是奇異值分解裏的$U$
綜上所述，標準正交矩陣$V$是$A^TA$的特徵向量矩陣，標準正交矩陣$U$是$AA^T$的特徵向量矩陣
同時也可以看出，即使$AA^T$和$A^TA$不一定是正定的，但至少他們都是半正定的
而且$AA^T$和$A^TA$有相同的特徵值，這不是偶然$AB$和$BA$當然有相同的特徵值

這個$\Sigma$的平方，就是上邊特徵值矩陣，對各項開方即可得到。

再議對稱矩陣

所有矩陣的奇異值分解中，要數對稱矩陣的奇異值分解最特殊，因爲其$U=V$
對稱矩陣的奇異值分解爲
$A=Q\Lambda\ Q^T$
同時上式也是對稱矩陣的特徵值分解