矩陣分解、奇異值分解（SVD）

1.特徵值

1. 特徵向量$Ax=\lambda x$的幾何意義：向量x通過矩陣A變換，只進行縮放，而不改變向量方向，縮放倍數即特徵值。
2. 對於n階方陣，一定有n個特徵值（包括複數），但非零特徵值個數等於矩陣的秩。

2.方陣的分解

根據$Ax=\lambda x$, 對於n階方陣：$A = U\Sigma U^{-1}$ 其中U爲n個特徵向量構成的矩陣，$\Sigma$爲特徵值構成的對角陣。把U的n個特徵向量標準化，滿足$U^{-1}=U^T$，得到$A = U\Sigma ' U^{T}$

3. 奇異值分解

當A不是方陣時，需要奇異值分解了（Singular Value Decompasition, SVD）, 分解得到$A=U\Sigma V^T$, 其中U,V分別爲m,n階方陣，$\Sigma$爲m x n維矩陣，主對角線上非零元素爲奇異值。分解過程如下：

對於矩陣$A = \left(\begin{matrix}0&1\\ 1&1\\1&0\end{matrix} \right)$

1. 求出$AA^T$、$A^TA$
   $AA^T = \left(\begin{matrix}2&1\\ 1&2\end{matrix} \right)$、 $AA^T = \left(\begin{matrix}1&1&0\\ 1&2&1\\0&1&1\end{matrix} \right)$
2. 對兩者分別求特徵值與特徵向量，使得$A^TAv_i=\lambda_i v_i$ $AA^Tu_i=\lambda_i u_i$得到：$\lambda_i=3,\lambda_2=1,v_1=(1/\sqrt2 1/\sqrt2)^T, v_2=(-1/\sqrt2 1/\sqrt2)^T$ $u_1=(1/\sqrt6,2/\sqrt6,1/\sqrt6)^T, u_2=(1/\sqrt2,0,-1/\sqrt2)^T$ $\lambda_3=0, u_3=(1/\sqrt3,-1/\sqrt3,1/\sqrt3)^T$
3. 利用$Av_i=\sigma_iu_i$求奇異值, $\sigma_1=\sqrt3, \sigma_2=1$.
4. 得到分解結果:
   $A=U\Sigma V^T= \left(\begin{matrix} 1/\sqrt6 & 1/\sqrt2 & 1/\sqrt3 \\ 2/\sqrt6 & 0 & -1/\sqrt3 \\ 1/\sqrt6 & -1/\sqrt2 & 1/\sqrt3 \end{matrix} \right)\left(\begin{matrix} \sqrt3 & 0\\ 0& 1 \\ 0 & 0 \end{matrix} \right)\left(\begin{matrix} 1/\sqrt2 & 1/\sqrt2\\ -1/\sqrt2 & 1/\sqrt2 \end{matrix} \right)$

4.奇異值分解的作用：降維

Python中奇異值分解：

U,sigma,VT=linalg.svd(data)

分解後，得到sigma爲奇異值從大到小排列的向量，通過$\frac{su(sigma[:k])^2}{sum(sigma)^2}$計算奇異值的能量佔比，一般超過80%則表明保留了較多信息，可以用前k個分量還原出原矩陣的大部分信息，從而將原矩陣降維到m x k維。