相關概念

參考自維基百科。

正交矩陣：若一個方陣其行與列皆爲正交的單位向量，則該矩陣爲正交矩陣，且該矩陣的轉置和其逆相等。兩個向量正交的意思是兩個向量的內積爲 0
正定矩陣：如果對於所有的非零實係數向量，都有，則稱矩陣是正定的。正定矩陣的行列式必然大於 0，所有特徵值也必然 > 0。相對應的，半正定矩陣的行列式必然 ≥ 0。

作者：趙文和
鏈接：https://www.zhihu.com/question/19666954/answer/54788626
來源：知乎
著作權歸作者所有。商業轉載請聯繫作者獲得授權，非商業轉載請註明出處。

首先，矩陣可以認爲是一種線性變換，而且這種線性變換的作用效果與基的選擇有關。

以Ax = b爲例，x是m維向量，b是n維向量，m,n可以相等也可以不相等，表示矩陣可以將一個向量線性變換到另一個向量，這樣一個線性變換的作用可以包含旋轉、縮放和投影三種類型的效應。

奇異值分解正是對線性變換這三種效應的一個析構。
A= $\mu \Sigma \sigma ^{T}$ ， $\mu$ 和 $\sigma$ 是兩組正交單位向量， $\Sigma$ 是對角陣，表示奇異值，它表示我們找到了 $\mu$ 和 $\sigma$ 這樣兩組基，A矩陣的作用是將一個向量從 $\sigma$ 這組正交基向量的空間旋轉到 $\mu$ 這組正交基向量空間，並對每個方向進行了一定的縮放，縮放因子就是各個奇異值。如果 $\sigma$ 維度比 $\mu$ 大，則表示還進行了投影。可以說奇異值分解將一個矩陣原本混合在一起的三種作用效果，分解出來了。

而特徵值分解其實是對旋轉縮放兩種效應的歸併。（有投影效應的矩陣不是方陣，沒有特徵值）
特徵值，特徵向量由Ax= $\lambda$ x得到，它表示如果一個向量v處於A的特徵向量方向，那麼Av對v的線性變換作用只是一個縮放。也就是說，求特徵向量和特徵值的過程，我們找到了這樣一組基，在這組基下，矩陣的作用效果僅僅是存粹的縮放。對於實對稱矩陣，特徵向量正交，我們可以將特徵向量式子寫成 $A=x\lambda x^{T}$ ，這樣就和奇異值分解類似了，就是A矩陣將一個向量從x這組基的空間旋轉到x這組基的空間，並在每個方向進行了縮放，由於前後都是x，就是沒有旋轉或者理解爲旋轉了0度。

總結一下，特徵值分解和奇異值分解都是給一個矩陣(線性變換)找一組特殊的基，特徵值分解找到了特徵向量這組基，在這組基下該線性變換隻有縮放效果。而奇異值分解則是找到另一組基，這組基下線性變換的旋轉、縮放、投影三種功能獨立地展示出來了。我感覺特徵值分解其實是一種找特殊角度，讓旋轉效果不顯露出來，所以並不是所有矩陣都能找到這樣巧妙的角度。僅有縮放效果，表示、計算的時候都更方便，這樣的基很多時候不再正交了，又限制了一些應用。

鏈接：奇異值分解

鏈接：https://blog.csdn.net/Dark_Scope/article/details/53150883

一開始說到隱約記得當時時間PCA的時候用到了SVD，但通過上面的推到我們發現需要的是特徵值分解，這又是怎麼回事呢？
首先來看SVD的解釋：奇異值分解

其中U是m×m階酉矩陣；Σ是m×n階非負實數對角矩陣；而V*，即V的共軛轉置，是n×n階酉矩陣。這樣的分解就稱作X的奇異值分解

並且：

在矩陣M的奇異值分解中

1. 的列（columns）組成一套對的正交”輸入”或”分析”的基向量。這些向量是的特徵向量。
2. 的列（columns）組成一套對的正交”輸出”的基向量。這些向量是的特徵向量。
3. 對角線上的元素是奇異值，可視爲是在輸入與輸出間進行的標量的”膨脹控制”。這些是及的特徵值的非零平方根，並與U和V的行向量相對應。