基於PCA的降維中，進行特徵值分解和SVD分解相關筆記

降維原理

原矩陣X，變換矩陣W，變換後，進入新空間下的$W^TX$。

想要進入新空間時，各特徵之間的差異大分得開，也就是新空間下矩陣的方差越大越好，即$W^TXX^TW$越大越好，所以有：
$\begin{array}{c} \max _{\mathbf{w}} \operatorname{tr}\left(\mathbf{W}^{\mathrm{T}} \mathbf{X} \mathbf{X}^{\mathrm{T}} \mathbf{W}\right) \\ \text { s.t. } \quad \mathbf{W}^{\mathrm{T}} \mathbf{W}=\mathbf{I} \end{array}$

特徵值分解和SVD分解相關對比

• 特徵值分解也有很多的侷限，比如說變換的矩陣必須是方陣。SVD則沒有要求。

• PCA只與SVD的右奇異向量的壓縮效果相同。

• SVD無需計算協方差矩陣。

特徵值和特徵向量

• 特徵值表示的是這個特徵到底有多麼重要，而特徵向量表示這個特徵是什麼

其中，λ是特徵向量v對應的特徵值，一個矩陣的一組特徵向量是一組正交向量。

其中，Q是矩陣A的特徵向量組成的矩陣，\Sigma則是一個對角陣，對角線上的元素就是特徵值。

重量級好文