基于PCA的降维中，进行特征值分解和SVD分解相关笔记

降维原理

原矩阵X，变换矩阵W，变换后，进入新空间下的$W^TX$。

想要进入新空间时，各特征之间的差异大分得开，也就是新空间下矩阵的方差越大越好，即$W^TXX^TW$越大越好，所以有：
$\begin{array}{c} \max _{\mathbf{w}} \operatorname{tr}\left(\mathbf{W}^{\mathrm{T}} \mathbf{X} \mathbf{X}^{\mathrm{T}} \mathbf{W}\right) \\ \text { s.t. } \quad \mathbf{W}^{\mathrm{T}} \mathbf{W}=\mathbf{I} \end{array}$

特征值分解和SVD分解相关对比

• 特征值分解也有很多的局限，比如说变换的矩阵必须是方阵。SVD则没有要求。

• PCA只与SVD的右奇异向量的压缩效果相同。

• SVD无需计算协方差矩阵。

特征值和特征向量

• 特征值表示的是这个特征到底有多么重要，而特征向量表示这个特征是什么

其中，λ是特征向量v对应的特征值，一个矩阵的一组特征向量是一组正交向量。

其中，Q是矩阵A的特征向量组成的矩阵，\Sigma则是一个对角阵，对角线上的元素就是特征值。

重量级好文