主成分分析與奇異值分解的關係

假如我們的原始數據矩陣是X$\mathbf{X}$ ，維度是n∗m$n\ast m$ 。

主成分分析：
首先計算X$X$ 的協方差矩陣C=Cov(X)$C=Cov(X)$ ，C$C$ 的維度是m∗m$m\ast m$ ，然後對協方差矩陣進行特徵分解：

C=PΛP−1$$C=P\mathrm{\Lambda }{P}^{-1}$$

這裏Pm∗m$P_{m\ast m}$ 由C$C$ 的特徵向量組成，對角矩陣Λm∗m${\mathrm{\Lambda }}_{m\ast m}$ 由C$C$ 的特徵值組成。

選取前r$r$ 列得到Pm∗r$P_{m\ast r}$ ，然後原始數據通過以下方式降維：

Xn∗r~=Xn∗mPm∗r$$\widetilde{X_{n\ast r}}=X_{n\ast m}{P}_{m\ast r}$$

奇異值分解：
X$X$ 可以被分解爲三個矩陣的乘積：

Xn∗m=Un∗nΣn∗mVTm∗m$$X_{n\ast m}=U_{n\ast n}{\mathrm{\Sigma }}_{n\ast m}{V}_{m\ast m}^T$$

我們知道U$U$ 是由XXT$X{X}^T$ 的特徵向量組成，V$V$ 是由XTX$X^{T}X$ 的特徵向量組成，而Σ$\mathrm{\Sigma }$ 由XXT$X{X}^T$ 特徵值的平方根組成。

聯繫是什麼？

當X$X$ 是中心化了的數據，也就是說均值爲0，其協方差矩陣可以由1n−1XTX$\frac{1}{n-1}{X}^{T}X$ 計算得到。

而可以看到在SVD中，V$V$ 的值就是由XTX$X^{T}X$ 而來，因此，原始數據可以通過以下方式降維：

Xn∗r~=Xn∗mVm∗r$$\widetilde{X_{n\ast r}}=X_{n\ast m}{V}_{m\ast r}$$

注意前提條件：中心化了的原始數據。