降維：主成分分析

主成分分析最大方差理論

主成分分析(PCA)目標是找到數據中的主成分，並利用這些主成分表徵原始數據，因而做到降維。
在信號領域，認爲信號具有較大的方差，噪聲具有較小的方差，信號與噪聲之比稱爲信噪比，信噪比越大意味着數據質量也就越好。進而可以採用最大化投影方差的方法實現PCA的目標。
給定一組數據點$\{v_1,v_2,\cdots,v_n\}$，進行中心化表示：
$\{x_1,x_2,\cdots,x_n\}=\{v_1-\mu,v_2-\mu,\cdots,v_n-\mu\},\mu=\frac{1}{n}\sum_{i=1}^{n}v_i$
目標是找到一個投影方向$\omega$(單位方向向量)使得$\{x_1,x_2,\cdots,x_n\}$在$\omega$上的投影方差儘可能大，投影后的均值爲
$\mu'=\frac{1}{n}\sum_{i=1}^{n}x_i^T\omega=(\frac{1}{n}\sum_{i=1}^{n}x_i^T)\omega=0$此時，投影后的方差可以表示爲
$D(x)=\frac{1}{n}\sum_{i=1}^{n}(x_i^T\omega)^2=\omega^T(\frac{1}{n}\sum_{i=1}^{n}x_ix_i^T)\omega$
$\frac{1}{n}\sum_{i=1}^{n}x_ix_i^T$是樣本協方差矩陣，記爲$\Sigma$.
PCA求解下述最大化問題
$\max{\omega^T\Sigma\omega},s.t.\omega^T\omega=1$引入拉格朗日乘子，可以推出$\Sigma\omega=\lambda\omega$，此時有
$D(x)=\omega^T\Sigma\omega=\lambda\omega^T\omega=\lambda$即$x$投影后的方差爲協方差矩陣的特徵值，找到的最大方差也就是協方差矩陣最大的特徵值，最佳投影方向是相應的特徵向量。可以推出次佳投影方向是第二大特徵值對應的特徵向量，依此類推。
總結歸納PCA求解過程：

• 求樣本協方差矩陣
• 求解協方差矩陣特徵值
• 根據需求，取前$k$大特徵值所對應的特徵向量$\omega_1,\omega_2,\cdots,\omega_k$，投影得到樣本的$k$維表示
  $x_i'=(\omega^T_1x_i,\omega^T_2x_i,\cdots,\omega^T_kx_i)^T$