1.PCA降維的計算過程
下圖是從西瓜書裏截取的PCA降維過程的圖片。
需要說明的是，算法中的向量爲列向量。假設原始維度爲d，樣本數目爲m，因此特徵矩陣X的維度爲d×m，W的維度爲d×d’。降維的時候，transpose(W)*X得到 d’×m的矩陣，它的每一列，即爲降維後的向量。
2.數學推導
不過西瓜書裏沒有詳細推導（我查了好幾本書，包括DeepLearning和Hands On ML，都沒有寫詳細推導，DeepLearning是作爲一個練習讓讀者自己做）——爲什麼選取最大的d’個特徵值所對應的特徵向量就可以組成投影矩陣？結合DeepLearning裏的部分過程，我補全了一個類似的證明。不排除有不對的地方，供有需要的朋友參考。
（a）PCA的目標
（b）求解
3.總結
通過上述推導，感覺自己應該更清楚了PCA的原理：
PCA的目標是通過降維之後的向量，再還原回來的之後和原向量最接近（都是用線性映射），爲了實現這個目標，得到的投影矩陣恰好是，原數據集的協方差矩陣的前d’個主成分爲列組成的矩陣。