PCA學習過程（一、原理）

從SVM過來發現在選擇特徵的時候需要用到PCA，這樣選的特徵就有很好的區分度，更容易進行預測工作。
摸索了好幾天，其實是拖延了好幾天。
終於認爲我行了。。寫一下理解後的心得
首先膜拜下大神，看一下這個鏈接
https://zhuanlan.zhihu.com/p/77151308
上面寫的很全面了，從基變換到協方差矩陣對角化說的很清楚。
我再捋一遍PCA求解步驟：
設有 m 條 n 維數據。
1、將原始數據按列組成 n 行 m 列矩陣 X；
2、將 X 的每一行進行零均值化，即減去這一行的均值；
3、求出協方差矩陣 $C=\frac{1}{m}XX^T$ ；
4、求出協方差矩陣的特徵值及對應的特徵向量；
5、將特徵向量按對應特徵值大小從上到下按行排列成矩陣，取前 k 行組成矩陣 P；
6、 Y=PX即爲降維到 k 維後的數據。

反思幾個問題：
1、爲什麼用協方差矩陣的特徵向量來做投影矩陣？
這樣可以使投影后的向量方差最大，協方差小。能保證投影后的向量協方差矩陣就是原向量協方差矩陣的對角化。這時候投影后向量協方差爲0，方差都集中在對角線上。
2、爲什麼去均值。
去均值後才能保證協方差矩陣的元素等於向量的協方差和方差。

現在發現數學纔是王道！