scikit-learn中PCA的使用方法

scikit-learn中PCA的使用方法

@author：wepon

@blog：http://blog.csdn.net/u012162613/article/details/42192293

在前一篇文章 主成分分析(PCA) 中，我基於python和numpy實現了PCA算法，主要是爲了加深對算法的理解，算法的實現很粗糙，實際應用中我們一般調用成熟的包，本文就結束scikit-learn中PCA使用的方法和需要注意的細節，參考：sklearn.decomposition.PCA

1、函數原型及參數說明

sklearn.decomposition.PCA(n_components=None, copy=True, whiten=False)

參數說明：

n_components:  

意義：PCA算法中所要保留的主成分個數n，也即保留下來的特徵個數n

類型：int 或者 string，缺省時默認爲None，所有成分被保留。

          賦值爲int，比如n_components=1，將把原始數據降到一個維度。

          賦值爲string，比如n_components='mle'，將自動選取特徵個數n，使得滿足所要求的方差百分比。

copy:

類型：bool，True或者False，缺省時默認爲True。

意義：表示是否在運行算法時，將原始訓練數據複製一份。若爲True，則運行PCA算法後，原始訓練數據的值不            會有任何改變，因爲是在原始數據的副本上進行運算；若爲False，則運行PCA算法後，原始訓練數據的              值會改，因爲是在原始數據上進行降維計算。

whiten:

類型：bool，缺省時默認爲False

意義：白化，使得每個特徵具有相同的方差。關於“白化”，可參考：Ufldl教程

2、PCA對象的屬性

components_ ：返回具有最大方差的成分。

explained_variance_ratio_：返回 所保留的n個成分各自的方差百分比。

n_components_：返回所保留的成分個數n。

mean_：

noise_variance_：

3、PCA對象的方法

• fit(X,y=None)

fit()可以說是scikit-learn中通用的方法，每個需要訓練的算法都會有fit()方法，它其實就是算法中的“訓練”這一步驟。因爲PCA是無監督學習算法，此處y自然等於None。

fit(X)，表示用數據X來訓練PCA模型。

函數返回值：調用fit方法的對象本身。比如pca.fit(X)，表示用X對pca這個對象進行訓練。

• fit_transform(X)

用X來訓練PCA模型，同時返回降維後的數據。

newX=pca.fit_transform(X)，newX就是降維後的數據。

• inverse_transform()

將降維後的數據轉換成原始數據，X=pca.inverse_transform(newX)

• transform(X)

將數據X轉換成降維後的數據。當模型訓練好後，對於新輸入的數據，都可以用transform方法來降維。

此外，還有get_covariance()、get_precision()、get_params(deep=True)、score(X, y=None)等方法，以後用到再補充吧。

4、example

以一組二維的數據data爲例，data如下，一共12個樣本（x,y），其實就是分佈在直線y=x上的點，並且聚集在x=1、2、3、4上，各3個。

>>> data
array([[ 1.  ,  1.  ],
       [ 0.9 ,  0.95],
       [ 1.01,  1.03],
       [ 2.  ,  2.  ],
       [ 2.03,  2.06],
       [ 1.98,  1.89],
       [ 3.  ,  3.  ],
       [ 3.03,  3.05],
       [ 2.89,  3.1 ],
       [ 4.  ,  4.  ],
       [ 4.06,  4.02],
       [ 3.97,  4.01]])

data這組數據，有兩個特徵，因爲兩個特徵是近似相等的，所以用一個特徵就能表示了，即可以降到一維。下面就來看看怎麼用sklearn中的PCA算法包。

（1）n_components設置爲1，copy默認爲True，可以看到原始數據data並未改變，newData是一維的，並且明顯地將原始數據分成了四類。

>>> from sklearn.decomposition import PCA 
>>> pca=PCA(n_components=1)
>>> newData=pca.fit_transform(data)
>>> newData
array([[-2.12015916],
       [-2.22617682],
       [-2.09185561],
       [-0.70594692],
       [-0.64227841],
       [-0.79795758],
       [ 0.70826533],
       [ 0.76485312],
       [ 0.70139695],
       [ 2.12247757],
       [ 2.17900746],
       [ 2.10837406]])
>>> data
array([[ 1.  ,  1.  ],
       [ 0.9 ,  0.95],
       [ 1.01,  1.03],
       [ 2.  ,  2.  ],
       [ 2.03,  2.06],
       [ 1.98,  1.89],
       [ 3.  ,  3.  ],
       [ 3.03,  3.05],
       [ 2.89,  3.1 ],
       [ 4.  ,  4.  ],
       [ 4.06,  4.02],
       [ 3.97,  4.01]])

（2）將copy設置爲False，原始數據data將發生改變。

>>> pca=PCA(n_components=1,copy=False)
>>> newData=pca.fit_transform(data)
>>> data
array([[-1.48916667, -1.50916667],
       [-1.58916667, -1.55916667],
       [-1.47916667, -1.47916667],
       [-0.48916667, -0.50916667],
       [-0.45916667, -0.44916667],
       [-0.50916667, -0.61916667],
       [ 0.51083333,  0.49083333],
       [ 0.54083333,  0.54083333],
       [ 0.40083333,  0.59083333],
       [ 1.51083333,  1.49083333],
       [ 1.57083333,  1.51083333],
       [ 1.48083333,  1.50083333]])

（3）n_components設置爲'mle'，看看效果，自動降到了1維。

>>> pca=PCA(n_components='mle')
>>> newData=pca.fit_transform(data)
>>> newData
array([[-2.12015916],
       [-2.22617682],
       [-2.09185561],
       [-0.70594692],
       [-0.64227841],
       [-0.79795758],
       [ 0.70826533],
       [ 0.76485312],
       [ 0.70139695],
       [ 2.12247757],
       [ 2.17900746],
       [ 2.10837406]])

（4）對象的屬性值

>>> pca.n_components
1
>>> pca.explained_variance_ratio_
array([ 0.99910873])
>>> pca.explained_variance_
array([ 2.55427003])
>>> pca.get_params
<bound method PCA.get_params of PCA(copy=True, n_components=1, whiten=False)>

我們所訓練的pca對象的n_components值爲1，即保留1個特徵，該特徵的方差爲2.55427003，佔所有特徵的方差百分比爲0.99910873，意味着幾乎保留了所有的信息。get_params返回各個參數的值。

（5）對象的方法

>>> newA=pca.transform(A)

對新的數據A，用已訓練好的pca模型進行降維。

>>> pca.set_params(copy=False)
PCA(copy=False, n_components=1, whiten=False)

設置參數。