K-means聚類算法

援引：http://www.cnblogs.com/jerrylead/archive/2011/04/06/2006910.html

1.概念

     k-means 算法接受輸入量 k ；然後將n個數據對象劃分爲 k個聚類以便使得所獲得的聚類滿足：同一聚類中的對象相似度較高；而不同聚類中的對象相似度較小。聚類相似度是利用各聚類中對象的均值所獲得一個“中心對象”（引力中心）來進行計算的。

2.一般介紹

     聚類屬於無監督學習，以往的迴歸、樸素貝葉斯、SVM等都是有類別標籤y的，也就是說樣例中已經給出了樣例的分類。而聚類的樣本中卻沒有給定y，只有特徵x，比如假設宇宙中的星星可以表示成三維空間中的點集。聚類的目的是找到每個樣本x潛在的類別y，並將同類別y的樣本x放在一起。比如上面的星星，聚類後結果是一個個星團，星團裏面的點相互距離比較近，星團間的星星距離就比較遠了。

     在聚類問題中，給我們的訓練樣本是，每個，沒有了y。

     K-means算法是將樣本聚類成k個簇（cluster），具體算法描述如下：  

1、 隨機選取k個聚類質心點（cluster centroids）爲。

2、 重複下面過程直到收斂 {

               對於每一個樣例i，計算其應該屬於的類

               

               對於每一個類j，重新計算該類的質心

               

}

     K是我們事先給定的聚類數，代表樣例i與k個類中距離最近的那個類，的值是1到k中的一個。質心代表我們對屬於同一個類的樣本中心點的猜測，拿星團模型來解釋就是要將所有的星星聚成k個星團，首先隨機選取k個宇宙中的點（或者k個星星）作爲k個星團的質心，然後第一步對於每一個星星計算其到k個質心中每一個的距離，然後選取距離最近的那個星團作爲，這樣經過第一步每一個星星都有了所屬的星團；第二步對於每一個星團，重新計算它的質心（對裏面所有的星星座標求平均）。重複迭代第一步和第二步直到質心不變或者變化很小。

     下圖展示了對n個樣本點進行K-means聚類的效果，這裏k取2。

     

     K-means面對的第一個問題是如何保證收斂，前面的算法中強調結束條件就是收斂，可以證明的是K-means完全可以保證收斂性。下面我們定性的描述一下收斂性，我們定義畸變函數（distortion function）如下：

     

     J函數表示每個樣本點到其質心的距離平方和。K-means是要將J調整到最小。假設當前J沒有達到最小值，那麼首先可以固定每個類的質心，調整每個樣例的所屬的類別來讓J函數減少，同樣，固定，調整每個類的質心也可以使J減小。這兩個過程就是內循環中使J單調遞減的過程。當J遞減到最小時，和c也同時收斂。（在理論上，可以有多組不同的和c值能夠使得J取得最小值，但這種現象實際上很少見）。

     由於畸變函數J是非凸函數，意味着我們不能保證取得的最小值是全局最小值，也就是說k-means對質心初始位置的選取比較感冒，但一般情況下k-means達到的局部最優已經滿足需求。但如果你怕陷入局部最優，那麼可以選取不同的初始值跑多遍k-means，然後取其中最小的J對應的和c輸出