聚類作爲一種重要的人類行爲，早在還提時代，一個人就通過不斷的改進下意識中的聚類模式類學會如何區分家貓、家狗等等動植物。目前，聚類方法也在許多領域都得到了廣泛的研究和成功應用。常見的如：模式識別、數據分析、圖像處理、市場研究以及文檔分析等。

聚類原理：聚類就是按照某個特定的標準（最常見的如距離）把一個數據集分割成不同的類或者簇，從而使得同一個簇類的數據對象的相似性儘可能的最大，同時不同簇中的數據對象之間的差異儘可能的最大。

1.聚類算法的分類

目前，有着大量的聚類算法[3]。但對於具體的應用，聚類算法的選擇要根據數據類型以及聚類的目的進行適當的選擇。如果聚類分析被用作描述或者探查的工具，可以對too那樣的數據嘗試多種算法，以發現數據可能揭示的結果。

聚類算法主要可以劃分爲如下幾類：劃分方法、層次方法、基於密度的方法、基於網絡的方法以及基於模型的方法[4-6]。

每一類中都存在着得到廣泛應用的方法。如：劃分法中的k-means[7]聚類方法、層次聚類方法中凝聚性層次聚類方法、基於模型方法中的神經網絡聚類方法等。

目前，聚類問題的研究不僅僅侷限於上述的硬聚類，即每一個數據只能被歸爲一類，模糊聚類[10]也是聚類分析中研究較爲廣發的一個分支。模糊聚類通過隸屬函數來確定每個數據隸屬於各個簇的程度，而不是講一個數據對象硬性的歸爲某一個簇中。目前已經有很多關於模糊聚類的算法被提出。最著名的就是FCM算法。

下面將主要對k-means聚類算法、凝聚型層次聚類方法、神經網絡聚類方法之SOM和模型聚類的FCM算法通過通用測試數據及進行聚類效果的比較和分析。

2.四種聚類方法

2.1 k-means

k-means是劃分方法中較經典的聚類方法之一。由於該算法的效率高，所以在對大規模數據進行聚類的時候被廣泛使用。目前許多算法都是圍繞該算法進行擴展和改進的。k-means算法以k爲參數，把n個對象分爲k個簇，使簇內具有較高的相似度，簇間具有較低的相似度。k-means算法的處理過程如下：

（1）隨機的選取k個對象，每個對象初始的代表了一個簇的平均值或中心；

（2）對剩餘的每個對象，根據其與各個簇中心的距離，將他賦給最近的簇；

（3）然後重新計算每個簇的平均值；

（4）如此不斷重複，直到準則函數收斂或者達到設定的迭代次數

通常採用的準則函數爲：

$\large E=\sum _{i=1}^k\sum _{p=1}^C|c-m_{i}|^2$

上式中E爲數據中所有對象與簇中心的平方誤差總和，p表示空間中的一個點，mi表示一個簇中心的座標，k爲簇的個數。

2.2 層次聚類算法

根據層次分解的順序是自底向上還是自上向下的，層次聚類算法分爲聚類的層次算法和分裂的層次聚類算法。凝聚型層次聚類的策略是先將每個對象作爲一個簇，然後合併這些原子簇爲越來越大的簇，知道所有的對象都在一個簇中，或者某個終結條件被滿足。絕大多數層次聚類數據凝聚型層次聚類方法，他們只是在簇之間相似度的定義上有一定的不同。四種廣發採用的簇間距離度量方法如下：

（1）最小距離：

$\large d_{min}(c_{i},c_{j})=min_{p\epsilon c_{i},p'\epsilon c_{j}}$

（2）最大距離：

$\large d_{max}(c_{i},c_{j})=max_{p\epsilon c_{i},p'\epsilon c_{j}}$

（3）平均值距離：

$\large d_{mean}(c_{i},c_{j})=|m_{i}-m_{j}|$

（4）平均距離：

$d_{avg}(c_{i},c_{j})=\frac{1}{m_{i}m_{j}}\sum _{p\epsilon c_{i}}\sum _{p'\epsilon c_{j}}|p-p'|$

注：mi、mj表示簇的中心

這裏給出採用最小距離的凝聚型層次聚類算法計算步驟：

（1）將每個對象看爲一個類，計算兩兩之間的最小距離；

（2）將距離最小的兩個類合併爲一個新的類；

（3）重複計算新類和所有類別之間的距離；

（4）重複過程（2）和過程（3）知道所有類別合併爲一個類或者迭代結束。

2.3 SOM聚類方法

SOM 神經網絡[11]是由芬蘭神經網絡專家 Kohonen 教授提出的，該算法假設在輸入對象中存在一些拓撲結構或順序，可以實現從輸入空間(n 維)到輸出平面(2 維)的降維映射，其映射具有拓撲特徵保持性質,與實際的大腦處理有很強的理論聯繫。

SOM 網絡包含輸入層和輸出層。輸入層對應一個高維的輸入向量，輸出層由一系列組織在 2 維網格上的有序節點構成，輸入節點與輸出節點通過權重向量連接。學習過程中，找到與之距離最短的輸出層單元，即獲勝單元，對其更新。同時，將鄰近區域的權值更新，使輸出節點保持輸入向量的拓撲特徵。

SOM算法過程如下：

(1) 網絡初始化，對輸出層每個節點權重賦初值；

(2) 將輸入樣本中隨機選取輸入向量，找到與輸入向量距離最小的權重向量；

(3) 定義獲勝單元，在獲勝單元的鄰近區域調整權重使其向輸入向量靠攏；

(4) 提供新樣本、進行訓練；

(5) 收縮鄰域半徑、減小學習率、重複，直到小於允許值，輸出聚類結果。