聚類篇——（二）K-means聚類

上一篇博文介紹了什麼是聚類分析以及其應用場景，本篇博文詳細介紹常用聚類算法之一K-means聚類，將從以下幾個方面展開介紹：

• K-means聚類基本思想及其優缺點，初步瞭解K-means聚類；
• K-means聚類邏輯計算過程，瞭解其內部實現邏輯；
• K-means聚類初始中心點選擇的合理性，會直接影響聚類收斂和效果，詳細介紹最大距離法、最大最小距離法、Huffman樹三種確定初始中心點的方法；
• K-means聚類應用示例。

1. K-means聚類概述

K-means聚類也稱快速聚類，屬於覆蓋型數值劃分聚類算法。它得到的聚類結果，每個樣本點都唯一屬於一個類，而且聚類變量爲數值型，並採用劃分原理進行聚類。K-means聚類涉及兩個主要方面的問題：第一，如何測度樣本的“親疏程度”；第二，如何進行聚類。
K-means聚類的基本思想：參數K用以決定結果中簇的數目，算法開始時，要在數據集中隨機選擇K個數據對象用來當做K個簇的初始中心，而將剩下的各個數據對象根據他們和每個聚類簇心的距離選擇簇心最近的簇分配到其中。然後重新計算各個聚類簇中的所有數據對象的平均值，並將得到的結果作爲新的簇心；逐步重複上述過程直至目標函數收斂爲止。

K-means聚類算法的優缺點

• 優點：K均值算法伸縮性良好，且針對大型數據集效率高。
• 缺點：(1)初始聚類中心選擇的好與壞將會對聚類結果的質量產生很大影響；(2)算法很容易陷入局部最優解，有時會產生較差的結果；(3)算法開始時要求用戶給出聚類簇的個數K，而對於K值的選擇還沒有很好的準則可循；(4)對噪聲敏感；(5)只能在可以定義聚類的平均值的條件下才可以應用，即適合處理數值屬性的數據； (6)採用歐式距離來測量樣本間的親疏程度，沒有考慮變量間的相關性，因此算法對變量間的相關性極度敏感，在聚類分析前需要對變量進行相關性分析。

2. K-means聚類邏輯計算過程

第一步，指定聚類數目K。
在K-means聚類中，應首先給出需聚成多少類。聚類數目的確定本身並不簡單，既要考慮最終的聚類效果，也要根據研究問題的實際需要。聚類數目太大或太小都將失去聚類的意義。

第二步，確定K個初始類中心。
類中心是各類特徵的典型代表，指定聚類數目K後，還應指定K個類的初始類中心點。初始類中心點指定的合理性，將直接影響聚類收斂的速度。常用的初始類中心點的指定方法爲經驗選擇法、隨機選擇法、最大最小法、最大距離法、Huffman樹法（後面詳細介紹）。

第三步，根據最近原則進行聚類。
依次計算每個數據點到K個類中心點的歐式距離，並按照距K箇中心點距離最近的原則，將所有樣本劃分到最近的類中，形成K個類。其中歐式距離爲

第四步，重新確定K個類中心。
中心點的確定原則是，依次計算各類中所有數據點變量的均值，並以均值點作爲K個類中心，其計算公式爲

第五步，聚類終止。
判斷是否已經滿足終止聚類的條件，如果沒有滿足則返回到第三步，不斷反覆上述過程，直到滿足迭代終止條件。聚類終止的條件：

1. 迭代次數。當目前迭代次數等於指定的迭代次數時終止聚類；
2. 目標函數收斂。其中目標函數爲
   
   即各樣本到其所在類中心點的離差平方和小於某個指定值，即目標函數收斂，聚類終止。

3. K-means聚類初始中心點確定方法

由於K-均值算法初始中心點選取的隨機性，可能出現選取的聚類種子過於鄰近的情況，而導致聚類結果效果不好，也易陷入局部極小點。即初始類中心點指定的合理性，將直接影響聚類收斂的速度和效果。下面詳細介紹確定初始聚類中心點的三種方法：最大距離法、最大最小法、Huffman樹法。

（i）最大距離法

最大距離法是模式識別領域中一種基於試探的算法，思想是取儘可能離得遠的對象作爲聚類中心，提高了劃分初始數據集的效率。最大距離法具體步驟爲：
設$n$個數據對象，其中每個數據對象爲$d$維，將$n$個數據對象聚成$k$類。
（1）有n 個樣本$S_n={x_1,x_2,⋯,x_n }$ ，計算每兩點間的歐式距離，選取距離最大的兩點$p,q$， ${{d}_{pq}}=\max \left\{ {{d}_{ij}},i,j\in 1,2,\cdots ,n \right\}$，記$x_{1}^{*}=p,x_{2}^{*}=q,d_{1}^{*}={{d}_{pq}}$ ；

（2）將數據$S_n$中剩餘的 $n-2$個樣本，以$x_{1}^{*}$ 和 $x_{2}^{*}$ 爲中心進行聚類，若${{d}_{i1}}<{{d}_{i2}},$$\forall i\in \left\{ 1,2,3,\cdots ,n/p,q \right\}$，則將${{x}_{i}}$歸於$x_{1}^{*}$，否則歸於$x_{2}^{*}$，這樣將${{S}_{n}}$以$x_{1}^{*}$和$x_{2}^{*}$爲中心分爲兩類；

（3）在已經聚成的$c$個類中找出每個類中離中心點最遠的點，這樣就得到$c$個點，在這$c$個點中每次取一個點，與已經得到的$c$個類的中心點組合成$c+1$個點，把${{S}_{n}}$聚成$c+1$個類，這樣我們得到了${{S}_{n}}$的$c$個不同劃分，並分別計算$c$個劃分的準則函數，準則函數最小的那個劃分爲最優劃分，並將形成最優劃分的那個點作爲第$c+1$箇中心點。
準則函數：$\sum\limits_{i=1}^{k}{\sum\limits_{x\in {{C}_{i}}}{dist{{\left( {{C}_{i}},{{x}_{i}} \right)}^{2}}}}$，對象到其簇質心的距離平方和；

（4）重複（3），直到找到$k$ 個聚類中心爲止。

下面結合具體實例來詳細說明最大距離算法來選取初始中心點的過程。
共有15個數據對象$\left( {{x}_{1}},{{x}_{2}},\cdots ,{{x}_{15}} \right)$，$\left\{ \left( 5,6 \right);\left( 6,6 \right);\left( 5,5 \right);\left( 2,4 \right);\left( 3,4 \right);\left( 2,3 \right);\left( 1,2 \right); \right.\left( 1,1 \right);$
$\left( 2,2 \right);\left( 5,1 \right);\left( 5,2 \right);\left( 6,3 \right);\left. \left( 6,2 \right);\left( 6,1 \right);\left( 6,0 \right) \right\}$，要將這15個點聚成3個類，具體步驟如下：

• 根據歐式距離求得$\left( {{x}_{1}},{{x}_{2}},\cdots ,{{x}_{15}} \right)$每兩點間的距離，找出距離最遠的兩點${{x}_{2}}\left( 6,6 \right)$，${{x}_{8}}\left( 1,1 \right)$，${{d}_{28}}=7.07$，令$x_{1}^{*}={{x}_{2}}$，$x_{2}^{*}={{x}_{8}}$；
  
• 以${{x}_{2}}$，${{x}_{8}}$爲聚類中心，依次比較${{x}_{1}},{{x}_{2}},{{x}_{3}},{{x}_{4}},{{x}_{5}},{{x}_{6}},{{x}_{7}},{{x}_{8}},{{x}_{9}},{{x}_{10}},{{x}_{11}},{{x}_{12}},{{x}_{13}},{{x}_{14}},{{x}_{15}}$到${{x}_{2}},{{x}_{8}}$的歐式距離${{d}_{i2}},{{d}_{i8}}$，若${{d}_{i2}}<{{d}_{i8}}$則歸爲$x_{1}^{*}$，否則歸爲$x_{2}^{*}$，最終將數據聚成兩類，$S_{21}^{*}=\left\{ {{x}_{1}},{{x}_{2}},{{x}_{3}},{{x}_{12}},{{x}_{11}},{{x}_{13}},{{x}_{14}} \right\}$，$S_{22}^{*}=\left\{ {{x}_{4}},{{x}_{5}},{{x}_{6}},{{x}_{7}},{{x}_{8}},{{x}_{9}},{{x}_{10}},{{x}_{15}} \right\}$；
• $S_{21}^{*}$中距離中心點${{x}_{2}}$最遠的點爲${{x}_{14}}$，$S_{22}^{*}$中離中心點${{x}_{8}}$最遠的點爲${{x}_{15}}$；
• 分別用$\left\{ {{x}_{2}},{{x}_{8}},{{x}_{14}} \right\}$和$\left\{ {{x}_{2}},{{x}_{8}},{{x}_{15}} \right\}$把15個對象聚成3類，並分別計算得到$\left\{ {{x}_{2}},{{x}_{8}},{{x}_{14}} \right\}$和$\left\{ {{x}_{2}},{{x}_{8}},{{x}_{15}} \right\}$聚類結果的準則函數值分別爲43和55， 可知以$\left\{ {{x}_{2}},{{x}_{8}},{{x}_{14}} \right\}$爲中心點得到的聚類結果更優。
  

（ii）最大最小距離法
最大最小距離算法的基本思想是取儘可能離得遠的對象作爲初始聚類中心，得到對數據集較好的初始劃分，目的是避免K-means聚類算法初值選取的聚類中心過於鄰近，多個聚類中心都被選擇在同一個類中。最大最小距離法的具體步驟爲：

設數據集爲$S=\left\{ {{X}_{1}},{{X}_{2}},{{X}_{3}},\cdots ,{{X}_{n}} \right\}$，初始聚類中心集爲$V=\left\{ {{V}_{1}},{{V}_{2}},\cdots ,{{V}_{m}} \right\}$，對象間的相異度是基於歐式距離度量的。
（1） 從數據集$S$中任意選取一個數據對象，將其作爲第一個聚類中心點${{v}_{1}}$，並將其放入$V$中；

（2） 計算${{v}_{1}}$和數據集$S$中剩餘的所有數據對象之間的距離，把距離最遠的數據對象放入$V$中，將其作爲第二個聚類中心點${{v}_{2}}$；

（3） 計算數據集$S$中剩餘的所有數據對象${{X}_{i}}$，分別計算到${{v}_{1}}$和${{v}_{2}}$的距離${{d}_{i1}}$和${{d}_{i2}}$，選擇其中較小的距離$min\left( {{d}_{i1}},{{d}_{i2}} \right)$，即找到剩餘每個對象到已有聚類中心最近的距離；

（4） 計算$min\left( {{d}_{i1}},{{d}_{i2}} \right)$的最大值，即$\max \left( min\left( {{d}_{i1}},{{d}_{i2}} \right) \right)$，與其對應的數據${{X}_{i}}$即爲第三個聚類中心${{v}_{3}}$；

（5） 假設已找到$r\left( r<k \right)$個聚類中心$\left\{ {{v}_{i}},i=1,2,\cdots ,r \right\}$，現在確定第$r+1$個聚類中心，$\max \left\{ \min \left( {{d}_{i1}},{{d}_{i2}},\cdots ,{{d}_{ir}} \right) \right\},i=1,2,\cdots ,N$所對應的數據${{X}_{i}}$即爲第$r+1$個聚類中心；

（6） 重複第（5）步，直到$r+1=k$爲止。
說明：（1）~（2）步可以用最大距離法中的第（1）步進行簡化，選取距離最遠的兩個對象。

下面給出一個具體實例來詳細說明最大距離算法的過程，
共有10個點$\left( {{x}_{1}},{{x}_{2}},\cdots ,{{x}_{10}} \right)$，具體步驟如下：

• 任選一個點作爲第一個聚類中心，${{v}_{1}}={{x}_{1}}$，座標爲$\left( 0,0 \right)$；
• 在剩餘點中計算到${{v}_{1}}$距離最大的點作爲第二個類的聚類中心，${{v}_{2}}={{x}_{5}}$；
• 計算剩餘點到${{v}_{1}}$、${{v}_{2}}$的最小距離；
  ${{x}_{2}}$：$\min \left( \left| {{x}_{2}}-{{v}_{1}} \right|,\left| {{x}_{2}}-{{v}_{2}} \right| \right)=\left| {{x}_{2}}-{{v}_{1}} \right|$
  ${{x}_{3}}$：$\min \left( \left| {{x}_{3}}-{{v}_{1}} \right|,\left| {{x}_{3}}-{{v}_{2}} \right| \right)=\left| {{x}_{3}}-{{v}_{1}} \right|$
  ${{x}_{4}}$：$\min \left( \left| {{x}_{4}}-{{v}_{1}} \right|,\left| {{x}_{4}}-{{v}_{2}} \right| \right)=\left| {{x}_{4}}-{{v}_{2}} \right|$
  ${{x}_{6}}$：$\min \left( \left| {{x}_{6}}-{{v}_{1}} \right|,\left| {{x}_{6}}-{{v}_{2}} \right| \right)=\left| {{x}_{6}}-{{v}_{2}} \right|$
  ${{x}_{7}}$：$\min \left( \left| {{x}_{7}}-{{v}_{1}} \right|,\left| {{x}_{7}}-{{v}_{2}} \right| \right)=\left| {{x}_{7}}-{{v}_{2}} \right|$
  ${{x}_{8}}$：$\min \left( \left| {{x}_{8}}-{{v}_{1}} \right|,\left| {{x}_{8}}-{{v}_{2}} \right| \right)=\left| {{x}_{8}}-{{v}_{2}} \right|$
  ${{x}_{9}}$：$\min \left( \left| {{x}_{9}}-{{v}_{1}} \right|,\left| {{x}_{9}}-{{v}_{2}} \right| \right)=\left| {{x}_{9}}-{{v}_{2}} \right|$
  ${{x}_{10}}$：$\min \left( \left| {{x}_{10}}-{{v}_{1}} \right|,\left| {{x}_{10}}-{{v}_{2}} \right| \right)=\left| {{x}_{10}}-{{v}_{2}} \right|$
• 計算
  $\max \left( \left| {{x}_{2}}-{{v}_{1}} \right|,\left| {{x}_{3}}-{{v}_{1}} \right|,\left| {{x}_{4}}-{{v}_{2}} \right|,\left| {{x}_{6}}-{{v}_{2}} \right|,\left| {{x}_{7}}-{{v}_{2}} \right|,\left| {{x}_{8}}-{{v}_{2}} \right|,\left| {{x}_{9}}-{{v}_{2}} \right|,\left| {{x}_{10}}-{{v}_{2}} \right| \right) =\left| {{x}_{9}}-{{v}_{2}} \right|$
  因此，第三個初始聚類中心的候選對象爲${{x}_{9}}$，座標$\left( 6,3 \right)$；
  

（iii）Huffman樹
Huffman樹簡單的說就是帶權路徑長度之和最小的二叉樹也稱最優二叉樹。給定n個數據點的權值，構造Huffman樹的算法描述如下：
（1） 根據n個給定的權值$\left\{ {{w}_{1}},{{w}_{2}},\cdots ,{{w}_{n}} \right\}$，構成n棵二叉樹的集合$F=\left\{ {{T}_{1}},{{T}_{2}},\cdots ,{{T}_{n}} \right\}$，每棵二叉樹${{T}_{i}}$只有根節點；

（2） 在$F$中選兩棵根節點權值最小的樹作爲左右子樹，構造一棵二叉樹，新的二叉樹根節點的權值等於其左右子樹根節點權值之和；

（3） 在$F$中刪除這兩棵子樹，同時將新得到的二叉樹加入$F$中；

（4） 重複（2）和（3），直到$F$中只剩一棵樹爲止。

基於Huffman樹思想確實K-均值聚類的初始聚類中心具體步驟如下：
（1） 根據Huffman樹的思想，採用歐式距離計算各數據點之間的相異度，對於構造樹時，採用左右結點的算術平均值作爲新的二叉樹根結點的值（也可以採用左右子樹根節點權值之和作爲新的二叉樹根結點）；

（2） 對於構造出來的Huffman樹，按構造結點的逆序找到$k-1$個結點，根據圖論理論剋制，去掉這$k-1$個結點可將該樹分爲$k$個子樹，這$k$個子樹的平均值即初始的$k$個聚類中心。

下面舉例說明構造樹並得到初始中心的過程。假設有一組一維數據集$\left( {{x}_{1}},{{x}_{2}},\cdots ,{{x}_{6}} \right)$，它們對應的權值爲$\left( 12,34,56,78,8,98 \right)$，需要將這六個點聚成3類，具體過程如下：

• 首先根據歐式距離計算6個對象之間的相異度，得到相異度矩陣；
• 找到矩陣中最小值即4，也就是數據點${{x}_{1}}\left( 12 \right),{{x}_{5}}\left( 8 \right)$的相異度，計算這兩個點的算術平均值爲${{x}_{11}}=\frac{{{x}_{1}}+{{x}_{5}}}{2}=10$，並作爲${{x}_{1}},{{x}_{5}}$的中間節點加入樹。在數據集中刪掉${{x}_{1}},{{x}_{5}}$，並將${{x}_{11}}$加入到數據集得到新的數據集$\left( {{x}_{11}},{{x}_{2}},{{x}_{3}},{{x}_{4}},{{x}_{6}} \right)$對應的權值爲$\left( 10,34,56,78,98 \right)$，計算它們的相異度矩陣；
  
• 重複第（2）步直到數據集中只剩下一個對象，剩下的迭代過程相異度矩陣變化如下。
  
• 將數據集聚成3類，即$k=3$在已構造的樹中按節點構造的逆序找出$k-1$個點，即57.75和27.5，去掉這兩點即可將構造樹分爲3個子樹$\left( {{x}_{1}},{{x}_{5}} \right)\left( {{x}_{2}},{{x}_{3}} \right)\left( {{x}_{4}},{{x}_{6}} \right)$對應樹中$\left( 8,12 \right)\left( 34,56 \right)\left( 78,98 \right)$。三個子樹的平均值10,45,88即爲3個簇的初始中心點。
  

4. K-means聚類應用示例

爲研究不同地區的經濟發展特點，根據各地區GDP、GDP指數、人均GDP指標數據，將北京市、天津市、江蘇省等10個地區按照其經濟水平分成3類。

• 對數據進行標準化，消除因指標量綱不同對聚類結果的影響。採用正向極差化法，公式如下：
  
  
• 採用歐式距離，計算樣本間親疏程度；
  兩個樣本之間的歐氏距離是樣本各個變量值之差的平方和的平方根，計算公式爲
  
  其中樣本$x=(x_1,x_2,...,x_n)，y=(y_1,y_2,...,y_n)$ 。使用前一般需要將數據標準化，距離越大，差異度越大。
• 分別運用最大距離法、HUFFMAN樹、最大最小距離法確定初始聚類中心；不同的方法得到的初始聚類中心不同。
  
• 運用SPSS，將上述初始聚類中心依次導入，分別進行聚類；
  

初始聚類中心的選擇會對聚類結果產生一定影響。運用最大距離法、最大最小距離法確定初始聚類中心雖然不同，但是最終的聚類結果卻是一樣的；運用HUFFMAN樹得到的初始聚類中心與其他兩種方法不同，最終的聚類結果也有所差異。

總結
K-Means是聚類算法中最常用的一種，算法最大的特點是簡單，好理解，運算速度快。但是，只能應用於連續型的數據；並且初始聚類中心選擇的好與壞將會對聚類結果的質量產生很大影響；另外，對於聚類數K值的選擇還沒有很好的準則可循。所以，在實際應用中，要多次調整聚類數K值、初始聚類中心點等參數，結合自己的業務知識選擇一個較優的結果。

ps：初衷是通過撰寫博文記錄自己所學所用，實現知識的梳理與積累；將其分享，希望能夠幫到面臨同樣困惑的小夥伴兒。如發現博文中存在問題，歡迎隨時交流~~