我們之前接觸的所有機器學習算法都有一個共同特點，那就是分類器會接受2個向量：一個是訓練樣本的特徵向量X，一個是樣本實際所屬的類型向量Y。由於訓練數據必須指定其真實分類結果，因此這種機器學習統稱爲有監督學習。
然而有時候，我們只有訓練樣本的特徵，而對其類型一無所知。這種情況，我們只能讓算法嘗試在訓練數據中尋找其內部的結構，試圖將其類別挖掘出來。這種方式叫做無監督學習。由於這種方式通常是將樣本中相似的樣本聚集在一起，所以又叫聚類算法。
下面我們介紹一個最常用的聚類算法：K均值聚類算法（K-Means）。
1、K均值聚類
K-Means算法思想簡單，效果卻很好，是最有名的聚類算法。聚類算法的步驟如下：
1：初始化K個樣本作爲初始聚類中心；
2：計算每個樣本點到K箇中心的距離，選擇最近的中心作爲其分類，直到所有樣本點分類完畢；
3：分別計算K個類中所有樣本的質心，作爲新的中心點，完成一輪迭代。
通常的迭代結束條件爲新的質心與之前的質心偏移值小於一個給定閾值。
下面給一個簡單的例子來加深理解。如下圖有4個樣本點，座標分別爲A(-1,-1),B(1,-1),C(-1,1),D(1,1)。現在要將他們聚成2類，指定A、B作爲初始聚類中心（聚類中心A0, B0），指定閾值0.1。K-Means迭代過程如下：
step 1.1：計算各樣本距離聚類中心的距離：
樣本A：d(A,A0) = 0; d(A,B0) = 2;因此樣本A屬於A0所在類；
樣本B：d(B,A0) = 2; d(B,B0) = 0;因此樣本B屬於B0所在類；
樣本C：d(C,A0) = 2; d(C,B0) = 2.8;;因此樣本C屬於A0所在類；
樣本C：d(D,A0) = 2.8; d(D,B0) = 2;;因此樣本C屬於B0所在類；
step 1.2：全部樣本分類完畢，現在計算A0類（包含樣本AC）和B0類（包含樣本BD）的新的聚類中心：
A1 = (-1, 0); B1 = (1,0);
step 1.3：計算聚類中心的偏移值是否滿足終止條件：
|A1-A0| = |(-1,0)-(-1,-1) | = |(0,1)| = 1 >0.1，因此繼續迭代。
此時的狀態如下圖所示：
step 2.1：計算各樣本距離聚類中心的距離：
樣本A：d(A,A1) = 1; d(A,B1) = 2.2;因此樣本A屬於A1所在類；
樣本B：d(B,A1) = 2.2; d(B,B1) = 1;因此樣本B屬於B1所在類；
樣本C：d(C,A1) = 1; d(C,B1) = 2.2;;因此樣本C屬於A1所在類；
樣本D：d(D,A1) = 2.2; d(D,B1) = 1;;因此樣本C屬於B1所在類；
step 2.2：全部樣本分類完畢，現在計算A1類（包含樣本AC）和B1類（包含樣本BD）的新的聚類中心：
A2 = (-1, 0); B2 = (1,0);
step 2.3：計算聚類中心的偏移值是否滿足終止條件：
|A2-A1| = |B2-B1| = 0 <0.1，因此迭代終止。
2、測試數據
下面這個測試數據有點類似SNS中的好友關係，假設是10個來自2個不同的圈子的同學的SNS聊天記錄。顯然，同一個圈子內的同學會有更密切的關係和互動。
數據如下所示，每一行代表一個好友關係。如第一行表示同學0與同學1的親密程度爲9（越高表示聯繫越密切）。
顯然，這個數據中並沒有告知我們這10個同學分別屬於哪個圈子。因此我們的目標是使用K-Means聚類算法，將他們聚成2類。
- 0 1 9
- 0 2 5
- 0 3 6
- 0 4 3
- 1 2 8
- ......
這是個上三角矩陣，因爲這個數據中認爲好友關係是對稱的。上圖其實很快能發現，0,1,2,3,4用戶緊密聯繫在一起，而5,6,7,8,9組成了另外一個圈子。
下面我們看看K-Means算法能否找出這個答案。
3、代碼與分析
K-Means算法的Python代碼如下：
- # -*- coding: utf-8 -*-
- from matplotlib import pyplot
- import scipy as sp
- import numpy as np
- from sklearn import svm
- import matplotlib.pyplot as plt
- from sklearn.cluster import KMeans
- from scipy import sparse
- #數據讀入
- data = np.loadtxt('2.txt')
- x_p = data[:, :2] # 取前2列
- y_p = data[:, 2] # 取前2列
- x = (sparse.csc_matrix((data[:,2], x_p.T)).astype(float))[:, :].todense()
- nUser = x.shape[0]
- #可視化矩陣
- pyplot.imshow(x, interpolation='nearest')
- pyplot.xlabel('用戶')
- pyplot.ylabel('用戶')
- pyplot.xticks(range(nUser))
- pyplot.yticks(range(nUser))
- pyplot.show()
- #使用默認的K-Means算法
- num_clusters = 2
- clf = KMeans(n_clusters=num_clusters, n_init=1, verbose=1)
- clf.fit(x)
- print(clf.labels_)
- #指定用戶0與用戶5作爲初始化聚類中心
- init = np.vstack([ x[0], x[5] ])
- clf = KMeans(n_clusters=2, init=init)
- clf.fit(x)
- print(clf.labels_)
Initialization complete
Iteration 0, inertia 581.000
Iteration 1, inertia 417.643
Converged at iteration 1
[0 0 1 1 1 1 1 1 1]
[0 0 0 0 1 1 1 1 1]
可以看到，使用默認的K-Means算法將使用隨機的初始值，因此每次執行的結果都不一樣。
上面的輸出中將0,1用戶聚類到一起，效果並不理想。然而，如果我們可以確定用戶0與用戶5是有很大區別的，就可以指定用戶0和用戶5作爲K-Means聚類算法的初始值。可以看到和我們的預期完全一致，這樣效果就非常好了。
由於K-Means畢竟是無監督學習，在很多情況下自然無法與有監督學習的算法進行同樣標準的比較。但其不需要監督的特性，廣泛應用與社交圖譜（如本例）、相似性匹配（如搜索相似的新聞、帖子）等引用場景。