K均值算法（K-means）聚類

【關鍵詞】K個種子，均值

一、K-means算法原理

聚類的概念：一種無監督的學習，事先不知道類別，自動將相似的對象歸到同一個簇中。

K-Means算法是一種聚類分析（cluster analysis）的算法，其主要是來計算數據聚集的算法，主要通過不斷地取離種子點最近均值的算法。

K-Means算法主要解決的問題如下圖所示。我們可以看到，在圖的左邊有一些點，我們用肉眼可以看出來有四個點羣，但是我們怎麼通過計算機程序找出這幾個點羣來呢？於是就出現了我們的K-Means算法

這個算法其實很簡單，如下圖所示：

從上圖中，我們可以看到，A，B，C，D，E是五個在圖中點。而灰色的點是我們的種子點，也就是我們用來找點羣的點。有兩個種子點，所以K=2。

然後，K-Means的算法如下：

隨機在圖中取K（這裏K=2）個種子點。
然後對圖中的所有點求到這K個種子點的距離，假如點Pi離種子點Si最近，那麼Pi屬於Si點羣。（上圖中，我們可以看到A，B屬於上面的種子點，C，D，E屬於下面中部的種子點）
接下來，我們要移動種子點到屬於他的“點羣”的中心。（見圖上的第三步）
然後重複第2）和第3）步，直到，種子點沒有移動（我們可以看到圖中的第四步上面的種子點聚合了A，B，C，下面的種子點聚合了D，E）。

這個算法很簡單，重點說一下“求點羣中心的算法”：歐氏距離（Euclidean Distance）：差的平方和的平方根

K-Means主要最重大的缺陷——都和初始值有關：

K是事先給定的，這個K值的選定是非常難以估計的。很多時候，事先並不知道給定的數據集應該分成多少個類別才最合適。（ISODATA算法通過類的自動合併和分裂，得到較爲合理的類型數目K）

K-Means算法需要用初始隨機種子點來搞，這個隨機種子點太重要，不同的隨機種子點會有得到完全不同的結果。（K-Means++算法可以用來解決這個問題，其可以有效地選擇初始點）

總結：K-Means算法步驟：

從數據中選擇k個對象作爲初始聚類中心;
計算每個聚類對象到聚類中心的距離來劃分；
再次計算每個聚類中心
計算標準測度函數，直到達到最大迭代次數，則停止，否則，繼續操作。
確定最優的聚類中心

K-Means算法應用

看到這裏，你會說，K-Means算法看來很簡單，而且好像就是在玩座標點，沒什麼真實用處。而且，這個算法缺陷很多，還不如人工呢。是的，前面的例子只是玩二維座標點，的確沒什麼意思。但是你想一下下面的幾個問題：

1）如果不是二維的，是多維的，如5維的，那麼，就只能用計算機來計算了。

2）二維座標點的X，Y 座標，其實是一種向量，是一種數學抽象。現實世界中很多屬性是可以抽象成向量的，比如，我們的年齡，我們的喜好，我們的商品，等等，能抽象成向量的目的就是可以讓計算機知道某兩個屬性間的距離。如：我們認爲，18歲的人離24歲的人的距離要比離12歲的距離要近，鞋子這個商品離衣服這個商品的距離要比電腦要近，等等。

二、實戰

重要參數：

n_clusters：聚類的個數

重要屬性：

clustercenters : [n_clusters, n_features]的數組，表示聚類中心點的座標
labels_ : 每個樣本點的標籤

1、聚類實例

導包，使用make_blobs生成隨機點cluster_std

from sklearn.cluster import KMeans

import numpy as np

import sklearn.datasets as datasets

import matplotlib.pyplot as plt
%matplotlib inline

數據集

X,y = datasets.make_blobs()
display(X.shape,y.shape)
Out:
(100, 2)
(100,)
plt.scatter(X[:,0],X[:,1],c = y)

建立模型,訓練數據，並進行數據預測，使用相同數據：

KMeans的原理較爲簡單：以某種相似性度量爲標準，確定樣本的結構，即樣本屬於哪一個簇取決於該樣本與哪一個簇的中心點最相似。

K-Means類主要參數 ：

1) n_clusters: 即k值，一般需要多試一些值以獲得較好的聚類效果。k值好壞的評估標準在下面會講。
2）max_iter：最大的迭代次數，一般如果是凸數據集的話可以不管這個值，如果數據集不是凸的，可能很難收斂，此時可以指定最大的迭代次數讓算法可以及時退出循環。
3）n_init：用不同的初始化質心運行算法的次數。由於K-Means是結果受初始值影響的局部最優的迭代算法，因此需要多跑幾次以選擇一個較好的聚類效果，默認是10，一般不需要改。如果你的k值較大，則可以適當增大這個值。
4）init：即初始值選擇的方式，可以爲完全隨機選擇’random’,優化過的’k-means++’或者自己指定初始化的k個質心。一般建議使用默認的’k-means++’。
5）algorithm：有“auto”, “full” or “elkan”三種選擇。”full”就是我們傳統的K-Means算法， “elkan”是（機器學習(25)之K-Means聚類算法詳解）原理篇講的elkan K-Means算法。默認的”auto”則會根據數據值是否是稀疏的，來決定如何選擇”full”和“elkan”。一般數據是稠密的，那麼就是 “elkan”，否則就是”full”。一般來說建議直接用默認的”auto”

'''KMeans(n_clusters=8, init='k-means++', n_init=10, max_iter=300, tol=0.0001, 
precompute_distances='auto', verbose=0, random_state=None, copy_x=True, n_jobs=1, 
algorithm='auto') '''
kmeans = KMeans(n_clusters=3)

# 無監督學習
kmeans.fit(X)
Out：
KMeans(algorithm='auto', copy_x=True, init='k-means++', max_iter=300,
    n_clusters=3, n_init=10, n_jobs=1, precompute_distances='auto',
    random_state=None, tol=0.0001, verbose=0)

y_ = kmeans.predict(X)
y_
Out:
array([2, 1, 1, 2, 0, 2, 0, 2, 2, 1, 1, 0, 2, 1, 1, 0, 0, 2, 0, 2, 0, 0,
       0, 1, 2, 0, 0, 2, 2, 0, 1, 0, 0, 0, 1, 2, 0, 0, 2, 2, 1, 1, 0, 1,
       2, 0, 1, 1, 1, 1, 0, 0, 2, 1, 2, 2, 0, 1, 0, 2, 1, 2, 1, 0, 0, 1,
       2, 1, 2, 1, 1, 2, 0, 1, 0, 0, 2, 1, 0, 0, 2, 0, 1, 1, 2, 2, 1, 1,
       1, 2, 2, 2, 1, 2, 0, 0, 2, 1, 0, 2])

無監督的情況下進行計算，預測現在機器學習沒有目標

繪製圖形，顯示聚類結果kmeans.cluster_centers

2、實戰，三問中國足球幾多愁？

導包

import pandas as pd

數據集

X = pd.read_csv('../data/AsiaZoo.txt',header=None)
X

導包，3D圖像需導包：from mpl_toolkits.mplot3d import Axes3D
讀取數據

列名修改爲："國家","2006世界盃","2010世界盃","2007亞洲盃"

X.columns = ["國家","2006世界盃","2010世界盃","2007亞洲盃"]
X

使用K-Means進行數據處理，對亞洲球隊進行分組，分三組

kmeans = KMeans(3)

kmeans.fit(X.iloc[:,1:])
Out：
KMeans(algorithm='auto', copy_x=True, init='k-means++', max_iter=300,
    n_clusters=3, n_init=10, n_jobs=1, precompute_distances='auto',
    random_state=None, tol=0.0001, verbose=0)

y_ = kmeans.predict(X.iloc[:,1:])
y_
Out：
array([0, 1, 1, 2, 2, 0, 0, 0, 2, 0, 0, 0, 2, 2, 0])

X['國家']
Out：
0         中國
1         日本
2         韓國
3         伊朗
4         沙特
5        伊拉克
6        卡塔爾
7        阿聯酋
8     烏茲別克斯坦
9         泰國
10        越南
11        阿曼
12        巴林
13        朝鮮
14        印尼
Name: 國家, dtype: object

for循環打印輸出分組後的球隊，argwhere()

np.argwhere(y_ == 1)
Out：
array([[1],
       [2]], dtype=int64)


for i in range(3):
    index = np.argwhere(y_ == i).reshape(-1)
    
    print(X['國家'][index].values)
    print('---------------------------------------------')
['中國' '伊拉克' '卡塔爾' '阿聯酋' '泰國' '越南' '阿曼' '印尼']
---------------------------------------------
['日本' '韓國']
---------------------------------------------
['伊朗' '沙特' '烏茲別克斯坦' '巴林' '朝鮮']
---------------------------------------------

繪製三維立體圖形,ax = plt.subplot(projection = '3d')
ax.scatter3D()

略……

3、聚類實踐與常見錯誤

第一種錯誤：k值不合適，make_blobs默認中心點三個

第二種錯誤：數據偏差
trans = [[0.6,-0.6],[-0.4,0.8]]
X2 = np.dot(X,trans)

trans = [[0.6,-0.6],[-0.4,0.8]]
X2 = np.dot(X,trans)
X2.shape
Out：(100, 2)

# y.shape=(100,)
plt.scatter(X2[:,0],X2[:,1],c = y)

kmeans = KMeans(3)
kmeans.fit(X2)
y_ = kmeans.predict(X2)
plt.scatter(X2[:,0],X2[:,1],c = y_)

X2 = X點乘trans
X2點乘trans逆矩陣

X3 = np.dot(X2,np.linalg.inv(trans))

plt.scatter(X3[:,0],X3[:,1],c = y)

第三個錯誤:標準偏差不相同cluster_std

X,y = datasets.make_blobs(cluster_std=[1.0,1.0,8])
plt.scatter(X[:,0],X[:,1],c = y)

kmeans = KMeans(3)
kmeans.fit(X)
y_ = kmeans.predict(X)
plt.scatter(X[:,0],X[:,1],c = y_)

第四個錯誤：樣本數量不同

X,y = datasets.make_blobs(n_samples=300,cluster_std=3)
plt.scatter(X[:,0],X[:,1],c = y)

index_0 = np.argwhere(y == 0).reshape(-1)
index_0
Out：
array([  4,   5,   9,  11,  12,  13,  16,  18,  20,  22,  23,  24,  25,
        29,  33,  34,  40,  41,  44,  48,  52,  55,  58,  63,  65,  67,
        68,  72,  73,  74,  75,  79,  80,  85,  87,  88,  94, 102, 105,
       113, 118, 130, 134, 136, 138, 140, 143, 150, 151, 152, 154, 166,
       171, 173, 175, 176, 178, 179, 180, 185, 192, 201, 203, 206, 207,
       208, 212, 213, 215, 219, 222, 225, 226, 230, 231, 233, 234, 236,
       237, 244, 248, 250, 251, 254, 257, 261, 262, 264, 265, 270, 277,
       279, 280, 283, 286, 287, 289, 297, 298, 299], dtype=int64)

index_1 = np.argwhere(y == 1).reshape(-1)[:20]
index_1
Out：
array([ 0,  1,  7, 10, 15, 27, 28, 36, 38, 42, 45, 47, 54, 61, 62, 78, 82,
       83, 86, 89], dtype=int64)

index_2 = np.argwhere(y ==2).reshape(-1)[:10]
index_2
Out：
array([ 2,  3,  6,  8, 14, 17, 19, 21, 26, 30], dtype=int64)

index = np.concatenate([index_0,index_1,index_2])

X = X[index]
y = y[index]

plt.scatter(X[:,0],X[:,1],c = y)

kmeans = KMeans(3)
kmeans.fit(X)
y_ = kmeans.predict(X)
plt.scatter(X[:,0],X[:,1],c = y_)

4、K-Means圖片顏色點分類

導包from sklearn.metrics import pairwise_distances_argmin

from scipy import ndimage

壓縮：ndimage.zoom

# ndimage.zoom(input, zoom, output=None, order=3, mode='constant', cval=0.0, prefilter=True)
china_new2 = ndimage.zoom(china_new,zoom = [427/1500,640/1500,1])
plt.imshow(china_new2)

2、圖片壓縮

使用聚類壓縮圖片

img = plt.imread('../data/bird_small.png') img_shape = img.shape img_shape

bird = plt.imread('../data/bird_small.png')
bird.shape
Out：(128,128,3)
'''128*128=16384'''

bird.reshape(-1,3) 
Out：
array([[0.85882354, 0.7058824 , 0.40392157],
       [0.9019608 , 0.7254902 , 0.45490196],
       [0.8862745 , 0.7294118 , 0.43137255],
       ...,
       [0.25490198, 0.16862746, 0.15294118],
       [0.22745098, 0.14509805, 0.14901961],
       [0.20392157, 0.15294118, 0.13333334]], dtype=float32)

plt.imshow(bird)

from pandas import Series,DataFrame

df = DataFrame(bird.reshape(-1,3))
df
'''df[0].shape =(16384,) '''


df.drop_duplicates().shape
Out :
(13930, 3)
'''16384個像素值，包含13930個不同的顏色'''

kmeans

kmeans = KMeans(n_clusters=4)

# 16384顏色
kmeans.fit(bird.reshape(-1,3))
Out:
KMeans(algorithm='auto', copy_x=True, init='k-means++', max_iter=300,
    n_clusters=4, n_init=10, n_jobs=1, precompute_distances='auto',
    random_state=None, tol=0.0001, verbose=0)

預測

y_ = kmeans.predict(bird.reshape(-1,3))
y_
Out：
array([0, 0, 0, ..., 1, 1, 1])

y_.shape
Out：(16384,)

y_.max()
Out： 3

聚類中心點代表着顏色

# 聚類中心點代表着顏色
cluster_centers_ = kmeans.cluster_centers_
cluster_centers_
Out：
array([[0.7932539 , 0.63968104, 0.42075178],
       [0.12838763, 0.13014919, 0.12066123],
       [0.48904994, 0.40076178, 0.3222613 ],
       [0.9130492 , 0.86011744, 0.74095654]], dtype=float32)

cluster_centers_[0]
Out：array([0.7932539 , 0.63968104, 0.42075178], dtype=float32)

cluster_centers_[[0,1,2,1,0]]
Out：
array([[0.7932539 , 0.63968104, 0.42075178],
       [0.12838763, 0.13014919, 0.12066123],
       [0.48904994, 0.40076178, 0.3222613 ],
       [0.12838763, 0.13014919, 0.12066123],
       [0.7932539 , 0.63968104, 0.42075178]], dtype=float32)

Series(y_).unique()
Out :
array([3, 0, 2, 1], dtype=int64)

bird_new = cluster_centers_[y_]
bird_new.shape
Out:
(16384, 3)

plt.imshow(bird_new.reshape(128,128,3))

K-means[np.argwhere/圖片壓縮/kmeans.cluster_centers_]

K均值算法（K-means）聚類

【關鍵詞】K個種子，均值

一、K-means算法原理

聚類的概念：一種無監督的學習，事先不知道類別，自動將相似的對象歸到同一個簇中。

K-Means主要最重大的缺陷——都和初始值有關：

總結：K-Means算法步驟：

K-Means算法應用

二、實戰

1、聚類實例

2、實戰，三問中國足球幾多愁？

3、聚類實踐與常見錯誤

4、K-Means圖片顏色點分類

2、圖片壓縮

MySQL 核心模塊揭祕 | 18 期 | 鎖在內存里長什麼樣*

使用perf工具生成火焰圖

HttpSecurity 是如何組裝過濾器鏈的

數說海南——近6年海南各市縣人口簡單看

長序列中Transformers的高級注意力機制總結

大齡程序員思考

響應式界面控件DevExtreme * 更強的數據分析和可視化功能

Linux環境MySQL安裝命令

Linux環境Python源碼安裝命令

python多重規則多條件字典排序

決策樹[sklearn.tree/DecisionTreeClassifier/scatter/np.meshgrid/np.concatenate/Kfold/Cross-validation]

Pandas組間組內分類排序抽樣/rank/groupby/apply/sample/sort_values多種組合隨機抽數據

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結

K-means[np.argwhere/圖片壓縮/kmeans.cluster_centers_]

K均值算法（K-means）聚類

【關鍵詞】K個種子，均值

一、K-means算法原理

聚類的概念：一種無監督的學習，事先不知道類別，自動將相似的對象歸到同一個簇中。

K-Means主要最重大的缺陷——都和初始值有關：

總結：K-Means算法步驟：

K-Means算法應用

二、實戰

1、聚類實例

2、 實戰，三問中國足球幾多愁？

3、聚類實踐與常見錯誤

4、K-Means圖片顏色點分類

2、圖片壓縮

2、實戰，三問中國足球幾多愁？