機器學習（十七）——密度聚類

1. 層次聚類

分離的層次聚類：分裂，求相似性，相似性達到了，停止，沒有達到則繼續分裂…
樣本中有層次的包含關係（如省，市，縣）適合用層次聚類，如果用層次聚類，人們一般用凝聚的層次聚類

如上圖，d，e被聚在一個縣裏（de），c也是一個縣，這兩個縣被聚在一個市（cde），而a，b這兩個縣被聚在另一個市（ab），這兩個市又被聚在一個省裏（abcde）

2. 密度聚類

像上圖中有形狀的樣本用k-Means就不太好，k-Means是會畫一個圈進行聚類

而密度聚類，把捱得密的聚在一起

2.1 密度聚類的計算方法

密度聚類典型的算法是DBSCAN：

上圖中，閾值爲5的意思就是圈內有5個點
q內有7個點，p內有3個，所以q就是核心對象
所以閾值是用來確定核心對象的，只有核心對象纔有資格取圈別的點
如果不是核心對象，那麼它的圈就不是了，

總結：密度聚類就是有幾個核心對象（圈），根據密度可達規則去圈別的點，直到最後沒有更多點加進來，則掃描結束。核心對象圈出來的點就是和核心對象是一個類別的，沒有被密度可達的點並且也不是核心對象的話，這個點就是噪聲點了。

所以密度聚類可能會使有些點沒有類別

2.2 代碼實現DBSCAN

# !/usr/bin/python
# -*- coding:utf-8 -*-

import numpy as np
import matplotlib.pyplot as plt
import sklearn.datasets as ds
import matplotlib.colors
from sklearn.cluster import DBSCAN
from sklearn.preprocessing import StandardScaler


def expand(a, b):
    d = (b - a) * 0.1
    return a-d, b+d


if __name__ == "__main__":
    N = 1000
    centers = [[1, 2], [-1, -1], [1, -1], [-1, 1]]
    # 根據上面4箇中心點生成100個樣本， cluster_std是方差
    data, y = ds.make_blobs(N, n_features=2, centers=centers, cluster_std=[0.5, 0.25, 0.7, 0.5], random_state=0)
    # 標準歸一化：先均值歸一化後方差歸一化
    data = StandardScaler().fit_transform(data)
    # 數據的參數：(epsilon, min_sample) 半徑和閾值
    params = ((0.2, 5), (0.2, 10), (0.2, 15), (0.3, 5), (0.3, 10), (0.3, 15))

    matplotlib.rcParams['font.sans-serif'] = [u'SimHei']
    matplotlib.rcParams['axes.unicode_minus'] = False

    plt.figure(figsize=(12, 8), facecolor='w')
    plt.suptitle(u'DBSCAN聚類', fontsize=20)

    # 對比6組超參數
    for i in range(6):
        eps, min_samples = params[i]
        model = DBSCAN(eps=eps, min_samples=min_samples)
        model.fit(data)
        y_hat = model.labels_

        core_indices = np.zeros_like(y_hat, dtype=bool)
        core_indices[model.core_sample_indices_] = True

        y_unique = np.unique(y_hat)
        n_clusters = y_unique.size - (1 if -1 in y_hat else 0)
        print(y_unique, '聚類簇的個數爲：', n_clusters)

        plt.subplot(2, 3, i+1)
        clrs = plt.cm.Spectral(np.linspace(0, 0.8, y_unique.size))
        print(clrs)
        for k, clr in zip(y_unique, clrs):
            cur = (y_hat == k)
            if k == -1:
                plt.scatter(data[cur, 0], data[cur, 1], s=20, c='k')
                continue
            plt.scatter(data[cur, 0], data[cur, 1], s=30, c=clr, edgecolors='k')
            plt.scatter(data[cur & core_indices][:, 0], data[cur & core_indices][:, 1], s=60, c=clr, marker='o', edgecolors='k')
        x1_min, x2_min = np.min(data, axis=0)
        x1_max, x2_max = np.max(data, axis=0)
        x1_min, x1_max = expand(x1_min, x1_max)
        x2_min, x2_max = expand(x2_min, x2_max)
        plt.xlim((x1_min, x1_max))
        plt.ylim((x2_min, x2_max))
        plt.grid(True)
        plt.title(u'epsilon = %.1f  m = %d，聚類數目：%d' % (eps, min_samples, n_clusters), fontsize=16)
    plt.tight_layout()
    plt.subplots_adjust(top=0.9)
    plt.show()

運行結果：黑色點是噪聲