数据分析与挖掘（十五）------挖掘建模之K-Means聚类算法

K-Means算法是经典的基于距离的非层次聚类算法，在最小化误差函数的基础上将数据划分为预定的类数K，采用距离作为相似性的评价指标，即认为两个对象的距离越近，其相似度就越大。

1.算法过程    

（1）从N个样本数据中随机选取K个对象作为初始的聚类中心。

（2）分别计算每个样本到各个聚类中心的距离，将对象分配到距离最近的聚类中。

（3）所有对象分配完成后，重新计算K个聚类的中心。

（4）与前一次计算得到的K个聚类中心比较，如果聚类中心发生变化，转过程（2），否则转过程（5）。

（5）当质心不发生变化时停止并输出聚类结果。

聚类的结果可能依赖于初始聚类中心的随机选择，可能使得结果严重偏离全局最优分类。实践中，为了得到较好的结果，通常选择不同的聚类中心，多次运行K-Means算法。在所有对象分配完成后，重新计算K个聚类的中心时，对于连续数据，聚类中心取该簇的均值，但是当样本的某些属性是分类变量时，均值可能无定义，可以使用K-众数方法。

2.数据类型与相似性的度量

（1）连续属性

   对于连续属性，要先对各属性值进行零-均值规范，再进行距离的计算。在K-Means聚类算法中，一般需要度量样本之间的距离、样本与簇之间的距离以及簇与簇之间的距离。

    度量样本之间的相似性最常用的是欧几里得距离、曼哈顿距离和闵可夫斯基距离；样本与簇之间的距离可以用样本到簇中心的距离簇与簇之间的距离可以用簇中心的距离

（2）文档数据

   

3.目标函数

 

使用误差平方和SSE作为度量聚类质量的目标函数，对于两种不同的聚类结果，选择误差平方和较小的分类结果。

 

4.实例

根据餐饮客户的消费行为特征数据，将客户分类成不同客户群，并评价这些客户群的价值。

采用K-Means聚类算法，设定聚类个数K为3，最大迭代次数为500次，距离函数取欧氏距离。

#-*- coding: utf-8 -*-
#使用K-Means算法聚类消费行为特征数据

import pandas as pd

#参数初始化
inputfile = '../data/consumption_data.xls' #销量及其他属性数据
outputfile = '../tmp/data_type.xls' #保存结果的文件名
k = 3 #聚类的类别
iteration = 500 #聚类最大循环次数
data = pd.read_excel(inputfile, index_col = 'Id') #读取数据
data_zs = 1.0*(data - data.mean())/data.std() #数据标准化

from sklearn.cluster import KMeans
model = KMeans(n_clusters = k, n_jobs = 4, max_iter = iteration) #分为k类，并发数4
model.fit(data_zs) #开始聚类

#简单打印结果
r1 = pd.Series(model.labels_).value_counts() #统计各个类别的数目
r2 = pd.DataFrame(model.cluster_centers_) #找出聚类中心
r = pd.concat([r2, r1], axis = 1) #横向连接（0是纵向），得到聚类中心对应的类别下的数目
r.columns = list(data.columns) + [u'类别数目'] #重命名表头
print(r)

#详细输出原始数据及其类别
r = pd.concat([data, pd.Series(model.labels_, index = data.index)], axis = 1)  #详细输出每个样本对应的类别
r.columns = list(data.columns) + [u'聚类类别'] #重命名表头
r.to_excel(outputfile) #保存结果

# 绘制聚类后的概率密度图
def density_plot(data): #自定义作图函数
  import matplotlib.pyplot as plt
  plt.rcParams['font.sans-serif'] = ['SimHei'] #用来正常显示中文标签
  plt.rcParams['axes.unicode_minus'] = False #用来正常显示负号
  p = data.plot(kind='kde', linewidth = 2, subplots = True, sharex = False)
  [p[i].set_ylabel(u'密度') for i in range(k)]
  plt.legend()
  return plt

pic_output = '../tmp/pd_' #概率密度图文件名前缀
for i in range(k):
  density_plot(data[r[u'聚类类别']==i]).savefig(u'%s%s.png' %(pic_output, i))

输出：

分群概率密度函数图：

（1）分群1特点：R间隔分布在0-30天；消费次数集中在10-25次；消费金额在500-2000

 

（2）分群2特点：R间隔分布在0-30天；消费次数集中在0-12次；消费金额在0-1800

 

（3）分群3特点：R间隔相对较大（25-100天）；消费次数集中在0-15次；消费金额在0-2000

对比分析：分群1消费时间间隔较短，消费次数多，而且消费金额较大，是高消费、高价值人群。分群2的时间间隔、消费次数和消费金额处于中等水平，代表着一般客户。分群3的消费时间间隔较长，消费次数较少，消费金额也不是特别高，是价值较低的客户群体。