機器學習-KMeans

一、 K-均值聚類算法

聚類是一種無監督學習，它將相似的對象歸到同一個簇中。簇內對象越相似，聚類效果越好。K-Means算法就是其中的一種聚類算法。其實現代碼如下：

#1.KMeans均值聚類算法
#2.僞代碼
"""
       創建k個點作爲起始質心（隨機選擇）
       當任意一個點的簇分配結果發生改變時
           對數據中的每個數據點
               對每個質心
                   計算質心與數據點之間的距離
                將數據點分配到距其最近的簇
            對每一個簇，計算簇中所有點的均值並將均值作爲質心
"""
def KMeans(dataSet,k,distMeas=disEclud,createCent=randCent):
    """
    :param dataSet:      數據集
    :param k:            質心數目
    :param distMeas:     計算歐式距離函數
    :param createCent:   創建隨機質心函數
    :return:
    """
    m=shape(dataSet)[0]
    clusterAssment=mat(zeros((m,2)))          #創建矩陣來存儲每個點的簇分配結果，第一列爲簇的索引值，第二例爲誤差
    centroids=createCent(dataSet,k)
    clusterChanged=True
    while clusterChanged:
        clusterChanged=False
        for i in range(m):
            minDist=inf;
            minIndex=-1
            for j in range(k):
                disJI=distMeas(centroids[j,:],dataSet[i,:]) #尋找質心，通過對每個點遍歷所有質心並計算點到每個質心的距離來完成
                if disJI<minDist:
                    minDist=disJI
                    minIndex=j
            if clusterAssment[i,0]!=minIndex:               #如果任一點的簇分配結果發生改變，則更新標誌位
                clusterChanged=True
            clusterAssment[i,:]=minIndex,minDist**2
        print(centroids)

        for cent in range(k):                               #遍歷所有質心，並更新他們的取值
            ptsInClus=dataSet[nonzero(clusterAssment[:,0].A==cent)[0]]
            centroids[cent,:]=mean(ptsInClus,axis=0)
    return centroids,clusterAssment

K-均值算法收斂但聚類效果較差的原因是：K-均值算法收斂到了局部最小，而非全局最小。

二、二分K-均值聚類算法

爲了克服K-均值算法收斂於局部最小，可以使用二分K-均值算法。該算法首先將所有點作爲一個簇，然後將該簇一分爲二，之後選擇其中的一個簇繼續進行劃分，選擇哪一簇劃分取決於對其劃分是否可以最大程度降低SSE(誤差平方和)的值。上述過程基於SSE劃分過程不斷重複，直到得到用戶指定的簇數目位置。實現代碼如下：

#1.二分KMeans算法
#2.僞代碼
"""
      將所有點看成一個簇
      當簇的數目小於k時
          對於每一個簇
              計算總誤差
              在給定的簇上面進行KMeans聚類(k=2)
              計算將該簇一分爲二之後的總誤差
          選擇使得誤差最小的那個簇進行劃分操作        
"""
def biKMeans(dataSet,k,distMeas=disEclud):
    m=shape(dataSet)[0]
    clusterAssment=mat(zeros((m,2)))             #創建矩陣用於保存分配結果以及平方誤差
    centroid0=mean(dataSet,axis=0).tolist()[0]   #將所有點看成一個簇，求得其平均值的中心
    centList=[centroid0]                         #中心值列表，最開始只有一個簇，所以只有一箇中心
    for j in range(m):
        clusterAssment[j,1]=distMeas(mat(centroid0),dataSet[j,:])**2  #求得一個簇時，循環求得所有點到中心點的誤差，並放入矩陣中
    while(len(centList)<k):                      #判斷是否分到想要的簇數
        lowestSSE=inf                            #初始最小誤差平方和SSE爲正無窮
        for i in range(len(centList)):           #循環每個簇
            ptsInCurrCluster=dataSet[nonzero(clusterAssment[:,0].A==i)[0],:]  #分類結果等於i數據集的提取出來
            centroidMat,splitClustAss=KMeans(ptsInCurrCluster,2,distMeas)     #使用KMeans進行二分類
            sseSplit=sum(splitClustAss[:,1])                                  #分類之後的總誤差
            sseNotSplit=sum(clusterAssment[nonzero(clusterAssment[:,0].A!=i)[0],1])#分類之前不等於i的分類結果的總誤差
            print("sseSplit,and notSplit:",sseSplit,sseNotSplit)
            if(sseSplit+sseNotSplit)<lowestSSE:                               #分類之後的總誤差+分類之前的總誤差小於最小誤差
                bestCentToSplit=i                                             #分類i
                bestNewCents=centroidMat                                      #新分類點的中心座標
                bestClusAss=splitClustAss.copy()                              #分類之後的結果以及平方誤差
                bestClustSSE=sseNotSplit+sseSplit                             #分類之後的平方誤差

        #更新簇的分配結果
        bestClusAss[nonzero(bestClusAss[:,0].A==1)[0],0]=len(centList)
        bestClusAss[nonzero(bestClusAss[:,0].A==0)[0],0]=bestCentToSplit

        print("the bestCentToSplit is:",bestCentToSplit)
        print("the len of bestClustAss is :",len(bestClusAss))
        centList[bestCentToSplit]=bestNewCents[0,:]                           #將新分配的座標中心替換
        centList.append(bestNewCents[1,:])                                    #將第二個座標中心加入cenList中
        clusterAssment[nonzero(clusterAssment[:,0].A==bestCentToSplit)[0],:]=bestClusAss
    return  centList,clusterAssment

三、完整的實現代碼


"""
1.機器學習-KMeans
2.姓名：pcb
3.日期：2019.01.14
"""

from numpy import *
import matplotlib.pyplot as plt

#加載數據
def loadDataSet(filename):
    dataMat=[]
    fr=open(filename)
    for line in fr.readlines():
        curLine=line.strip().split('\t')
        #fltLine=map(float,currLine)
        fltLine = []
        for i in curLine:
            fltLine.append(float(i))
        dataMat.append(fltLine)
    return dataMat

#計算兩個向量的歐式距離
def disEclud(vecA,vecB):
    return sqrt(sum(power(vecA-vecB,2)))

#給定數據集，構建一個包含k個隨機質心的集合
def randCent(dataSet,k):
    n=shape(dataSet)[1]
    centroids=mat(zeros((k,n)))
    for j in range(n):
        minJ=min(dataSet[:,j])
        rangeJ=float(max(dataSet[:,j])-minJ)
        centroids[:,j]=minJ+rangeJ*random.rand(k,1)
    return centroids

#1.KMeans均值聚類算法
#2.僞代碼
"""
       創建k個點作爲起始質心（隨機選擇）
       當任意一個點的簇分配結果發生改變時
           對數據中的每個數據點
               對每個質心
                   計算質心與數據點之間的距離
                將數據點分配到距其最近的簇
            對每一個簇，計算簇中所有點的均值並將均值作爲質心
"""
def KMeans(dataSet,k,distMeas=disEclud,createCent=randCent):
    """
    :param dataSet:      數據集
    :param k:            質心數目
    :param distMeas:     計算歐式距離函數
    :param createCent:   創建隨機質心函數
    :return:
    """
    m=shape(dataSet)[0]
    clusterAssment=mat(zeros((m,2)))          #創建矩陣來存儲每個點的簇分配結果，第一列爲簇的索引值，第二例爲誤差
    centroids=createCent(dataSet,k)
    clusterChanged=True
    while clusterChanged:
        clusterChanged=False
        for i in range(m):
            minDist=inf;
            minIndex=-1
            for j in range(k):
                disJI=distMeas(centroids[j,:],dataSet[i,:]) #尋找質心，通過對每個點遍歷所有質心並計算點到每個質心的距離來完成
                if disJI<minDist:
                    minDist=disJI
                    minIndex=j
            if clusterAssment[i,0]!=minIndex:               #如果任一點的簇分配結果發生改變，則更新標誌位
                clusterChanged=True
            clusterAssment[i,:]=minIndex,minDist**2
        print(centroids)

        for cent in range(k):                               #遍歷所有質心，並更新他們的取值
            ptsInClus=dataSet[nonzero(clusterAssment[:,0].A==cent)[0]]
            centroids[cent,:]=mean(ptsInClus,axis=0)
    return centroids,clusterAssment

#1.二分KMeans算法
#2.僞代碼
"""
      將所有點看成一個簇
      當簇的數目小於k時
          對於每一個簇
              計算總誤差
              在給定的簇上面進行KMeans聚類(k=2)
              計算將該簇一分爲二之後的總誤差
          選擇使得誤差最小的那個簇進行劃分操作        
"""
def biKMeans(dataSet,k,distMeas=disEclud):
    m=shape(dataSet)[0]
    clusterAssment=mat(zeros((m,2)))             #創建矩陣用於保存分配結果以及平方誤差
    centroid0=mean(dataSet,axis=0).tolist()[0]   #將所有點看成一個簇，求得其平均值的中心
    centList=[centroid0]                         #中心值列表，最開始只有一個簇，所以只有一箇中心
    for j in range(m):
        clusterAssment[j,1]=distMeas(mat(centroid0),dataSet[j,:])**2  #求得一個簇時，循環求得所有點到中心點的誤差，並放入矩陣中
    while(len(centList)<k):                      #判斷是否分到想要的簇數
        lowestSSE=inf                            #初始最小誤差平方和SSE爲正無窮
        for i in range(len(centList)):           #循環每個簇
            ptsInCurrCluster=dataSet[nonzero(clusterAssment[:,0].A==i)[0],:]  #分類結果等於i數據集的提取出來
            centroidMat,splitClustAss=KMeans(ptsInCurrCluster,2,distMeas)     #使用KMeans進行二分類
            sseSplit=sum(splitClustAss[:,1])                                  #分類之後的總誤差
            sseNotSplit=sum(clusterAssment[nonzero(clusterAssment[:,0].A!=i)[0],1])#分類之前不等於i的分類結果的總誤差
            print("sseSplit,and notSplit:",sseSplit,sseNotSplit)
            if(sseSplit+sseNotSplit)<lowestSSE:                               #分類之後的總誤差+分類之前的總誤差小於最小誤差
                bestCentToSplit=i                                             #分類i
                bestNewCents=centroidMat                                      #新分類點的中心座標
                bestClusAss=splitClustAss.copy()                              #分類之後的結果以及平方誤差
                bestClustSSE=sseNotSplit+sseSplit                             #分類之後的平方誤差

        #更新簇的分配結果
        bestClusAss[nonzero(bestClusAss[:,0].A==1)[0],0]=len(centList)
        bestClusAss[nonzero(bestClusAss[:,0].A==0)[0],0]=bestCentToSplit

        print("the bestCentToSplit is:",bestCentToSplit)
        print("the len of bestClustAss is :",len(bestClusAss))
        centList[bestCentToSplit]=bestNewCents[0,:]                           #將新分配的座標中心替換
        centList.append(bestNewCents[1,:])                                    #將第二個座標中心加入cenList中
        clusterAssment[nonzero(clusterAssment[:,0].A==bestCentToSplit)[0],:]=bestClusAss
    return  centList,clusterAssment

def main():
# #1.--------KMeans----------------------------------
#     dataMat=mat(loadDataSet('testSet.txt'))
#     myCentroids,clustAssing=KMeans(dataMat,4)
# #--------------------------------------------------

#2----------二分KMeans算法---------------------------
    dataMat3=mat(loadDataSet('testSet3.txt'))
    centList,myNewAssments=biKMeans(dataMat3,3)
    print (centList)
#---------------------------------------------------
if __name__=='__main__':
    main()

機器學習-KMeans

一、 K-均值聚類算法

二、二分K-均值聚類算法

三、完整的實現代碼

運行VS2013顯示無法定位程序輸入點ImageList_CoCreateInstance

Ubuntu16.04下VSCode無法安裝C++插件的問題

Ubuntu18.04+caffe+python3.6下編譯Faster-RCNN的各種坑

Ubuntu18.04+Docker+Cuda10.1+cudnn+pytorch+FastReID

提取圖像特徵描述子（HOG,LBP）並利用餘弦相似度的計算——C++實現

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結

機器學習-KMeans

一、 K-均值聚類算法

二、 二分K-均值聚類算法

三、 完整的實現代碼

二、二分K-均值聚類算法

三、完整的實現代碼