機器學習之k-近鄰算法（一）kNN分類算法

 採用python3.7，需要安裝Numpy庫

算法的邏輯如下：

1.計算已知分類數據集中的點與輸入點之間的距離

2.根據距離遞增排序

3 選擇與輸入點距離最小的k個點

4 確認前k個點所在分類的出現頻率

5 返回前k個點出現頻率最高的分類作爲輸入點的預測分類

 

數據集：

[[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]]

['A','A','B','B']

輸入:[1.2,0]
輸出:A
輸入:[1.5,1]
輸出:A
輸入:[0,0.5]
輸出:B

下面是源碼：

from numpy import *
import operator

'''
KNN分類算法
出現問題
AttributeError: 'dict' object has no attribute 'iteritems'
Python3.5中：iteritems變爲items
'''

def createDataSet():
    #創建數據集
    group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
    labels = ['A','A','B','B']
    return group,labels

#print(group)
#print(labels)

def classify0(intX,dataSet,labels,k):
    #距離計算
    dataSetSize = dataSet.shape[0]
    diffMat = tile(intX,(dataSetSize,1))-dataSet
    sqDiffMat = diffMat**2
    sqDistances = sqDiffMat.sum(axis=1)
    distances = sqDistances**0.5
    sortedDistIndicies = distances.argsort()
    #選擇距離最小的K個點
    classCount = {}
    for i in range(k):
        voteIlabel = labels[sortedDistIndicies[i]]
        classCount[voteIlabel] = classCount.get(voteIlabel,0)+1
    #排序
    sortedClassCount = sorted(classCount.items(),key=operator.itemgetter(1),reverse=True)
    return sortedClassCount[0][0]

group,labels = createDataSet()

print("輸入:[1.2,0]")
print("輸出:"+classify0([1.2,0],group,labels,3))

print("輸入:[1.5,1]")
print("輸出:"+classify0([1.5,1],group,labels,3))

print("輸入:[0,0.5]")
print("輸出:"+classify0([0,0.5],group,labels,3))