注:轉載請標明原文出處鏈接:https://xiongyiming.blog.csdn.net/article/details/95311111
1 k-近鄰算法簡介
k-近鄰(k-Nearest Neighbor,kNN)分類算法,是一個理論上比較成熟的方法,也是最簡單的機器學習算法之一。該方法的思路是:如果一個樣本在特徵空間中的k個最相似(即特徵空間中最鄰近)的樣本中的大多數屬於某一個類別,則該樣本也屬於這個類別。
所謂k近鄰算法,即是給定一個訓練數據集,對新的輸入實例,在訓練數據集中找到與該實例最鄰近的k個實例(也就是上面所說的k個鄰居,這k個實例的多數屬於某個類,就把該輸入實例分類到這個類中。
(以上來源於百度百科)
2 k-近鄰算法原理
2.2 引例
例如,下圖中的樣本有紅色和藍色兩個顏色的類別。
那麼問題來了,如下圖所示,如果在這些樣本中出來一個新的未知分類的數據點(圖中綠色的點),那麼這個數據點術語那種類別呢?-近鄰算法是如何計算的?
首先設置=3,那麼k-近鄰算法就是計算未知點(圖中綠色的點)與樣本中最近的3個點(=3),如下圖所示:
現在判斷最近的三個點的類別,都屬於藍色,則屬於藍色的頻率爲1。則未知點的類別應屬於藍色。
下面再看一個例子,如下圖所示,樣本中有出現一個未知點(圖中綠色的點),那麼這個位置點有屬於哪類呢?
同樣的方式,首先設置=3,那麼k-近鄰算法就是計算未知點(圖中綠色的點)與樣本中最近的3個點(=3),如下圖所示:
現在判斷最近的三個點的類別,兩個屬於紅色,一個屬於藍色,則屬於藍色的頻率爲1/3,而屬於紅色的頻率爲2/3。因此則未知點的類別應屬於紅色。
以上就是算法的思想,思路非常簡單,找出最近的點,然後找到類別最大的頻率即可。
2.2 算法流程
(1) 計算已知類別數據集中的點與當前點之間的距離;
(2) 按照距離遞增次序排序;
(3) 選取與當前點距離最小的k個點;
(4) 確定個點所在類別出現的概率;
(5) 返回前個點出現頻率最高的類別作爲當前點的預測分類。
3 k-近鄰算法優缺點
- 優點:精度高、對異常值不敏感、無數據輸入假定;
- 缺點:計算精度高、空間複雜度高;
- 適用數據範圍:數值型和標稱型。
4 實驗
實驗1
調用 kNN.classify0(inX, dataSet, labels, k) 函數即可,其函數用法如下:
kNN.classify0(inX, dataSet, labels, k)
其中,參數:
inX: 測試集(1xN)
dataSet: 輸入的樣本集(NxM)
labels: 標籤 (1xM vector)
k: 選擇最近鄰的數據
kNN.py 子函數文件
# kNN: k Nearest Neighbors
#
# Input: inX: vector to compare to existing dataset (1xN)
# dataSet: size m data set of known vectors (NxM)
# labels: data set labels (1xM vector)
# k: number of neighbors to use for comparison (should be an odd number)
#
# Output: the most popular class label
from numpy import *
import operator
from os import listdir
def classify0(inX, dataSet, labels, k):
dataSetSize = dataSet.shape[0]
diffMat = tile(inX, (dataSetSize,1)) - dataSet
sqDiffMat = diffMat**2
sqDistances = sqDiffMat.sum(axis=1)
distances = sqDistances**0.5
sortedDistIndicies = distances.argsort()
classCount={}
for i in range(k): # 投票
voteIlabel = labels[sortedDistIndicies[i]]
classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1
sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True)
return sortedClassCount[0][0]
Main.py 主函數文件
from numpy import *
import kNN
group = array([[1.0, 1.1], [1.0, 1.0], [0, 0], [0, 0.1]])
labels = ['A', 'A', 'B', 'B']
dataSet=group
inX=[0,0]
k=3
print("dataSet=",group)
print("labels=",labels)
print("k=",k)
# 調用kNN.classify0()函數
# inX 測試集(1xN)
# dataSet 輸入的樣本集(NxM)
# labels 標籤 (1xM vector)
# k 選擇最近鄰的數據
result=kNN.classify0(inX, dataSet, labels, k)
# 打印結果
print("testdata=",inX)
print("result=",result)
運行結果如下:
實驗2
手寫識別系統
訓練集trainingDigits目錄下包含約2000個樣本,每種數字大約200個樣本。 測試集testDigits目錄下包含900個測試數據。
kNN.py (k=3)
# kNN: k Nearest Neighbors
#
# Input: inX: vector to compare to existing dataset (1xN)
# dataSet: size m data set of known vectors (NxM)
# labels: data set labels (1xM vector)
# k: number of neighbors to use for comparison (should be an odd number)
#
# Output: the most popular class label
from numpy import *
import operator
from os import listdir
def classify0(inX, dataSet, labels, k):
dataSetSize = dataSet.shape[0]
diffMat = tile(inX, (dataSetSize,1)) - dataSet
sqDiffMat = diffMat**2
sqDistances = sqDiffMat.sum(axis=1)
distances = sqDistances**0.5
sortedDistIndicies = distances.argsort()
classCount={}
for i in range(k): # 投票
voteIlabel = labels[sortedDistIndicies[i]]
classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1
sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True)
return sortedClassCount[0][0]
def createDataSet():
group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
labels = ['A','A','B','B']
return group, labels
def file2matrix(filename):
fr = open(filename)
numberOfLines = len(fr.readlines()) #get the number of lines in the file
returnMat = zeros((numberOfLines,3)) #prepare matrix to return
classLabelVector = [] #prepare labels return
fr = open(filename)
index = 0
for line in fr.readlines():
line = line.strip()
listFromLine = line.split('\t')
returnMat[index,:] = listFromLine[0:3]
classLabelVector.append(int(listFromLine[-1]))
index += 1
return returnMat,classLabelVector
def autoNorm(dataSet):
minVals = dataSet.min(0)
maxVals = dataSet.max(0)
ranges = maxVals - minVals
normDataSet = zeros(shape(dataSet))
m = dataSet.shape[0]
normDataSet = dataSet - tile(minVals, (m,1))
normDataSet = normDataSet/tile(ranges, (m,1)) #element wise divide
return normDataSet, ranges, minVals
def datingClassTest():
hoRatio = 0.50 #hold out 10%
datingDataMat,datingLabels = file2matrix('datingTestSet2.txt') #load data setfrom file
normMat, ranges, minVals = autoNorm(datingDataMat)
m = normMat.shape[0]
numTestVecs = int(m*hoRatio)
errorCount = 0.0
for i in range(numTestVecs):
classifierResult = classify0(normMat[i,:],normMat[numTestVecs:m,:],datingLabels[numTestVecs:m],3)
print("the classifier came back with: %d, the real answer is: %d" % (classifierResult, datingLabels[i]))
if (classifierResult != datingLabels[i]): errorCount += 1.0
print("the total error rate is: %f" % (errorCount/float(numTestVecs)))
print(errorCount)
def img2vector(filename): # 將32*32大小的圖像轉化成向量
returnVect = zeros((1,1024)) # 創建32*32=1024的Numpy數組
fr = open(filename)
for i in range(32):
lineStr = fr.readline()
for j in range(32):
returnVect[0,32*i+j] = int(lineStr[j])
return returnVect
def handwritingClassTest():
hwLabels = []
trainingFileList = listdir('digits/trainingDigits') #load the training set
m = len(trainingFileList)
trainingMat = zeros((m,1024))
for i in range(m):
fileNameStr = trainingFileList[i]
fileStr = fileNameStr.split('.')[0] #take off .txt
classNumStr = int(fileStr.split('_')[0])
hwLabels.append(classNumStr)
trainingMat[i,:] = img2vector('digits/trainingDigits/%s' % fileNameStr)
testFileList = listdir('digits/testDigits') #iterate through the test set
errorCount = 0.0
mTest = len(testFileList)
for i in range(mTest):
fileNameStr = testFileList[i]
fileStr = fileNameStr.split('.')[0] #take off .txt
classNumStr = int(fileStr.split('_')[0])
vectorUnderTest = img2vector('digits/testDigits/%s' % fileNameStr)
classifierResult = classify0(vectorUnderTest, trainingMat, hwLabels, 3) # k=3
print("the classifier came back with: %d, the real answer is: %d" % (classifierResult, classNumStr))
if (classifierResult != classNumStr): errorCount += 1.0
print("\nthe total number of errors is: %d" % errorCount)
print("\nthe total error rate is: %f" % (errorCount/float(mTest)))
from numpy import *
import kNN
# 手寫識別系統
from os import listdir #從os模塊中導入listdir,他可以列出給定目錄的文件名
result=kNN.handwritingClassTest()
實驗結果
參考資料
[1] 機器學習實戰. 人民郵電出版社.
[2] https://coding.imooc.com/class/chapter/169.html#Anchor
[3] https://blog.csdn.net/BaiHuaXiu123/article/details/54579296