import numpy as np
import operator
from os import listdir
# import matplotlib.pyplot as plt
def createDataSet():
group = np.array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
labels = ['A','A','B','B']
return group, labels
def classify(inX,dataSet,labels,n):
"""
近鄰算法
:param inX: 用於分類的數據(測試集)
:param dataSet: 用於訓練的數據(訓練集)
:param labels: 分類標籤
:param n: KNN算法參數，選擇距離最小的n個點
:return: 分類結果
"""
# numpy函數shape[0]返回dataSet行數
dataSetSize = dataSet.shape[0]
# 先沿x軸複製1次，再沿y軸複製dataSetSize次
diffMat = np.tile(inX,(dataSetSize,1)) - dataSet
# 二維特徵相減後平方
sqDiffMat = diffMat ** 2
# sum()所有元素相加，sum(0)列相加，sum(1)行相加
sqDistances = sqDiffMat.sum(axis = 1)
# 開方，計算出距離
distances = sqDistances ** 0.5
# 返回distances中元素從小到大排序後的索引值
sortedDistIndicies = distances.argsort()
# 定一個記錄類別次數的字典
classCount = {}
for i in range(n):
# 取出前n個元素的類別
voteIlabel = labels[sortedDistIndicies[i]]
# dict.get(key,default=None),字典的get()方法,返回指定鍵的值,如果值不在字典中返回默認值。
# 計算類別次數
classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1
# python3中用items()替換python2中的iteritems()
# key=operator.itemgetter(1)根據字典的值進行排序
# key=operator.itemgetter(0)根據字典的鍵進行排序
# reverse降序排序字典
sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True)
# 返回次數最多的類別,即所要分類的類別
return sortedClassCount[0][0]
def file2matrix(filename):
"""
從文本中解析數據
:param filename:
:return:
"""
# 打開文件
fr = open(filename)
# 讀取文件所有內容
numberOfLines = len(fr.readlines())
# 返回的NumPy矩陣,解析完成的數據:numberOfLines行,3列
returnMat = np.zeros((numberOfLines,3))
# 返回的分類標籤向量
classLabelVector = []
fr = open(filename)
# 行索引值
index = 0
for line in fr.readlines():
# s.strip(rm)，當rm空時,默認刪除空白符(包括'\n','\r','\t',' ')
line = line.strip()
# 使用s.split(str="",num=string,cout(str))將字符串根據'\t'分隔符進行切片。
listFromLine = line.split('\t')
# 將數據前三列提取出來,存放到returnMat的NumPy矩陣中,也就是特徵矩陣
returnMat[index,:] = listFromLine[0:3]
classLabelVector.append(int(listFromLine[-1]))
index += 1
return returnMat,classLabelVector
def autoNorm(dataSet):
"""
歸一化處理
:param dataSet:
:return:
"""
# 獲得數據的最小值
minVals = dataSet.min(0)
# 獲得數據的最大值
maxVals = dataSet.max(0)
# 最大值和最小值的範圍
ranges = maxVals - minVals
# 返回dataSet的行數
m = dataSet.shape[0]
# 原始值減去最小值
normDataSet = dataSet - np.tile(minVals,(m,1))
# 除以最大和最小值的差,得到歸一化數據
normDataSet = normDataSet/np.tile(ranges,(m,1))
# 返回歸一化數據結果,數據範圍,最小值
return normDataSet,ranges,minVals
def datingClassTest():
"""
驗證分類器
:return:
"""
# datingDataMat,datingLabels = file2matrix('datingTestSet.txt')
# fig = plt.figure()
# ax = fig.add_subplot(111)
# ax.scatter(datingDataMat[:, 0], datingDataMat[:, 1], 15.0 * np.array(datingLabels),
# 15.0 * np.array(datingLabels)) # scatter函數是用來畫散點圖的
# plt.show()
# 取所有數據的百分之五十
hoRatio = 0.50
# 將返回的特徵矩陣和分類向量分別存儲到datingDataMat和datingLabels中
datingDataMat, datingLabels = file2matrix('datingTestSet.txt')
# 數據歸一化,返回歸一化後的矩陣,數據範圍,數據最小值
normMat,ranges,minVals = autoNorm(datingDataMat)
# 獲得normMat的行數
m = normMat.shape[0]
# 百分之五十的測試數據的個數
numTestVecs = int(m*hoRatio)
# 分類錯誤計數
errorCount = 0.0
for i in range(numTestVecs):
# 前numTestVecs個數據作爲測試集,後m-numTestVecs個數據作爲訓練集
classifierResult = classify(normMat[i,:],normMat[numTestVecs:m,:],datingLabels[numTestVecs:m],3)
# print("the classifier came back with: %d, the real answer is: %d" % (classifierResult, datingLabels[i]))
if classifierResult != datingLabels[i]: errorCount += 1.0
print("the total error rate is: %f" % (errorCount / float(numTestVecs)))
print(errorCount)
def classifyPerson():
"""
系統實現，提升交互
:return:
"""
# 輸出結果
resultList = ['not at all', 'in small doses', 'in large doses']
# 三維特徵用戶輸入
percentTats = float(input("percentage of time spent playing video games?"))
ffMiles = float(input("frequent flier miles earned per year?"))
iceCream = float(input("liters of ice cream consumed per year?"))
# 打開並處理數據
datingDataMat, datingLabels = file2matrix('datingTestSet.txt')
# 訓練集歸一化
normMat, ranges, minVals = autoNorm(datingDataMat)
# 生成NumPy數組,測試集
inArr = np.array([ffMiles, percentTats, iceCream])
# 返回分類結果
classifierResult = classify((inArr-minVals)/ranges, normMat, datingLabels,3)
# 打印結果
print("You will probably like this person", resultList[classifierResult - 1])
def img2vector(filename):
"""
文本文件轉化爲特徵向量
:param filename:
:return:
"""
# 用zeros生成1024的一維array
returnVect = np.zeros((1,1024))
# 打開文件
fr = open(filename)
# 兩重循環，外循環以行遞進，內循環以列遞進，將32X32的文本數據依次賦值給returnVect
for i in range(32):
lineStr = fr.readline()
for j in range(32):
returnVect[0, 32 * i + j] = int(lineStr[j])
return returnVect
def handwritingClassTest():
"""
手寫數字分類測試
:return:
"""
# 測試集的Labels
hwLabels = []
# 返回trainingDigits目錄下的文件名
trainingFileList = listdir('trainingDigits')
# 返回文件夾下文件的個數
m = len(trainingFileList)
# 初始化訓練的Mat矩陣,測試集
trainingMat = np.zeros((m, 1024))
# 從文件名中解析出訓練集的類別
for i in range(m):
# 獲得文件的名字
fileNameStr = trainingFileList[i]
# 獲得分類的數字
fileStr = fileNameStr.split('.')[0]
classNumStr = int(fileStr.split('_')[0])
# 將獲得的類別添加到hwLabels中
hwLabels.append(classNumStr)
# 將每一個文件的1x1024數據存儲到trainingMat矩陣中
trainingMat[i, :] = img2vector('trainingDigits/%s' % fileNameStr)
# 返回testDigits目錄下的文件列表
testFileList = listdir('testDigits')
# 錯誤檢測計數
errorCount = 0.0
# 測試數據的數量
mTest = len(testFileList)
# 從文件中解析出測試集的類別並進行分類測試
for i in range(mTest):
# 獲得文件的名字
fileNameStr = testFileList[i]
# 獲得分類的數字
fileStr = fileNameStr.split('.')[0]
classNumStr = int(fileStr.split('_')[0])
# 獲得測試集的1x1024向量,用於訓練
vectorUnderTest = img2vector('testDigits/%s' % fileNameStr)
# 獲得預測結果
classifierResult = classify(vectorUnderTest, trainingMat, hwLabels, 3)
# print("the classifier came back with: %d, the real answer is: %d" % (classifierResult, classNumStr))
if classifierResult != classNumStr: errorCount += 1.0
print("\n the total number of errors is: %d" % errorCount)
print("\n the total error rate is: %f" % (errorCount / float(mTest)))
if __name__ == '__main__':
# gr, la = createDataSet()
# result = classify([0,0],gr,la,3)
# print(result)
# datingClassTest()
# classifyPerson()
handwritingClassTest()