import numpy as np
import operator
from os import listdir
# import matplotlib.pyplot as plt
def createDataSet():
group = np.array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
labels = ['A','A','B','B']
return group, labels
def classify(inX,dataSet,labels,n):
"""
近邻算法
:param inX: 用于分类的数据(测试集)
:param dataSet: 用于训练的数据(训练集)
:param labels: 分类标签
:param n: KNN算法参数，选择距离最小的n个点
:return: 分类结果
"""
# numpy函数shape[0]返回dataSet行数
dataSetSize = dataSet.shape[0]
# 先沿x轴复制1次，再沿y轴复制dataSetSize次
diffMat = np.tile(inX,(dataSetSize,1)) - dataSet
# 二维特征相减后平方
sqDiffMat = diffMat ** 2
# sum()所有元素相加，sum(0)列相加，sum(1)行相加
sqDistances = sqDiffMat.sum(axis = 1)
# 开方，计算出距离
distances = sqDistances ** 0.5
# 返回distances中元素从小到大排序后的索引值
sortedDistIndicies = distances.argsort()
# 定一个记录类别次数的字典
classCount = {}
for i in range(n):
# 取出前n个元素的类别
voteIlabel = labels[sortedDistIndicies[i]]
# dict.get(key,default=None),字典的get()方法,返回指定键的值,如果值不在字典中返回默认值。
# 计算类别次数
classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1
# python3中用items()替换python2中的iteritems()
# key=operator.itemgetter(1)根据字典的值进行排序
# key=operator.itemgetter(0)根据字典的键进行排序
# reverse降序排序字典
sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True)
# 返回次数最多的类别,即所要分类的类别
return sortedClassCount[0][0]
def file2matrix(filename):
"""
从文本中解析数据
:param filename:
:return:
"""
# 打开文件
fr = open(filename)
# 读取文件所有内容
numberOfLines = len(fr.readlines())
# 返回的NumPy矩阵,解析完成的数据:numberOfLines行,3列
returnMat = np.zeros((numberOfLines,3))
# 返回的分类标签向量
classLabelVector = []
fr = open(filename)
# 行索引值
index = 0
for line in fr.readlines():
# s.strip(rm)，当rm空时,默认删除空白符(包括'\n','\r','\t',' ')
line = line.strip()
# 使用s.split(str="",num=string,cout(str))将字符串根据'\t'分隔符进行切片。
listFromLine = line.split('\t')
# 将数据前三列提取出来,存放到returnMat的NumPy矩阵中,也就是特征矩阵
returnMat[index,:] = listFromLine[0:3]
classLabelVector.append(int(listFromLine[-1]))
index += 1
return returnMat,classLabelVector
def autoNorm(dataSet):
"""
归一化处理
:param dataSet:
:return:
"""
# 获得数据的最小值
minVals = dataSet.min(0)
# 获得数据的最大值
maxVals = dataSet.max(0)
# 最大值和最小值的范围
ranges = maxVals - minVals
# 返回dataSet的行数
m = dataSet.shape[0]
# 原始值减去最小值
normDataSet = dataSet - np.tile(minVals,(m,1))
# 除以最大和最小值的差,得到归一化数据
normDataSet = normDataSet/np.tile(ranges,(m,1))
# 返回归一化数据结果,数据范围,最小值
return normDataSet,ranges,minVals
def datingClassTest():
"""
验证分类器
:return:
"""
# datingDataMat,datingLabels = file2matrix('datingTestSet.txt')
# fig = plt.figure()
# ax = fig.add_subplot(111)
# ax.scatter(datingDataMat[:, 0], datingDataMat[:, 1], 15.0 * np.array(datingLabels),
# 15.0 * np.array(datingLabels)) # scatter函数是用来画散点图的
# plt.show()
# 取所有数据的百分之五十
hoRatio = 0.50
# 将返回的特征矩阵和分类向量分别存储到datingDataMat和datingLabels中
datingDataMat, datingLabels = file2matrix('datingTestSet.txt')
# 数据归一化,返回归一化后的矩阵,数据范围,数据最小值
normMat,ranges,minVals = autoNorm(datingDataMat)
# 获得normMat的行数
m = normMat.shape[0]
# 百分之五十的测试数据的个数
numTestVecs = int(m*hoRatio)
# 分类错误计数
errorCount = 0.0
for i in range(numTestVecs):
# 前numTestVecs个数据作为测试集,后m-numTestVecs个数据作为训练集
classifierResult = classify(normMat[i,:],normMat[numTestVecs:m,:],datingLabels[numTestVecs:m],3)
# print("the classifier came back with: %d, the real answer is: %d" % (classifierResult, datingLabels[i]))
if classifierResult != datingLabels[i]: errorCount += 1.0
print("the total error rate is: %f" % (errorCount / float(numTestVecs)))
print(errorCount)
def classifyPerson():
"""
系统实现，提升交互
:return:
"""
# 输出结果
resultList = ['not at all', 'in small doses', 'in large doses']
# 三维特征用户输入
percentTats = float(input("percentage of time spent playing video games?"))
ffMiles = float(input("frequent flier miles earned per year?"))
iceCream = float(input("liters of ice cream consumed per year?"))
# 打开并处理数据
datingDataMat, datingLabels = file2matrix('datingTestSet.txt')
# 训练集归一化
normMat, ranges, minVals = autoNorm(datingDataMat)
# 生成NumPy数组,测试集
inArr = np.array([ffMiles, percentTats, iceCream])
# 返回分类结果
classifierResult = classify((inArr-minVals)/ranges, normMat, datingLabels,3)
# 打印结果
print("You will probably like this person", resultList[classifierResult - 1])
def img2vector(filename):
"""
文本文件转化为特征向量
:param filename:
:return:
"""
# 用zeros生成1024的一维array
returnVect = np.zeros((1,1024))
# 打开文件
fr = open(filename)
# 两重循环，外循环以行递进，内循环以列递进，将32X32的文本数据依次赋值给returnVect
for i in range(32):
lineStr = fr.readline()
for j in range(32):
returnVect[0, 32 * i + j] = int(lineStr[j])
return returnVect
def handwritingClassTest():
"""
手写数字分类测试
:return:
"""
# 测试集的Labels
hwLabels = []
# 返回trainingDigits目录下的文件名
trainingFileList = listdir('trainingDigits')
# 返回文件夹下文件的个数
m = len(trainingFileList)
# 初始化训练的Mat矩阵,测试集
trainingMat = np.zeros((m, 1024))
# 从文件名中解析出训练集的类别
for i in range(m):
# 获得文件的名字
fileNameStr = trainingFileList[i]
# 获得分类的数字
fileStr = fileNameStr.split('.')[0]
classNumStr = int(fileStr.split('_')[0])
# 将获得的类别添加到hwLabels中
hwLabels.append(classNumStr)
# 将每一个文件的1x1024数据存储到trainingMat矩阵中
trainingMat[i, :] = img2vector('trainingDigits/%s' % fileNameStr)
# 返回testDigits目录下的文件列表
testFileList = listdir('testDigits')
# 错误检测计数
errorCount = 0.0
# 测试数据的数量
mTest = len(testFileList)
# 从文件中解析出测试集的类别并进行分类测试
for i in range(mTest):
# 获得文件的名字
fileNameStr = testFileList[i]
# 获得分类的数字
fileStr = fileNameStr.split('.')[0]
classNumStr = int(fileStr.split('_')[0])
# 获得测试集的1x1024向量,用于训练
vectorUnderTest = img2vector('testDigits/%s' % fileNameStr)
# 获得预测结果
classifierResult = classify(vectorUnderTest, trainingMat, hwLabels, 3)
# print("the classifier came back with: %d, the real answer is: %d" % (classifierResult, classNumStr))
if classifierResult != classNumStr: errorCount += 1.0
print("\n the total number of errors is: %d" % errorCount)
print("\n the total error rate is: %f" % (errorCount / float(mTest)))
if __name__ == '__main__':
# gr, la = createDataSet()
# result = classify([0,0],gr,la,3)
# print(result)
# datingClassTest()
# classifyPerson()
handwritingClassTest()