来自机器学习实战一书代码。
# !/usr/bin/python
# -*- coding: utf-8 -*-
import numpy as np
import operator
def creatDataSet():
group = np.array([[1.0, 1.1], [1.0, 1.0], [0,0], [0,0.1]])
labels = ['A','A','B','B']
return group, labels
def classify0(inX, dataSet, labels, k):
"""
# 作用：判断某一数据集最近（欧氏距离）的k个点的类别数目，通过多数表决决定输入Inx的类别
# Args：inX : 进行判断的数据，矩阵格式，1行
# dataSet: 训练集
# labels:训练集标签
# k:最近的k个点
# return: 投票数目最多的类别
"""
dataSetSize = dataSet.shape[0] # shape 返还行长度，列长度 类似于R的dim
diffMat = np.tile(inX, (dataSetSize,1)) - dataSet # tile 类似 rep操作， 代码 (x0-x1),(y0-y1)
sqDiffMat = diffMat ** 2 # 开方 (x0-x1)^2,(y0-y1)^2
sqDistances = sqDiffMat.sum(axis = 1) # 按行求和 (x0-x1)^2+(y0-y1)^2
distances = sqDistances ** 0.5 # 开根号 sqrt((x0-x1)^2+(y0-y1)^2) # 求欧式距离
sorteDistIndicies = distances.argsort() # 类似于order操作 返还排序后的下标
classCount = {} # 变量声明 dist格式
for i in range(k): # 最近K个点的类别结果
voteIlabel = labels[sorteDistIndicies[i]]
classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1
sortedClassCount = sorted(classCount.iteritems(), key=operator.itemgetter(1), reverse=True) # 多数表决
return sortedClassCount[0][0] # 返还投票最多的类别
def file2matrix(filename):
"""
# 作用：txt数据读取
# Args：filename：读取数据的名字，目录名以'/'分隔
# return: returnMat：矩阵格式，读取的数据
# classLabelVector:list格式，数据标签
"""
fr = open(filename)
arrayOLines = fr.readlines()
numberOfLines = len(arrayOLines) # 获取 list 长度
returnMat = np.zeros((numberOfLines, 3)) # 预分配内存，原始数据有 arrayOLines行，3列
classLabelVector = [] # 变量声明 list格式
index = 0
for line in arrayOLines: # 循环list, 类似lapply，对每一个list进行操作
line = line.strip() # 截取回车字符
listFromLine = line.split('\t') # 分隔符
returnMat[index,:] = listFromLine[0:3] # 按行赋值
classLabelVector.append(int(listFromLine[-1])) # append添加行，listFromLine[-1]，-指的是倒数，与R语言的删除意思不同
index += 1 # i++
return returnMat, classLabelVector
def autoNorm(dataSet):
"""
# 作用：最大最小值-标准化数据
# Args: dataSet：矩阵格式，进行标准化的数据
# return: normDataSet: 矩阵格式,标准化后的dataSet
# ranges：每列 max - min
# minVals：每列 min
"""
minVals = dataSet.min(0) # 获取每列最小值
maxVals = dataSet.max(0) # 获取每列最大值
ranges = maxVals - minVals # 分母 max - min
normDataSet = np.zeros(np.shape(dataSet)) # 预分配内存，生成全为0的矩阵
m = dataSet.shape[0] # 获取行长度
normDataSet = dataSet - np.tile(minVals, (m, 1)) # 分子： x - min
normDataSet = normDataSet/np.tile(ranges, (m, 1)) # 分子/分母
return normDataSet, ranges, minVals
# 测试
import knn
hoRatio = 0.1 # 设置测试集比例
datingDataMat, datingLabels = knn.file2matrix('Data/datingTestSet2.txt') # 数据集读取
normMat, ranges, minVals = knn.autoNorm(datingDataMat) # 标准化数据
m = normMat.shape[0]
numTestVecs = int(m * hoRatio) # 测试集长度
errorCount = 0.0
classifierResultAll = [] # 变量声明，list格式
for i in range(numTestVecs):
classifierResult = knn.classify0(normMat[i, :], normMat[numTestVecs:m, :], datingLabels[numTestVecs:m], 3)
classifierResultAll.append(classifierResult)
print "the classifier came back with :%d, the real answer is : %d" % (classifierResult, datingLabels[i])
if( classifierResult != datingLabels[i]):
errorCount += 1
print "the total error rate is : %f" % (errorCount / float(numTestVecs))
