2_5最近邻算法kNN(k_nearest_neighbor)——classifyPerson_2_5

声明:《机器学习实战》代码详细注释和重构,以及相关的函数、模块和算法的解释;本文为博主原创文章,未经博主允许不得转载。

  1. 约会网站预测函数(程序清单2-5)
    *#代码:Peter Gong_shuai
    *#中文注释:Gong_shuai
    *#代码重构:Gong_shuai
    *#函数注解:Gong_shuai
    *#相关的函数、模块和算法的解释:Gong_shuai
    *#环境:Python2.7、Sublime Text3、mac

  2. 代码

#coding=utf-8
#约会网站预测函数(程序清单2-5)

#源代码:Peter  Gong_shuai
#中文注释:Gong_shuai
#代码重构:Gong_shuai
#函数注解:Gong_shuai
#环境:python2.7

from numpy import *
import operator
from os import listdir #函数listdir可以列出给定目录的文件名


#处理输入格式问题,输入为文件名字符串,输出为训练样本矩阵和类标签向量
def file2matrix(filename):
    fr = open(filename)
    numberOfLines = len(fr.readlines())         #得到文本行数
    returnMat = zeros((numberOfLines,3))        #创建以零填充的矩阵,为了简化,另外的一个维度设为3
    classLabelVector = []                       #返回标签     
    fr = open(filename)    #解析文件数据到列表,循环处理文件中的每一行的数据
    index = 0
    for line in fr.readlines():
        line = line.strip()    #截取掉所有的回车字符
        listFromLine = line.split('\t')    #将整行数据分割成一个元素列表
        returnMat[index,:] = listFromLine[0:3]     #选取前三个元素,存储到特征矩阵中
        classLabelVector.append(int(listFromLine[-1]))
        index += 1
    return returnMat,classLabelVector

#归一化特征值    
def autoNorm(dataSet):
    minVals = dataSet.min(0)#每一列的最小值
    maxVals = dataSet.max(0)#每一列的最大值
    ranges = maxVals - minVals
    normDataSet = zeros(shape(dataSet))
    m = dataSet.shape[0]#数组的大小  
    normDataSet = dataSet - tile(minVals, (m,1))#注意事项:特征值矩阵有1000*3个值。而minVals和range的值都为1*3.为了解决这个问题使用numpy中tile函数将变量内容复制成输入矩阵同样大小的矩阵  
    normDataSet = normDataSet/tile(ranges, (m,1))   #element wise divide矩阵除法
    return normDataSet, ranges, minVals

#k近邻算法
def classify0(inX, dataSet, labels, k):#输入向量,输入的训练样本集,标签向量,选择最近邻的数目
    #距离计算
    dataSetSize = dataSet.shape[0]
    diffMat = tile(inX, (dataSetSize,1)) - dataSet
    sqDiffMat = diffMat**2
    sqDistances = sqDiffMat.sum(axis=1)
    distances = sqDistances**0.5
    #选择距离最小的k个点
    sortedDistIndicies = distances.argsort()     
    classCount={}          
    for i in range(k):
        voteIlabel = labels[sortedDistIndicies[i]]
        classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1
    #排序
    sortedClassCount = sorted(classCount.iteritems(), key=operator.itemgetter(1), reverse=True)
    return sortedClassCount[0][0]

def classifyPerson():    #约会网站预测函数
    resultList = ['not at all','in small doses', 'in large doses']
    percentTats = float(raw_input(\
                  "percentage of time spent playing video games?"))
    ffMiles = float(raw_input("freguent flier miles earned per year?"))
    iceCream = float (raw_input("liters of ice cream consumed per year?"))
    datingDataMat,datingLabels = file2matrix('datingTestSet2.txt')
    normMat, ranges, minVals = autoNorm(datingDataMat)
    inArr = array([fffMiles, percentTats, iceCream])
    classifierResult = classifyO((inArr-\
                       minVals)/ranges,normMat,datingLabels,3)
    print "You will probably like this person: ", resultList[classifierResult - 1]

classifyPerson()

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章