机器学习实战

机器学习十大算法

KNN算法

算法原理

k-近邻算法采用测量不同特征值之间的距离方法进行分类。
距离公式：欧氏距离

伪代码

1. 计算已知类别数据集中的点与当前点之间的距离；
2. 按照距离递增次序排序；
3. 选取与当前点距离最小的k个点；
4. 确定前k个点所在类别的出现频率；
5. 返回前k个点出现频率最高的类别作为当前点的预测分类；

def classify0(inX,dataSet,labels,k):
    dataSetSize = dataSet.shape[0]
    #计算点之间的距离：先创建一个和样本一样大小的0矩阵,沿着y轴方向扩大4倍
    diffMat=tile(inX,(dataSetSize,1))-dataSet
    sqDiffMat=diffMat**2
    sqDistances=sqDiffMat.sum(axis=1)   #sum求和
    distance=sqDistances**0.5
    sortDisIndicies=distance.argsort()  #从小到大排序，输出排序的矩阵的位置标签。
    classCount={} #建立字典，存储所有点的距离和位置顺序
    for i in range(k):
        voteIlabels=labels[sortDisIndicies[i]] #得到排序的座标的类标签
        classCount[voteIlabels]=classCount.get(voteIlabels,0)+1 #将所有的类标签的数量进行统计
    #字典按照类作为key的数值进行排序，最后选择位置为第一位最大数值的类标签，输出标签
    sortedClassCount=sorted(classCount.iteritems(),key=operator.itemgetter(1),reverse=True)
    return sortedClassCount[0][0]