机器学习算法总结——KNN

定义理解

• 在样本集中的数据是之前已经分类完成的，当要给新的特征进行分类时，将它与样本的特征进行距离比较，选择前K个最相似的特征。其结果很大程度上取决于K的选择
• 此处距离可以选择欧式距离、曼哈顿距离、余弦相似度
• 欧式距离：$d=\sqrt{(x_{2}-x_{1})^2+(y_{2}-y_{1})^2}$
• 曼哈顿距离：$d=|x_{1}-x_{2}|+|y_{1}-y_{2}|$
• 余弦相似度：$d=\frac{\sum_{1}^{n}x_{i}y_{i}}{\sqrt{\sum_{1}^{n}x_{i}^2}\sqrt{\sum_{1}^{n}y_{i}^2}}$
  

KNN算法的描述

• 计算待测特征与样本集的距离
• 对距离进行排序
• 选出K个最小距离的类别作为候选类别
• 根据候选类别分类