模型
相當於根據樣本對特徵空間進行了劃分。
基本思路
求出某個樣本與其他樣本的距離，它的標籤就是他最近的K個樣本的標籤
距離度量
歐氏距離
曼哈頓距離
距離
https://blog.csdn.net/qq_21768483/article/details/83150449
K值選擇
K值選的小
1.變得複雜，容易過擬合（對特徵空間劃分的更細）
2.對噪聲敏感
K值選的大
1.模型簡單，不相似的實例也會起作用
kd樹
構造方法
1.任選一維特徵，然後找出其取值的中位數，做垂直座標軸的超平面
2.換一維。重複1
3.直至子區域沒有樣本
搜索方法
1.從根節點遞歸的向下找，直到子節點
2.以葉子節點爲最近節點，逐層向上退
3.若果有更近的點出現就替換，並搜索該節點父節點的另一個子樹，若果有更近的重複3,否則退回到父節點
4.到根節點時搜索結束
kd樹的作用
Kd樹的平均複雜度是,N是訓練集數量
Kd樹適用於N遠大於特徵的維度。效率會顯著提高
N接近於特徵維度時，kd樹效率下降，效果接近線性掃描