K近鄰 (k-nearest neighbor k-NN)（面試要點）

k近鄰法不具有顯式的學習過程，也就是說沒有模型

k近鄰三個要素:

1. k值的選擇(一般使用交叉驗證)
   k值增大可以減少學習的估計誤差，但也會使學習近似誤差變大，使模型變得簡單。

2. 距離度量（一般會使用歐式距離 or 更一般的Lp$L_p$ 距離 or 曼哈頓距離）

3. 分類決策規則
   往往是使用多數表決,即由輸入實例的k個鄰近的訓練實例中的多數類決定輸入實例的類。
   多數表決規則等價於經驗風險最小化

kd樹的實現
__ KD樹建樹採用的是從m個樣本的n維特徵中，分別計算n個特徵的取值的方差，用方差最大的第k維特徵nk$n_k$ 來作爲根節點。對於這個特徵，我們選擇特徵nk$n_k$ 的取值的中位數nkv$n_{k}v$ 對應的樣本作爲劃分點，對於所有第k維特徵的取值小於nkv$n_{k}v$ 的樣本，我們劃入左子樹，對於第k維特徵的取值大於等於nkv$n_{k}v$ 的樣本，我們劃入右子樹，對於左子樹和右子樹，我們採用和剛纔同樣的辦法來找方差最大的特徵來做更節點，遞歸的生成KD樹。