3. k近鄰學習

簡介

給定測試樣本,基於某種距離度量找出訓練集中與其最
靠近的k個訓練樣本,然後基於這k個” 鄰居”的信息來進行預測.也可基於距離遠近進行加權平均/投票, 距離越近的樣本權重越大.
分類: 投票法, 選擇k個樣本中出現最多的類別標記作爲預測結果, 可以取多類.
迴歸: 平均法, 將這k個樣本標記值的平均值作爲預測結果

懶惰學習: k近鄰學習沒有顯式的訓練過程, 此類學習技術在訓練階段僅僅是把樣本保存起來, 訓練時間開銷爲0, 待收到測試樣本再進行處理.

k近鄰法三要素: 距離的度量, k值的選擇, 分類決策規則

定義

距離度量
Minkowski(閔可夫斯基)距離
設特徵空間X是n維實數向量空間Rn,xi,xj∈X,xi=(x1i,x2i,...,xni),xj=(x1j,x2j,...xnj)$R^n,x_i,x_j\in X,x_i=(x_i^1,x_i^2,...,x_i^n),x_j=(x_j^1,x_j^2,...x_j^n)$
則xi,xj$x_i,x_j$ 的Lp$L_p$ (即閔可夫斯基)距離爲:

Lp(xi,yj)=(∑l=1n|xli−xlj|p)1p,(p≥1)$$L_p(x_i,y_j)=(\sum _{l=1}^n|x_i^l-x_j^l{|}^p{)}^{\frac{1}{p}},(p\ge 1)$$

當p=1時, 稱爲曼哈頓距離: L1(xi,xj)=∑nl=1|xli−xlj|$L_1(x_i,x_j)=\sum _{l=1}^n|x_i^l-x_j^l|$ , 差的絕對值之和
當p=2時, 稱爲歐式距離: L2(xi,xj)=(∑nl=1|xli−xlj|2)12$L_2(x_i,x_j)=(\sum _{l=1}^n|x_i^l-x_j^l{|}^2{)}^{\frac{1}{2}}$ , 差的絕對值平方和再開方, (均方誤差)
當p=∞$\mathrm{\infty }$ 時, 稱爲切比雪夫距離: L∞(xi,xj)=maxl(xli−xlj)$L_{\mathrm{\infty }}(x_i,x_j)=ma{x}_l(x_i^l-x_j^l)$ , 各個座標距離的最大值

k值選擇
1. 較小的k值: 用較小的鄰域中的訓練數據進行預測, 學習的近似誤差減小, 只有與輸入實例相近的(相似的)訓練實例纔會對預測結果起作用. 但學習的估計誤差會增大, 預測結果會對鄰近的實例點(如噪聲)非常敏感. 過小的k值意味着整體模型變得複雜, 容易發生過擬合
2. 較大的k值: 用較大的鄰域中的訓練數據進行預測, 學習的近似誤差增大, 但估計誤差會減小. 與輸入實例較遠的(不相似的)訓練實例也會對預測結果起作用.
3. 應用中k值一般取一個比較小的值, 通常採用交叉驗證法來選取最優的k值

分類決策
1. 多數表決: 由輸入實例的k個近鄰的訓練實例中的多數類決定輸入實例的類
對於給定的實例x∈X$x\in X$ , 其最近鄰的k個訓練實例點構成的集合Nk(x)$N_k(x)$ , 如果涵蓋Nk(x)$N_k(x)$ 的區域類別是cj$c_j$
那麼誤分類率: 1k∑xi∈Nk(x)I(yi≠cj)=1−1k∑xi∈Nk(x)I(yi=cj)$\frac{1}{k}\sum _{x_i\in N_k(x)}I(y_i\ne c_j)=1-\frac{1}{k}\sum _{x_i\in N_k(x)}I(y_i=c_j)$

其中: I(expr)={10expr==trueexpr==false$$\text{其中: }I(expr)=\{\begin{array}{ll}1& expr==true\\ 0& expr==false\end{array}$$

所以∑xi∈Nk(x)I(yi=cj)$\sum _{x_i\in N_k(x)}I(y_i=c_j)$ 代表集合Nk(x)$N_k(x)$ 中yi==cj$y_i==c_j$ 的元素的數量
∑xi∈Nk(x)I(yi≠cj)$\sum _{x_i\in N_k(x)}I(y_i\ne c_j)$ 代表集合Nk(x)$N_k(x)$ 中yi≠cj$y_i\ne c_j$ 的元素的數量
要試誤分類率最小, 即使∑xi∈Nk(x)I(yi=cj)$\sum _{x_i\in N_k(x)}I(y_i=c_j)$ 最大. (多數表決)

實現

一般方式
線性掃描, 計算輸入實例與每一個訓練實例的距離

kd樹
1. 構造kd樹

1. kd樹搜索(最近鄰搜索)
   

kd樹搜索的平均計算複雜度是O(logN), 這裏N是訓練實例數. kd樹更適合訓練實例數遠大於空間維數時的k近鄰搜索. 當空間維數接近訓練實例時, 它的效率會迅速下降, 幾乎接近線性掃描.

KNN擴展
構造kd樹時順序(或隨機)取特徵, 改進算法取特徵分佈最廣(即方差最大)的緯做劃分