機器學習中的函數間隔和幾何間隔

一、函數間隔

函數間隔

一般來說， 一個點距離分離超平面的遠近可以表示分類預測的確信程度。在超平面$w\cdot x+b=0$ 確定的情況下，$|w\cdot x+b|$能夠相對地表示點距離超平面的遠近。$w\cdot x+b$ 的符號與類標記 $y$ 的符號是否一致能夠表示分類是否正確。所以可用$y(w\cdot x+b)$來表示分類的正確性及確信度，這就是函數間隔(functional margin)的概念。
定義

對於給定的訓練數據集 $T$ 和超平面 $(w,b)$，定義超平面 $(w,b)$ 關於樣本點 $(x_i,y_i)$的函數間隔爲：
$\hat{\gamma_i}=y_i(w\cdot x_i+b)$
定義超平面 $(w,b)$ 關於訓練數據集 $T$ 的函數間隔爲超平面 $(w,b)$ 關於 $T$ 中所有樣本點 $(x_i,y_i)$ 的函數間隔最小值，即：
$\hat{\gamma}=\mathop{min}\limits_{i=1,2,...,N}\hat{\gamma_i}$

當選擇分離超平面時，只有函數間隔還不夠。因爲只要成比例地改變，例如將它們改爲 $(2w,2b)$，平面並沒有改變，但函數間隔卻成爲原來的兩倍。所以可以對分離超平面的法向量加某些約束，如規範化，$||w||=1$，使得間隔是確定的 。這時函數間隔成爲幾何間隔 (geometric margin)

二、幾何間隔

定義

對於給定的訓練數據集 $T$ 和超平面 $(w,b)$，定義超平面 $(w,b)$ 關於樣本點 $(x_i,y_i)$的幾何間隔爲：
$\gamma_i=y_i({w\over||w||}\cdot x_i+{b\over||w||})$
定義超平面 $(w,b)$ 關於訓練數據集 $T$ 的幾何間隔爲超平面 $(w,b)$ 關於 $T$ 中所有樣本點 $(x_i,y_i)$ 的幾何間隔最小值，即：
$\gamma=\mathop{min}\limits_{i=1,2,...,N}\hat{\gamma_i}$
超平面 $(w,b)$ 關於樣本點 $(x_i,y_i)$ 的幾何間隔 般是實例點到超平面的帶符號的距離 (signed distance) ，當樣本點被超平面正確分類時就是實例點到超平面的距離。

三、函數間隔和幾何間隔的關係

$\gamma_i={\hat\gamma_i\over||w||}$

$\gamma={\hat\gamma\over||w||}$

若 $\|w\|=1$，那麼函數間隔和幾何間隔相等，如果超平面參數成比例地改變(超平面沒有改變) ，函數間隔也按此比例改變，而幾何間隔不變