《機器學習中的數學》—— 函數間隔與幾何間隔

1.函數間隔

在超平面$w^*x+b=0$確定的情況下，$|w^*x+b=0|$能夠表示點x到距離超平面的遠近，而通過觀察$w^*x+b=0$的符號與類標記$y$的符號是否一致可判斷分類是否正確，所以，可以用$w^*x+b=0$)的正負性來判定或表示分類的正確性。於此，我們便引出了函數間隔（functional margin）的概念。
定義函數間隔（用$\widehat{\gamma}$表示）爲：
$\widehat{\gamma}=y(w^Tx+b)=yf(x)$
而超平面$(w，b)$關於$T$中所有樣本點$(x_i，y_i)$的函數間隔最小值（其中，$x$是特徵，$y$是結果標籤，$i$表示第$i$個樣本），便爲超平面(w, b)關於訓練數據集T的函數間隔：
$\widehat{\gamma}=min\widehat{\gamma}_i(i=1,...,n)$
但這樣定義的函數間隔有問題，即如果成比例的改變$w$和$b$（如將它們改成$2w$和$2b$），則函數間隔的值f(x)卻變成了原來的$2$倍（雖然此時超平面沒有改變），所以只有函數間隔還遠遠不夠。

2.幾何間隔

事實上，我們可以對法向量w加些約束條件，從而引出真正定義點到超平面的距離–幾何間隔（geometrical margin）的概念。
假定對於一個點 $x$ ，令其垂直投影到超平面上的對應點爲$ x_0$ ，$w$ 是垂直於超平面的一個向量，爲樣本$x$到超平面的距離，如下圖所示：

根據平面幾何知識，有
$x=x_0+\gamma \frac{w}{||w||}$
其中$||w||$爲$w$的二階範數（範數是一個類似於模的表示長度的概念），$\frac{w}{||w||}$是單位向量（一個向量除以它的模稱之爲單位向量）。
又由於$x_0$是超平面上的點，代入超平面方程$w^Tx+b=0$，可得$w^Tx-0+b=0$，即$w^tx_0=-b$。
讓$x=x_0+\gamma \frac{w}{||w||}$ 兩邊同乘$w^T$,有$w^Tx_0=-b$和$w^Tw=||w||^2$得到“
$\gamma=\frac{w^Tx+b}{|||w||}=\frac{f(x)}{|||w||}$
爲了得到$\gamma$的絕對值，令$\gamma$乘上對應的類別 $y$，即可得出幾何間隔（用表示）的定義：
$\widetilde{\gamma}=y \gamma=\frac{\widehat{\gamma}}{|||w||}$

3.兩者的關係

從上述函數間隔和幾何間隔的定義可以看出：幾何間隔就是函數間隔除以$||w||$，而且函數間隔$y*(wx+b) = y*f(x)$實際上就是$|f(x)|$，只是人爲定義的一個間隔度量，而幾何間隔$\frac{\widehat{\gamma}}{|||w||}$纔是直觀上的點到超平面的距離。