支持向量機（一）——深入理解函數間隔與幾何間隔

1.支持向量機和logistic函數的有什麼區別

實踐發現，在所給的例子中，兩種方法線性劃分兩類事物時得到的線性分類器的效果差不多。那具體的差別在哪呢？
SVM更關心的是靠近中間分割線的點，讓他們儘可能地原理中間線，而不是在所有點上達到最優，因爲那樣的話，要使得一部分點靠近中間線來換取另外一部分點更加原理中間線。因此支持向量機和和邏輯斯蒂迴歸的不同點，一個是考慮局部（不關心已經確定遠離的點，更考慮靠近中間分割線的點），一個是考慮全局（已經原理的點可能通過調整中間線使其能夠更加遠離）

2. 函數間隔和幾何間隔

首先我們定義超平面的表達式爲y=ωTx+b${\omega }^{T}x+b$ ，然後熟悉一下一個點(x,y)到Ax+By+C=0，的距離公式是Ax+By+CA2+B2√$\frac{Ax+By+C}{\sqrt{A^2+B^2}}$ ，其次我們要清楚我們的任務是找到離超平面最近的點，並使它最遠。

2.1 函數間隔

接着來看函數間隔的定義：給定一個訓練樣本(xi,yi)$(x_i,y_i)$ ，x是特徵，y是結果標籤，i表示第i個樣本。定義函數間隔爲：

γiˆ=yi(w∗xi+b)$\widehat{{\gamma }_i}=y_i(w\ast x_i+b)$
由於之前對g(z)進行了定義，當yi=1$y_i=1$ 時，w∗xi+b≥0$w\ast x_i+b\ge 0$ ，所以函數間隔實際上是|w∗xi+b|$|w\ast x_i+b|$ 。由於是一個訓練樣本，那麼爲了使函數間隔最遠（更大的信息確定該樣本是正例還是反例），所以，當yi=1$y_i=1$ 時，我們希望w∗xi+b$w\ast x_i+b$ 能夠非常大，反之是非常小。因此函數間隔代表了我們認爲特徵是正例還是反例的確信度。
函數間隔如果同時擴大w和b的話，例如將w∗xi+b$w\ast x_i+b$ 乘個係數2，函數間隔會增大2倍，但是所求的超平面w∗xi+b=0$w\ast x_i+b=0$ 不會變化（注意這裏一個是超平面概念，一個是函數間隔概念）
剛剛我們定義個函數間隔是針對某一個樣本的，現在我們針對全局樣本的定義的函數間隔：
γˆ=mini=1,...,Nγˆi$\hat{\gamma }=\underset{i=1,...,N}{min}{\hat{\gamma }}_i$
意思就是找到訓練樣本中函數間隔最小的那個樣本，並且要讓它的函數間隔最大。

2.2 幾何間隔

幾何間隔首先簡單一點說就是點到直線距離，如圖

假設我們有B點所在的w∗xi+b=0$w\ast x_i+b=0$ ，任何其他一點，比如A到該面的距離以γi${\gamma }^i$ 表示，假設B就是A在分割面上的投影。W是法向量，則單位向量就是ω||ω||$\frac{\omega }{||\omega ||}$ 。A點座標是(xi,yi)$(x_i,y_i)$ 。所以B點是x=xi−γi∗ω||ω||$x=x_i-{\gamma }^i\ast \frac{\omega }{||\omega ||}$ （初中數學知識），帶入到所需要求的超平面w∗xi+b=0$w\ast x_i+b=0$ ，就得到以下公式：

看吧，幾何距離實際上就是點到直接距離，換一種寫法：

當||w||等於1的時候，函數間隔就和幾何間隔一樣，可以理解爲函數間隔是幾何間隔沒有除以||w||的表達，幾何間隔是函數間隔歸一化的結果。這是爲什麼呢？因爲函數間隔是我們定義的，在定義的時候就有幾何間隔的色彩。幾何間隔最大的優勢就是不管將w和b擴大幾倍，幾何間隔都沒有影響。
同樣，定義全局的幾何間隔爲
幾何間隔與函數間隔的關係就是：

γ=γˆ||ω||$\gamma =\frac{\hat{\gamma }}{||\omega ||}$