徹底理解支持向量機(一)

線性可分支持向量機

SVM學習的思想是求解能夠正確劃分訓練數據集並且幾何間隔最大的分離超平面。

兩類樣本的情況，離分類面最近的樣本到分類面的距離稱爲分類間隔，最優超平面又叫最大間隔超平面。

支持向量就是決定最大間隔超平面的數據點。

一、函數間隔和幾何間隔

超平面wx+b=0 完全由(w,b)決定。
線性可分支持向量機利用間隔最大化求最優分離超平面，這時解是唯一的。

1.1, 函數間隔

在超平面wx+b=0確定的情況下，|wx+b|能夠表示點x到距離超平面的遠近，而通過觀察 wx+b 的符號與類標記y的符號是否一致可判斷分類是否正確，所以，可以用*( y(wx+b) )*的正負性來判定或表示分類的正確性。於此，我們便引出了函數間隔（functional margin）的概念。

函數間隔： 定義超平面(w, b)關於樣本點$(x_i, y_i)$的函數間隔爲：
     $\hat{\gamma_i} = y_i(\omega \cdot x_i + b)$
注意到：
選擇分離超平面時，只要成比例地改變w和b, 例如將它們改爲cw和cb(c是常數)，超平面並沒有改變，但函數間隔卻成爲原來的c倍。

要選擇最大間隔的超平面，還需要對法向量$\omega$加上某些約束，比如規範化，使得間隔是確定的。
這時函數間隔成爲幾何間隔(geometric margin)。
此時，上述常數$c = \frac {1}{||\omega||}$。

怎樣才能使分類間隔最大呢？先計算分類間隔，然後優化求解。

1.2 如何計算幾何間隔呢？

先看一個點到超平面的間隔(也就是距離)。

第一種視角：

考慮二維空間中點到直線的“間隔”：
點(x0, y0)到直線 ax + by + c = 0的距離公式：
$d = \dfrac{|ax_0 + by_0 + c|}{\sqrt{a^2 + b^2}}$
擴展到 n 維空間中：
$d^n = \dfrac{|a_1x_1 + a_2x_2 + ... + a_nx_n + c|}{\sqrt{a_1^2 + a_2^2 +...+ a_n^2}}$
然後表示成向量形式：
$D = \dfrac{1}{||\omega||}|\omega \cdot x + b|$
其中，$||\omega||$ 是向量w的二範數，w = {w1,w2,w3,…,wn}。

第二種視角：
https://blog.csdn.net/yjn03151111/article/details/46746839

向量知識：$\omega^T\omega = ||\omega||^2$

假設任意一個樣本x，在分類超平面$\omega^T x + b = 0$上的投影記爲$x_0$，x到分類平面的距離記爲d(d >= 0)。
w是垂直於超平面的法向量，法向量的方向(單位向量)是法向量除以它的模長：$\frac {\omega}{||\omega||}$，可以得到：
   $x - x_0 = d \cdot {\dfrac {\omega}{||\omega||}} \quad \Rightarrow x = x_0 + d\cdot {\dfrac {\omega}{||\omega||}}$
兩邊同時左乘$\omega^T$：
$\omega^T x - \omega^T x_0 = d\cdot {\dfrac {\omega^T\omega}{||\omega||}} = d\,||\omega|| \\ d\,||\omega|| = \omega^T x - \omega^T x_0 - b + b = \omega^T x - (\omega^T x_0 + b) + b$

又由於x0在超平面$\omega^T x_0 + b = 0$上，代入得
$d = \dfrac{|\omega^T x + b|}{||\omega||}$ (d >= 0)

第三種視角：
https://www.jianshu.com/p/097ab4f0d4d4

設X1是決策邊界上的一點，那麼任意點X到決策邊界的距離D，是向量X X1長度在垂直於決策邊界方向上的投影，既$dist = X - X_1 = ||X - X_1||cos(\alpha)$，alpha爲向量X X1與垂直於決策邊界方向的夾角。

兩個向量相乘等於向量長度的乘積再與向量夾角餘弦值的乘積，由於w是決策邊界的法向量，
所以w與X - X_1 的夾角就是上式中的alpha，於是：
$\omega(X - X_1) = ||\omega|| * ||X - X_1||cos(\alpha) \\ \dfrac {\omega}{||\omega||}(X - X_1) = |X - X_1|| * cos(\alpha) = dist$

所以$dist = \dfrac {\omega}{||\omega||}(X - X_1) = \dfrac {\omega^T X - \omega^T X_1}{||\omega||}$

又由於X1在超平面$\omega^T X_1 + b = 0$，代入得
$dist = \dfrac {1}{||\omega||} (\omega^T X + b)$

爲了確保距離非負，我們在$\omega^T X + b$外面加一個絕對值符號。

1.3 幾何間隔和函數間隔的關係

記 y∈{−1,1} 爲分類標籤，間隔公式乘以類別標籤，所以$|w^Tx+b| = y_i (w^Tx+b)$，我們可以以此消去上式的絕對值。於是
N 個樣本 Xi 和分類超平面的幾何間隔的表達式：
   $\gamma = \dfrac {y_i(w^Tx_i+b)}{\|\omega\|}, \ i=1,2,...,N$
由函數間隔的表達式：$\hat{\gamma} = y_i(\omega \cdot x_i + b)$ 可知，
     $\gamma = \dfrac {yf(x)}{\|\omega\|} = \dfrac { \hat{\gamma} }{ \|\omega\| }$

幾何間隔就是函數間隔除以||w||

二、最大化分類間隔

這裏要解釋 $margin = min \, \dfrac {1}{2} \| \omega \|^2$ 是怎麼來的。

第一種視角：

根據上面的幾何間隔公式，求解能使間隔最大化的參數w和b，即求解以下優化函數：
$\max_{w,b}\ \gamma = max\left\{\frac{y_i(w^Tx_i+b)}{\|w\|}\big|\ i=1,2,...,n\right\}$
最大分類間隔的目標函數寫成：
   $\left\{ \begin{aligned} & \max_{w,b}\ \frac{y_0(w^Tx_0+b)}{\|w\|} \\ & s.t.\quad y_i(w^Tx_i+b)\geq y_0(w^Tx_0+b), \ i=1,2,...,N \end{aligned} \right.$

我們令$\bm{\hat{w}={w}\ /\ {y_0(w^Tx_0+b)}, \, \hat{b}={b}\ /\ {y_0(w^Tx_0+b)}}$ ;
則優化函數可寫成：
   ${1}\ /\ {\|\hat{w}\|} \quad s.t. \, \ y_i(w^Tx_i+b)\geq1, \ i=1,2,...,N$
再用w替換 $\hat{\omega}$，並且利用 $\max_{w}{1}\ /\ {\|w\|} \quad and \quad \max_{w}{1}\ /\ {\|w\|^2}$ 等價的原理，可以得到以下下等價的優化問題：
   $\left\{ \begin{aligned} & \max_{w,b}\ \frac{1}{\|w\|^2} \\ & s.t. \ y_i(w^Tx_i+b)\geq 1, \ i=1,2,...,N \end{aligned} \right.$

第二種視角：

對一個數據點進行分類，當這個點和超平面之間的間隔越大的時候，分類正確的把握越大。對於一個包含n個點的數據集，我們可以很自然地定義它的間隔爲所有這n個點的間隔中最小的那個。
要正確劃分訓練數據集{x1,x2,…xn}，滿足y=1時，所有點的間隔 $\gamma>=d_{min}$，y=-1時，所有點的間隔 $\gamma<=d_{min}$ ，寫成下面的公式：

   $\left\{\begin{array}{ll} (\boldsymbol{\omega}^T\boldsymbol{x}_i+b)/||\boldsymbol{\omega}||\geq d_{min}& \forall~ y_i=1\\(\boldsymbol{\omega}^T\boldsymbol{x}_i+b)/||\boldsymbol{\omega}||\leq -d_{min} & \forall~y_i=-1\end{array}\right.$

兩邊先除以d, 然後w和b都成比例縮放，令 $\omega' = \dfrac {\omega}{d_{min} ||{\omega}||}, b' = \dfrac {b}{d_{min} ||{\omega}||}$ 得到：

   $\left\{\begin{array}{ll} (\boldsymbol{\omega'}^T \boldsymbol{x_i}+b') \geq 1& \forall~ y_i=1\\(\boldsymbol{\omega'}^T\boldsymbol{x}_i+b') \leq -1 & \forall~y_i=-1\end{array}\right.$

只有當$x_i$是決策面 $\omega^T x + b = 0$ 所對應的支持向量時，等於1或-1的情況纔會出現。
此時有 $y_i(\omega^T x_i + b) = 1$

代入之前 1.3 中的間隔公式$\gamma = \dfrac {y_i(w^Tx_i+b)}{\|\omega\|}$，得到：
支持向量到超平面的距離爲$\dfrac {1}{|| \boldsymbol{\omega} ||}$，兩側的距離加起來就是$\dfrac {2}{\Vert \omega \Vert}$。

我們希望距離越大越好，也就是說$\dfrac {1}{\|\omega\|}$越大越好，同時對於數據集中數據的分佈滿足$y(\omega^T x + b) \geq 1$。因此，我們得到了如下的優化問題：
     $\left \{ \begin{matrix} \begin{aligned} & \max \, \frac{1}{\Vert \omega \Vert} \\ & s.t. \quad y_i(\omega^T x_i + b) \geqslant 1 ,\quad i=1,2,...,n \end{aligned} \end{matrix} \right.$