支持向量機（二）

之前的博文中，我們討論了線性支持向量機。這裏，我們討論非線性的情況。

（1）樣本集線性不可分，是說對於樣本集，其中 $x_i\in R^d,y_i\in\left \{ +1,-1 \right \}$ ，不等式 $y_i(wx_i+b)-1\geqslant 0,(i=1,2,3...N)$ 不可能被所有樣本同時滿足。

（2）當（1）中的問題存在時，即稱爲非線性可分。我們總可以在不等式的左側加上一個正數 $\xi _i$ （我們稱該數爲鬆弛因子），使得不等式 $y_i(wx_i+b)-1+\xi_i\geqslant 0$ 成立。如果樣本被正確分類，即 $y_i(wx_i+b)-1\geqslant 0$ ，則 $\xi _i=0$ ；如果樣本不能被正確分類，則這個樣本對應的，則 $\xi _i>0$ 。

（3）我們在（2）的條件下重新設計支持向量機：

$\begin{Bmatrix} min &{}\frac{1}{2}||w||^2+c\sum_{i=1}^{N}\xi_{i},(i=1,2,3,4...N) \\ s.t.& y_i(wx_i+b)-1+\xi_i\geqslant0,\xi_{i}\geqslant0,(i=1,2,3,4...N)\\ \end{matrix}$

①所有樣本的鬆弛因子之和 $\sum_{i=1}^{N}\xi_{i}$ ，可以反映整個訓練樣本集的錯分程度：錯分樣本越多， $\sum_{i=1}^{N}\xi_{i}$ 越大；樣本錯分程度越大， $\sum_{i=1}^{N}\xi_{i}$ 也越大。顯然，我們希望 $\sum_{i=1}^{N}\xi_{i}$ 儘可能小。因此，我們在線性可分情況下的目標函數 $\frac{1}{2}||w||^2$ 上增加對錯誤的懲罰。

②新的目標函數反映了我們的兩個目的：一方面希望分類間隔儘可能大，另一方面希望錯分的樣本儘可能少且錯誤程度儘可能低。

③c是一個需要選擇的參數。c越小，表示對錯誤較容忍而強調對於正確分類的樣本的分類間隔；c越大，表示對分類錯誤的懲罰越大。

（4）將原始問題轉化爲對偶問題，則有

$L(w,b,\xi,\alpha,\mu)={}\frac{1}{2}||w||^2+c\sum_{i=1}^{N}\xi_{i}-\sum_{i=1}^{N}\alpha_i(y_i(wx_i+b)-1+\xi_i)-\sum_{i=1}^{N}\mu_i\xi_i$

這裏， $\begin{matrix}\alpha_i\geqslant0,\mu_{i}\geqslant0,(i=1,2,3,4...N) \\ &\quad \\ \end{matrix}$

①對偶問題同樣是拉格朗日函數的極大極小問題，首先求 $L(w,b,\xi,\alpha,\mu)$ 對 $w,b,\xi$ 的極小：

$\begin{Bmatrix} \bigtriangledown_{b}L(w,b,\xi,\alpha,\mu)=0&\quad\\ \bigtriangledown_{w}L(w,b,\xi,\alpha,\mu)=0 &\\ \bigtriangledown_{\xi}L(w,b,\xi,\alpha,\mu)=0 &\\ \end{matrix}$

可以得到: $\begin{Bmatrix} \quad\sum_{i=1}^N}\alpha_{i}y_{i}x_{i}=w&\quad\\ \sum_{i=1}^{N}\alpha_{i}y_{i}=0&\\ c=\alpha_i+\mu_i \end{matrix}$

②將（4)—①中的解代入 $L(w,b,\xi,\alpha,\mu)$ 中，可以得到：

$\underset{w,b,\xi}{min}L(w,b,\xi,\alpha,\mu)=-\sum_{i=1}^{N}\sum_{j=1}^{N}\alpha_{i}\alpha_{j}y_{i}y_{j}(x_{i}*x_{j})+\sum_{i=1}^{N}\alpha_{i}$

③再對 $\underset{w,b,\xi}{min}L(w,b,\xi,\alpha,\mu)$ 求關於α的極大值，則有對偶問題：

$\begin{Bmatrix} max &-{}\frac{1}{2}\sum_{i=1}^{N}\sum_{j=1}^{N}\alpha_{i}\alpha_{j}y_{i}y_{j}(x_{i}*x_{j})+\sum_{i=1}^{N}\alpha_{i} \\ s.t.& \sum_{i=1}^{N}\alpha_{i}y_{i}=0 ,0\leqslant\alpha_{i}\leqslant c,(i=1,2,3,4...N)\\ \end{matrix}$