統計學習方法——支持向量機（1）

0.寫在前面

支持向量機是如此的大名鼎鼎，以至於我遲遲不敢動手，今天終於要解開它的神祕面紗了，而它真的是體量太大，以至於我得分3個章節來講。今天我們講解最簡單的第一部分，線性可分的支持向量機，即保證所有樣本都可以被劃分正確。

1.支持向量機基礎

1.1實際意義

支持向量機的實際意義基本上和感知機一樣，使用一個超平面來區分正負樣例。因此它最簡單的形式是隻能進行二分類的。但是它的特殊之處是，它既不是找到一個超平面，使得誤分類點樣本到超平面的總距離最小（感知機），也不是找到一個超平面使得類別間的距離最大，類別內的距離最小（LDA），更不是找到一個超平面使得誤分類點樣本數目最少（離散的，不可導）。它是找到距離超平面距離最近的兩個劃分正確點距離超平面距離最遠，也就是說，它並不是儘可能減少錯分的，而是儘可能保證分對的一定對。有時候我們考慮問題也應該如此，把自己能做好的做到最好，然後再儘可能的做對那些我們不確定的事情。

1.2目標函數

如上所說，支持向量機的目標是找到一個劃分的超平面w×x+b=0$\mathit{w}\times \mathit{x}+b=0$ 。那麼任一點xi$x_i$ 到該平面的距離爲r=|w×xi+b|||w||$r=\frac{|w\times x_i+b|}{||w||}$ 。

另外規定如下：

{w×xi+b>0,w×xi+b<0,yi=1yi=−1$$\{\begin{array}{ll}w\times x_i+b>0,& y_i=1\\ w\times x_i+b<0,& y_i=-1\end{array}$$

爲了保證尺度統一也爲了方便計算，對上式進行一個放縮：

{w×xi+b≥1,w×xi+b≤−1,yi=1yi=−1$$\{\begin{array}{ll}w\times x_i+b\ge 1,& y_i=1\\ w\times x_i+b\le -1,& y_i=-1\end{array}$$

這樣一方面可以保證yi(w×xi+b)≥1$y_i(w\times x_i+b)\ge 1$
另一方面可以使得最近的兩個異類（正樣例、負樣例）到達超平面的距離之和爲r=2||w||$r=\frac{2}{||w||}$ ,這裏隱含w×xi+b=1$w\times x_i+b=1$ 。
這樣就能順理成章的得到支持向量機最原始的目標函數：

{maxw,b2||w||S.t.yi(w×xi+b)≥1$$\{\begin{array}{l}\underset{w,b}{max}\frac{2}{||w||}\\ S.t.& y_i(w\times x_i+b)\ge 1\end{array}$$

這個公式是支持向量機最原始的目標函數，下面請看變戲法。

1.3目標函數變換

1.3.1第一次變換形態——正負號變換

原始目標函數等價於：

{minw,b12||w||2S.t.yi(w×xi+b)≥1$$\{\begin{array}{l}\underset{w,b}{min}\frac{1}{2}||w|{|}^2\\ S.t.& y_i(w\times x_i+b)\ge 1\end{array}$$

這一波操作都能看得懂，對吧。接下來就要用到拉格朗日乘子法了。

1.3.2第二次變換形態——拉格朗日乘子法變換

拉格朗日乘子法是解決約束問題最值的，在數學建模中比較常見的。但是那時候看拉格朗日乘子法都比較簡單，因爲通常都是隻有那麼1，2，3個約束條件，然後只需要多加幾個可見的拉格朗日乘子即可。如果不記得拉格朗日乘子法了，請參見《拉格朗日乘子法》。
下面進行拉格朗日乘子法變換：

maxαL(w,b,α)=12||w||2+∑i=1mαi(1−yi(wxi+b))$$\underset{\alpha }{max}L(w,b,\alpha )=\frac{1}{2}||w|{|}^2+\sum _{i=1}^m{\alpha }_i(1-y_i(w{x}_i+b))$$

這纔是真正的拉格朗日乘子法變換，也是爲對偶算法進行鋪墊。那麼問題就變成了

minw,bmaxαL(w,b,α)=12||w||2+∑i=1mαi(1−yi(wxi+b))$$\underset{w,b}{min}\underset{\alpha }{max}L(w,b,\alpha )=\frac{1}{2}||w|{|}^2+\sum _{i=1}^m{\alpha }_i(1-y_i(w{x}_i+b))$$

1.3.3第三次變換形態——對偶變換

接下來進行對偶變換：

maxαminw,bL(w,b,α)=12||w||2+∑i=1mαi(1−yi(wxi+b))$$\underset{\alpha }{max}\underset{w,b}{min}L(w,b,\alpha )=\frac{1}{2}||w|{|}^2+\sum _{i=1}^m{\alpha }_i(1-y_i(w{x}_i+b))$$

沒錯這樣的話，就是第二形態，這是對偶後的形態，此時只需要對w,b進行求偏導即可獲得第一層最值。

w=∑i=1mαiyixi$$w=\sum _{i=1}^m{\alpha }_i{y}_i{x}_i$$

0=∑i=1mαiyi$$0=\sum _{i=1}^m{\alpha }_i{y}_i$$

帶入原公式即可獲得對偶形態的最終形式：

maxα−12∑i=1N∑j=1Nαiαj(xixj)+∑i=1Nαi$$\underset{\alpha }{max}-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j(x_i{x}_j)+\sum _{i=1}^N{\alpha }_i$$

S.t.αiyi=0,αi≥0$$S.t.{\alpha }_i{y}_i=0,{\alpha }_i\ge 0$$

但是不是什麼時候都能夠讓你對偶的，需要滿足KTT條件，比如上公式滿足的條件爲：

⎧⎩⎨αi≥01−yi(wxi+b)≤0αi(1−yi(wxi+b))=0$$\{\begin{array}{l}{\alpha }_i\ge 0\\ 1-y_i(w{x}_i+b)\le 0\\ {\alpha }_i(1-y_i(w{x}_i+b))=0\end{array}$$

1.4線性可分支持向量機解法

好了，這樣的話，我們就把它最終的形式確定下來了。這樣求解線性可分的支持向量機的算法就可以表示如下：
1. 構造並求解約束最優化問題

minα12∑i=1N∑j=1Nαiαj(xixj)−∑i=1Nαi$$\underset{\alpha }{min}\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j(x_i{x}_j)-\sum _{i=1}^N{\alpha }_i$$

S.t.αiyi=0,αi≥0$$S.t.{\alpha }_i{y}_i=0,{\alpha }_i\ge 0$$

2. 計算

w=∑i=1Nαiyixi$$w=\sum _{i=1}^N{\alpha }_i{y}_i{x}_i$$

,並選擇α的一個正分量αj>0（α的實際意義在於每個樣本點是否是支持向量）$\alpha 的一個正分量{\alpha }_j>0（\alpha 的實際意義在於每個樣本點是否是支持向量）$ ，計算

b=yj−∑i=1Nαiyi(xixj)$$b=y_j-\sum _{i=1}^N{\alpha }_i{y}_i(x_i{x}_j)$$

3. 求得分離超平面

wx+b=0$$wx+b=0$$

4. 確定分類決策函數

f(x)=sign(wx+b)$$f(x)=sign(wx+b)$$

具體的一個例子，可以參見《統計學習方法》P107頁。

1.5SMO優化算法

SMO優化算法目的是爲了加速凸優化問題的求解過程。它採用的是啓發式方法，固定其他參數，只調整兩個變量，然後不斷的迭代，直到最終收斂爲止。它的b使用的是支持向量的平均值，即：

b=1|S|∑s∈S(ys−∑i∈Sαiyixixs)$$b=\frac{1}{|S|}\sum _{s\in S}(y_s-\sum _{i\in S}{\alpha }_i{y}_i{x}_i{x}_s)$$

這裏我們只是略微提及一下這個算法，後面還會經常碰到。

2.小結

在本章中，我們主要講解了支持向量機的基礎部分，尤其是對於其最簡單的形式線性可分的支持向量機進行相關的講解。特別是對於其目標函數的來源以及目標函數的變換做了細緻的講解。另外稍微提及了一下SMO算法。在接下來的過程中，我們將會講解線性不可分的支持向量機與核函數等。