筆記(總結)-SVM(支持向量機)的理解-4

前三篇主要是介紹SVM的原理。最初SVM的原問題是凸二次優化問題，有現成的算法可以求解，費盡周折轉換到對偶問題，一是在對偶問題形勢下可以使用核函數，二是對偶問題我們可以高效求解。本篇主要介紹如何求解SVM。

SMO：Sequential Minimal Optimization

---

Coordinate Ascent（座標上升法）

回到我們的對偶問題：

maxW(α)=∑iαi−12∑i∑jαiαjyiyjxTixj$maxW(\alpha )=\sum _i{\alpha }_i-\frac{1}{2}\sum _i\sum _j{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j$

s.t. ∑iαiyi=0, 0≤αi≤C$s.t.\sum _i{\alpha }_i{y}_i=0,0\le {\alpha }_i\le C$

上述問題僅僅是關於一系列α$\alpha$ 的優化問題，即：

maxαW(α1,...,αm)$ma{x}_{\alpha }W({\alpha }_1,...,{\alpha }_m)$

考慮使用座標上升法解決該問題：

算法內層循環將αi${\alpha }_i$ 看做變量，其他的α$\alpha$ 看做常量進行優化。在二維情況下，函數等高線圖的優化路線如下：

可以看到，每一步優化中，都固定了一個變量，讓另一個變量取值使目標函數“最優”，交替更新兩個變量直到收斂或達到某種停止條件。然而由於如下限制，無法在對偶問題中使用座標上升法求解：

α1=−y1∑ni=2αiyi${\alpha }_1=-y_1\sum _{i=2}^n{\alpha }_i{y}_i$

假如我們想固定其他變量，更新α1${\alpha }_1$ ，由於對偶問題的約束，固定其他變量後α1${\alpha }_1$ 爲常量。

SMO Algorithm

只選取一個αi${\alpha }_i$ 更新是不行的，那麼考慮一次至少更新兩個變量。這便是SMO算法的動機由來，算法如下：

算法思想很簡潔，先按某種方式選定要更新的兩個變量αi,αj${\alpha }_i,{\alpha }_j$ ，然後固定其它變量對αi,αj${\alpha }_i,{\alpha }_j$ 進行更新來優化W(α)$W(\alpha )$ 。

優化步驟

例如我們現在想優化α1,α2${\alpha }_1,{\alpha }_2$ ，由約束可以得到：

α1y1+α2y2=−∑ni=3αiyi=常數,記爲ζ${\alpha }_1{y}_1+{\alpha }_2{y}_2=-\sum _{i=3}^n{\alpha }_i{y}_i=常數,記爲\zeta$

又由對偶問題約束0≤αi≤C$0\le {\alpha }_i\le C$ 可以得到可行解如下圖，α1,α2${\alpha }_1,{\alpha }_2$ 必須位於直線α1y1+α2y2=ζ${\alpha }_1{y}_1+{\alpha }_2{y}_2=\zeta$ 被矩形區域[0,C]×[0,C]$[0,C]\times [0,C]$ 截斷的線段上：

由直線約束可以將α1${\alpha }_1$ 表示爲α2${\alpha }_2$ 的函數，即：

α1=(ζ−α2y2)y1${\alpha }_1=(\zeta -{\alpha }_2{y}_2)y_1$

由此得到目標函數的表達式爲：

W=W((ζ−α2y2)y1,α2,...,αm)$W=W((\zeta -{\alpha }_2{y}_2)y_1,{\alpha }_2,...,{\alpha }_m)$

將目標函數展開，得到一個關於α2${\alpha }_2$ 的開口向下的二次函數，當不考慮矩形區域約束時可以直接求導，得到最優解αopt2${\alpha }_2^{opt}$ 。然而實際情況中由於矩形約束，α2${\alpha }_2$ 通常有取值區間[L,H]$[L,H]$ ，考慮最優解和取值區間的關係，更新得到實際最優值：

α∗2=⎧⎩⎨⎪⎪H,    αopt2>Hαopt2, L≤αopt2≤HL,    αopt2<H$${\alpha }_2^{\ast }=\{\begin{array}{l}H,{\alpha }_2^{opt}>H\\ {\alpha }_2^{opt},L\le {\alpha }_2^{opt}\le H\\ L,{\alpha }_2^{opt}<H\end{array}$$

當得到α∗2${\alpha }_2^{\ast }$ 後，可以依據直線約束更新α1${\alpha }_1$ 。

選擇步驟

選擇違反KKT條件最多的樣本對應的α$\alpha$ 作爲第一個變量，即對於每個訓練樣本，檢查是否滿足KKT條件（可參考SVM第2篇），選擇不滿足中程度最大者：

          αi=0⟺xi非支持向量⟺yi(wTx+b)≥1${\alpha }_i=0⟺x_i非支持向量⟺y_i(w^{T}x+b)\ge 1$

0<αi<C⟺xi在邊界上⟺yi(wTx+b)=1$0<{\alpha }_i<C⟺x_i在邊界上⟺y_i(w^{T}x+b)=1$

                 αi=C⟺xi可能被錯誤分類⟺yi(wTx+b)≤1${\alpha }_i=C⟺x_i可能被錯誤分類⟺y_i(w^{T}x+b)\le 1$

對於第二個變量，應該選擇一個使目標函數數值增長最快的變量，但由於比較各變量所對應的目標函數值增幅的複雜度過高，SMO採用啓發式規則，使選取的兩變量對應樣本之間間隔最大，直觀上看，這樣選取的兩個變量差異較大，相比於對兩個相似變量進行更新，差異更大的變量能對目標函數帶來更大的變化。

至此我們得到了SMO的完整算法。

---

四篇過後，SVM基本講述清楚。參考來源之前的總結博客有記述傳送門，同時還參考了國科大《模式識別與機器學習》091M4042H課程蘭豔豔老師slides。