SMO（Sequential minimal optimization）算法的詳細實現過程

SMO算法主要是爲優化SVM（支持向量機）的求解而產生的，SVM的公式基本上都可以推到如下這步：

$max_{\alpha}\sum_{i=1}^{m}\alpha_{i}-\frac{1}{2}\sum_{i=1}^{m}\sum_{j=1}^{m}\alpha_{i}\alpha_{j}y_{i}y_{j}x_{i}^{T}x_{j}$

$s.t. \sum_{i}^{m}\alpha_{i}y_{i}=0$

$0≤\alpha_{i}≤C，i = 1, 2, 3,...,m$

其中，C是SVM中懲罰參數（或正則化常數），可令：

$\varphi(\alpha)=\sum_{i=1}^{m}\alpha_{i}-\frac{1}{2}\sum_{i=1}^{m}\sum_{j=1}^{m}\alpha_{i}\alpha_{j}y_{i}y_{j}x_{i}^{T}x_{j}$

SMO的具體步驟：

第一步：爲了滿足$\sum_{i}^{m}\alpha_{i}y_{i}=0$公式，首先要固定兩個變量$\alpha_{i}和\alpha_{j}$，這裏以$\alpha_{1}和\alpha_{2}$爲例，其餘的$\alpha_{i}(i=3,4,...,m)都是已知量$，則約束條件變成：

$\alpha_{1}y_{1}+\alpha_{2}y_{2}=c=-\sum_{i=3}^{m}\alpha_{i}y_{i}，(0≤\alpha_{1}≤C，0≤\alpha_{2}≤C)$

兩邊同乘$y_{1}$，並記$y_{1}y_{2}=h_{0}$得：

$\alpha_{1}+h_{0}\alpha_{2}=-y_{1}\sum_{i=3}^{m}\alpha_{i}y_{i}=\alpha_{1_{new}}+h_{0}\alpha_{2_{new}}$

令$H=-y_{1}\sum_{i=3}^{m}\alpha_{i}y_{i}$，可得：

$\alpha_{1_{new}}=H-h_{0}\alpha_{2_{new}}$ (1)

第二步：由於$\alpha_{1_{new}}$可以用$\alpha_{2_{new}}$來表示，且$\alpha_{i}(i=3,4,...,m)$都是已知量，此時$\varphi(\alpha)$只有一個未知變量$\alpha_{2_{new}}$，那麼可以直接求導得到$\alpha_{2_{new}}$。具體實施過程如下：

1、展開$\varphi(\alpha)$可得：

$\varphi(\alpha)=\alpha_{1_{new}}+\alpha_{2_{new}}-\frac{1}{2}\alpha_{1_{new}}^{2}k_{11}-\frac{1}{2}\alpha_{2_{new}}^{2}k_{22}-\alpha_{1_{new}}\alpha_{2_{new}}y_{1}y_{2}k_{12}-\alpha_{1_{new}}y_{1}\sum_{i=3}^{m}\alpha_{i}y_{i}k_{i1}-\alpha_{2_{new}}y_{2}\sum_{i=3}^{m}\alpha_{i}y_{i}k_{i2}+\varphi_{constant}$ (2)

式中， $kij=k(x_{i},x_{j})$，表示核函數

$\varphi_{constant}=\sum_{i=3}^{m}\alpha_{i}-\frac{1}{2}\sum_{i=3}^{m}\sum_{j=3}^{m}\alpha_{i}\alpha_{j}y_{i}y_{j}k_{ij}$

2、SVM的超平面模型：$f(x_{j})=w^{T}+b=\sum_{i=1}^{m}\alpha_{i}y_{i}k_{ij}+b$

令$V_{j}=\sum_{i=3}^{m}\alpha_{i}y_{i}k_{ij}=f(x_{j})-b-\alpha_{1}y_{1}k_{1j}-\alpha_{2}y_{2}k_{2j}$ (3)

3、 將公式（1）、（3）代入（2）得：

$\varphi(\alpha)=H-h_{0}\alpha_{2_{new}}+\alpha_{2_{new}}-\frac{1}{2}(H-h_{0}\alpha_{2_{new}})^{2}k_{11}-\frac{1}{2}\alpha_{2_{new}}^{2}k_{22}-(H-h_{0}\alpha_{2_{new}})\alpha_{2_{new}}y_{1}y_{2}k_{12}-(H-h_{0}\alpha_{2_{new}})y_{1}V_{1}-\alpha_{2_{new}}y_{2}V_{2}+\varphi_{constant}$

對$\alpha_{2_{new}}$求導數可得：

$\frac{d\varphi(\alpha)}{d\alpha_{2_{new}}}=-(k_{11}+k_{22}-2k_{12})\alpha_{2_{new}}+h_{0}H(k_{11}-k_{22})+y_{2}(V_{1}-V_{2})-h_{0}+1=0$

求解可得：

$(k_{11}+k_{22}-2k_{12})\alpha_{2_{new}}=h_{0}H(k_{11}-k_{22})+y_{2}(V_{1}-V_{2})-h_{0}+1$ (4)

此時，將$H、V_{j}$代入公式（4）可得：

$(k_{11}+k_{22}-2k_{12})\alpha_{2_{new}}=(k_{11}+k_{22}-2k_{12})\alpha_{2}+y_{2}(f(x_{1})-y_{1}-f(x_{2})+y_{2}))$ (5)

令$\eta=k_{11}+k_{22}-2k_{12}，E_{i}=f(x_{i})-y_{i}$並代入公式（5）得：

$\alpha_{2_{new}}=\alpha_{2}+\frac{y_{2}(E_{1}-E_{2})}{\eta}$

4、由於$0≤\alpha_{1}≤C，0≤\alpha_{2}≤C$，且$\alpha_{1}y_{1}+\alpha_{2}y_{2}=c$，所以\alpha_{2_{new}}必落在如下區域內

結合圖形可以得到$\alpha_{2}$的範圍：

$\left\{\begin{matrix}L=max\left \{ 0,\alpha_{1}+\alpha_{2}-C \right \}, H=min\left \{ C,\alpha_{1}+\alpha_{2}\right \},\: \: \: \: if\: y_{1}=y_{2} \\ L=max\left \{ 0,\alpha_{2}-\alpha_{1} \right \}, H=min\left \{ C,C+\alpha_{2}-\alpha_{1}\right \}, \: \: \: \: if\: y_{1}≠y_{2} \end{matrix}\right.$

此時$\alpha_{2_{new}}$取值爲：

$\alpha_{2_{new}}=\left\{\begin{matrix}H\: \: , \: \: \: \: if\: \alpha_{2_{new}}≥H\: \: \: \: \: \\ \alpha_{2_{new}} , \: \: \: \: if\: L<\alpha_{2_{new}}<H \\ L\: \: , \: \: \: \: if\: \alpha_{2_{new}}≤L\: \: \: \: \: \end{matrix}\right.$

第三步：重複第一、第二步直到$\alpha_{i_{new}}$收斂

1、由$\alpha_{i_{new}}$，根據公式$w=\sum_{i=1}^{m}\alpha_{i}y_{i}x_{i}求出w$

2、只有支持向量滿足$1-y_{i}(w^{T}x_{i}+b)=0$，所以大於0的$\alpha_{i_{new}}$必然都是支持向量，否則$\alpha_{i_{new}}>0，1-y_{i}(w^{T}x_{i}+b)<0$，則$\alpha_{i_{new}}(1-y_{i}(w^{T}x_{i}+b))<0$與條件$\alpha_{i_{new}}(1-y_{i}(w^{T}x_{i}+b))=0$（KKT條件）相違背

3、現實中採用了一種魯棒的方法求解b，方式爲：

$b=\frac{1}{|S|}\sum_{s∈S}(\frac{1}{y_{s}}-wx_s)$

4、最終超平面爲：

$wx+b=0$

根據分類決策函數$f(x)=sign(wx+b)$得：

$sign(x)=\left\{\begin{matrix}-1\: , \: \: if\: x<0 \\\: \: \: \: \: 0\: ,\: \: if\:x=0\: \\ \: \: \: \: \: 1\:,\: \: if\: x>0\: \end{matrix}\right.$