SVM -支持向量機原理詳解與實踐之四
-
SVM原理分析
-
SMO算法分析
-
SMO即Sequential minmal optimization, 是最快的二次規劃的優化算法，特使對線性SVM和稀疏數據性能更優。在正式介紹SMO算法之前，首先要了解座標上升法。
-
座標上升法(Coordinate ascent)
座標上升法(Coordinate Ascent)簡單點說就是它每次通過更新函數中的一維，通過多次的迭代以達到優化函數的目的。
-
座標上升法原理講解
爲了更加通用的表示算法的求解過程，我們將算法表示成：
|
|
（3.13-1） |
座標上升法的算法爲：
這個算法中最爲關鍵的地方就是內循環對於
當函數W在內循環中能夠最快的達到最優，則座標上升是一個有效的算法，下面是一個座標上升的示意圖：
上圖中的橢圓形線代表我們需要優化問題的二次函數的等高線，變量數爲2，起始座標是(2,2)，途中的直線是迭代優化的路徑，可以看到每一步都會相最優值前進一步，而且前進的路線都是平行與相應的座標軸的，因爲每次只優化一個變量。
-
C++算法編程實踐
問題：求解函數
解：回顧我們前面分析的求取函數最大值的關鍵是，求解每一個迭代變量的導數，當求解某一變量的導數的時候，其他的變量看做是常數：
VS2013控制檯工程參考代碼如下：
// Coordinate ascent.cpp : Defines the entry point for the console application.
//
#include"stdafx.h"
#include<iostream>
usingnamespace std;
#definef(x1,x2,x3) (-x1*x1-2*x2*x2-3*x3*x3+2*x1*x2+2*x1*x3-4*x2*x3+6)
int_tmain(intargc,_TCHAR*argv[])
{
double x1 = 1;
double x2 = 1;
double x3 = 1;
double f0 =f(x1, x2, x3);
double err = 1.0e-10;
while (true)
{
x1 = x2 + x3;//對x1求導的表達式，每次迭代後更新
x2 = 0.5*x1 - x3;//對x2求導的表達式，每次迭代後更新
x3 = 1.0 / 3 * x1 - 2.0 / 3 * x2;//對x3求導的表達式，每次迭代後更新
double ft =f(x1, x2, x3);//求函數值
if (abs(ft - f0)<err)//判斷f是否收斂
{
break;//收斂即完成求解過程
}
f0 = ft;//更新f0
}
cout <<"\nmax{f(x1,x2,x3)}=" <<f(x1, x2, x3) << endl;
cout <<"取得最大值時的座標：\n(x1,x2,x3)=(" << x1 <<"," << x2 <<"," << x3 <<")" << endl;
system("pause");
return 0;
}
運行結果如下：
-
SMO算法詳解
回到我們軟間隔與正則化章節（還有最優間隔分類器），我們的對偶問題，就是通過固定拉格朗日乘子a，得到w和b的最優化表達式（關於a的表達式），所以最後我們只需要確認a，我們就可以最終確定w和b，但是在討論SMO算法之前，我們並沒有真正求解出
做出一個求解，也就是在參數
按照前面介紹的座標上升的思路，我們首先固定除了
-
首先由優化問題的約束條件
可知：
可知：
即可推出
|
|
|||
|
兩邊乘以： |
|
||
|
|
(3.13.2-1) |
||
因爲
因此如果我們想要更新一些
重複大括號中的操作直到收斂{
- 選擇一對
和
來更新下一個(用啓發式的方法，也就是嘗試選取兩個允許我們朝着全局最大方向做最大前進的參數)。
和
來更新下一個- 固定所有其它的參數
，優化關於和
的函數W(a)。
，優化關於和
的函數}
爲了測試該算法的收斂性，我們可以檢查KKT條件：
是否滿足收斂容錯參數，典型值爲0.1~0.001之間。
SMO作爲一個高效的算法的關鍵原因在於計算更新
|
|
由於右邊固定，我們可以直接用一個常數表示，例如用
於是我可以將
根據約束條件：
可知上圖中表示
下面用
其中
所以目標問題W可以表示爲：
其中
實際的問題中W展開後就是一個關於
-
支持向量機實踐
這裏限於篇幅，實踐的內容將在下一篇展開…
