SVM 詳解6

SVM入門（八）鬆弛變量

現在我們已經把一個本來線性不可分的文本分類問題，通過映射到高維空間而變成了線性可分的。就像下圖這樣：

 

圓形和方形的點各有成千上萬個（畢竟，這就是我們訓練集中文檔的數量嘛，當然很大了）。現在想象我們有另一個訓練集，只比原先這個訓練集多了一篇文章，映射到高維空間以後（當然，也使用了相同的核函數），也就多了一個樣本點，但是這個樣本的位置是這樣的：

 

就是圖中黃色那個點，它是方形的，因而它是負類的一個樣本，這單獨的一個樣本，使得原本線性可分的問題變成了線性不可分的。這樣類似的問題（僅有少數點線性不可分）叫做“近似線性可分”的問題。

以我們人類的常識來判斷，說有一萬個點都符合某種規律（因而線性可分），有一個點不符合，那這一個點是否就代表了分類規則中我們沒有考慮到的方面呢（因而規則應該爲它而做出修改）？

其實我們會覺得，更有可能的是，這個樣本點壓根就是錯誤，是噪聲，是提供訓練集的同學人工分類時一打瞌睡錯放進去的。所以我們會簡單的忽略這個樣本點，仍然使用原來的分類器，其效果絲毫不受影響。

但這種對噪聲的容錯性是人的思維帶來的，我們的程序可沒有。由於我們原本的優化問題的表達式中，確實要考慮所有的樣本點（不能忽略某一個，因爲程序它怎麼知道該忽略哪一個呢？），在此基礎上尋找正負類之間的最大幾何間隔，而幾何間隔本身代表的是距離，是非負的，像上面這種有噪聲的情況會使得整個問題無解。這種解法其實也叫做“硬間隔”分類法，因爲他硬性的要求所有樣本點都滿足和分類平面間的距離必須大於某個值。

因此由上面的例子中也可以看出，硬間隔的分類法其結果容易受少數點的控制，這是很危險的（儘管有句話說真理總是掌握在少數人手中，但那不過是那一小撮人聊以自慰的詞句罷了，咱還是得民主）。

但解決方法也很明顯，就是仿照人的思路，允許一些點到分類平面的距離不滿足原先的要求。由於不同的訓練集各點的間距尺度不太一樣，因此用間隔（而不是幾何間隔）來衡量有利於我們表達形式的簡潔。我們原先對樣本點的要求是：

 

意思是說離分類面最近的樣本點函數間隔也要比1大。如果要引入容錯性，就給1這個硬性的閾值加一個鬆弛變量，即允許

因爲鬆弛變量是非負的，因此最終的結果是要求間隔可以比1小。但是當某些點出現這種間隔比1小的情況時（這些點也叫離羣點），意味着我們放棄了對這些點的精確分類，而這對我們的分類器來說是種損失。但是放棄這些點也帶來了好處，那就是使分類面不必向這些點的方向移動，因而可以得到更大的幾何間隔（在低維空間看來，分類邊界也更平滑）。顯然我們必須權衡這種損失和好處。好處很明顯，我們得到的分類間隔越大，好處就越多。回顧我們原始的硬間隔分類對應的優化問題：

||w||²就是我們的目標函數（當然係數可有可無），希望它越小越好，因而損失就必然是一個能使之變大的量（能使它變小就不叫損失了，我們本來就希望目標函數值越小越好）。那如何來衡量損失，有兩種常用的方式，有人喜歡用

而有人喜歡用

其中l都是樣本的數目。兩種方法沒有大的區別。如果選擇了第一種，得到的方法的就叫做二階軟間隔分類器，第二種就叫做一階軟間隔分類器。把損失加入到目標函數裏的時候，就需要一個懲罰因子（cost，也就是libSVM的諸多參數中的C），原來的優化問題就變成了下面這樣：

這個式子有這麼幾點要注意：

一是並非所有的樣本點都有一個鬆弛變量與其對應。實際上只有“離羣點”纔有，或者也可以這麼看，所有沒離羣的點鬆弛變量都等於0（對負類來說，離羣點就是在前面圖中，跑到H2右側的那些負樣本點，對正類來說，就是跑到H1左側的那些正樣本點）。

二是鬆弛變量的值實際上標示出了對應的點到底離羣有多遠，值越大，點就越遠。

三是懲罰因子C決定了你有多重視離羣點帶來的損失，顯然當所有離羣點的鬆弛變量的和一定時，你定的C越大，對目標函數的損失也越大，此時就暗示着你非常不願意放棄這些離羣點，最極端的情況是你把C定爲無限大，這樣只要稍有一個點離羣，目標函數的值馬上變成無限大，馬上讓問題變成無解，這就退化成了硬間隔問題。

四是懲罰因子C不是一個變量，整個優化問題在解的時候，C是一個你必須事先指定的值，指定這個值以後，解一下，得到一個分類器，然後用測試數據看看結果怎麼樣，如果不夠好，換一個C的值，再解一次優化問題，得到另一個分類器，再看看效果，如此就是一個參數尋優的過程，但這和優化問題本身決不是一回事，優化問題在解的過程中，C一直是定值，要記住。

五是儘管加了鬆弛變量這麼一說，但這個優化問題仍然是一個優化問題（汗，這不廢話麼），解它的過程比起原始的硬間隔問題來說，沒有任何更加特殊的地方。

從大的方面說優化問題解的過程，就是先試着確定一下w，也就是確定了前面圖中的三條直線，這時看看間隔有多大，又有多少點離羣，把目標函數的值算一算，再換一組三條直線（你可以看到，分類的直線位置如果移動了，有些原來離羣的點會變得不再離羣，而有的本來不離羣的點會變成離羣點），再把目標函數的值算一算，如此往復（迭代），直到最終找到目標函數最小時的w。

囉嗦了這麼多，讀者一定可以馬上自己總結出來，鬆弛變量也就是個解決線性不可分問題的方法罷了，但是回想一下，核函數的引入不也是爲了解決線性不可分的問題麼？爲什麼要爲了一個問題使用兩種方法呢？

其實兩者還有微妙的不同。一般的過程應該是這樣，還以文本分類爲例。在原始的低維空間中，樣本相當的不可分，無論你怎麼找分類平面，總會有大量的離羣點，此時用核函數向高維空間映射一下，雖然結果仍然是不可分的，但比原始空間裏的要更加接近線性可分的狀態（就是達到了近似線性可分的狀態），此時再用鬆弛變量處理那些少數“冥頑不化”的離羣點，就簡單有效得多啦。

本節中的（式1）也確實是支持向量機最最常用的形式。至此一個比較完整的支持向量機框架就有了，簡單說來，支持向量機就是使用了核函數的軟間隔線性分類法。

下一節會說說鬆弛變量剩下的一點點東西，順便搞個讀者調查，看看大家還想侃侃SVM的哪些方面。

摘自http://www.blogjava.net/zhenandaci/archive/2009/03/15/259786.html