LIBSVM代碼實現 線性支持向量機之權重向量和決策函數戲說解讀

線性支持向量機的目標函數如下:



公式推導之後權重向量w和決策函數爲下面公式所示:



直觀理解或者戲說解釋一下,w和decision function爲什麼長這個鳥樣子? 這個鳥樣子是否能夠靠直接解釋信以爲真呢?


權重向量w解釋:

alpha_i 是每個向量的係數,如果係數爲零,則不是支持向量。這個容易理解。

fai_xi 是xi的映射變換形式。

yi 是每個樣本xi的label,即-1或者+1

每個係數與對應支持向量x與y的乘積的和,即爲權重向量w。 所以,權重w與每個支持向量及其標籤label的符號都相關。向量的權重alpha和x的乘積決定了w的值的大小,yi決定了w的符號傾向。想要得出w,必須先計算出alpha,同時w的計算有賴於所有樣本的值和label。


決策函數的戲說理解:

決策函數就是如下公式值的符號-------權重向量w 乘以 kenel,加上偏置b。

舉例來講,假設有一個正例子,八個負例的支持向量,而且負例支持向量的權重向量w較大,如果一個新需要預測的樣本和兩者的各種權重乘積差距不大,容易使得w的權重更加在決策函數中計算出來的值爲負例。


再想一個極端的例子,假設有一個新的樣本需要predict,其跟僅有的一個正例子支持向量非常相似,那麼其權重向量w則會非常接近正例子的支持向量,那麼其決策函數的值接近正例支持向量的決策函數的值,即爲1.


順便提一下:偏置量b的值,通常在實際計算中取權重w與支持向量x點乘積的和的平均值。


總之:

1. 在alpha值確定的情況下, 權重向量w由alpha x y 能夠求得。並且,理論上跟每個樣本的alpha/xi/yi 都相關,需要乘積聯合求和。

2. 決策函數在w確定的情況下,直接帶入求符號爲正負號,就可以確定結果。












發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章