感知機

感知機

感知機是一種最簡單的線性二分類模型，可以在輸入空間（特徵空間）將實例劃分爲正負兩類。

感知機學習算法的原始形式

對於輸入空間，感知機通過以下函數將其映射至{+1，-1}的輸出空間 

f(x)=sign(w⋅x+b)                     
對於所有的錯分類點i∈M，都有−yi(w⋅xi+b)>0,因此我們可以定義如下的損失函數作爲優化準則： 

               

通過求解損失函數的梯度， 

我們很容易就可以得到感知機學習算法的原始形式. 

                                                                                                                                                                    (1) 
整個算法流程如下：

1.   選取初值w0,b0

2.   在訓練集中任意選取點(xi,yi)

3.   如果−yi(w⋅xi+b)>0則按照(1)式更新w,b

4.   重複2直到沒有被誤分的點

以上即爲感知機算法的原始形式。

感知機學習算法的對偶形式

對偶形式的基本想法是，將w和b表示爲實例xi 和標記 yi的線性組合的形式，通過求解其係數而求得w和b.

假設w0=0,b=0,那麼從(1)式可以看出，當所有的點均不發生誤判時，最後的w,b一定有如下的形式: 

                    、

其中αi=niη中ni代表對第i個樣本的學習次數，感知機對偶形式的完整形式即爲： 

1. 初始化α=0,b=0.
2. 任意選取(xi,yi)
3. 如果,即發生誤判，則對αi,b進行更新： 

（注：此處對αi,bi的更新僅利用（xi，yi））

4. 重複2直到所有點都被正確分類

感知機的對偶形式就是把對w,b的學習變成了對α,b的學習，原始形式中，w在每一輪迭代錯分時都需要更新，而採用對偶形式時，對於某一點(xi,yi)發生錯分時，我們只需要更新其對應的αi即可，即可一次計算出w。 
原始形式和對偶形式對參數b的處理是相同的。