李航統計學 學習筆記 感知機

 

感知機模型

定義（感知機）假設輸入空間（特徵空間）是屬於,輸出空間是y={+1,-1}.輸入屬於表示實例的特徵向量，對應於輸出空間（特徵空間）的點，輸出y表示實例的類別。由輸入空間到輸出空間的如下函數稱爲感知機.其中，w和b爲感知機模型參數，w叫做權值或者權值向量，b叫做偏置，表示w和x的內積，sign是符號函數，即

      

感知機模型的假設空間是定義在特徵空間中的所有線性分類模型或線性分類器，即函數集合{}

感知機的幾何解釋：

線性方程：對應於特徵空間中的一個超平面S，其中w是超平面的法向量，b是超平面的截距，這個超平面將特徵空間劃分爲兩個部分。位於兩部分的點（特徵向量）分別爲正負兩類，因此超平面S稱爲分離超平面

、感知機學習就是求得模型參數w,b感知機預測通過學習得到的感知機模型，對於新的輸入實例給出其對應的輸出類型。

感知機學習策略

  數據集的線性可分性：如果存在某個超平面可以把給定數據集完全正確的劃分到超平面的兩側，一邊爲正一邊爲負，則稱數據集爲線性可分，否則爲不可分。

  感知機的學習策略：爲了找到超平面，即確定感知機模型參數w,b，需要確定的學習策略就是要定義（經驗）損失函數並將損失函數極小化。

感知機學習算法

感知機學習問題轉化爲求解損失函數式的最優化問題，最優化的方法是隨機梯度下降法。

  感知機學習算法的原始形式

求參數w,b，使其爲損失函數極小化問題的解其中M爲誤分類點的集合。感知機學習算法是誤分類驅動，採用梯度下降法。

算法過程

輸入：訓練數據集T,學習率

輸出：w,b；感知機模型

(1)選取初值                                                                                                                                                                           (2)在訓練集中選取數據                                                                                                                                                      (3)如果                                                                                                                (4)轉至（2），直至訓練集中沒有誤分類點。

  算法的收斂性

  感知機學習算法的對偶形式

TBC