統計學習方法筆記，第二章筆記， 感知機

2.1 感知機模型

模型函數：

其中

感知機屬於線性模型，因爲其含有

超平面將空間分爲兩個部分，位於超平面兩側的點分別是正、負兩類。

2.2 感知機的學習策略

感知機模型的學習策略是讓誤分類的點到超平面的距離最小。那麼誤分類的點怎麼求呢？

我們已知對於一個點，如果被正確分類，那麼 預測結果 與真實的分類 應該是同號的，即

 或 ，所以當分類錯誤時，兩者符號應該是相反的。因此有：

我們通過幾何知識可知，對於空間中的一個點，它到超平面的距離爲：

因此，所有的誤分類點到超平面的距離之和爲：

不考慮  ，我們得到損失函數

也就是經驗風險函數。

2.3 感知機學習算法

根據2.2的學習策略，我們把問題轉化爲了求經驗風險函數的最小值問題，即求

採用梯度下降法就可以求解了，分別對w和b求導得到：

迭代方式爲：

其中步長  爲學習率， 的選擇非常重要，太小則影響迭代速度，太大則可能跳過最小值點。

需要注意的是，由於w和b的初始值選取具有隨機性，因此對於線性可分的數據集，不同初始值可能得到不同的分類超平面，對於線性不可分的數據集，迭代結果可能發生震盪。