一、基礎知識回顧
b向量與a向量的內積ba，幾何意義爲a向量在b向量方向上的投影大小。當向量的模相同時，向量間夾角越小，投影值越大。
W爲f(x)的法向量，座標系中有大量的樣本點x。
以f(x)爲界：
當樣本點在f(x)右側時，W與其方向向量的乘積爲正，如下圖x1。
當樣本點在f(x)左側時，W與其方向向量的乘積爲負，如下圖x2。
對於一個樣本x1，當W方向與x1方向越接近，則投影越大，即x1與f(x)的距離最遠。下圖可知，x1在方向更接近的W上的投影更大，即x1到f(x)的距離更遠。
二、感知機
1.感知機原理
感知機收斂算法概述如下，
其中，感知機權值向量按如下規則更新，當分類還有錯誤時，d(n) 不等於 y(n)，W更新。
2.深入理解感知機
對於下面左側的圖，對線性可分的不同樣本，最終的結果是找到一條直線，使藍色和紅色的點分別在f(x)的兩側。爲了容易分析，我們對樣本進行處理，把W另一側的紅色點按照原點對稱，移到W同側，如下圖右側，則問題轉化爲找到過原點的f(x),使所有樣本都在f(x)的一側，即在正確分類時，內積都應爲正，內積爲負的點即爲分類錯誤的點。
下圖可以看到，對於當前的f(x)，有一個在f(x)左側，即分類錯誤的點，如果想要全部分類正確，則W的方向需要往分類錯誤的點方向靠近。除此之外，由上面的分析可知，對於一個樣本，和法向量W同向最好，因爲離f(x)的距離最遠，魯棒性好，噪聲干擾小。因此，分類的過程，就是所有樣本爭奪W方向的過程。
把上圖中的W往分類錯誤的點的方向移動到橙色線位置，可以分類正確，如下圖。
當學習率參數過大時，有可能使W偏移過多，導致一次學習後，新的f(x)使之前分類錯誤的點分類正確，而原本正確的點又被誤分。此時需要繼續學習，重複上面的過程，如下圖。紫色線f(x)導致x2，x3分類錯誤，學習後新的橙色線f(x)可以正確分類x2，x3，但是原本正確的x1又被錯誤分類，再次學習，直到紅色線f(x)對所有樣本點都可正確分類。
學習過程就是樣本點對W反覆爭奪的過程。