乾貨|感知機更新算法正確性的直觀理解

這裏我們就用一個例子,本來該點應該分爲正類,錯分爲負類,進行更新後,直觀上算法的正確性判斷。

首先當我們感知機算法更新到某一點的時候,假如原來A點的正確類別是正類,y=1,算法將它判斷爲負類,判斷爲-1,如下所示:
乾貨|感知機更新算法正確性的直觀理解
我們能夠看到此時更新到了左下角的紅色正方框,此時是將它分錯了,假設它爲正類y=1,而我們將它分爲了負類,分成了-1。

那麼進行參數更新!更新方式如下:
乾貨|感知機更新算法正確性的直觀理解
那麼爲什麼更新後的超平面一定就比沒有更新後的超平面好呢?

下面從理論和可視化兩個部分來說明一下

理論

未更新前,我們的wx+b是小於0的,才導致我們錯分爲了負類,正確的標籤是y=1,爲正類。那麼進行更新後,我們再進行計算,如下:
乾貨|感知機更新算法正確性的直觀理解
其中y=1,已經帶入式子。

我們可以通過看出,經過更新後,比原來的wx+b加上了正值,也就是說,更新後,一定使得原來分錯的負值往正向走!!

這也就是在理論上證明了每次更新都會更好的結論。

可視化

這種更新方式,我們也有直觀上的感覺,可以可視化理解一下,如下圖:
乾貨|感知機更新算法正確性的直觀理解

上圖中的w是學習的超平面的法線向量,可以看出它將x已經分錯了。那麼此時我們需要將超平面往x方向走,才能將x點最後分對。

當我們數據點應該分類爲y=+1的時候,我們錯分成-1(則判斷wx+b<0了,那麼說明wx<0,代表w與x向量夾角大於90度),這個時候應該調整,更新過程爲w=w+1x,往x向量方向更接近了,往能夠分對x點的方向走!如下圖:
乾貨|感知機更新算法正確性的直觀理解
這也從可視化角度直觀的說明了更新算法的正確性。

致謝:張嶽老師
推薦閱讀:
精選乾貨|近半年乾貨目錄彙總----全是通俗易懂的硬貨!歡迎閱讀!
乾貨|臺灣大學林軒田機器學習基石課程學習筆記3 -- Types of Learning
乾貨|臺灣大學林軒田機器學習基石課程學習筆記2 -- Learning to Answer Yes/No
乾貨|臺大林軒田機器學習基石筆記1 -- The Learning Problem




           歡迎關注公衆號學習交流~          

乾貨|感知機更新算法正確性的直觀理解
乾貨|感知機更新算法正確性的直觀理解

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章