感知機中的關鍵問題:點到平面的距離,和梯度更新的符號

感知機的原理、以及學習方法,還是比較簡單的,參考:

https://www.pkudodo.com/2018/11/18/1-4/

但其中有2點關鍵,不是特別好理解:

1、關於點到平面的距離:

參考:https://www.jianshu.com/p/56ec72484bbe

2、梯度更新的符號:

參考:https://zhuanlan.zhihu.com/p/36503663

f(theta) - f(theta_0) = (theta - theta_0) * 梯度

theta_0是上一步的位置,theta是要更新的位置。

f即loss,要讓loss減小,則等式左邊小於0,

爲了等式左邊最小,右邊2個向量方向相反(cos值-1)

所以theta - theta_0 = yita * ( - 梯度)

得到 theta = theta_0 - yita * 梯度, 即向相反方向更新

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章