感知機的原理、以及學習方法,還是比較簡單的,參考:
https://www.pkudodo.com/2018/11/18/1-4/
但其中有2點關鍵,不是特別好理解:
1、關於點到平面的距離:
參考:https://www.jianshu.com/p/56ec72484bbe
2、梯度更新的符號:
參考:https://zhuanlan.zhihu.com/p/36503663
f(theta) - f(theta_0) = (theta - theta_0) * 梯度
theta_0是上一步的位置,theta是要更新的位置。
f即loss,要讓loss減小,則等式左邊小於0,
爲了等式左邊最小,右邊2個向量方向相反(cos值-1)
所以theta - theta_0 = yita * ( - 梯度)
得到 theta = theta_0 - yita * 梯度, 即向相反方向更新