感知机的原理、以及学习方法,还是比较简单的,参考:
https://www.pkudodo.com/2018/11/18/1-4/
但其中有2点关键,不是特别好理解:
1、关于点到平面的距离:
参考:https://www.jianshu.com/p/56ec72484bbe
2、梯度更新的符号:
参考:https://zhuanlan.zhihu.com/p/36503663
f(theta) - f(theta_0) = (theta - theta_0) * 梯度
theta_0是上一步的位置,theta是要更新的位置。
f即loss,要让loss减小,则等式左边小于0,
为了等式左边最小,右边2个向量方向相反(cos值-1)
所以theta - theta_0 = yita * ( - 梯度)
得到 theta = theta_0 - yita * 梯度, 即向相反方向更新