感知机中的关键问题:点到平面的距离,和梯度更新的符号

感知机的原理、以及学习方法,还是比较简单的,参考:

https://www.pkudodo.com/2018/11/18/1-4/

但其中有2点关键,不是特别好理解:

1、关于点到平面的距离:

参考:https://www.jianshu.com/p/56ec72484bbe

2、梯度更新的符号:

参考:https://zhuanlan.zhihu.com/p/36503663

f(theta) - f(theta_0) = (theta - theta_0) * 梯度

theta_0是上一步的位置,theta是要更新的位置。

f即loss,要让loss减小,则等式左边小于0,

为了等式左边最小,右边2个向量方向相反(cos值-1)

所以theta - theta_0 = yita * ( - 梯度)

得到 theta = theta_0 - yita * 梯度, 即向相反方向更新

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章