adam算法相關知識

學習鏈接:https://blog.csdn.net/Solo95/article/details/84842144

1、指數加權平均:

   

2、使用動量的梯度下降:

        

3、RMSprop算法:

     

4、Adam算法:

dw相當於一階矩,平方相當於二階矩。

沒了,就是這麼簡單

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章