原创 梯度下降算法及其改進方法詳解
梯度下降算法及其改進方法詳解 本文中例子來源於： https://zhuanlan.zhihu.com/p/21486826 https://zhuanlan.zhihu.com/p/22810533 1. 前提 1.1 成本函
2018-08-27 10:34:51
2
原创 ADADELTA- AN ADAPTIVE LEARNING RATE METHOD
ADADELTA：一種學習率自調整方法 摘要 針對梯度下降算法提出了一種新型的適用於高維情況下學習率設置方法，稱之爲ADADELTA。這種方法僅僅使用一階導數信息，具有良好的動態適應性，並且與原始隨機梯度下降算法相比具有更小的計算開銷。
2018-08-27 10:34:49
56