从SGD到Adam-- 深度学习优化算法概览及调参优化

动量梯度下降法Momentum
上述方法，通过$dw$的加权平均，使得在y方向的分量抵消，x方向的分量累加
Adam优化算法和RMSprop算法
adam算法:结合动量梯度下降和RMSprop算法；
优化算法详细介绍
从 SGD 到 Adam —— 深度学习优化算法概览（一）
从 SGD 到 Adam —— 深度学习优化算法概览（二）
深度学习——优化器算法Optimizer详解
优化算法详解