改善深层神经网络：超参数调整、正则化以及优化——2.8 Adam算法（Adaptive Moment Estimation）

Adam算法是Momentum和RMSprop结合在一起得到的。使用Adam算法，首先要初始化$V_{dw}=0,S_{dw}=0,V_{db}=0,S_{db}=0$。在第t次迭代中，要计算微分，用当前的mini-batch计算$dW,db$，一般会用mini-batch梯度下降法，接下来计算momentum指数加权平均数：$V_{dw}=\beta_1*V_{dw}+(1-\beta_1)*d_W$$V_{db}=\beta_1*V_{db}+(1-\beta_1)*db$接着用RMSprop进行更新$S_{dw}=\beta_2*S_{dw}+(1-\beta_2)*(dw)^2$$S_{db}=\beta_2*S_{db}+(1-\beta_2)*(db)^2$一般使用Adam算法的时候，要计算偏差修正：$V_{dw}^{corrected}=\frac{V_{dw}}{1-\beta_1^t}$$V_{db}^{corrected}=\frac{V_{db}}{1-\beta_1^t}$$S_{dw}^{corrected}=\frac{S_{dw}}{1-\beta_2^t}$$S_{db}^{corrected}=\frac{S_{db}}{1-\beta_2^t}$最后更新权重$W=W-\alpha\frac{V_{dw}^{corrected}}{\sqrt{S_{dw}^{corrected}}+\varepsilon}$$b=b-\alpha\frac{V_{db}^{corrected}}{\sqrt{S_{db}^{corrected}}+\varepsilon}$所以Adam算法结合了Momentum和RMSprop梯度下降法，并且是一种及其常见的学习算法，被证明能有效适用于不同的神经网络。该算法有很多很重要的超参数，超参数学习率$\alpha$很重要，也经常需要调试，可以尝试一系列值，然后看哪个有效。$\beta-1$常用的缺省值为0.9，这是$dW$的移动平均数，也就是$dW$的加权平均数，这是Momentum涉及的项。至于超参数$\beta_2$，Adam算法的发明者推荐使用0.999，这是在计算$(dW)^2$以及$(db)^2$的移动加权平均值。关于$\varepsilon$的选择其实没有很重要，Adam论文的作者建议$\varepsilon$为$10^{-8}$。