動量梯度下降法： Gradient Descent With Momentum
1.指數加權移動平均：
2.指數加權平均的偏差修正：
如圖所示：紫色圖爲這些點集的加權平均，但很顯然在剛開始的時候，加權平均不能很好估測數據。所以我們需要通過偏差修正加權平均。
3.動量梯度下降法：
當我們使用梯度下降算法進行訓練的時候，我們的訓練過程會出現左圖所示， 慢慢擺動到最小值，這種上下波動減慢了梯度下降法的速度，你就無法使用更大的學習 率，如果你要用較大的學習率（紫色箭頭），結果可能會偏離函數的範圍如圖右圖所示，爲了避免擺動過 大，你要用一個較小的學習率。
5.動量梯度下降法公式：
6.由指數加權移動平均理解動量法¶
