Nesterov

1. 簡介

Nesterov 加速梯度算法是一種對 Momentum 動量法的改進。

2. 原理

第 次迭代時： 其中， 爲需要更新的參數， 爲損失函數， 爲 關於 的梯度， 爲學習率， 爲動量因子，通常設爲 。