TensorFlow 常用優化器：GradientDescent、Momentum、Adam

Tensorflow中支持11中不同的優化器，包括：

• tf.train.Optimizer
• tf.train.GradientDescentOptimizer
• tf.train.AdadeltaOptimizer
• tf.train.AdagradOptimizer
• tf.train.AdagradDAOptimizer
• tf.train.MomentumOptimizer
• tf.train.AdamOptimizer
• tf.train.FtrlOptimizer
• tf.train.RMSPropOptimizer
• tf.train.ProximalAdagradOptimizer
• tf.train.ProximalGradientDescentOptimizer

常用的主要有3種，分別是

（1） GradientDescent

optimizer  = tf.train.GradientDescentOptimizer(learning_rate).minimize(loss)

使用隨機梯度下降算法，使參數沿着
梯度的反方向，即總損失減小的方向移動，實現更新參數。
$W^{[l]} = W^{[l]} - \alpha \text{ } dW^{[l]}$$b^{[l]} = b^{[l]} - \alpha \text{ } db^{[l]}$

（2） Momentum

optimizer = tf.train.MomentumOptimizer(learning_rate,momentum).minimize(loss)

在更新參數時，利用了超參數
$\begin{cases} v_{dW^{[l]}} = \beta v_{dW^{[l]}} + (1 - \beta) dW^{[l]} \\ v_{db^{[l]}} = \beta v_{db^{[l]}} + (1 - \beta) db^{[l]} \end{cases}$

$\begin{cases} W^{[l]} = W^{[l]} - \alpha v_{dW^{[l]}} \\ b^{[l]} = b^{[l]} - \alpha v_{db^{[l]}} \end{cases}$

其中，
$\beta$ : the momentum
$\alpha$ : the learning rate

（3） Adam

optimizer =  tf.train.AdamOptimizer(learning_rate=0.001, 
                                   beta1=0.9, beta2=0.999, 
                                   epsilon=1e-08).minimize(loss)

利用自適應學習率的優化算法（此時learning_rate傳入固定值，不支持使用指數衰減方式），Adam 算法和隨機梯度下降算法不同。隨機梯度下降算法保持單一的學習率更新所有的參數，學習率在訓練過程中並不會改變。而 Adam 算法通過計算梯度的一階矩估計和二階矩估計而爲不同的參數設計獨立的自適應性學習率。
$\begin{cases} v_{dW^{[l]}} = \beta_1 v_{dW^{[l]}} + (1 - \beta_1) \frac{\partial \mathcal{J} }{ \partial W^{[l]} } \\ v_{db^{[l]}} = \beta_1 v_{db^{[l]}} + (1 - \beta_1) \frac{\partial \mathcal{J} }{ \partial b^{[l]} } \end{cases}　　(moment：\beta_1)$

$\begin{cases} s_{dW^{[l]}} = \beta_2 s_{dW^{[l]}} + (1 - \beta_2) (\frac{\partial \mathcal{J} }{\partial W^{[l]} })^2 \\ s_{db^{[l]}} = \beta_2 s_{db^{[l]}} + (1 - \beta_2) (\frac{\partial \mathcal{J} }{\partial b^{[l]} })^2 \end{cases}　(RMSprop:\beta_2)$

$\begin{cases} v^{corrected}_{dW^{[l]}} = \frac{v_{dW^{[l]}}}{1 -　(\beta_1)^t} \\ v^{corrected}_{dW^{[b]}} = \frac{v_{dW^{[b]}}}{1 -　(\beta_1)^t} \\ s^{corrected}_{dW^{[l]}} = \frac{s_{dW^{[2]}}}{1 -　(\beta_1)^t} \\ s^{corrected}_{dW^{[b]}} = \frac{s_{dW^{[2]}}}{1 -　(\beta_1)^t} \end{cases}　(Bias correction)$

$\begin{cases} W^{[l]} = W^{[l]} - \alpha \frac{v^{corrected}_{dW^{[l]}}}{\sqrt{s^{corrected}_{dW^{[l]}}}　　 + 　\varepsilon}\\ b^{[l]} = b^{[l]} - \alpha \frac{v^{corrected}_{db^{[l]}}}{\sqrt{s^{corrected}_{db^{[l]}}}　　 +　 \varepsilon} \end{cases}$

其中，

• $\beta_1$ and $\beta_2$ are hyperparameters that control the two exponentially weighted averages.
• $\alpha$ is the learning rate
• $\varepsilon$ is a very small number to avoid dividing by zero