神經網絡高階技巧1--Learning Rate Scheduler

爲什麼突發奇想要寫這麼個系列呢？源於一次面試，其實很多“高階”技巧我們都知道，但是用的多了我們習以爲常，所以在面試介紹項目時不會提及這些。而你不提及的話，就會顯得你很low。所以做一些筆記，讓自己知道這些“高階”技巧。
標題顧名思義，就是自適應的學習率。因爲我們都知道剛開始訓練時，學習率可以大一點，但到後面需要慢慢減小，以防出現下圖的情況。

那麼如何在訓練時使用這種方法呢？
以keras爲例。
keras.callbacks提供了LearningRateScheduler函數。使用方式如下：




寫的有些複雜，其實就是：

callbacks=[LearningRateScheduler(func)]

其中func就是一個輸入epoch，返回學習率的函數，在本例中就是step_decay函數。

參考：
https://towardsdatascience.com/learning-rate-scheduler-d8a55747dd90
http://www.sohu.com/a/224777308_129720