神经网络高阶技巧1--Learning Rate Scheduler

为什么突发奇想要写这么个系列呢？源于一次面试，其实很多“高阶”技巧我们都知道，但是用的多了我们习以为常，所以在面试介绍项目时不会提及这些。而你不提及的话，就会显得你很low。所以做一些笔记，让自己知道这些“高阶”技巧。
标题顾名思义，就是自适应的学习率。因为我们都知道刚开始训练时，学习率可以大一点，但到后面需要慢慢减小，以防出现下图的情况。

那么如何在训练时使用这种方法呢？
以keras为例。
keras.callbacks提供了LearningRateScheduler函数。使用方式如下：




写的有些复杂，其实就是：

callbacks=[LearningRateScheduler(func)]

其中func就是一个输入epoch，返回学习率的函数，在本例中就是step_decay函数。

参考：
https://towardsdatascience.com/learning-rate-scheduler-d8a55747dd90
http://www.sohu.com/a/224777308_129720