在caffe源碼的caffe-master/sec/caffe/proto/caffe.proto下記錄了不同的學習策略的計算方法：
// The learning rate decay policy. The currently implemented learning rate
// policies are as follows:
// - fixed: always return base_lr.
// - step: return base_lr * gamma ^ (floor(iter / step))
// - exp: return base_lr * gamma ^ iter
// - inv: return base_lr * (1 + gamma * iter) ^ (- power)
// - multistep: similar to step but it allows non uniform steps defined by
// stepvalue
// - poly: the effective learning rate follows a polynomial decay, to be
// zero by the max_iter. return base_lr (1 - iter/max_iter) ^ (power)
// - sigmoid: the effective learning rate follows a sigmod decay
// return base_lr ( 1/(1 + exp(-gamma * (iter - stepsize))))
//
// where base_lr, max_iter, gamma, step, stepvalue and power are defined
// in the solver parameter protocol buffer, and iter is the current iteration.
在實際訓練中，使用較多的學習策略有fixed，step，inv，multistep，具體的使用方法參考《Caffe中學習率策略應如何選擇》
fixed
參數：
base_lr: 0.01
lr_policy: "fixed"
max_iter: 400000
step
參數：
base_lr: 0.01
lr_policy: "step"
gamma: 0.1
stepsize: 30
max_iter: 100
exp
參數：
base_lr: 0.01
lr_policy: "exp"
gamma: 0.1
max_iter: 100
參數 gamma 的值要小於1。當等於1的時候，學習策略變爲了 fixed。由exp的學習率計算方式可以看出，在 gamma = 0.1 的情況下，學習率每迭代一次變爲上一次迭代的0.1倍。
inv
參數：
base_lr: 0.01
lr_policy: "inv"
gamma: 0.1
power: 0.75
max_iter: 10000
由上圖可以看出，參數 gamma 控制曲線下降的速率，而參數 power 控制曲線在飽和狀態下學習率達到的最低值。
multistep
參數：
base_lr: 0.01
lr_policy: "multistep"
gamma: 0.5
stepvalue: 1000
stepvalue: 3000
stepvalue: 4000
stepvalue: 4500
stepvalue: 5000
max_iter: 6000
每一次學習率下降到之前的 gamma 倍。
poly
參數：
base_lr: 0.01
lr_policy: "poly"
power: 0.5
max_iter: 10000
學習率曲線的形狀主要由參數 power 的值來控制。當 power = 1 的時候，學習率曲線爲一條直線。當 power < 1 的時候，學習率曲線是凸的，且下降速率由慢到快。當 power > 1 的時候，學習率曲線是凹的，且下降速率由快到慢。
sigmoid
參數：
base_lr: 0.01
lr_policy: "sigmoid"
gamma: -0.001
stepsize: 5000
max_iter: 10000
參數 gamma 控制曲線的變化速率。當 gamma < 0 時，才能控制學習率曲線呈下降趨勢，而且 gamma 的值越小，學習率在兩頭變化越慢，在中間區域變化越快。
參考文獻：