學習率a的計算標準

當學習率a非固定時，因爲梯度下降是找的最小值，那麼，在和給定的前提下，即尋找的最小值，即

進一步，如果h(α)可導，局部最小值處的α
滿足：

對於該二次近似函數：

兩種方法：

1、線性搜索(Line Search)（最簡單）     

二分線性搜索(Bisection Line Search)
 不斷將區間[α1, α2]分成兩半，選擇端點異號
的一側，知道區間足夠小或者找到當前最優學
習率。

2、回溯線性搜索(Backing Line Search)

基於Armijo準則計算搜素方向上的最大步
長，其基本思想是沿着搜索方向移動一個較
大的步長估計值，然後以迭代形式不斷縮減
步長，直到該步長使得函數值f(x k +αd k )相
對與當前函數值f(x k )的減小程度大於預設的
期望值(即滿足Armijo準則)爲止。

二者異同：

二分線性搜索的目標是求得滿足h‘(α)≈0的
最優步長近似值，而回溯線性搜索放鬆了對
步長的約束，只要步長能使函數值有足夠大
的變化即可。
 二分線性搜索可以減少下降次數，但在計算
最優步長上花費了不少代價；回溯線性搜索
找到一個差不多的步長即可。