最優化五：梯度法（梯度下降法、最優梯度法、共軛梯度法）

梯度下降法沿着負梯度方向逐步更新優化參數

最優梯度法利用梯度計算步長，減小在谷底的來回振動

共軛梯度法每次搜索方向與上次方向共軛，理論上K維變量經過k次迭代可找到最優解

1 梯度下降法

函數在某一點的梯度是，在該方向單位步長上升最快的向量。梯度下降法是利用待優化變量，沿着負梯度方向不斷迭代尋找最優值。

直觀理解：

                                                      

梯度下降法算法流程：

                   

（PPT畫個圖可真難）

梯度下降法證明：通過泰勒展開表達式證明沿着梯度下降最快。

對函數在初值處進行一階泰勒展開可以得到：

                                                                                               （1-1）

由於是在處泰勒展開，即在附近近似程度才較高，因此是微小向量，可以令：

                                                                               

是步長，是單位向量，則有：（（1-1）用約等於，後序採用等於號）

                                                                       

目的是找到新的x，使，即，令：

                                                                   

得到目的轉化爲：

                                                                               

是正標量忽略，得到：

                                                                                

由於向量v爲單位向量，設爲v與之間的夾角，由：

                                                                   

當且僅當v與方向相反時，取得最小值，由可知，此時在此方向下降最快，即在梯度反方向下降最快。

2 最優梯度法

梯度法設置固定步長，可能出現的情況是在谷底左右來回波動難以收斂。最優梯度法根據梯度模長設置步長，在越接近最優點，步長越短。算法如下：

                     

相比梯度下降法，最優梯度法的核心在於利用梯度計算步長，步長計算公式推導如下：

最優化方程可以寫成如下形式：

                                                     

將在處進行二階泰勒展開得到：

                                               

其中，A是f(x)的二階偏導矩陣。用替換可以得到：

                                               

在極小值處有：

                                                            

即可得到：

                                                                     

 3 共軛梯度法

共軛梯度法對最優梯度法進行了修正，搜索方向爲共軛方向，將負梯度方向旋轉了一個角度，每次往最優方向需要在負梯度方向進行修正。算法如下：

                                            

共軛梯度法證明：

對於二次型優化問題：

                                                                                                    （3-1）

下一次的搜索方向需要與上一次搜索方向共軛，即：

                                                                                                                           （3-2）

計算梯度：

                                                                        （3-3）

兩梯度相減可得：

                                                                                    （3-4）

由參數更新公式：

                                                                                                                     （3-5）

代入（3-4）可得：

                                                                                           （3-6）

將方向更新公式：

                                                                                                  （3-7）

及（3-6）代入（3-2）可得：

                                              （3-8）

因爲與正交，乘積爲0。化簡（3-8）可得：

                                                 （3-9）

將代入3-9得到：

                                                                             （3-10）

可以近似成：

                                                                                                                 （3-11）

表格中步長計算採用了一維搜索法，當然也可以固定步長或者採用最優梯度法中的步長計算方法進行替換。

梯度下降法在不同的迭代輪數中會選擇非常近似的方向，說明沿着這個方向的誤差沒有一次更新完成，優化過程呈鋸齒狀。共軛梯度法的思想是，選擇一個優化方向後，本次選擇的步長能夠將這個方向的誤差更新完，在以後的優化更新過程中不再需要朝這個方向更新了。由於每次將一個方向優化到了極小，後面的優化過程將不再影響之前優化方向上的極小值，所以理論上對N維問題求極小只用對N個方向都求出極小就行了。

共軛梯度法計算流程如下圖：