統計學習方法——牛頓法和擬牛頓法

      牛頓法(Newton Method)和擬牛頓法(quasi-Newton Method)以及梯度下降法是求解無約束最優化問題的常用方法。牛頓法通過每次求解目標函數的Hessian Matixd的逆矩陣迭代求解最優解；擬牛頓法通過正定矩陣近似Hessian Matrix的逆矩陣迭代求解最優解。

Hessian Matrix ：

     設爲的多元變量函數，且有二階連續偏導，則的Hessian Matrix定義爲：                                                                                                                                                      

Positive Matrix：

      設，如，對任意的且時滿足，則爲正定矩陣

二階泰勒展開：

                                         

      其中表示在處偏導。因此，函數有極值的條件爲在某點（極值點）的偏導爲0,特別地，當

爲正定矩陣時，函數的極值爲極小值。

牛頓法迭代：

     設起始點爲,求目標函數的極小值，做爲第k+1次的迭代點

                                                

      令

      則（記）

      可以看出，極值點由迭代產生。

      由於要求解，計算比較複雜，可以通過構造正定矩陣近似替代，即擬牛頓法。

擬牛頓條件：

      根據（*）有：

      記,,則有：稱爲擬牛頓條件

擬牛頓法迭代：

      設是的近似，同時滿足擬牛頓條件：，每次迭代更新：

     1) DFP algorithm:

           ,其中滿足：：

          構造矩陣：

     2) BFGS algorithm:  ()

          ，其中滿足：

          構造矩陣：

     3) Broyden algorithm:

          構造DFP和BFGS的線性組合，形成一類擬牛頓條件的方法，稱爲Broyden-like algorithm: