無約束非線性優化經典算法學習筆記

本博客僅爲學習筆記。

梯度下降法

有函數x(θ) ,梯度下降法的迭代公式爲:

xk+1=xk−agk

其中gk 爲x(θ) 在x_k點的導數。

牛頓法

當x爲標量時

xk+1=xk−x′x′′

當x爲向量時：

xk+1=xk−H−1kgk

其中 H−1 爲 Hession矩陣的逆函數，g爲一階導數向量。

L-BFS

在牛頓法中，每次都需要求H−1k , 每次求二階導數，再求逆矩陣這個計算量是很大的。所以有人考慮使用迭代計算的方法計算每一個H−1k , 令

Bk=H−1k

找出一個公式 ,使得

Bk+1=Bk+δ

求出這個迭代用的δ 。

http://blog.csdn.net/acdreamers/article/details/44728041