機器學習算法中經常碰到非線性優化問題,如 Sparse Filtering 算法,其主要工作在於求解一個非線性極小化問題。在具體實現中,大多調用的是成熟的軟件包做支撐,其中最常用的一個算法是 L-BFGS。爲了解這個算法的數學機理,這幾天做了一些調研,現把學習過程中理解的一些東西整理出來。
目錄鏈接
(1) 牛頓法
(2) 擬牛頓條件
(3) DFP 算法
(4) BFGS 算法
(5) L-BFGS 算法
作者: peghoty
出處: http://blog.csdn.net/itplus/article/details/21896453
歡迎轉載/分享, 但請務必聲明文章出處.