最優化——約束優化方法(Constrained Optimization Algorithms)

最優化——約束優化方法(Constrained Optimization Algorithms)

作者：凱魯嘎吉 - 博客園 http://www.cnblogs.com/kailugaji/

本篇介紹最優化方法(運籌學)裏面的約束優化方法，包括：直接搜索法(隨機方向法、約束座標輪換法、複合形法、以及可行方向法)與間接搜索法(懲罰函數法與序列二次規劃)。更多優化問題，請看標籤：優化問題 - 凱魯嘎吉

1. 引言

包括約束非線性規劃問題陳述、約束優化方法分類、最優性條件。

2. 直接搜索法(Direct Search Methods)

2.1 隨機方向法

2.2 約束座標輪換法

2.3 複合形法(complex method)

3. 可行方向法(Feasible Directions Methods)

3.1 Zoutendijk可行方向法

3.2 Rosen梯度投影法

3.3 Wolfe簡約梯度法(Reduced Gradient, RG)

3.4 廣義簡約梯度法(Generalized Reduced Gradient, GRG)

3.5 Frank-Wolfe方法

4. 懲罰函數法(Penalty Function Methods)

4.1 外點法/罰函數法(Exterior Penalty Function)

4.2 內點法/障礙函數法(Interior Penalty Function)

4.3 乘子法

5. 序列二次規劃(Sequential Quadratic Programming)

5.1 Lagrange-Newton法

5.2 Wilson-Han-Powell法(也稱SQP)

6. 參考文獻

• 刁在筠, 等, 運籌學(第三版), 高等教育出版社, 2007. (引言，外點法與內點法)

• 唐煥文, 等, 實用最優化方法, 大連理工大學社, 2004. http://www.wenqujingdian.com/Public/editor/attached/file/14/C0043739.pdf. (引言)

• 孫靖民, 等, 機械優化設計, 機械工業出版社, 2006. (直接搜索法)

• 陳寶林, 最優化理論與算法, 清華大學出版社, 2005. https://deitacloud.github.io/site/機器學習/. (可行方向法)

• 凱魯嘎吉, 交替方向乘子法(Alternating Direction Method of Multipliers),博客園, https://www.cnblogs.com/kailugaji/p/12676095.html (乘子法)

• 高立, 數值最優化方法, 北京大學出版社, 2014. (序列二次規劃)