最優化問題的求解分類

通常需要求解的最優化問題有如下幾類：

無約束優化問題，可以寫爲：

有等式約束的優化問題，可以寫爲：

 

有不等式約束的優化問題，可以寫爲：額

對於第1類的優化問題，使用的方法爲費馬大定理(Fermat)

對於第2類的優化問題，使用的方法是拉格朗日乘子法（Lagrange Multiplier)

對於第3類的優化問題，使用的方法是KKT條件。同樣所有的等式、不等式約束與f(x)寫爲一個拉格朗日函數，係數稱拉格朗日乘子，通過一些條件求出最優值的必要條件，該條件稱爲KKT條件。