拉格朗日乘子法和KKT條件的理解學習

如果本文有錯誤，特別歡迎大家指出。

目標： 我們的目標是在一定的限制條件下找到一個函數的最大、最小值。
正式的描述： 給定目標函數$f$和定義在$\Omega \in R^n$上的函數$g_1,g_2,...,g_m$和$h_1,h_2,...,h_l$,求函數$f$的極值。數學表示爲：

對於這個問題，下面會在以下4種情況下，得出（局部）最優的充分必要條件

• 沒有限制
• 只有等式限制（拉格朗日）
• 只有不等式限制（KKT）
• 有不等式和等式限制

---

1.沒有限制的優化

假設：$f:\Omega \rightarrow \R$是一個連續可微函數。
局部最小的充分必要條件是：
$x^*$是函數$f(x)$的局部最小點，當且僅當：

1. $f$在$x^*$處的梯度爲0，即
   
2. 函數$f$的Hessian陣在$x^*$是半正定的，即
   

---

$x^*$是函數$f(x)$的局部最大點，當且僅當：

1. $f$在$x^*$處的梯度爲0，即
   
2. 函數$f$的Hessian陣在$x^*$是半負定的，即
   

2 受限的優化：等式約束

受限等式約束優化問題：

函數$f$的等值線:

加上可行區域（feasible region）：

加上可行點$X_F$:

尋找一個$\delta x$滿足$h(X_F+\alpha \delta x)=0$且$f(X_F+\alpha \delta x)<f(X_F)$，就可以實現優化的一小步。
從點$x$移動$\delta x$需要滿足：

圖示爲：

留在約束面上的條件：求約束$h$的法線$\nabla_xh(x)$。如圖：

留在約束面上的條件如圖：

爲了讓在約束面上的點移動$\delta x$後依然在約束面上，這個點移動的方向要和法線正交。
總結：
如果點$X_F$在約束面上，

• 設置$\delta x$與$\nabla_xh(x_F)$正交，可以保證$h(x_F+\delta x)=0$
• 只有當$\delta x*(-\nabla_xf(x_F))>0$,纔有$f(x_F+\delta x)<f(x_F)$

當$\nabla_xf(x^*)$和$\nabla_xh(x^*)$平行的時候，$x^*$就是局部最小點。如圖：

還記得我們的優化問題是：


多個不等式限制的問題爲：
構造Lagrangian（對每個等式限制引入一個乘子）：

---

3 受限優化：不等式約束

考慮問題：

圖示一下：

我們怎麼認定$X_F$是局部最小值呢？

所以最小值的條件和無限制情況下相同，即：

問題（滿足上述條件的可行解不在可行閾之內）：

圖示一下：

怎麼確定$X_F$是一個局部最小值？

這相當於把不等式約束轉化爲等式約束。如圖：

總結：

最後KKT條件爲：