今天要掃盲的知識點是原始問題和對偶問題，這個知識點主要牽涉拉格朗日乘數法。整理這個知識點，主要是爲理解下一個知識點（支持向量機 ）做準備的！
原問題，又稱原線性規劃問題，是指每一個線性規劃的原始問題，每個原問題均可以轉化爲與其對稱的對偶問題。原問題與對偶問題是相對的，二者爲同類型的規劃，構成對偶規劃的一般規則如下：
若原問題是極大化問題，那麼對偶問題就是極小化問題；若原問題是極小化問題，那麼對偶問題就是極大化問題。
在原問題與對偶問題中，約束右端向量與目標函數中係數恰好對換。
對於極小化問題的“≥ ”型約束(極大化問題的“≤ ”型約束)，相應的對偶變量有非負限制；對於極小化問的“≤ ”型約束(極大化問題的“≥
對於極小化問題的具有非負限制的變量(極大化問題的具有非正限制的變量)，在其對偶中相應的約束爲“≤ ”型不等式；對於極小化問題的具有非正限制的變量(極大化問題的具有非負限制的變量)，在其對偶問題中相應的約束爲“≥ ”型不等式；
對於原問題中無正負限制的變量，在其對偶問題中相應的約束爲等式。
定義： 設f ( x ) , g i ( x ) , h j ( x ) f(x), g_i(x), h_j(x) f ( x ) , g i ( x ) , h j ( x ) R n R^n R n min w f ( x ) s . t . g i ( x ) ≤ 0 ( i = 1 , . . . , k ) h j ( x ) = 0 ( j = 1 , . . . , n ) \begin{array}{rcl}&&\min_w\;f(x)\\s.t.\;g_i(x)&\leq&0\;(i=1,...,k)\\h_j(x)&=&0\;(j=1,...,n)\\&&
\end{array} s . t . g i ( x ) h j ( x ) ≤ = min w f ( x ) 0 ( i = 1 , . . . , k ) 0 ( j = 1 , . . . , n ) (五 ]約束最優化問題是有約束條件的 ，我們不能無視約束條件呀，那在約束條件下應該怎麼求解呢？？此時，拉格朗日來了，他整了個 拉格朗日乘數法 出來專門把這令人頭大的約束條件去掉，將約束最優化問題變成無約束最優化問題！
在介紹拉格朗日之前需要普及一下我們常見的最優化問題可分爲三種類型：
無約束條件：min x f ( x ) \min_x f(x) x min f ( x )
有等式約束條件的：min x f ( x ) s . t . g i ( x ) = 0 ; ( i = 1 , . . . , n ) \min_x f(x)\\
s.t.g_i(x)=0; (i=1,...,n) x min f ( x ) s . t . g i ( x ) = 0 ; ( i = 1 , . . . , n )
在第2類基礎上再加入不等式約束條件的：min x f ( x ) s . t . g i ( x ) ≤ 0 ; ( i = 1 , . . . , n ) h j ( x ) = 0 ; ( j = 1 , . . . , k ) \min_x f(x)\\
s.t.g_i(x)\le0; (i=1,...,n)\\
h_j(x)=0;(j=1,...,k) x min f ( x ) s . t . g i ( x ) ≤ 0 ; ( i = 1 , . . . , n ) h j ( x ) = 0 ; ( j = 1 , . . . , k )
插入拉格朗日乘數法的一點介紹，爲了更好地理解下面的內容。
Lagrange Multiplier Method：是一種尋找變量受一個或多個條件所限制的多元函數的極值的方法。這種方法將一個有n個變量 與k個約束條件 的最優化問題 轉換爲一個有n + k個變量的方程組的極值問題 ，其變量不受任何約束。這種方法引入了一個拉格朗日乘子 ：約束方程的梯度（gradient）的線性組合裏每個向量的係數。
注意啦！！！拉格朗日乘數法主要是解決第2類優化問題，通過引入拉格朗日乘子將等式約束問題變成無約束問題。
表達式： L = f ( x , y , z ) + λ φ ( x , y , z ) = 0 L=f(x,y,z)+\lambda \varphi(x,y,z)=0 L = f ( x , y , z ) + λ φ ( x , y , z ) = 0
適用領域範圍： 多元函數求極值
給定二元函數z = f ( x , y ) z=f(x,y) z = f ( x , y ) 附加條件g ( x , y ) = 0 g(x,y)=0 g ( x , y ) = 0 ，爲尋找z = f ( x , y ) z=f(x,y) z = f ( x , y ) F ( x , y , λ ) = f ( x , y ) + λ g ( x , y ) F(x,y,\lambda)=f(x,y)+\lambda g(x,y) F ( x , y , λ ) = f ( x , y ) + λ g ( x , y ) λ \lambda λ x , y , λ x,y,\lambda x , y , λ F ′ x = f x ′ ( x , y ) + λ g x ′ ( x , y ) = 0 F ′ y = f y ′ ( x , y ) + λ g y ′ ( x , y ) = 0 F ′ λ = g ( x , y ) = 0 \begin{array}{l}{F^\prime}_x=f^\prime_x(x,y)+\lambda g^\prime_x(x,y)=0\\{F^\prime}_y=f^\prime_y(x,y)+\lambda g^\prime_y(x,y)=0\\{F^\prime}_\lambda=g(x,y)=0\end{array} F ′ x = f x ′ ( x , y ) + λ g x ′ ( x , y ) = 0 F ′ y = f y ′ ( x , y ) + λ g y ′ ( x , y ) = 0 F ′ λ = g ( x , y ) = 0 x , y , λ x,y,\lambda x , y , λ g ( x , y ) = 0 g(x,y)=0 g ( x , y ) = 0 可能的極值點 。因爲導數爲0的只是有極值的必要條件，而不是充分條件 ，即有極值的地方,其切線的斜率一定爲0; 切線斜率爲0的地方,不一定是極值點。
上圖所示，藍色線表示函數f ( x , y ) f(x,y) f ( x , y ) g ( x , y ) g(x,y) g ( x , y ) g ( x , y ) = 0 g(x,y)=0 g ( x , y ) = 0 f ( x , y ) f(x,y) f ( x , y ) 在g(x,y)=0這條紅線上，找到一個使得f(x,y)值儘可能最小的點 ，從圖上可以看到，當f(x,y)的梯度不斷縮小，那麼紅線與藍線就相離；而當f(x,y)的梯度不斷增大，那麼紅線與藍線就相交，因此總有一個點能使得兩者相交，而相切的地方就是最小值 ，因爲兩線相切，目標函數與條件函數在切點處的法線是反向共線的 ，並且切點處的也滿足約束條件，就有：f x ′ ( x , y ) = − λ g x ′ ( x , y ) ⇔ f x ′ ( x , y ) + λ g x ′ ( x , y ) = 0 f x ′ ( x , y ) = − λ g x ′ ( x , y ) ⇔ f y ′ ( x , y ) + λ g y ′ ( x , y ) = 0 g ( x , y ) = 0 \begin{array}{l}f^\prime_x(x,y)=-\lambda g^\prime_x(x,y)\Leftrightarrow f^\prime_x(x,y)+\lambda g^\prime_x(x,y)=0\\
f^\prime_x(x,y)=-\lambda g^\prime_x(x,y)\Leftrightarrow f^\prime_y(x,y)+\lambda g^\prime_y(x,y)=0\\
g(x,y)=0\end{array} f x ′ ( x , y ) = − λ g x ′ ( x , y ) ⇔ f x ′ ( x , y ) + λ g x ′ ( x , y ) = 0 f x ′ ( x , y ) = − λ g x ′ ( x , y ) ⇔ f y ′ ( x , y ) + λ g y ′ ( x , y ) = 0 g ( x , y ) = 0
回到上一節的問題，採用拉格朗日乘數法來去掉原始問題中的約束條件。首先根據約束最優化問題（原始問題）的形式來定義拉格朗日公式（3）：L ( x , α , β ) = f ( x ) + ∑ i k α i g i ( x ) + ∑ j n α j h j ( x ) \begin{array}{l}L(x,\alpha,\beta)=f(x)+\sum_i^k\alpha_ig_i(x)+\sum_j^n\alpha_jh_j(x)\end{array} L ( x , α , β ) = f ( x ) + ∑ i k α i g i ( x ) + ∑ j n α j h j ( x ) α , β \alpha,\beta α , β α ≤ 0 \alpha\le0 α ≤ 0
對於上式，此時的g(x)和h(x)已經不再是約束條件了，所以g(x)的值可能大於0，h(x)的值可能不等於0。如果直接根據公式(3)計算最小值的話，可能會出現以下錯誤情況 ：當g ( x ) ≤ 0 g(x)\le0 g ( x ) ≤ 0 α \alpha α θ p ( x ) = max α , β : α ≥ 0 L ( x , α , β ) \theta_p(x)=\max_{\alpha,\beta:\alpha \ge0}L(x,\alpha,\beta) θ p ( x ) = α , β : α ≥ 0 max L ( x , α , β ) α , β \alpha,\beta α , β α , β \alpha,\beta α , β x x x
爲什麼要對公式3做最大化呢？ 這原因有很多文章都沒有講清楚的，原因是要排除我們上面提到的錯誤情況 的發生，下面來一步一步分析最大化拉格朗日函數的可行性：
假設g和h函數不滿足約束條件 的情況下，即g i ( x ) > 0 , h j ( x ) ≠ 0 g_i(x)\gt0,h_j(x)\neq0 g i ( x ) > 0 , h j ( x ) = 0 α , β \alpha,\beta α , β θ p ( x ) \theta_p(x) θ p ( x )
假設g和h函數滿足約束條件 的情況下，即g i ( x ) ≤ 0 , h j ( x ) = 0 g_i(x)\le0,h_j(x)=0 g i ( x ) ≤ 0 , h j ( x ) = 0 θ p ( x ) = max α , β L ( x , α , β ) = f ( x ) \theta_p(x)=\max_{\alpha,\beta}L(x,\alpha,\beta)=f(x) θ p ( x ) = max α , β L ( x , α , β ) = f ( x )
因此可得出（公式5）：θ p ( x ) = { f ( x ) x滿足原始問題的約束條件 − ∞ 其他 \theta_p(x)=
\begin{cases}
f(x)& \text{x滿足原始問題的約束條件}\\
-\infty& \text{其他}
\end{cases} θ p ( x ) = { f ( x ) − ∞ x 滿足原始問題的約束條件 其他 在滿足約束條件下，我們將θ p ( x ) \theta_p(x) θ p ( x ) （公式6）min x θ p ( x ) = max α , β : α ≥ 0 L ( x , α , β ) = min x f ( x ) \min_x\theta_p(x)=\max_{\alpha,\beta:\alpha \ge0}L(x,\alpha,\beta)=\min_x f(x) x min θ p ( x ) = α , β : α ≥ 0 max L ( x , α , β ) = x min f ( x ) p ∗ = min x θ p ( x ) p^*=\min_x\theta_p(x) p ∗ = x min θ p ( x )
上述，應用拉格朗日方法就爲原始問題重新定義了一個無約束問題。理解了上面的過程，下面的內容就相對容易了。
定義關於α , β \alpha,\beta α , β θ D ( α , β ) = min x L ( x , α , β ) \theta_D(\alpha,\beta)=\min_xL(x,\alpha,\beta) θ D ( α , β ) = x min L ( x , α , β )
注意：上式（8）等式右邊是關於 x x x x x x α , β \alpha,\beta α , β α , β \alpha,\beta α , β θ D ( x ) \theta_D(x) θ D ( x ) max α , β : α ≥ 0 θ D ( α , β ) = max α , β : α ≥ 0 min x L ( x , α , β ) \max_{\alpha,\beta:\alpha \ge0}\theta_D(\alpha,\beta)=\max_{\alpha,\beta:\alpha \ge0}\min_xL(x,\alpha,\beta) α , β : α ≥ 0 max θ D ( α , β ) = α , β : α ≥ 0 max x min L ( x , α , β ) min x θ p ( x ) = max α , β : α ≥ 0 L ( x , α , β ) \min_x\theta_p(x)=\max_{\alpha,\beta:\alpha \ge0}L(x,\alpha,\beta) x min θ p ( x ) = α , β : α ≥ 0 max L ( x , α , β )
原始問題是先固定L ( x , α , β ) L(x,\alpha,\beta) L ( x , α , β ) α , β \alpha,\beta α , β
對偶問題是先固定L ( x , α , β ) L(x,\alpha,\beta) L ( x , α , β ) α , β \alpha,\beta α , β α , β \alpha,\beta α , β
最後，我們重新定義對偶問題的最優值爲（公式10）：d ∗ = max α , β : α ≥ 0 θ p ( α , β ) d^*=\max_{\alpha,\beta:\alpha \ge0}\theta_p(\alpha,\beta) d ∗ = α , β : α ≥ 0 max θ p ( α , β )
定理： 若原始問題與對偶問題都有最優值，則有：d ∗ = max α , β : α ≥ 0 θ p ( α , β ) ≤ min x θ p ( x ) = p ∗ d^*=\max_{\alpha,\beta:\alpha \ge0}\theta_p(\alpha,\beta)\le \min_x\theta_p(x)=p^* d ∗ = α , β : α ≥ 0 max θ p ( α , β ) ≤ x min θ p ( x ) = p ∗ 這篇文章看看
推理： 設分別是x ∗ , α ∗ , β ∗ x^*,\alpha^*,\beta^* x ∗ , α ∗ , β ∗ d ∗ = p ∗ d^*=p^* d ∗ = p ∗ x ∗ , α ∗ , β ∗ x^*,\alpha^*,\beta^* x ∗ , α ∗ , β ∗
那麼，當原始問題和對偶問題的最優值相等：d ∗ = p ∗ d^*=p^* d ∗ = p ∗ d ∗ = p ∗ d^*=p^* d ∗ = p ∗ Karush-Kuhn-Tucher,KKT 來解釋。
在數學上，KKT條件是在滿足一些有規則的條件下，一個非線性規劃（Nonlinear Programming）問題能有最優化解法的一個必要和充分條件。這是一個廣義化拉格朗日乘數的成果。
KKT條件專門用於解決不等式約束條件的 ，在上面，我們提到了對於單個等式約束條件問題求解最優的方法，可直接將等式約束通過拉格朗日換成無約束 ，但是對於含有不等式約束條件和等式約束條件的問題，則需要引入KKT條件。min w f ( x ) s . t . g i ( x ) ≤ 0 ( i = 1 , . . . , k ) h j ( x ) = 0 ( j = 1 , . . . , n ) \min_wf(x)\\
s.t.\;g_i(x)\le 0\;(i=1,...,k)\\
\;h_j(x)=0\;(j=1,...,n)
w min f ( x ) s . t . g i ( x ) ≤ 0 ( i = 1 , . . . , k ) h j ( x ) = 0 ( j = 1 , . . . , n )
先把不等式約束條件轉化爲等式約束條件 。→ \to → 鬆弛變量 ，即KKT乘子
再把等式約束轉化爲無約束優化問題 。 → \to → 拉格朗日乘子
給定二元函數z = f ( x , y ) z=f(x,y) z = f ( x , y ) g ( x , y ) ≤ 0 g(x,y)\le0 g ( x , y ) ≤ 0 z = f ( x , y ) z=f(x,y) z = f ( x , y )
如果最優解恰好在邊界上 ，那麼這個就可以通過拉格朗日來求解。
如果最優解在陰影區內部 ，最優解不在邊界上，那該解一定是單純只考慮 f(x, y) 的最優解，也就是直接求f ′ ( x , y ) = 0 f^\prime(x,y)=0 f ′ ( x , y ) = 0 f ′ ( x , y ) + λ g ′ ( x , y ) = 0 f^\prime(x,y)+\lambda g^\prime(x,y)=0 f ′ ( x , y ) + λ g ′ ( x , y ) = 0 因爲要取得最小值，所以目標函數的梯度一定是和約束曲線的梯度反向 ，因此得到λ ≥ 0 \lambda\ge0 λ ≥ 0
因此，將上述情況合併，我們寫出拉格朗日函數：L ( x , y , λ ) = f ( x , y ) + ∑ i = 1 n λ i g i ( x , y ) L(x,y,\lambda)=f(x,y)+\sum_{i=1}^n\lambda_ig_i(x,y) L ( x , y , λ ) = f ( x , y ) + i = 1 ∑ n λ i g i ( x , y ) x ∗ , y ∗ , λ ∗ x^*,y^*, \lambda^* x ∗ , y ∗ , λ ∗
( 拉 格 朗 日 條 件 ) L x ′ ( x ∗ , y ∗ , λ ∗ ) = 0 ( 拉 格 朗 日 條 件 ) L y ′ ( x ∗ , y ∗ , λ ∗ ) = 0 ( 拉 格 朗 日 條 件 ) L λ ′ ( x ∗ , y ∗ , λ ∗ ) = 0 ( a 條 件 ) λ i g i ( x ∗ ) = 0 ( 原 始 問 題 約 束 條 件 ) g i ( x ) ≤ 0 ( 梯 度 反 向 ) α i ∗ ≥ 0 (拉格朗日條件)L^\prime_x(x^\ast,y^\ast,\lambda^\ast)=0\\
(拉格朗日條件)L^\prime_y(x^\ast,y^\ast,\lambda^\ast)=0\\
(拉格朗日條件)L^\prime_\lambda(x^\ast,y^\ast,\lambda^\ast)=0\\
(a條件)\lambda_ig_i(x^\ast)=0\\
(原始問題約束條件)g_i(x)\leq0\\
(梯度反向)\alpha_i^\ast\geq0\\
( 拉 格 朗 日 條 件 ) L x ′ ( x ∗ , y ∗ , λ ∗ ) = 0 ( 拉 格 朗 日 條 件 ) L y ′ ( x ∗ , y ∗ , λ ∗ ) = 0 ( 拉 格 朗 日 條 件 ) L λ ′ ( x ∗ , y ∗ , λ ∗ ) = 0 ( a 條 件 ) λ i g i ( x ∗ ) = 0 ( 原 始 問 題 約 束 條 件 ) g i ( x ) ≤ 0 ( 梯 度 反 向 ) α i ∗ ≥ 0 該條件也稱爲KKT的對偶互補條件。
到此爲止我們推出了KKT的所有條件。
定理： 對於原始問題和對偶問題，假設目標函數f(x)和不等式約束函數g(x)是凸函數 ，等式約束函數h(x)是仿射函數 ，並且假設不等式約束g(x)是嚴格凸函數 ，即存在x，對所有i有g i ( x ) < 0 g_i(x)\lt0 g i ( x ) < 0 凸優化問題 ），則存在x ∗ , α ∗ , β ∗ x^*,\alpha^*,\beta^* x ∗ , α ∗ , β ∗ d ∗ = p ∗ = L ( x ∗ , α ∗ , β ∗ ) d^*=p^*=L(x^*,\alpha^*,\beta^*) d ∗ = p ∗ = L ( x ∗ , α ∗ , β ∗ )
使得上述定理成立的充要條件是滿足下面的KKT條件：L x ′ ( x ∗ , α ∗ , β ∗ ) = 0 L α ′ ( x ∗ , α ∗ , β ∗ ) = 0 L β ′ ( x ∗ , α ∗ , β ∗ ) = 0 α i g i ( x ∗ ) = 0 g i ( x ) ≤ 0 α i ∗ ≥ 0 h j ( x ∗ ) = 0 L^\prime_x(x^\ast,\alpha^\ast,\beta^\ast)=0\\
L^\prime_\alpha(x^\ast,\alpha^\ast,\beta^\ast)=0\\
L^\prime_\beta(x^\ast,\alpha^\ast,\beta^\ast)=0\\
\alpha_ig_i(x^\ast)=0\\g_i(x)\leq0\\\alpha_i^\ast\geq0\\h_j(x^\ast)=0\\
L x ′ ( x ∗ , α ∗ , β ∗ ) = 0 L α ′ ( x ∗ , α ∗ , β ∗ ) = 0 L β ′ ( x ∗ , α ∗ , β ∗ ) = 0 α i g i ( x ∗ ) = 0 g i ( x ) ≤ 0 α i ∗ ≥ 0 h j ( x ∗ ) = 0 前四條是拉格朗日乘數法需要滿足的條件：分別對各個變量的偏導數等於0，以及附加條件g ( x ) g(x) g ( x ) h ( x ) h(x) h ( x ) （其中，h ( x ) h(x) h ( x ) 後面三條是原始問題的約束條件 。
終於梳理完了，呼~真的好累…
參考文章：https://blog.csdn.net/fkyyly/article/details/86488582
https://blog.csdn.net/weixin_30430169/article/details/99104890?depth_1-utm_source=distribute.pc_relevant.none-task&utm_source=distribute.pc_relevant.none-task
https://blog.csdn.net/dpengwang/article/details/88355744?utm_source=app
