帶約束的最優化問題

支持向量機SVM的訓練過程中需要求解帶約束的最優化問題。

帶約束的最優化問題通常表述如下：

objective:minw f(w)s.t. {gi(w)≤0,hj(w)=0,i=1,2,3...n;j=1,2,3...m;不等式約束等式約束$$\begin{gathered} objective:\underset{w}{min}f(w) \\ s.t.\{\begin{array}{lll}{g}_i(w)\le 0,& i=1,2,\mathrm{3...}n;& \text{不等式約束}\\ h_j(w)=0,& j=1,2,\mathrm{3...}m;& \text{等式約束}\end{array} \end{gathered}$$

gi(w)$g_i(w)$ ,hj(w)$h_j(w)$ 和f(w)$f(w)$ 一般都是連續可導的。要求在滿足gi(w)≤0,hj(w)=0$g_i(w)\le 0,h_j(w)=0$ 的前提下求能使得目標函數f(w)$f(w)$ 最小化的w$w$ 。

學習支持向量機SVM時，拉格朗日對偶、Slater條件、KKT條件等一大堆概念席捲而來，讓沒系統學習過凸優化的筆者一頭霧水，估計不少人都是這樣吧。
不幸的是筆者在數學相關問題上經常一不小心就陷入死磕，遇到沒想明白的問題就總惦記着。另外筆者還是個懶於動手的人，但好在數學是一門完全不需要動手的學科，你只要靠想就可以，最多需要在紙上畫畫，完全不用做什麼實驗或者手工體力活兒，嗯，很適合筆者這種懶人，這也是筆者爲什麼從一個電氣工程學生慢慢偏離航向發展成一個程序猿的原因。
回到我們要說的SVM中的優化問題。爲什麼要引入一堆係數把約束條件與目標函數組合到一起？爲什麼滿足了KKT條件就是符合條件的解? 爲什麼可以轉化爲對偶問題？什麼是Slater條件？在講SVM的資料中通常不會詳細展開這些問題，只是告知讀者有這麼回事。帶着一排排問號，翻閱文獻、Wiki、博客，加上自己的一些思考，算是把不少問題整理清楚了。筆者希望能把這些問題用容易理解的方式講述明白，通過這一系列博文，將相關問題由易到難一一做出解釋，希望這個系列的文章能幫更多人解惑。

本系列文章包括：
1. 純等式約束時的optimalize問題
2. 純不等式約束時的optimalize問題
3.混合約束時的optimalize問題——KKT條件與拉格朗日對偶問題
4.強對偶性的證明與Slater條件

1. 純等式約束時的optimalize問題

這一類問題的範式如下：

objective:minw f(w)s.t:hj(w)=0,j=1,2,3...m;$$\begin{gathered} objective:mi{n}_{w}f(w) \\ s.t:h_j(w)=0,j=1,2,\mathrm{3...}m; \end{gathered}$$

在滿足hj(w)=0$h_j(w)=0$ 的條件下使f(w)$f(w)$ 最小化。hj(w)$h_j(w)$ 和f(w)$f(w)$ 都應是連續可導的。上面純代數的形式會讓人不容易看到此類問題的本質，我們希望對這類問題有一個直觀的幾何理解。首先我們來看一下每個等式約束的含義。

等式約束的幾何意義

對於 hj(w)=0$h_j(w)=0$ ，如果w$w$ 是一個3維變量，那所有滿足hj(w)=0$h_j(w)=0$ 的w$w$ 點集通常會組成一個 2 維的曲面。特別當hj(w)$h_j(w)$ 是w$w$ 的線性函數時，比如 ：

hj(w)=a1wx+a2wy+a3wz+b$$h_j(w)=a_1{w}_x+a_2{w}_y+a_3{w}_z+b$$

其中wx、wy、wz$w_x、w_y、w_z$ 分別是w$w$ 在三個維度上的分量，a1、a2、a3、b$a_1、a_2、a_3、b$ 是某些常數。這時 hj(w)=0$h_j(w)=0$ 就是三維空間中的一個平面。對於通常的非線性函數而言， hj(w)=0$h_j(w)=0$ 一般對應一個曲面。


如果w$w$ 是更高維的變量，維數設爲dw$d_w$ ，那hj(w)=0$h_j(w)=0$ 一般對應一個(dw−1)$(d_w-1)$ 維的子空間，或者說(dw−1)$(d_w-1)$ 維的曲面。注意，當我們下面再提到”面”這個概念時，它不一定代表狹義的二維面，而可以是對任意維度的一個子空間的稱謂。
借用下物理中的概念：如果將hj(w)$h_j(w)$ 看做空間中某個向量場的勢函數，這個向量場就是hj(w)$h_j(w)$ 的梯度場∇hj(w)$\mathrm{\nabla }{h}_j(w)$ ，而hj(w)=0$h_j(w)=0$ 所對應的子空間就是該梯度場的0等勢面。在等勢面上任一點的梯度都與該點鄰域內的等勢面垂直，即若w∗$w^{\ast }$ 是等勢面上一點，則∇hj(w∗)$\mathrm{\nabla }{h}_j(w^{\ast })$ 垂直於該等勢面。（通常等勢面是個曲面，當我們說垂直的時候，只是針對該面上某個點的切面）
進一步的，c∇hj(w∗)$c\mathrm{\nabla }{h}_j(w^{\ast })$ 構成了一個1維的子空間Gj$G_j$ ，這個子空間與(dw−1)$(d_w-1)$ 維的0等勢面（在w∗$w^{\ast }$ 處的切面）垂直，因此它們互爲補空間（相互垂直且維度之和是dw$d_w$ ）。這意味着，在w∗$w^{\ast }$ 處所有與0等勢面垂直的向量都在Gj$G_j$ 子空間中，即都可表示成一個常數與∇hj(w∗)$\mathrm{\nabla }{h}_j(w^{\ast })$ 相乘。
繼續往下讀之前先確保理解了上面幾段的內容。提示：在本文中遇到高維相關結論，可以先在大腦裏以我們熟悉的三維空間舉例理解。

再回到我們的問題，這裏我們有m個等式約束，每個約束都對應一個0等勢面，m個約束同時作用，相當於把可行域限制在了這m個0等勢面的交集上。這個交集是什麼樣子？它也是一個子空間，只不過維數可能更低。比如三維空間中兩個不平行的面(2維)的交集，是一條1維的線。我們先稱呼前面提到的這個交集爲”公共0勢面”。
假設公共0勢面的維度是d0$d_0$ ，通常d0=dw−m$d_0=d_w-m$ 。而各hj(w)$h_j(w)$ 在公共0勢面上某點w∗$w^{\ast }$ 處的梯度向量∇hj(w∗)$\mathrm{\nabla }{h}_j(w^{\ast })$ 都與公共0勢面垂直，且共有m個這樣的向量，因此這些梯度向量組合成的m維子空間G$G$ 與公共0勢面互補。意味着：w∗$w^{\ast }$ 處所有與公共0勢面垂直的向量都在G$G$ 子空間中,即都可表示成：

V=m∑j=1cj∇hj(w∗)

$$V=\sum _{j=1}^m{c}_j\mathrm{\nabla }{h}_j(w^{\ast })$$

當然，d0$d_0$ 也有大於dw−m$d_w-m$ 的時候，但這並不影響上面的結論。假如m個等勢面中有某(t+1)$(t+1)$ 個等勢面是相切的，這時公共等勢面變成了dw−(m−t)$d_w-(m-t)$ 維，比正常時候多了t個維度；但另一方面，梯度空間G也會因此而減少t個維度，因爲有(t+1)$(t+1)$ 個梯度是平行的，它們只能提供1個維度。此時，上面的結論保持不變

公共0勢面上的極值條件

我們已經知道，滿足所有等式約束的點，都在前面提到的公共0勢面上。那我們的目標函數f(w)$f(w)$ 的極值點怎麼找呢？
通常，在沒有約束的時候，我們要找f(w)$f(w)$ 的極值點，只要找f(w)$f(w)$ 梯度爲0的點，即∇f(w)$\mathrm{\nabla }f(w)$ 是0。而我們把可行域限制在公共0勢面上之後呢？對，我們只要要求梯度向量∇f(w)$\mathrm{\nabla }f(w)$ 在公共0勢面上的分量爲0即可，換句話說，梯度向量與公共0勢面垂直。
爲了表達具體一點我們不得不把倒黴的w∗$w^{\ast }$ 再抓回來當我們的小白鼠。我們繼續把它在公共0勢面上，看一下它怎樣才能變成極值點。
我們要求f(w)$f(w)$ 在w∗$w^{\ast }$ 處的梯度向量∇f(w∗)$\mathrm{\nabla }f(w^{\ast })$ 與該處的公共0勢面垂直，意味着∇f(w∗)$\mathrm{\nabla }f(w^{\ast })$ 必然在前面提到的梯度子空間G上，即它可以由各個等式約束函數在w∗$w^{\ast }$ 處的梯度線性組合而成，即存在一系列係數βj${\beta }_j$ ，滿足下式：
∇f(w∗)+m∑j=1βj∇hj(w∗)=0

$$\mathrm{\nabla }f(w^{\ast })+\sum _{j=1}^m{\beta }_j\mathrm{\nabla }{h}_j(w^{\ast })=0$$

這就是判定w∗$w^{\ast }$ 是否是可行域內極值點的方法。

結論

當我們求解純等式約束下的最優化問題時，我們只需求解如下方程組即可求得候選解，然後從中挑選最優解：
求解w和β{∇f(w)+∑mj=1βj∇hj(w)=0hj(w)=0for j=1,2...m

$$求解w和\beta \{\begin{array}{l}\mathrm{\nabla }f(w)+\sum _{j=1}^m{\beta }_j\mathrm{\nabla }{h}_j(w)=0\\ h_j(w)=0forj=1,\mathrm{2...}m\end{array}$$

或者我們可以構造一個能把約束條件與目標函數融合到一起的新函數：
L(w,β)=f(w)+m∑j=1βjhj(w)

$$L(w,\beta )=f(w)+\sum _{j=1}^m{\beta }_j{h}_j(w)$$

不錯，狡猾的筆者偷偷把拉格朗日乘子式的雛形列了出來，就在讀者察覺到怎麼讀了這麼久還沒看到拉格朗日大人的蹤影是不是走錯片場了的時候。
這時，上面的方程組其實就是
求解w和β{∂L∂wk=0for k=1,2,3...dw(w的維數)∂L∂βj=0for j=1,2...m

$$求解w和\beta \{\begin{array}{ll}\frac{\mathrm{\partial }L}{\mathrm{\partial }{w}_k}=0& fork=1,2,\mathrm{3...}{d}_w(w的維數)\\ \frac{\mathrm{\partial }L}{\mathrm{\partial }{\beta }_j}=0& forj=1,\mathrm{2...}m\end{array}$$

多說兩句，這個方程組中共有 (dw+m)$(d_w+m)$ 個未知量和方程。
其中∂L∂wk=0$\frac{\mathrm{\partial }L}{\mathrm{\partial }{w}_k}=0$ 是同時包含w,β$w,\beta$ 的方程，這樣的方程共有dw$d_w$ 個;
而∂L∂βj=hj(w)=0$\frac{\mathrm{\partial }L}{\mathrm{\partial }{\beta }_j}=h_j(w)=0$ 是隻包含w$w$ 的方程，這樣的方程共有m個。爲使w$w$ 有解，m應小於w$w$ 的維數dw$d_w$ ，否則對w$w$ 的約束方程數將大於w$w$ 的變量個數導致約束太強、各約束方程無法同時被滿足而無解；

因此當d>m$d>m$ 時，上面的方程組通常是有解的。特別是當目標函數f(w)$f(w)$ 是w$w$ 的二次函數、hj(w)$h_j(w)$ 都是w的一次函數即仿射函數時，上面的方程組就變了一個線性方程組，可以用線性代數方法直接求解

簡單解釋一下：
當f(w)$f(w)$ 是w$w$ 的二次函數、hj(w)$h_j(w)$ 是w$w$ 的一次函數時，他們對wk$w_k$ 的偏導分別是w$w$ 的一次和零次(常數)函數，所以他們的組合函數 L(w,β)$L(w,\beta )$ 對wk$w_k$ 的偏導∂L∂wk$\frac{\mathrm{\partial }L}{\mathrm{\partial }{w}_k}$ 就是w,β$w,\beta$ 的一次函數，∂L∂wk=0$\frac{\mathrm{\partial }L}{\mathrm{\partial }{w}_k}=0$ 就是一個線性方程；

而∂L∂βj=0$\frac{\mathrm{\partial }L}{\mathrm{\partial }{\beta }_j}=0$ 等價於hj(w)=0$h_j(w)=0$ ，hi(w)$h_i(w)$ 是w$w$ 的一次函數，因此所有的hj(w)=0$h_j(w)=0$ 也都是線性方程；

於是整個方程組就變成了線性方程組

一句話概括

求解等式約束下的最優化問題，只需要解個方程組就可以找到候選極值點，然後在方程組的各個解中篩選出滿足條件的最小值點即可（該方程組有可能是多解的）。

如果目標函數是二次函數，且約束都是線性的，那我們只需要求解一個線性方程組。

2. 純不等式約束時的optimalize問題

這一類問題的範式如下：
objective:minw f(w)s.t:gi(w)≤0,i=1,2,3...n;

$$\begin{gathered} objective:mi{n}_{w}f(w) \\ s.t:g_i(w)\le 0,i=1,2,\mathrm{3...}n; \end{gathered}$$

gi(w)$g_i(w)$ 和f(w)$f(w)$ 都應是連續可導的。爲了方便理解，我們先看只有一個不等式約束時的情形

只有一個不等式約束的情況

objective:minw f(w)s.t:g1(w)≤0

$$\begin{gathered} objective:mi{n}_{w}f(w) \\ s.t:g_1(w)\le 0 \end{gathered}$$

對於某個給定的 w∗$w^{\ast }$ ，如果它在可行域的內部，即g1(w∗)<0$g_1(w^{\ast })<0$ 時，只需判斷 f(w)$f(w)$ 在w∗$w^{\ast }$ 處的梯度∇f(w∗)$\mathrm{\nabla }f(w^{\ast })$ 是否爲0即可判斷其是否是可行域上的候選極值點。
而如果 w∗$w^{\ast }$ 在可行域的邊界，即g1(w)=0$g_1(w)=0$ 時，情況就稍微複雜。首先，我們要保證至少在邊界面上，w∗$w^{\ast }$ 是一個極值點（條件一）；其次，還要保證在可行域內部，w∗$w^{\ast }$ 的鄰域內的其他點的函數值都比f(w∗)$f(w^{\ast })$ 大（條件二）。
爲滿足條件一，∇f(w∗)$\mathrm{\nabla }f(w^{\ast })$ 在邊界面上的梯度分量應爲0，即∇f(w∗)$\mathrm{\nabla }f(w^{\ast })$ 與邊界面垂直。而邊界面其實是g1(w)$g_1(w)$ 的零等勢面，因此∇g1(w∗)$\mathrm{\nabla }{g}_1(w^{\ast })$ 也垂直於邊界面。這樣∇f(w∗)$\mathrm{\nabla }f(w^{\ast })$ 就應與∇g1(w∗)$\mathrm{\nabla }{g}_1(w^{\ast })$ 平行，即∇f(w∗)+α1∇g1(w∗)=0

$$\mathrm{\nabla }f(w^{\ast })+{\alpha }_1\mathrm{\nabla }{g}_1(w^{\ast })=0$$

但這還不夠，我們還要考慮不在邊界上的內點。設(w∗+Δw)$(w^{\ast }+\mathrm{\Delta }w)$ 是鄰域內任一點，則當Δw$\mathrm{\Delta }w$ 滿足如下條件時：(注意Δw$\mathrm{\Delta }w$ 與梯度一樣都是向量，而非標量) ∇g1(w∗)⋅Δw≤0

$$\mathrm{\nabla }{g}_1(w^{\ast })\cdot \mathrm{\Delta }w\le 0$$

(w∗+Δw)$(w^{\ast }+\mathrm{\Delta }w)$ 就是可行域上的點，因爲這時滿足 g1(w∗+Δw)=g1(w∗)+∇g1(w∗)⋅Δw≤0$g_1(w^{\ast }+\mathrm{\Delta }w)=g_1(w^{\ast })+\mathrm{\nabla }{g}_1(w^{\ast })\cdot \mathrm{\Delta }w\le 0$ 。
爲使f(w)$f(w)$ 能在w∗$w^{\ast }$ 處取可行域上的極小值，對於可行域內的所有Δw$\mathrm{\Delta }w$ 須滿足∇f(w∗)⋅Δw≥0$\mathrm{\nabla }f(w^{\ast })\cdot \mathrm{\Delta }w\ge 0$ ，即
−α1∇g1(w∗)⋅Δw≥0

$$-{\alpha }_1\mathrm{\nabla }{g}_1(w^{\ast })\cdot \mathrm{\Delta }w\ge 0$$

而∇g1(w∗)⋅Δw≤0$\mathrm{\nabla }{g}_1(w^{\ast })\cdot \mathrm{\Delta }w\le 0$ ，因此此時α1≥0${\alpha }_1\ge 0$ 。

從幾何角度來說，上面的兩個條件對應的意義是：∇f(w∗)$\mathrm{\nabla }f(w^{\ast })$ 應與邊界面垂直並指向包含可行域的一側（邊界面的一側包含可行域，另一側不包含可行域）。函數值沿着梯度方向是增長的，當f(w)$f(w)$ 在w∗$w^{\ast }$ 處的梯度指向可行域一側時，可行域內部的函數值都比w∗$w^{\ast }$ 處大，w∗$w^{\ast }$ 才能是極小點

現在可以做個小結了：若w∗$w^{\ast }$ 是可行域上的極值點，則應滿足：
{∇f(w∗)+α1∇g1(w∗)=0且α1≥0w∗是邊界點，即g1(w∗)=0時∇f(w∗)=0w∗是內點，即g1(w∗)<0時

$$\{\begin{array}{ll}\mathrm{\nabla }f(w^{\ast })+{\alpha }_1\mathrm{\nabla }{g}_1(w^{\ast })=0且{\alpha }_1\ge 0& w^{\ast }是邊界點，即g_1(w^{\ast })=0時\\ \mathrm{\nabla }f(w^{\ast })=0& w^{\ast }是內點，即g_1(w^{\ast })<0時\end{array}$$

或者換一種更統一的形式
∇f(w∗)+α1∇g1(w∗)=0其中α1≥0，且當g1(w∗)<0時只能取等號

$$\begin{gathered} \mathrm{\nabla }f(w^{\ast })+{\alpha }_1\mathrm{\nabla }{g}_1(w^{\ast })=0 \\ 其中{\alpha }_1\ge 0，且當g_1(w^{\ast })<0時只能取等號 \end{gathered}$$

我們甚至可以把原問題中的約束條件也包進來，構造一個完整的方程組：
求解w和α1{∇f(w)+α1∇g1(w)=0α1g1(w)=0α1≥0, g1(w)≤0

$$求解w和{\alpha }_1\{\begin{array}{l}\mathrm{\nabla }f(w)+{\alpha }_1\mathrm{\nabla }{g}_1(w)=0\\ {\alpha }_1{g}_1(w)=0\\ {\alpha }_1\ge 0,g_1(w)\le 0\end{array}$$

巧妙的是，第二行的(α1g1(w)=0)$({\alpha }_1{g}_1(w)=0)$ 和第三行的(α1≥0, g1(w)≤0)$({\alpha }_1\ge 0,g_1(w)\le 0)$ 聯合起來，正好暗示了一個規則：當g1(w)<0$g_1(w)<0$ 時，α1=0${\alpha }_1=0$ ；只有當g1(w)=0$g_1(w)=0$ 時，α1${\alpha }_1$ 纔可能大於0

同時存在多個不等式約束的情況

objective:minw f(w)s.t:gi(w)≤0,i=1,2,3...n;

$$\begin{gathered} objective:mi{n}_{w}f(w) \\ s.t:g_i(w)\le 0,i=1,2,\mathrm{3...}n; \end{gathered}$$

多個不等式約束同時存在時，思路與前面大致相同。
如果w∗$w^{\ast }$ 不在邊界上，只需判斷 ∇f(w∗)$\mathrm{\nabla }f(w^{\ast })$ 是否爲0；
如果w∗$w^{\ast }$ 只在其中某一個約束比如gi(w)≤0$g_i(w)\le 0$ 的邊界上，處理方法與前面一樣；
唯一需要多加考慮的，是當w∗$w^{\ast }$ 同時在多個約束的公共邊界上的情況，即w∗$w^{\ast }$ 在多個不同約束的邊界面的交集上，比如，g1(w∗)=g2(w∗)=g3(w∗)=g4(w∗)=0$g_1(w^{\ast })=g_2(w^{\ast })=g_3(w^{\ast })=g_4(w^{\ast })=0$ 。下面以此爲例來說明。
首先，爲使w∗$w^{\ast }$ 在公共邊界上滿足極值條件，∇f(w∗)$\mathrm{\nabla }f(w^{\ast })$ 應與公共邊界垂直。
而公共邊界同時屬於g1(w∗)、g2(w∗)、g3(w∗)、g4(w∗)$g_1(w^{\ast })、g_2(w^{\ast })、g_3(w^{\ast })、g_4(w^{\ast })$ 的0等勢面，因此 ∇g1(w∗)、∇g2(w∗)、∇g3(w∗)、∇g3(w∗)$\mathrm{\nabla }{g}_1(w^{\ast })、\mathrm{\nabla }{g}_2(w^{\ast })、\mathrm{\nabla }{g}_3(w^{\ast })、\mathrm{\nabla }{g}_3(w^{\ast })$ 分別都與公共邊界垂直，且這四個向量張成的四維空間正好構成公共邊界的補空間，所有與公共邊界垂直的向量，都在這個補空間中，可以被這四個向量的線性組合表示。
因此 ∇f(w∗)+4∑i=1αi∇gi(w∗)=0

$$\mathrm{\nabla }f(w^{\ast })+\sum _{i=1}^4{\alpha }_i\mathrm{\nabla }{g}_i(w^{\ast })=0$$

同樣，我們還要關心可行域上、公共邊界以外的其他點。
設(w∗+Δw)$(w^{\ast }+\mathrm{\Delta }w)$ 是鄰域內任一點，當Δw$\mathrm{\Delta }w$ 同時滿足如下條件時：
∇gi(w∗)⋅Δw≤0，其中i=1,2,3,4

$$\mathrm{\nabla }{g}_i(w^{\ast })\cdot \mathrm{\Delta }w\le 0，其中i=1,2,3,4$$

(w∗+Δw)$(w^{\ast }+\mathrm{\Delta }w)$ 就是可行域上的點。
爲使f(w)$f(w)$ 能在w∗$w^{\ast }$ 處取可行域上的極小值，對於可行域內的所有 Δw$\mathrm{\Delta }w$ 須滿足 ∇f(w∗)⋅Δw≥0$\mathrm{\nabla }f(w^{\ast })\cdot \mathrm{\Delta }w\ge 0$ ，即
−4∑i=1αi∇gi(w∗)⋅Δw≥0

$$-\sum _{i=1}^4{\alpha }_i\mathrm{\nabla }{g}_i(w^{\ast })\cdot \mathrm{\Delta }w\ge 0$$

同樣的幾何意義：∇f(w∗)$\mathrm{\nabla }f(w^{\ast })$ 應與公共邊界面垂直並指向靠近可行域的方向。
這裏說的“靠近可行域的方向”，是指與可行域夾角小於等於90°的方向。準確的說，對於所有能使(w∗+Δw)$(w^{\ast }+\mathrm{\Delta }w)$ 位於可行域上的微小位移向量 Δw$\mathrm{\Delta }w$ ，與∇f(w∗)$\mathrm{\nabla }f(w^{\ast })$ 夾角都應小於等於90°，用內積表示就是∇f(w∗)⋅Δw≥0$\mathrm{\nabla }f(w^{\ast })\cdot \mathrm{\Delta }w\ge 0$

結合∇gi(w∗)⋅Δw≤0$\mathrm{\nabla }{g}_i(w^{\ast })\cdot \mathrm{\Delta }w\le 0$ ，爲保證對所有滿足的條件的Δw$\mathrm{\Delta }w$ 上式都能成立，必須要求每個αi${\alpha }_i$ 都大於等於0。

否則，假如α1${\alpha }_1$ 小於0，對於滿足以下條件Δw$\mathrm{\Delta }w$ ，∇g1(w∗)⋅Δw<0, ∇g2(w∗)⋅Δw=0,∇g3(w∗)⋅Δw=0, ∇g4(w∗)⋅Δw=0

$$\begin{gathered} \mathrm{\nabla }{g}_1(w^{\ast })\cdot \mathrm{\Delta }w<0,\mathrm{\nabla }{g}_2(w^{\ast })\cdot \mathrm{\Delta }w=0, \\ \mathrm{\nabla }{g}_3(w^{\ast })\cdot \mathrm{\Delta }w=0,\mathrm{\nabla }{g}_4(w^{\ast })\cdot \mathrm{\Delta }w=0 \end{gathered}$$

上面的式子就不成立了

總結起來就是，當w∗$w^{\ast }$ 在上述公共邊界並是可行極值點時，應滿足：
∇f(w∗)+n∑i=1α1∇g1(w∗)=0僅當i=1,2,3,4時，αi≥0，其他αi=0

$$\begin{gathered} \mathrm{\nabla }f(w^{\ast })+\sum _{i=1}^n{\alpha }_1\mathrm{\nabla }{g}_1(w^{\ast })=0 \\ 僅當i=1,2,3,4時，{\alpha }_i\ge 0，其他{\alpha }_i=0 \end{gathered}$$

OK，有了這個特例的輔助，我們很容易將結論一般化如下：
∇f(w∗)+n∑i=1α1∇g1(w∗)=0其中αi≥0，且當gi(w∗)<0，即w∗不在第i個約束邊界時必須取等號

$$\begin{gathered} \mathrm{\nabla }f(w^{\ast })+\sum _{i=1}^n{\alpha }_1\mathrm{\nabla }{g}_1(w^{\ast })=0 \\ 其中{\alpha }_i\ge 0，且當g_i(w^{\ast })<0，即w^{\ast }不在第i個約束邊界時必須取等號 \end{gathered}$$

我們繼續運用前面說到的巧妙辦法，把原問題中的約束條件也包進來，構造一個完整的方程組：
求解w和α{∇f(w)+∑ni=1αi∇gi(w)=0αigi(w)=0for i=1,2...nαi≥0, gi(w)≤0for i=1,2...n

$$求解w和\alpha \{\begin{array}{l}\mathrm{\nabla }f(w)+\sum _{i=1}^n{\alpha }_i\mathrm{\nabla }{g}_i(w)=0\\ {\alpha }_i{g}_i(w)=0& fori=1,\mathrm{2...}n\\ {\alpha }_i\ge 0,g_i(w)\le 0& fori=1,\mathrm{2...}n\end{array}$$

現在到再請出拉格朗日大人的時候了。我們構造一個能把約束和目標函數融合在一起的新函數，如下（拉格朗日乘子式）：
L(w,α)=f(w)+n∑i=1αigi(w)

$$L(w,\alpha )=f(w)+\sum _{i=1}^n{\alpha }_i{g}_i(w)$$

這時上面的方程組變成了
求解w和α{∂L∂wk=0for k=1,2,3...dw(w的維數)αi⋅∂L∂αi=0for i=1,2...nαi≥0,∂L∂αi≤0for i=1,2...n

$$求解w和\alpha \{\begin{array}{ll}\frac{\mathrm{\partial }L}{\mathrm{\partial }{w}_k}=0& fork=1,2,\mathrm{3...}{d}_w(w的維數)\\ {\alpha }_i\cdot \frac{\mathrm{\partial }L}{\mathrm{\partial }{\alpha }_i}=0& fori=1,\mathrm{2...}n\\ {\alpha }_i\ge 0,\frac{\mathrm{\partial }L}{\mathrm{\partial }{\alpha }_i}\le 0& fori=1,\mathrm{2...}n\end{array}$$

這裏共有dw+n$d_w+n$ 個等式方程和dw+n$d_w+n$ 個變量，可以先求解前兩行構成的等式方程組，再排除掉其中不符合第三行條件的解，剩下的即是符合條件候選極值點。
然而，第二行的方程與純等式約束時的情況不太一樣，純等式約束下只要求約束式的偏導爲0，而這裏是要求偏導與係數(也是待求的未知數)乘積爲0，這增加了解方程的難度。即便當目標函數是二次的、不等式約束都是線性的時候，方程組整體也變成了二次方程組，很難直接求解。不過，這時不等式約束的數量n是可以大於d_w的，因爲第二行的方程不在只包含w$w$ ，同時也包含了α$\alpha$ ，不會出現w$w$ 的約束太強而無解。

3. 混合約束時的optimalize問題——KKT條件與拉格朗日對偶問題

這一類問題的範式如下：
objective:minw f(w)s.t. {gi(w)≤0,i=1,2,3...n;不等式約束hj(w)=0,j=1,2,3...m;等式約束

$$\begin{gathered} objective:\underset{w}{min}f(w) \\ s.t.\{\begin{array}{lll}{g}_i(w)\le 0,& i=1,2,\mathrm{3...}n;& \text{不等式約束}\\ h_j(w)=0,& j=1,2,\mathrm{3...}m;& \text{等式約束}\end{array} \end{gathered}$$

gi(w)$g_i(w)$ ,hj(w)$h_j(w)$ 和f(w)$f(w)$ 都應是連續可導的。

拉格朗日乘子式與KKT條件

有了前面純等式和純不等式約束問題的鋪墊，我們可以輕鬆得出混合約束時的結論。
首先，還是先考慮最簡單的情況，假如w∗$w^{\ast }$ 不在任何不等式的邊界，即gi(w∗)<0$g_i(w^{\ast })<0$ 對所有 i=1,2...n$i=1,\mathrm{2...}n$ 成立。——被玩壞的w∗$w^{\ast }$ 肯定在抱怨：爲什麼又是我躺槍，隔壁w′$w^{\prime }$ 閒了兩天了！但顯然無情的筆者纔不打算關心這個聲音。
但w∗$w^{\ast }$ 須仍在所有等式約束hj(w)$h_j(w)$ 的公共0勢面上。這時相當於只有等式約束，w∗$w^{\ast }$ 是極值的條件是：
∇f(w∗)+m∑j=1βj∇hj(w∗)=0

$$\mathrm{\nabla }f(w^{\ast })+\sum _{j=1}^m{\beta }_j\mathrm{\nabla }{h}_j(w^{\ast })=0$$

我們再把w∗$w^{\ast }$ 扔到不等式的邊界上看看會發生什麼。有了之前純不等式約束的基礎，我們直接考慮w∗$w^{\ast }$ 同時在多個不等式約束邊界時的情況，假如w∗$w^{\ast }$ 在第1、2、3、4個不等式約束的公共邊界面上，即：
{gi(w∗)=0for i=1,2,3,4gi(w∗)<0for i=otherhj(w∗)=0for j=1,2...m

$$\{\begin{array}{ll}{g}_i(w^{\ast })=0& fori=1,2,3,4\\ g_i(w^{\ast })<0& fori=other\\ h_j(w^{\ast })=0& forj=1,\mathrm{2...}m\end{array}$$

可見，這個公共邊界面，屬於 g1(w)、g2(w)、g3(w)、g4(w)$g_1(w)、g_2(w)、g_3(w)、g_4(w)$ 和h1(w)、h2(w)...hm(w)$h_1(w)、h_2(w)...h_m(w)$ 的公共混合0勢面的一部分。如果想讓f(w)$f(w)$ 在w∗$w^{\ast }$ 處是可行域上的一個極值，首先要保證w∗$w^{\ast }$ 在這個公共混合0勢面上是極值，即f(w)$f(w)$ 在w∗$w^{\ast }$ 處的梯度應垂直於該混合0勢面，可以表示成：
∇f(w∗)+m∑j=1βj∇hj(w∗)+4∑i=1αi∇gi(w∗)=0

$$\mathrm{\nabla }f(w^{\ast })+\sum _{j=1}^m{\beta }_j\mathrm{\nabla }{h}_j(w^{\ast })+\sum _{i=1}^4{\alpha }_i\mathrm{\nabla }{g}_i(w^{\ast })=0$$

但這還不夠，爲了保證可行域上w∗$w^{\ast }$ 所有鄰域點(w∗+Δw)$(w^{\ast }+\mathrm{\Delta }w)$ 的目標函數值都比w∗$w^{\ast }$ 處大，α1...α4${\alpha }_1...{\alpha }_4$ 還應都是大於等於0的，具體分析過程與講解純不等式約束問題時類似，不再重複。

再強調下幾何意義：∇f(w∗)$\mathrm{\nabla }f(w^{\ast })$ 應與公共混合0勢面垂直並指向靠近可行域的方向。

將上面兩種情況用統一的形式重寫如下，w∗$w^{\ast }$ 是可行域上極值點的條件是：
∇f(w∗)+m∑j=1βj∇hj(w∗)+n∑i=1α1∇g1(w∗)=0其中αi≥0，且當gi(w∗)<0，即w∗不在第i個不等式約束邊界時只能取等號

$$\begin{gathered} \mathrm{\nabla }f(w^{\ast })+\sum _{j=1}^m{\beta }_j\mathrm{\nabla }{h}_j(w^{\ast })+\sum _{i=1}^n{\alpha }_1\mathrm{\nabla }{g}_1(w^{\ast })=0 \\ 其中{\alpha }_i\ge 0，且當g_i(w^{\ast })<0，即w^{\ast }不在第i個不等式約束邊界時只能取等號 \end{gathered}$$

因此，我們可以通過解以下方程組（前3行等式構成方程組）
求解w、α和β{∇f(w)+∑mj=1βj∇hj(w)+∑ni=1αi∇gi(w)=0hj(w)=0for j=1,2...mαigi(w)=0for i=1,2...nαi≥0,gi(w)≤0for i=1,2...n

$$求解w、\alpha 和\beta \{\begin{array}{l}\mathrm{\nabla }f(w)+\sum _{j=1}^m{\beta }_j\mathrm{\nabla }{h}_j(w)+\sum _{i=1}^n{\alpha }_i\mathrm{\nabla }{g}_i(w)=0\\ h_j(w)=0& forj=1,\mathrm{2...}m\\ {\alpha }_i{g}_i(w)=0& fori=1,\mathrm{2...}n\\ {\alpha }_i\ge 0,g_i(w)\le 0& fori=1,\mathrm{2...}n\end{array}$$

然後排除掉不滿足第4行的解，就可以得到可行域上的候選極值點。

然後，拉格朗日時間到。是時候引出完整版的拉格朗日乘子式了，我們構造一個融合目標函數和所有約束的新函數：
L(w,α,β)=f(w)+n∑i=1αigi(w)+m∑j=1βjhj(w)

$$L(w,\alpha ,\beta )=f(w)+\sum _{i=1}^n{\alpha }_i{g}_i(w)+\sum _{j=1}^m{\beta }_j{h}_j(w)$$

然後前面的方程組就變成了
求解w、α和β{∂L∂wk=0for k=1,2,3...dw(w的維數)∂L∂βj=0for j=1,2...mαi⋅∂L∂αi=0for i=1,2...nαi≥0,∂L∂αi≤0for i=1,2...n

$$求解w、\alpha 和\beta \{\begin{array}{ll}\frac{\mathrm{\partial }L}{\mathrm{\partial }{w}_k}=0& fork=1,2,\mathrm{3...}{d}_w(w的維數)\\ \frac{\mathrm{\partial }L}{\mathrm{\partial }{\beta }_j}=0& forj=1,\mathrm{2...}m\\ {\alpha }_i\cdot \frac{\mathrm{\partial }L}{\mathrm{\partial }{\alpha }_i}=0& fori=1,\mathrm{2...}n\\ {\alpha }_i\ge 0,\frac{\mathrm{\partial }L}{\mathrm{\partial }{\alpha }_i}\le 0& fori=1,\mathrm{2...}n\end{array}$$

是的，我們就這樣得到了廣爲流傳的KKT條件。對於某組給定的(w∗,α∗,β∗)$(w^{\ast },{\alpha }^{\ast },{\beta }^{\ast })$ ，如果能同時滿足上面的條件，w∗$w^{\ast }$ 就是原問題的候選解，但候選解不一定是最優解。KKT條件只是最優解的必要條件。

拉格朗日對偶問題

前面KKT條件中的方程組通常是很難直接求解的。而有些時候，將原問題轉換成另一種形式，可能更會容易求解。下面就介紹一種常見的轉換形式，對偶問題。

我們先來看一個與原問題等價的問題。設

θ(w)=maxα≥0,βL(w,α,β)注意條件，所有的αi≥0

$$\theta (w)=\underset{\alpha \ge 0,\beta }{max}L(w,\alpha ,\beta )\text{注意條件，所有的}{\alpha }_i\ge 0$$

注意所有的 αi${\alpha }_i$ 都是大於等於0的。
容易得出

θ(w)={f(w)所有等式和不等式約束均被滿足+∞,有任意一個約束未被滿足

$$\theta (w)=\{\begin{array}{ll}f(w)& \text{所有等式和不等式約束均被滿足}\\ +\mathrm{\infty },& \text{有任意一個約束未被滿足}\end{array}$$

如果不等式約束中有任意一個約束未被滿足，比如若某個 w∗$w^{\ast }$ 使得 gi(w∗)>0$g_i(w^{\ast })>0$ 時, 那我們將對應的 αi${\alpha }_i$ 取 +∞$+\mathrm{\infty }$ ，則 αigi(w∗)${\alpha }_i{g}_i(w^{\ast })$ 必然也是 +∞$+\mathrm{\infty }$ ，導致 θ(w∗)$\theta (w^{\ast })$ 變爲 +∞$+\mathrm{\infty }$ 。
同理如果原問題的等式約束中有任意一個約束未被滿足，比如若某個w∗$w^{\ast }$ 使得 hj(w∗)≠0$h_j(w^{\ast })\ne 0$ 時, 那我們將對應的βj${\beta }_j$ 取βj={−∞hj(w∗)<0+∞,hj(w∗)>0

$${\beta }_j=\{\begin{array}{ll}-\mathrm{\infty }& h_j(w^{\ast })<0\\ +\mathrm{\infty },& h_j(w^{\ast })>0\end{array}$$

則βjhj(w∗)${\beta }_j{h}_j(w^{\ast })$ 必然是+∞$+\mathrm{\infty }$ ，，導致θ(w∗)$\theta (w^{\ast })$ 變爲+∞$+\mathrm{\infty }$ 。
只有當w∗$w^{\ast }$ 滿足所有的等式約束和不等式約束時，θ(w∗)$\theta (w^{\ast })$ 纔不會變爲無窮大。而且由於此時等式約束被滿足，導致所有的βjhj(w∗)${\beta }_j{h}_j(w^{\ast })$ 項被直接消去，因爲他們都等於0；另一方面由於所有的αi≥0,gi(w∗)≤0${\alpha }_i\ge 0,g_i(w^{\ast })\le 0$ ，因此 αigi(w∗)${\alpha }_i{g}_i(w^{\ast })$ 取最大時必然也是0，即所有的αigi(w∗)${\alpha }_i{g}_i(w^{\ast })$ 項也被消去，只剩下了f(w)$f(w)$ 。於是就有上面的結果
θ(w)={f(w)constraint satisfied+∞,constraint not satisfied

$$\theta (w)=\{\begin{array}{ll}f(w)& \text{constraint satisfied}\\ +\mathrm{\infty },& \text{constraint not satisfied}\end{array}$$

這樣一來，求原問題中的 minwf(w)$\underset{w}{min}f(w)$ 就等價於求 minwθ(w)$\underset{w}{min}\theta (w)$ 。
原問題等價於：

objective:minwmaxα,βL(w,α,β)s.t.αi≥0,for i=1,2,3...n

$$\begin{gathered} objective:\underset{w}{min}\underset{\alpha ,\beta }{max}L(w,\alpha ,\beta ) \\ s.t.{\alpha }_i\ge 0,\text{for i=1,2,3...n} \end{gathered}$$

如果調換上面 min 和 max 的順序，就得到該問題的對偶問題。
對偶問題 ：

objective:maxα,βminwL(w,α,β)s.t.αi≥0,for i=1,2,3...n

$$\begin{gathered} objective:\underset{\alpha ,\beta }{max}\underset{w}{min}L(w,\alpha ,\beta ) \\ s.t.{\alpha }_i\ge 0,\text{for i=1,2,3...n} \end{gathered}$$

引入一個新函數： θD(α,β)=minwL(w,α,β)${\theta }_D(\alpha ,\beta )=\underset{w}{min}L(w,\alpha ,\beta )$ ，這時對偶問題變成：

objective:maxα,βθD(α,β)s.t.αi≥0,for i=1,2,3...n

$$\begin{gathered} objective:\underset{\alpha ,\beta }{max}{\theta }_D(\alpha ,\beta ) \\ s.t.{\alpha }_i\ge 0,\text{for i=1,2,3...n} \end{gathered}$$

根據θD${\theta }_D$ 的定義可知，對於任意的(w,β,α≥0)$(w,\beta ,\alpha \ge 0)$ ，有θD(α,β)≤L(w,α,β)${\theta }_D(\alpha ,\beta )\le L(w,\alpha ,\beta )$ ；
根據θ$\theta$ 的定義可知，對於任意的(w,β,α≥0)$(w,\beta ,\alpha \ge 0)$ ，有θ(w)≥L(w,α,β)$\theta (w)\ge L(w,\alpha ,\beta )$ ；
如果設p∗=θ(w∗)=minwθ(w),d∗=θD(α∗,β∗)=maxα≥0,βθD(α,β)

$$\begin{gathered} p^{\ast }=\theta (w^{\ast })=\underset{w}{min}\theta (w), \\ {d}^{\ast }={\theta }_D({\alpha }^{\ast },{\beta }^{\ast })=\underset{\alpha \ge 0,\beta }{max}{\theta }_D(\alpha ,\beta ) \end{gathered}$$

則d∗=θD(α∗,β∗)≤L(w∗,α∗,β∗)≤θ(w∗)=p∗

$$d^{\ast }={\theta }_D({\alpha }^{\ast },{\beta }^{\ast })\le L(w^{\ast },{\alpha }^{\ast },{\beta }^{\ast })\le \theta (w^{\ast })=p^{\ast }$$

即d∗≤p∗$d^{\ast }\le p^{\ast }$ ，這個特性被稱爲”弱對偶性”，(p∗−d∗)$(p^{\ast }-d^{\ast })$ 被稱爲”對偶間隙”，對偶間隙是大於等於0的。通過求解對偶問題，可以求出原問題的一個下限，在實際中這對尋求原問題最優解有一定的幫助。
如果對偶間隙爲0即d∗=p∗$d^{\ast }=p^{\ast }$ ，則稱之爲”強對偶性”，此時對偶問題於原問題等價，只需求解對偶問題即可，(w∗,α∗,β∗)$(w^{\ast },{\alpha }^{\ast },{\beta }^{\ast })$ 同時是原問題和對偶問題的解。
那什麼情況下強對偶性才能被滿足呢？我們介紹一個能在凸優化問題中保證強對偶性的充分條件，下一節再證明這個結論。

定義: 凸優化問題
當且僅當目標函數f(w)$f(w)$ 和所有的不等式約束函數gi(w)$g_i(w)$ 都是凸函數，所有的等式約束hj(w)$h_j(w)$ 都是線性(仿射)函數時，相應的最優化問題屬於凸優化問題。
Slater條件
對於凸優化問題，如果可行域滿足Slater條件，強對偶性保證成立。
Slater條件是指，可行域存在一點 w′$w^{\prime }$ 同時滿足：{gi(w′)<0for i=1,2...n (注意是<不再是≤)hj(w′)=0for j=1,2...m

$$\{\begin{array}{ll}{g}_i(w^{\prime })<0& fori=1,\mathrm{2...}n(注意是<不再是\le )\\ h_j(w^{\prime })=0& forj=1,\mathrm{2...}m\end{array}$$

如果不等式約束中存在線性約束，比如前t$t$ 個不等式約束都是線性約束時，Slater條件可以弱化爲：{gi(w′)≤0for i=1,2...tgi(w′)<0for i=t+1,t+2...nhj(w′)=0for j=1,2...m

$$\{\begin{array}{ll}{g}_i(w^{\prime })\le 0& fori=1,\mathrm{2...}t\\ g_i(w^{\prime })<0& fori=t+1,t+\mathrm{2...}n\\ h_j(w^{\prime })=0& forj=1,\mathrm{2...}m\end{array}$$

KKT條件的充分性

之前的分析中，KKT條件只能作爲最優解的必要條件，但滿足KKT條件的解不一定是最優解。而對於凸優化問題，KKT條件同時也是最優解的充分條件。

如果(w∗,α∗,β∗)$(w^{\ast },{\alpha }^{\ast },{\beta }^{\ast })$ 是滿足KKT條件的一組解，即
{∂L∂w∗k=0for k=1,2,3...dw(w的維數)∂L∂β∗j=0for j=1,2...mα∗i⋅∂L∂α∗i=0for i=1,2...nα∗i≥0,∂L∂α∗i≤0for i=1,2...n

$$\{\begin{array}{ll}\frac{\mathrm{\partial }L}{\mathrm{\partial }{w}_k^{\ast }}=0& fork=1,2,\mathrm{3...}{d}_w(w的維數)\\ \frac{\mathrm{\partial }L}{\mathrm{\partial }{\beta }_j^{\ast }}=0& forj=1,\mathrm{2...}m\\ {\alpha }_i^{\ast }\cdot \frac{\mathrm{\partial }L}{\mathrm{\partial }{\alpha }_i^{\ast }}=0& fori=1,\mathrm{2...}n\\ {\alpha }_i^{\ast }\ge 0,\frac{\mathrm{\partial }L}{\mathrm{\partial }{\alpha }_i^{\ast }}\le 0& fori=1,\mathrm{2...}n\end{array}$$

由於α∗≥0${\alpha }^{\ast }\ge 0$ ，以及凸優化問題中各不等式約束函數和目標函數都是凸函數的特點，易知L(w,α∗,β∗)$L(w,{\alpha }^{\ast },{\beta }^{\ast })$ 是w$w$ 的凸函數，而KKT條件的第一行說明w∗$w^{\ast }$ 是使得L(w,α∗,β∗)$L(w,{\alpha }^{\ast },{\beta }^{\ast })$ 對w$w$ 導數爲0的點，因此
L(w∗,α∗,β∗)=minwL(w,α∗,β∗)=θD(α∗,β∗)

$$L(w^{\ast },{\alpha }^{\ast },{\beta }^{\ast })=\underset{w}{min}L(w,{\alpha }^{\ast },{\beta }^{\ast })={\theta }_D({\alpha }^{\ast },{\beta }^{\ast })$$

同時，KKT條件的第二行h(w∗)=0$h(w^{\ast })=0$ 和第三行α∗g(w∗)=0${\alpha }^{\ast }g(w^{\ast })=0$ 使得
L(w∗,α∗,β∗)=f(w∗)=θ(w∗)

$$L(w^{\ast },{\alpha }^{\ast },{\beta }^{\ast })=f(w^{\ast })=\theta (w^{\ast })$$

因此有θD(α∗,β∗)=θ(w∗)${\theta }_D({\alpha }^{\ast },{\beta }^{\ast })=\theta (w^{\ast })$ 。
而同時 θD(α∗,β∗)≤d∗≤p∗≤θ(w∗)${\theta }_D({\alpha }^{\ast },{\beta }^{\ast })\le d^{\ast }\le p^{\ast }\le \theta (w^{\ast })$ ，這其實暗示了 d∗=p∗$d^{\ast }=p^{\ast }$ ，即強對偶性成立，且 (w∗,α∗,β∗)$(w^{\ast },{\alpha }^{\ast },{\beta }^{\ast })$ 正好是原問題和對偶問題的最優解。
因此，對於凸優化問題，滿足KKT條件的解一定是最優解，且滿足KKT條件暗示了強對偶性成立。

4. 強對偶性的證明與Slater條件

強對偶性的一種比較直觀的證明是用幾何方法。

先介紹一條關於凸集的定理。這個定理表達的意思很直觀。比如在二維空間中，二維平面上的任意一個凸圖形（比如一個圓），在其邊緣上任一點處做切線，該圖形必在切線的同一側，而不會被切割成多個部分並分居兩側。該定理的完整表述如下：

引理： 支撐超平面定理
設集合 C$C$ 是 Rn${\mathbb{R}}^n$ 空間中的閉凸集， ˉx$\overline{\mathit{x}}$ 是 C$C$ 邊界上一點，則必存在一個過點 ˉx$\overline{\mathit{x}}$ 的超平面，使得 C$C$ 位於它的一個閉半空間。即存在法向量 a$\mathit{a}$ ，使得對於 C$C$ 中任意點 x$\mathit{x}$ ，有：
a⋅x−a⋅ˉx≥0

$$\mathit{a}\cdot \mathit{x}-\mathit{a}\cdot \overline{\mathit{x}}\ge 0$$

進一步地，如果已知 xin${\mathit{x}}^{in}$ 是 C$C$ 的一個內點，則：
a⋅xin−a⋅ˉx>0

$$\mathit{a}\cdot {\mathit{x}}^{in}-\mathit{a}\cdot \overline{\mathit{x}}>0$$

如果想了解該定理的證明看這裏：
http://www.cnblogs.com/murongxixi/p/3615034.html
這是在網上找到的一篇博文，裏面步驟比較詳盡。爲防止原鏈接失效，相關的重要證明步驟會以圖片形式插入到本文末尾的附錄中。

回到我們的問題。我們要研究的是凸優化問題中強對偶性成立的條件，首先做一個基本假設：

基本假設：假設原問題是凸優化問題，即f(w),gi(w)$f(w),g_i(w)$ 都是凸函數，hj(w)$h_j(w)$ 都是線性函數，且所有的hj(w)$h_j(w)$ 相互之間都是線性獨立的。

w∈Rdw$w\in {\mathbb{R}}^{d_w}$ ，我們按如下方式將Rdw${\mathbb{R}}^{d_w}$ 空間中一點w$w$ 映射爲R(n+m+1)${\mathbb{R}}^{(n+m+1)}$ 空間中的點E$E$ ：
E(w)=(u1,u2,...un,v1,v2,...vm,t)其中{ui=gi(w)i=1,2,3...nvj=hj(w)j=1,2,3...mt=f(w)

$$\begin{gathered} E(w)=(u_1,u_2,...u_n,v_1,v_2,...v_m,t) \\ 其中\{\begin{array}{ll}{u}_i=g_i(w)& i=1,2,\mathrm{3...}n\\ v_j=h_j(w)& j=1,2,\mathrm{3...}m\\ t=f(w)\end{array} \end{gathered}$$

簡化表示爲E=(u,v,t)$E=(u,v,t)$ 。

設所有點E$E$ 組成的集合爲Go$G_o$ ，
Go={(u,v,t):u=g(w),v=h(w),t=f(w),w∈Rdw}$G_o=\{(u,v,t):u=g(w),v=h(w),t=f(w),w\in {\mathbb{R}}^{d_w}\}$
然而，即便有了前面的基本假設，我們也不能保證Go$G_o$ 是凸集。但是如果把它簡單擴展一下，設：
Ge={(u,v,t):u≥g(w),v=h(w),t≥f(w),w∈Rdw}

$$G_e=\{(u,v,t):u\ge g(w),v=h(w),t\ge f(w),w\in {\mathbb{R}}^{d_w}\}$$

容易證明Ge$G_e$ 是一個凸集，且Go⊆Ge$G_o\subseteq G_e$ 。

若A(ua,va,ta)$A(u_a,v_a,t_a)$ 和B(ub,vb,tb)$B(u_b,v_b,t_b)$ 是Ge$G_e$ 內的兩個點，按照Ge$G_e$ 的定義可知必然存在wa$w_a$ 和wb$w_b$ ，使得
va=h(wa),ua≥g(wa),ta≥f(wa)vb=h(wb),ub≥g(wb),tb≥f(wb)

$$\begin{gathered} v_a=h(w_a),u_a\ge g(w_a),t_a\ge f(w_a) \\ {v}_b=h(w_b),u_b\ge g(w_b),t_b\ge f(w_b) \end{gathered}$$

設0≤c≤1,wc=cwa+(1−c)wb,C=cA+(1−c)B=(uc,vc,tc)$0\le c\le 1,w_c=c{w}_a+(1-c)w_b,C=cA+(1-c)B=(u_c,v_c,t_c)$ ，則
uc=cua+(1−c)ubvc=cva+(1−c)vbtc=cta+(1−c)tb

$$\begin{gathered} u_c=c{u}_a+(1-c)u_b \\ {v}_c=c{v}_a+(1-c)v_b \\ {t}_c=c{t}_a+(1-c)t_b \end{gathered}$$

由於h(w)$h(w)$ 是w$w$ 的線性函數，因此
c⋅h(wa)+(1−c)h(wb)=h[cwa+(1−c)wb]=h(wc)

$$c\cdot h(w_a)+(1-c)h(w_b)=h[c{w}_a+(1-c)w_b]=h(w_c)$$

即vc=h(wc)$v_c=h(w_c)$ ；
由於g(w),f(w)$g(w),f(w)$ 都是w$w$ 的凸函數，因此
c⋅g(wa)+(1−c)g(wb)≥g[cwa+(1−c)wb]=g(wc)c⋅f(wa)+(1−c)f(wb)≥f[cwa+(1−c)wb]=f(wc)

$$\begin{gathered} c\cdot g(w_a)+(1-c)g(w_b)\ge g[c{w}_a+(1-c)w_b]=g(w_c) \\ c\cdot f(w_a)+(1-c)f(w_b)\ge f[c{w}_a+(1-c)w_b]=f(w_c) \end{gathered}$$

而同時ua≥g(wa),ta≥f(wa),ub≥g(wb),tb≥f(wb)$u_a\ge g(w_a),t_a\ge f(w_a),u_b\ge g(w_b),t_b\ge f(w_b)$ ，於是
cua+(1−c)ub≥c⋅g(wa)+(1−c)g(wb)cta+(1−c)tb≥c⋅f(wa)+(1−c)f(wb)

$$\begin{gathered} c{u}_a+(1-c)u_b\ge c\cdot g(w_a)+(1-c)g(w_b) \\ c{t}_a+(1-c)t_b\ge c\cdot f(w_a)+(1-c)f(w_b) \end{gathered}$$

即uc≥g(wc),tc≥f(wc)$u_c\ge g(w_c),t_c\ge f(w_c)$ 。再結合vc=h(wc)$v_c=h(w_c)$ ，可知(uc,vc,tc)∈Ge$(u_c,v_c,t_c)\in G_{}e$ ，即C=cA+(1−c)B∈Ge$C=cA+(1-c)B\in G_{}e$ 。由於前述 A,B,c$A,B,c$ 的選取具有任意性，因此對於任意兩點A,B∈Ge$A,B\in G_e$ ，連線¯AB$\overline{AB}$ 上的所有點都屬於Ge$G_{}e$ ，Ge$G_{}e$ 是凸集。

除此之外，我們還知道E∗=(0,0,p∗)$E^{\ast }=(0,0,p^{\ast })$ 必是Ge$G_{}e$ 的一個邊界點，其中p∗=minwθ(w)$p^{\ast }=\underset{w}{min}\theta (w)$ ，θ(w)$\theta (w)$ 的定義同上一節。

若w∗$w^{\ast }$ 是目標函數f(w)$f(w)$ 在可行域內的極小點，則p∗=f(w∗)$p^{\ast }=f(w^{\ast })$ ，且由於在可行域內，必然滿足g(w∗)≤0$g(w^{\ast })\le 0$ 、h(w∗)=0$h(w^{\ast })=0$ ，因此(0,0,p∗)∈Ge$(0,0,p^{\ast })\in G_e$ ;
又由於p∗$p^{\ast }$ 是可行域上即區間 {g(w∗)≤0,h(w∗)=0}$\{g(w^{\ast })\le 0,h(w^{\ast })=0\}$ 上的最小值(邊界值)，對於任意小的正數δ$\delta$ ，(0,0,p∗−δ)∉Ge$(0,0,p^{\ast }-\delta )\notin G_e$ ，因此(0,0,p∗)$(0,0,p^{\ast })$ 在邊界上。
即E∗=(0,0,p∗)$E^{\ast }=(0,0,p^{\ast })$ 是Ge$G_{}e$ 的一個邊界點。

利用上面關於邊界點的支撐超平面定理，我們知道必存在一個法向量a=(αa,βa,γa)$\mathit{a}=({\alpha }_a,{\beta }_a,{\gamma }_a)$ ，使得對於Ge$G_e$ 內任一點Ee=(ue,ve,te)$E_e=(u_e,v_e,t_e)$ ，滿足：
a⋅Ee−a⋅E∗≥0即αaue+βave+γate≥γap∗

$$\begin{gathered} \begin{array}{}\text{((1-a))}& \mathit{a}\cdot E_e-\mathit{a}\cdot E^{\ast }\ge 0 \\ 即{\alpha }_a{u}_e+{\beta }_a{v}_e+{\gamma }_a{t}_e\ge {\gamma }_a{p}^{\ast }\end{array} \end{gathered}$$

由於ue,te$u_e,t_e$ 可以隨意取正無窮大，p∗$p^{\ast }$ 是個定值，爲使上面的大於等於恆成立，αa${\alpha }_a$ 和γa${\gamma }_a$ 必須大於等於0。否則，如果他們任意一個取負，當ue,te$u_e,t_e$ 取正無窮大時，左邊會變成負無窮而導致上式無法被滿足。

h(w)$h(w)$ 是w$w$ 的線性函數，因此ve=h(w)$v_e=h(w)$ 也可以取到正無窮，甚至負無窮也可以。但ve$v_e$ 不能單獨、隨意 地增大，因爲ve$v_e$ 完全由w$w$ 確定，而ue和te$u_e和t_e$ 只是被w$w$ 確定了下限，它們可以單獨增大，且仍保證在集合Ge$G_e$ 內。

γa>0${\gamma }_a>0$ 的情況

假如γa≠0${\gamma }_a\ne 0$ ，此時令α∗=αa/γa,β∗=βa/γa${\alpha }^{\ast }={\alpha }_a/{\gamma }_a,{\beta }^{\ast }={\beta }_a/{\gamma }_a$ ，則式(1-a)可重寫如下：
α∗ue+β∗ve+te≥p∗

$$\begin{array}{}\text{((2-a))}& {\alpha }^{\ast }{u}_e+{\beta }^{\ast }{v}_e+t_e\ge p^{\ast }\end{array}$$

由於αa≥0${\alpha }_a\ge 0$ ，α∗≥0${\alpha }^{\ast }\ge 0$ 。
由於Go⊆Ge$G_o\subseteq G_e$ ，因此Go$G_o$ 中任意一點E(u,v,t)=(g(w),h(w),f(w))$E(u,v,t)=(g(w),h(w),f(w))$ 也都滿足上式。
即必然存在一組α∗,β∗${\alpha }^{\ast },{\beta }^{\ast }$ ，對任意的w∈Rdw$w\in {\mathbb{R}}^{d_w}$ ，始終滿足：
α∗g(w)+β∗h(w)+f(w)≥p∗α≥0

$$\begin{gathered} {\alpha }^{\ast }g(w)+{\beta }^{\ast }h(w)+f(w)\ge p^{\ast } \\ \alpha \ge 0 \end{gathered}$$

我們上面都使用了簡化後的表示方式，如果將上式完整展開，就是：存在一組α∗,β∗${\alpha }^{\ast },{\beta }^{\ast }$ 使得下式對所有的w∈Rdw$w\in {\mathbb{R}}^{d_w}$ 成立。
n∑i=1α∗igi(w)+m∑j=1β∗jhj(w)+f(w)=L(w,α∗,β∗)≥p∗α∗i≥0,for i=1,2,3...n

$$\begin{gathered} \sum _{i=1}^n{\alpha }_i^{\ast }{g}_i(w)+\sum _{j=1}^m{\beta }_j^{\ast }{h}_j(w)+f(w)=L(w,{\alpha }^{\ast },{\beta }^{\ast })\ge p^{\ast } \\ {\alpha }_i^{\ast }\ge 0,fori=1,2,\mathrm{3...}n \end{gathered}$$

由於上式對任意的w$w$ 都成立，因此
θD(α∗,β∗)=minwL(w,α∗,β∗)≥p∗

$${\theta }_D({\alpha }^{\ast },{\beta }^{\ast })=\underset{w}{min}L(w,{\alpha }^{\ast },{\beta }^{\ast })\ge p^{\ast }$$

進一步由於d∗=maxα≥0,βθD(α,β)≥θD(α∗,β∗)

$$d^{\ast }=\underset{\alpha \ge 0,\beta }{max}{\theta }_D(\alpha ,\beta )\ge {\theta }_D({\alpha }^{\ast },{\beta }^{\ast })$$

於是得到d∗≥p∗$d^{\ast }\ge p^{\ast }$ 。而由弱對偶性，d∗≤p∗$d^{\ast }\le p^{\ast }$ 。因此d∗=p∗$d^{\ast }=p^{\ast }$ ，強對偶性成立。

γa=0${\gamma }_a=0$ 的情況，Slater條件的作用

這不是我們期望出現的情況，因爲一旦γa=0${\gamma }_a=0$ ，我們就無法將式(1-a)的左邊轉換成跟L(w,α,β)$L(w,\alpha ,\beta )$ 相同的形式了。實際上，只要上節中提到的Slater條件被滿足（通常這個條件都是滿足的），就不會出現γa=0${\gamma }_a=0$ 的情況。下面我們分析爲什麼不會出現。

假如γa=0${\gamma }_a=0$ ，此時式(1-a)變成
αaue+βave+γate≥0

$$\begin{array}{}\text{((4-a))}& {\alpha }_a{u}_e+{\beta }_a{v}_e+{\gamma }_a{t}_e\ge 0\end{array}$$

Slater條件保證了在可行域內，存在 w′$w^{\prime }$ 使得g(w′)<0,h(w′)=0$g(w^{\prime })<0,h(w^{\prime })=0$ ，設
E1=(g(w′),h(w′),f(w′))∈GeE2=(g(w′)+Δg,h(w′),f(w′)+Δf)∈int Ge其中Δg和Δf是任意大於0的值，這兩個正增量保證了E2是Ge的內點

$$\begin{gathered} E_1=(g(w^{\prime }),h(w^{\prime }),f(w^{\prime }))\in G_e \\ {E}_2=(g(w^{\prime })+{\mathrm{\Delta }}_g,h(w^{\prime }),f(w^{\prime })+{\mathrm{\Delta }}_f)\in int{G}_e \\ 其中{\mathrm{\Delta }}_g和{\mathrm{\Delta }}_f是任意大於0的值，這兩個正增量保證了E_2是G_e的內點 \end{gathered}$$

則有
αag(w′)+βah(w′)+γaf(w′)≥0

$$\begin{array}{}\text{(4-b)}& {\alpha }_{a}g(w^{\prime })+{\beta }_{a}h(w^{\prime })+{\gamma }_{a}f(w^{\prime })\ge 0\end{array}$$

αa[g(w′)+Δg]+βah(w′)+γa[f(w′)+Δf]>0

$$\begin{array}{}\text{(4-c)}& {\alpha }_a[g(w^{\prime })+{\mathrm{\Delta }}_g]+{\beta }_{a}h(w^{\prime })+{\gamma }_a[f(w^{\prime })+{\mathrm{\Delta }}_f]>0\end{array}$$

式(4-c)中可以用大於號是因爲E2是Ge的內點$E_2是G_e的內點$ ，上面介紹引理時專門提到對於內點可以用大於號。
考慮到h(w′)=0,γa=0$h(w^{\prime })=0,{\gamma }_a=0$ ，由式(4-b)可得αag(w′)≥0${\alpha }_{a}g(w^{\prime })\ge 0$ ；
再由g(w′)<0,α≥0$g(w^{\prime })<0,\alpha \ge 0$ ，可得αa=0${\alpha }_a=0$ ；
而將αa=0${\alpha }_a=0$ 和h(w′)=0,γa=0$h(w^{\prime })=0,{\gamma }_a=0$ 代入式(4-c)，會得到式(4-c)左邊等於0的結論，這與式(4-c)中的大於號矛盾。
因此，當Slater條件被滿足時，不會出現γa=0${\gamma }_a=0$ 的情況。

Slater條件的表述似乎加強了對可行域的要求。實際上，只要要求對於每一個不等式約束 gi(w)$g_i(w)$ ，在可行域內分別存在一個 wi$w_i$ 能使得gi(wi)<0$g_i(w_i)<0$ 即可，這就足以支持我們推出上面的矛盾(將上面的簡化表達式完整展開並推導出每個αi=0${\alpha }_i=0$ 即可推出矛盾)。而不須要求存在某個 w′$w^{\prime }$ 使其同時滿足所有的不等式約束。然而如果所有的gi(w)$g_i(w)$ 都是連續可導的話，這兩種表述似乎也是等價的，不過這個結論的推理過程可能有些繁雜。

之前還提到了弱化的Slater條件(Weak Slater Condition)，弱化的Slater條件放寬了對線性不等式約束的要求。
實際上，當原Slater條件未被滿足，但弱化的Slater條件能被滿足時，說明存在某個線性不等式約束 gi(w)$g_i(w)$ ，在可行域內找不到任何點能使得gi(w)<0$g_i(w)<0$ 成立，即在整個可行域內gi(w)=0$g_i(w)=0$ 。這意味着所有等式約束hj(w)=0$h_j(w)=0$ ，它們與gi(w)≤0$g_i(w)\le 0$ 的交集和與gi(w)=0$g_i(w)=0$ 的交集一樣。考慮到hj(w)$h_j(w)$ 和gi(w)$g_i(w)$ 都是w$w$ 的線性函數，這隻會發生在gi(w)$g_i(w)$ 正好是所有所有等式約束hj(w)$h_j(w)$ 的線性組合時，即
gi(w)=m∑j=1cjhj(w)

$$g_i(w)=\sum _{j=1}^m{c}_j{h}_j(w)$$

而這時，可以認爲g_i(w)完全不起約束作用，直接爲其分配係數αi=0${\alpha }_i=0$ ，然後按正常方式爲其他不等式約束分配係數即可。因此只要滿足弱化的Slater條件，就可以保證強對偶性。

結論

綜上，只要f(w),gi(w) 都是凸函數，hj(w) 都是線性函數，且可行域滿足弱化的Slater條件時，強對偶性可以被保證。

附錄：支撐超平面定理的證明(截圖)

以下截圖來自博文：
http://www.cnblogs.com/murongxixi/p/3615034.html