可視化約束條件對函數的約束
如果在三維直角座標系中將 f ( x , y ) 做出圖來——把 f ( x , y ) “畫出圖來”——會是一個三維空間的曲面——這樣一個函數實際上表達了 x ， y ， z 三者之間的關係。
函數 f ( x , y ) 的約束條件爲： g ( x , y ) = 0 。
那麼，一個二維圖形對一個三維圖形的約束從何體現呢？如圖：
在這個例子中，我們可以看到 f ( x , y ) 是存在極大值的，同時因爲約束條件是 g ( x , y ) = 0 ，所以，如果我們要取如下目標的話：
對應點一定位於 g ( x , y ) = 0 投影到 f ( x , y ) 上之後形成的那條曲線上，比如上圖中的點 B。儘管它不一定是 z = f ( x , y ) 的極大值，但卻是符合約束條件 g ( x , y ) = 0 的極大值！
拉格朗日乘子法
目標函數轉換：
上一節介紹了線性可分 SVM 的目標函數：
們可以再抽象一步，將其概括爲：
這個約束條件其實可以寫作：
因爲不等式約束條件難度稍大，我們先從等式約束條件開始。
等式約束條件：
我們的目標函數變爲：
現在我們在一張圖中做出f(x,y)和g(x,y)的等高線（三維圖形投影到二維平面後的結果），形如圖：
綠線是g(x,y)的等高線，藍線是f(x,y)的等高線。圖中兩條藍線具體對應的函數分別是f(x,y)=d1和f(x,y)=d2。d1和d2是兩個常數，對應上圖中兩個藍圈對應的z軸座標。此處d2<d1。
我們設紅點的自變量值爲
，則在紅點處
的梯度與f(x,y)=d2在
處的切線垂直，
的梯度與g(x,y)=0在
處的切線垂直。
又因爲f(x,y)=d2對應的藍線與g(x,y)=0對應的綠線在
處是相切的。所以在
點處f(x,y)與g(x,y)的梯度，要麼方向相同，要麼方向相反。
所以，一定存在
，使得：
這時我們將 λ 稱爲拉格朗日乘子！
定義拉格朗日函數：
——其中 λ 是拉格朗日乘子。
拉格朗日函數把原本的目標函數和其限制條件整合成了一個函數。於是，原本有約束的優化問題，就可以轉化爲對拉格朗日函數的無約束優化問題了。
不等式約束條件
瞭解了約束條件是等式的情況，我們再來看約束條件是不等式的情況。
原命題如下：
首先，仍然構造拉格朗日函數：
令：
那麼原命題就等價於：
拉格朗日對偶問題
現在我們已經把不等式的約束問題也轉變爲了一個p*的問題。
但仍然個很難解決的問題，因爲我們要先解決不等式約束的max問題，然後再在w上求最小值。怎麼辦呢？如果能把順序換一下，先解決關於w的最小值，在解決關於a的不等式約束問題就好了。即:
這個d*就是p*的對偶形式，也即原問題的對偶形式，可惜的是，對偶歸對偶，卻未必相等！因爲:
這個不等式叫弱對偶性質（Week Duality），最大值中最小的一個，也要大於等於最小值中最大的一個。這個性質從常識上想想，也是可以理解的。同時，我們可以得到一個對偶間隙，即p*-d*。
在凸優化理論中，有一個Slater定理，當這個定理滿足，那麼對偶間隙就會消失，即：
此時稱爲強對偶性質（strong Duality）。幸運的是，我們這裏滿足Slater定理。