考慮如何求得一個幾何間隔最大的分離超平面(函數間隔也是一樣的),即最大間隔分離超平面,那麼可以表示爲下面的約束最優化問題:
w,bmax γs.t.yi(∣∣w∣∣w⋅xi+∣∣w∣∣b)≥γ,i=1,2,...,N
約束條件表示的是超平面 (w,b) 關於每個訓練樣本點的幾何間隔至少是 γ
考慮函數間隔和幾何間隔的關係:
γ=∣∣w∣∣γ^
那麼約束優化問題可以進一步改寫爲:
w,bmax ∣∣w∣∣γs.t.yi(w⋅xi+b)≥γ,i=1,2,...,N
那麼現在我們要知道:函數間隔 γ^ 的取值並不影響最優化問題的解 事實上,假設將 w 和 b 按比例改變爲 λw和 λb,這時函數間隔成爲 λγ^,函數間隔的這一改變對上面最優化問題的不等式約束沒有影響,對目標函數的優化也沒有影響,也就是說,它產生一個等價的最優化問題
所以,取 γ^=1 代入上面的最優化問題, 注意到最大化
∣∣w∣∣1和最小化 21∣∣w∣∣2 是等價的,於是就得到下面的線性可分支持向量機學習的最優化問題:
21∣∣w∣∣2s.t.yi(w⋅xi+b)−1≥0,i=1,2,...,N
這就是最終轉化出來的凸二次優化問題(即優化連續可微的二次凸函數)