求最大間隔分離超平面如何轉化爲了一個凸二次優化的問題?

考慮如何求得一個幾何間隔最大的分離超平面(函數間隔也是一樣的),即最大間隔分離超平面,那麼可以表示爲下面的約束最優化問題:
maxw,b γs.t.yi(wwxi+bw)γ,i=1,2,...,N \mathop{max}\limits_{w,b}\space\gamma\\ s.t.\quad y_i\left({w\over||w||}\cdot x_i+{b\over||w||}\right)\geq\gamma, \quad i=1,2,...,N

約束條件表示的是超平面 (w,b)(w,b) 關於每個訓練樣本點的幾何間隔至少是 γ\gamma
考慮函數間隔和幾何間隔的關係
γ=γ^w \gamma={\hat\gamma\over||w||}
那麼約束優化問題可以進一步改寫爲:
maxw,b γws.t.yi(wxi+b)γ,i=1,2,...,N \mathop{max}\limits_{w,b}\space{\gamma\over||w||}\\ s.t.\quad y_i\left({w}\cdot x_i+{b}\right)\geq\gamma, \quad i=1,2,...,N

那麼現在我們要知道:函數間隔 γ^\hat\gamma 的取值並不影響最優化問題的解 事實上,假設將 wwbb 按比例改變爲 λw\lambda wλb\lambda b,這時函數間隔成爲 λγ^\lambda \hat\gamma,函數間隔的這一改變對上面最優化問題的不等式約束沒有影響,對目標函數的優化也沒有影響,也就是說,它產生一個等價的最優化問題
所以,取 γ^=1\hat\gamma=1 代入上面的最優化問題, 注意到最大化
1w1\over||w||和最小化 12w2{1\over2}||w||^2 是等價的,於是就得到下面的線性可分支持向量機學習的最優化問題:
12w2s.t.yi(wxi+b)10,i=1,2,...,N {1\over2}||w||^2\\ s.t.\quad y_i\left({w}\cdot x_i+{b}\right)-1\geq0, \quad i=1,2,...,N

這就是最終轉化出來的凸二次優化問題(即優化連續可微的二次凸函數)

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章