SVM-拉格朗日乘子法

學習:b站白板推導
公式來源:
https://www.yuque.com/bystander-wg876/yc5f72/pdv5ry

SVM hard margin 思想是間隔最大化,
即將樣本點都投影到另一個平面,使得投影點之間的間隔最大。

那麼怎麼找到這個平面呢,就是有無數個平面,樣本點投影到平面,那麼這其中肯定有距離最短的點,
每一個平面面取一個最短距離點,這些點做爲一個集合,再在這個集合裏取最大的距離的點所在的平面,
那麼這個平面就一定是投影間隔最大的平面了。

所以數學模型就是  argmax min投影距離

因此將模型轉化爲優化問題求解。
一般約束優化問題(原問題):
可以使用lagrange乘子法將約束(即 mi(x)、nj(x))寫入函數中
就相當於無約束了

在這裏插入圖片描述

Lagrange函數:
有約束(lambda>=0),但是關於x的約束沒了。

在這裏插入圖片描述

原問題(有約束問題)就等價於以下無約束問題:

在這裏插入圖片描述

這裏maxL() 和約束 lambda>=0 共同把原問題的mi(x)>=0的x丟掉:

因爲當mi(x)>0,maxL() 就爲正無窮。
而當mi(x)<=0,當mi(x)=0時,有maxL()爲f(x)。

因此maxL()有兩個取值:正無窮和f(x)。
因此min maxL() 就等價於 minf(x),min的作用就是把取值爲正無窮的x刷掉。
因此原問題和無約束問題等價
那麼這 min maxL() 求解是需要使用對偶問題求解:
將求 x的最小化轉化爲求另外兩個參數的最大化

在這裏插入圖片描述

而對於對偶問題,顯然有:
max minL() <= min maxL()

證明:
minL() <= L() <= maxL() (不管他們的是對於x還是另外兩個參數,都成立)
所以 max min(L) <= L <= min max(L)
因此 max min(L) <= min max(L)

因此對偶問題的解恆小於原問題
因此,

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章