學習:b站白板推導
公式來源:
https://www.yuque.com/bystander-wg876/yc5f72/pdv5ry
SVM hard margin 思想是間隔最大化,
即將樣本點都投影到另一個平面,使得投影點之間的間隔最大。
那麼怎麼找到這個平面呢,就是有無數個平面,樣本點投影到平面,那麼這其中肯定有距離最短的點,
每一個平面面取一個最短距離點,這些點做爲一個集合,再在這個集合裏取最大的距離的點所在的平面,
那麼這個平面就一定是投影間隔最大的平面了。
所以數學模型就是 argmax min投影距離
因此將模型轉化爲優化問題求解。
一般約束優化問題(原問題):
可以使用lagrange乘子法將約束(即 mi(x)、nj(x))寫入函數中
就相當於無約束了
Lagrange函數:
有約束(lambda>=0),但是關於x的約束沒了。
原問題(有約束問題)就等價於以下無約束問題:
這裏maxL() 和約束 lambda>=0 共同把原問題的mi(x)>=0的x丟掉:
因爲當mi(x)>0,maxL() 就爲正無窮。
而當mi(x)<=0,當mi(x)=0時,有maxL()爲f(x)。
因此maxL()有兩個取值:正無窮和f(x)。
因此min maxL() 就等價於 minf(x),min的作用就是把取值爲正無窮的x刷掉。
因此原問題和無約束問題等價
那麼這 min maxL() 求解是需要使用對偶問題求解:
將求 x的最小化轉化爲求另外兩個參數的最大化
而對於對偶問題,顯然有:
max minL() <= min maxL()
證明:
minL() <= L() <= maxL() (不管他們的是對於x還是另外兩個參數,都成立)
所以 max min(L) <= L <= min max(L)
因此 max min(L) <= min max(L)
因此對偶問題的解恆小於原問題
因此,