支持向量機是一種判別模型,它構建一個超平面使得距離這個超平面最近的點的距離最大。支持向量機的任務是在較低的模型泛化誤差下尋找一個合適的超平面。
如果超平面的函數是如下表達式:
那麼超平面與數據點(label=1)之間的幾何關係爲:
定義:幾何間隔和函數間隔
因此,轉換爲帶約束的優化問題:
我們無法保證數據是線性可分的,因此需要添加損失和鬆弛變量:
新的優化問題變成:
我們假設:
那麼優化問題將爲:
損失函數——Hinge Loss
Q:下面(1)式爲什麼可以由(2)式表式?
SVM的拉格朗日對偶問題
Q:什麼是支持向量以及它的特徵是什麼?
Q:核的真實目的是什麼?(不要告訴我是爲了在高維空間線性可分)