SVM——僅作爲個人複習筆記,爲了快速整理,所以圖片比較多

SVM(支持向量機)是一種二分類模型。

點到線的距離公式:

formula

根據上述公式,引出幾何間隔的定義:

支持向量到超平面的距離爲超平面關於所有樣本點的幾何間隔的最小值:

SVM就是想讓這個幾何間隔的最小值最大化,這樣確定的分離超平面就是唯一的。

preview

圖中的紅點就是支持向量,中間的斜線就是分離超平面。

由此,SVM的目標是求間隔最大的分割超平面,便可以表示爲以下約束最優化問題:

------------------------------------------------------------------------------------------------

不是很理解這句話。。。。。。

------------------------------------------------------------------------------------------------

如何使用拉格朗日乘子法呢?

到這裏,我們成功把帶約束問題轉化爲了無約束問題,不過這其實只是一個形式上的重寫,並沒有什麼本質上的改變。我們只是把原來的問題通過拉格朗日乘子法換了一種形式,本質上它們是等價的。

到這裏,根據最優化理論,可以交換最大和最小符號,轉換給對偶問題求解。

未完待續。。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章