目錄
1.支持向量機原型模型的建立和求解
1.1常見的幾何性質
1.2SVM原始公式的導出
aa
1.3SVM的性質
由1.2SVM原始公式導出可以知道,
爲什麼 ?
因爲支持向量機定義爲距離間隔最近的向量,如果間隔超平面不在中間,那麼我們可以找到中間的那個平面到支持向量機的距離更近,從而推翻假設的間隔超平面不是超平面。
爲什麼支持向量機平面在上?
間隔超平面定義爲:
支持向量機定義:
由支持向量定義知道,與平行,因爲如果這兩個平面不平行,那麼他們一定會相交於某 一點,這樣就與支持向量機定義相悖。
因爲原點到平面的距離:,那麼原點到間隔超平面和支持向量機平面的距離分別爲:,
所以間隔超平面到支持向量機的距離:
支持向量機爲:或
3.svm間隔超平面的存在性:
因爲數據是線性可分的,所以一定存在間隔超平面。因爲SVM的數學形式是有下界的,所以一定能夠求得一個最優解。
4.SVM間隔超平面唯一性證明
2.SVM對偶形式的推導
二次規劃:
拉格朗日法:
拉個朗日函數的應用:
2.2對偶問題介紹
最後兩步怎麼來的?
6.11公式求解過程如上圖
最後一步右邊如何得到的:
多項式可以得到n*n項。
寫成求和形式就是:
拉個朗日函數補充:
KKT條件:
KKT條件有四個約束,第一個約束:,拉格朗日函數對變量求偏導等於0.
regularity condition?
放射函數:AX+b,表示成這種形式,A爲矩陣,b爲向量。
圖上的g(x)就是h(x)
他們是不等式約束(解在邊界上和非邊界上)的綜合。
這裏只講了一個約束,事實上他們一共有m+p個約束,很多個約束時不一定共線,只要他們的向量之和等於0就可以了。
3.SVM的求解算法SMO
參考文獻: