西瓜書學習筆記:支持向量機(6.1-6.2)筆記

機器學習西瓜書學習筆記

目錄

 

1.支持向量機原型模型的建立和求解

1.1常見的幾何性質

1.2SVM原始公式的導出

1.3SVM的性質

爲什麼 ?

爲什麼支持向量機平面在上?

2.SVM對偶形式的推導

2.2對偶問題介紹

z

3.SVM的求解算法SMO


1.支持向量機原型模型的建立和求解

1.1常見的幾何性質

點到平面的距離公式推導

1.2SVM原始公式的導出

aa

1.3SVM的性質

由1.2SVM原始公式導出可以知道,\tiny \gamma =\frac{2}{||w||}

爲什麼\tiny d^+=d^-=d^*=\frac{1}{2}\gamma =\frac{1}{||w||} ?

因爲支持向量機定義爲距離間隔最近的向量,如果間隔超平面不在中間,那麼我們可以找到中間的那個平面到支持向量機的距離更近,從而推翻假設的間隔超平面不是超平面。

爲什麼支持向量機平面在\tiny w^Tx+b=\pm1上?

間隔超平面定義爲:\tiny w^Tx+b=0

支持向量機定義:\tiny w^Tx+b^,=0

由支持向量定義知道,\tiny w^Tx+b=0\tiny w^Tx+b^,=0平行,因爲如果這兩個平面不平行,那麼他們一定會相交於某 一點,這樣就與支持向量機定義相悖。

因爲原點到平面的距離:\tiny \frac{-b}{||w||},那麼原點到間隔超平面和支持向量機平面的距離分別爲:\tiny \frac{-b}{||w||}\tiny \frac{-b^,}{||w||}

所以間隔超平面到支持向量機的距離:\tiny d=||\frac{-b}{||w||^2}.w-\frac{-b^,}{||w||^2}.w||

\tiny \Rightarrow d=||\frac{-b+b^,}{||w||}||=\frac{1}{||w||}

\tiny \Rightarrow ||b^,-b||=1\Rightarrow b^,=b\pm1

支持向量機爲:\tiny w^Tx+b=1\tiny w^Tx+b=-1

3.svm間隔超平面的存在性:

因爲數據是線性可分的,所以一定存在間隔超平面。因爲SVM的數學形式是有下界的,所以一定能夠求得一個最優解。

4.SVM間隔超平面唯一性證明

最大間隔分離超平面的唯一性完整證明

2.SVM對偶形式的推導

二次規劃:

拉格朗日法:

拉個朗日函數的應用:

2.2對偶問題介紹

\tiny \frac{\partial L}{\partial w} 最後兩步怎麼來的?

矩陣求導、幾種重要的矩陣及常用的矩陣求導公式

6.11公式求解過程如上圖

最後一步右邊如何得到的:

多項式\tiny (x_1+x_2+....+x_n)(x_1+x_2+....+x_n)\tiny (x_1+x_2+...+x_n)(x_1+x_2+...+x_n)可以得到n*n項。

寫成求和形式就是:\tiny \sum^nx_i\sum^nx_j=\sum^n\sum^nx_ix_j

拉個朗日函數補充:

KKT條件:

KKT條件有四個約束,第一個約束:\tiny \partial L/\partial x=0,拉格朗日函數對變量求偏導等於0.

regularity condition?

放射函數:AX+b,表示成這種形式,A爲矩陣,b爲向量。

圖上的g(x)就是h(x)

\tiny \lambda _kh_k(x)=0\Rightarrow \lambda _k>0,h_k(x)=0 or\lambda_k=0,h_k(x)<0他們是不等式約束(解在邊界上和非邊界上)的綜合。

這裏只講了一個約束,事實上他們一共有m+p個約束,很多個約束時不一定共線,只要他們的向量之和等於0就可以了。

3.SVM的求解算法SMO

SVM問題的求解方法SMO算法

參考文獻:

點到平面的距離公式推導

最大間隔分離超平面的唯一性完整證明

發佈了373 篇原創文章 · 獲贊 151 · 訪問量 33萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章