西瓜书学习笔记:支持向量机(6.1-6.2)笔记

机器学习西瓜书学习笔记

目录

 

1.支持向量机原型模型的建立和求解

1.1常见的几何性质

1.2SVM原始公式的导出

1.3SVM的性质

为什么 ?

为什么支持向量机平面在上?

2.SVM对偶形式的推导

2.2对偶问题介绍

z

3.SVM的求解算法SMO


1.支持向量机原型模型的建立和求解

1.1常见的几何性质

点到平面的距离公式推导

1.2SVM原始公式的导出

aa

1.3SVM的性质

由1.2SVM原始公式导出可以知道,\tiny \gamma =\frac{2}{||w||}

为什么\tiny d^+=d^-=d^*=\frac{1}{2}\gamma =\frac{1}{||w||} ?

因为支持向量机定义为距离间隔最近的向量,如果间隔超平面不在中间,那么我们可以找到中间的那个平面到支持向量机的距离更近,从而推翻假设的间隔超平面不是超平面。

为什么支持向量机平面在\tiny w^Tx+b=\pm1上?

间隔超平面定义为:\tiny w^Tx+b=0

支持向量机定义:\tiny w^Tx+b^,=0

由支持向量定义知道,\tiny w^Tx+b=0\tiny w^Tx+b^,=0平行,因为如果这两个平面不平行,那么他们一定会相交于某 一点,这样就与支持向量机定义相悖。

因为原点到平面的距离:\tiny \frac{-b}{||w||},那么原点到间隔超平面和支持向量机平面的距离分别为:\tiny \frac{-b}{||w||}\tiny \frac{-b^,}{||w||}

所以间隔超平面到支持向量机的距离:\tiny d=||\frac{-b}{||w||^2}.w-\frac{-b^,}{||w||^2}.w||

\tiny \Rightarrow d=||\frac{-b+b^,}{||w||}||=\frac{1}{||w||}

\tiny \Rightarrow ||b^,-b||=1\Rightarrow b^,=b\pm1

支持向量机为:\tiny w^Tx+b=1\tiny w^Tx+b=-1

3.svm间隔超平面的存在性:

因为数据是线性可分的,所以一定存在间隔超平面。因为SVM的数学形式是有下界的,所以一定能够求得一个最优解。

4.SVM间隔超平面唯一性证明

最大间隔分离超平面的唯一性完整证明

2.SVM对偶形式的推导

二次规划:

拉格朗日法:

拉个朗日函数的应用:

2.2对偶问题介绍

\tiny \frac{\partial L}{\partial w} 最后两步怎么来的?

矩阵求导、几种重要的矩阵及常用的矩阵求导公式

6.11公式求解过程如上图

最后一步右边如何得到的:

多项式\tiny (x_1+x_2+....+x_n)(x_1+x_2+....+x_n)\tiny (x_1+x_2+...+x_n)(x_1+x_2+...+x_n)可以得到n*n项。

写成求和形式就是:\tiny \sum^nx_i\sum^nx_j=\sum^n\sum^nx_ix_j

拉个朗日函数补充:

KKT条件:

KKT条件有四个约束,第一个约束:\tiny \partial L/\partial x=0,拉格朗日函数对变量求偏导等于0.

regularity condition?

放射函数:AX+b,表示成这种形式,A为矩阵,b为向量。

图上的g(x)就是h(x)

\tiny \lambda _kh_k(x)=0\Rightarrow \lambda _k>0,h_k(x)=0 or\lambda_k=0,h_k(x)<0他们是不等式约束(解在边界上和非边界上)的综合。

这里只讲了一个约束,事实上他们一共有m+p个约束,很多个约束时不一定共线,只要他们的向量之和等于0就可以了。

3.SVM的求解算法SMO

SVM问题的求解方法SMO算法

参考文献:

点到平面的距离公式推导

最大间隔分离超平面的唯一性完整证明

发布了373 篇原创文章 · 获赞 151 · 访问量 33万+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章