目录
1.支持向量机原型模型的建立和求解
1.1常见的几何性质
1.2SVM原始公式的导出
aa
1.3SVM的性质
由1.2SVM原始公式导出可以知道,
为什么 ?
因为支持向量机定义为距离间隔最近的向量,如果间隔超平面不在中间,那么我们可以找到中间的那个平面到支持向量机的距离更近,从而推翻假设的间隔超平面不是超平面。
为什么支持向量机平面在上?
间隔超平面定义为:
支持向量机定义:
由支持向量定义知道,与平行,因为如果这两个平面不平行,那么他们一定会相交于某 一点,这样就与支持向量机定义相悖。
因为原点到平面的距离:,那么原点到间隔超平面和支持向量机平面的距离分别为:,
所以间隔超平面到支持向量机的距离:
支持向量机为:或
3.svm间隔超平面的存在性:
因为数据是线性可分的,所以一定存在间隔超平面。因为SVM的数学形式是有下界的,所以一定能够求得一个最优解。
4.SVM间隔超平面唯一性证明
2.SVM对偶形式的推导
二次规划:
拉格朗日法:
拉个朗日函数的应用:
2.2对偶问题介绍
最后两步怎么来的?
6.11公式求解过程如上图
最后一步右边如何得到的:
多项式可以得到n*n项。
写成求和形式就是:
拉个朗日函数补充:
KKT条件:
KKT条件有四个约束,第一个约束:,拉格朗日函数对变量求偏导等于0.
regularity condition?
放射函数:AX+b,表示成这种形式,A为矩阵,b为向量。
图上的g(x)就是h(x)
他们是不等式约束(解在边界上和非边界上)的综合。
这里只讲了一个约束,事实上他们一共有m+p个约束,很多个约束时不一定共线,只要他们的向量之和等于0就可以了。
3.SVM的求解算法SMO
参考文献: