作者:寒小阳
时间:2016年9月。
出处:http://blog.csdn.net/han_xiaoyang/article/details/52683653
声明:版权所有,转载请联系作者并注明出处
1.引言
是的,咱们第1篇blog介绍了目标;第2篇blog介绍了向量相关的背景数学知识,看到了如何求解Margin的值;今天这个部分主要目的是和大家一起来看看,选择最优超平面的推理过程。
以下是本篇的一个简短目录:
- 如何找到最优超平面
- 如何计算两超平面间的距离
- SVM的最优化问题是什么
2.如何找到最优超平面
在第2篇blog的结尾我们计算了点
有些情况下我们得到的超平面能够很好地完成不同类别样本点的分隔,但是却不是最佳的超平面。比如以下这个超平面是第2篇blog中求解出来的超平面。
然而第1篇blog的内容告诉我们,最优超平面是一个与数据点有最大间隔的平面。在上图中我么可以看到
可以在上图中看到最优超平面,在我们找的最初的超平面的稍左位置,而它刚好是M_2的中点处的这条垂线。所以在SVM当中,超平面和间隔确实是密切相关的。
只要找到一个分隔超平面,我就能计算平行于这个超平面的间隔。得到间隔之后,就能通过它的中点找到另外一个超平面(比如上图的中间蓝色直线)。
- 寻找最大间隔,就是寻找最优超平面
3.我们如何找到最大间隔
说起来这个过程还挺简单的:
- 读取你的数据集。
- 找到两个平行超平面,可以划分数据并且两平面之间没有数据点。
- 最大化上述两个超平面间隔
OK,按照上面的步骤,咱们一步步看吧。
步骤1:读取想分类的数据集
大多数时候,你会遇到二分类问题(多分类问题可以转化成二分类问题解决),数据将由n个向量
每一个
而且,大多数时候,比如当你做文本分类,向量
在集合论中的初始数据集的更正式的定义是:
步骤2:找到两个平行超平面,可以划分数据并且两平面之间没有数据点。
在平面上划线来区分数据很容易。但很多情况下数据是高维的,划分数据就变得困难,因为你没办法把它画出来。(对了,即使你的数据是二维的,也有可能找不到分离超平面!只有在数据线性可分时,这样一条线才能找到。)
线性可分 与 非线性可分
因此,假设我们的数据集
我们在之前看到过超平面的方程可以写做
不过细心的同学,会在维基百科中的SVM中看到下面的描述:
任何超平面都可以写成 满足
w⋅x−b=0 的点x 的集合
首先,本文采用
在我们的定义中,向量w与x有三个维度,但在维基百科中是二维的:
给出两个三维向量
给出两个二维向量
现在如果我们在方程(2)的两边减去b得到:
对于这篇文章的剩余部分,我们将使用二维向量(如方程(2))。
给出一个超平面
我们选择其他两个划分数据集的超平面的
设定
不过再仔细想想,你会发现
还有一个事情咱们得确认一下:它们之间没有任何的数据点。我们只选择那些符合以下两个约束的超平面:
对于每一个向量
满足
咱们来试着理解一下上面的约束,在下面的图中,所有的红点都是
因此,让我们看看下面的图,并考虑点
当
当
类似的,对于
在下图,我们看到一对超平面满足约束:
比如下面是一些不满足约束条件的情况情况:
当不满足约束时,很清楚能看到超平面之间有了数据点。
OK,所以到此为止,我们找到了一个约束条件–从而能够选择两个中间没有数据点的超平面。当然,这里举得例子是二维平面的,而实际上对于更高维的空间也是成立的。
大家总是喜欢更精简的表达形式,所以我们结合一下两种约束。
方程
两边同乘
这意味着方程式
在方程
将方程式
OK,我们得到了一个很简洁的约束条件(方程8),它和方程4,5在数学上是等价的,也能保证两超平面间没有数据点。
步骤3:两个超平面之间的距离最大化
哈哈,大家稍微提起一点精神吧,这是本节内容中最难的部分。不过会尽量写细一点,相信大家,应该没啥问题的。
a)我们的两个超平面之间的距离是什么
OK,现在要做的事情是最大化两个超平面之间的距离,那两个超平面之间的距离怎么计算呢?好,一步步来,我们先做一些标定:
0 是满足约束w⋅x−b=−1 的超平面1 是满足约束w⋅x−b=1 的超平面x0 是0 上的一点
对了,从
我们现在试着找出m的值。
感觉上
不过m是一个标量,
我们可以找到距离
OK,结合这张图,你就更清楚了,我们有长度m而缺少另外一个向量的关键信息:方向。
OK,标量加向量是没法算了,但大家都知道,向量乘以标量,会得到另外一个缩放后的向量。
OK,所以我们其实是想要找到这样一个向量:
- 长度为m
- 方向垂直于平面
1
仔细看看超平面的形式,我们发行已经有一个垂直
我们定义
如果我们用
∥k∥=m k 垂直于1 ,因为它与u 具有相同方向
那
对,就是通过这样一个方式把m转换成一个可以和向量
如果我们在向量
我们可以用
用方程式
将式子展开可得
向量与自己的内积是它的模的平方,所以:
因为
OK,赞,我们找到了一种计算
b) 如何最大化两个超平面之间的距离
我们现在有一个公式来计算间隔:
在这个公式中,我们唯一可以改变的变量是
当
当
当
大家很容易发现,
最大化间隔也就是最小化
我们的目标是最大化间隔。在所有满足约束条件超平面中,我们选择有最小
有了以下的优化问题:
解决这个问题有点像求解方程。一旦解出来答案,我们会找到满足约束条件,也使得
4.结论
这篇博客做了一个小小的推导,最后得到的结论是:为了找到最优超平面,咱们需要解决一个优化问题。优化问题有点棘手,可能又需要一些额外的数学知识来解决他们。感兴趣的同学继续follow[第4部分:]吧。