1. 间隔与支持向量
对于用于分类的支持向量机，它是个二分类的分类模型。也就是说，给定一个包含正例和反例（正样本点和负样本点）的样本集合，支持向量机的目的就是基于训练集D在样本空间找到一个划分超平面，将不同类别的样本分开，原则是使正例和反例之间的间隔最大。如下图所示：
在样本空间中，划分超平面可通过如下线性方程来描述：
其中w=(w1;w2;w3;…wn)为法向量，决定了超平面的方向；b为位移项，决定了超平面与原点之间的距离。
若样本被超平面成功分开，则在H1: y = wTx + b=+1 和 H2: y = wTx + b=-1这两条线上的样本点称为“支持向量”，两个异类支持向量到超平面的距离之和称为“间隔”。
而SVM思想就是：试图寻找一个超平面来对样本进行分割，把样本中的正例和反例用超平面分开，但是不是很敷衍地简单的分开，而是尽最大的努力使正例和反例之间的间隔相等且最大。
H1和H2的距离就是|1+1|/ sqrt(w12+w12)=2/||w||。也就是w的模的倒数的两倍。也就是说，我们需要最大化margin=2/||w||，为了最大化这个距离，我们应该最小化||w||，并且保证没有数据点分布在H1和H2之间。所以我们的问题就转化成了：
这就是支持向量机的基本型。
2. 对偶问题
SVM与其他机器学习算法对比(图)：
