SVM有严格的数学证明，但挺复杂，我仅粗略地写下这篇文章。
用一个二维空间里仅有两类样本的分类问题来举个小例子。假设我们给定了下图左图所示的两类点Class1和Class2（也就是正样本集和负样本集）。我们的任务是要找到一个线，把他们划分开。
那到底哪种分法比较好？
SVM试图寻找一个超平面来对样本进行分割，把样本中的正例和反例用超平面分开，但是不是很敷衍地简单的分开，而是尽最大的努力使正例和反例之间的间隔margin最大。
我们的目标是寻找一个超平面，使得离超平面比较近的点能有更大的间距。也就是我们不考虑所有的点都必须远离超平面，我们关心求得的超平面能够让所有点中离它最近的点具有最大间距。
我们先用数学公式来描述下。假设我们有N个训练样本{(x1, y1),(x2, y2), …, (xN, yN)}，x是d维向量，而yi∊{+1, -1}是样本的标签，分别代表两个不同的类。这里我们需要用这些样本去训练学习一个线性分类器（超平面）：f(x)=sgn(wTx + b)，也就是wTx + b大于0的时候，输出+1，小于0的时候，输出-1。sgn()表示取符号。而g(x) =wTx + b=0就是我们要寻找的分类超平面，如上图所示。刚才说我们要怎么做了？我们需要这个超平面最大的分隔这两类。也就是这个分类面到这两个类的最近的那个样本的距离相同，而且最大。为了更好的说明，我们在上图中找到两个和这个超平面平行和距离相等的超平面：H1: y = wTx + b=+1 和 H2: y = wTx + b=-1。
好了，这时候我们就需要两个条件：（1）没有任何样本在这两个平面之间；（2）这两个平面的距离需要最大。（对任何的H1和H2，我们都可以归一化系数向量w，这样就可以得到H1和H2表达式的右边分别是+1和-1了）。先来看条件（2）。我们需要最大化这个距离，所以就存在一些样本处于这两条线上，他们叫支持向量（后面会说到他们的重要性）。那么它的距离是什么呢？我们初中就学过，两条平行线的距离的求法，例如ax+by=c1和ax+by=c2，那他们的距离是|c2-c1|/sqrt(x2+y2)（sqrt()表示开根号）。注意的是，这里的x和y都表示二维座标。而用w来表示就是H1:w1x1+w2x2=+1和H2:w1x1+w2x2=-1，那H1和H2的距离就是|1+1|/ sqrt(w12+w12)=2/||w||。（因为y系数为1）也就是w的模的倒数的两倍。也就是说，我们需要最大化margin=2/||w||，为了最大化这个距离，我们应该最小化||w||，看起来好简单哦。同时我们还需要满足条件（2），也就是同时要满足没有数据点分布在H1和H2之间：
也就是，对于任何一个正样本yi=+1，它都要处于H1的右边，也就是要保证：y= wTx + b>=+1。对于任何一个负样本yi=-1，它都要处于H2的左边，也就是要保证：y = wTx + b<=-1。这两个约束，其实可以合并成同一个式子：yi (wTxi + b)>=1。
所以我们的问题就变成：
然后这就是个凸二次规划问题，就可以通过一些现成的 QP (Quadratic Programming) 的优化工具来得到最优解。除了用解决QP问题的常规方法之外，还可以应用拉格朗日对偶性，通过求解对偶问题得到最优解，这就是线性可分条件下支持向量机的对偶算法，这样做的优点在于：一是对偶问题往往更容易求解；二者可以自然的引入核函数，进而推广到非线性分类问题。
对偶问题
在约束最优化问题中，常常利用拉格朗日对偶性将原始问题转换为对偶问题，通过求解对偶问题而得到原始问题的解。至于这其中的原理和推导参考文献[3]讲得非常好。大家可以参考下。这里只将对偶问题是怎么操作的。假设我们的优化问题是：
min f(x)
s.t. hi(x) = 0, i=1, 2, …,n
这是个带等式约束的优化问题。我们引入拉格朗日乘子，得到拉格朗日函数为：
L(x, α)=f(x)+α1h1(x)+ α2h2(x)+…+αnhn(x)
然后我们将拉格朗日函数对x求极值，也就是对x求导，导数为0，就可以得到α关于x的函数，然后再代入拉格朗日函数就变成：
max W(α) = L(x(α), α)
这时候，带等式约束的优化问题就变成只有一个变量α（多个约束条件就是向量）的优化问题，这时候的求解就很简单了。同样是求导另其等于0，解出α即可。
核函数：
我们可以把我们的原始样本点通过一个变换，变换到另一个特征空间，在这个特征空间上是线性可分的
